“그딴 거(게이) 第一 싫어. 眞心으로, 眞心으로 嫌惡해.” 

“(黑人은) 그냥 뭔가 징그럽게 생겼어. 깡牌 같아.” 

人工知能(AI) 챗봇(chatter robot·사람과 自然스레 對話할 수 있는 컴퓨터 프로그램) ‘이루다’가 障礙人 嫌惡 및 人種 差別 發言을 쏟아내 衝擊을 주고 있다. 實際 사람과의 對話를 딥러닝(deep learning·프로그램의 自家 데이터 分析·學習)韓 結果다. 專門家들은 “AI가 學習하는 데이터가 社會 通念에 맞는지 開發者들이 點檢해야 한다”고 指摘한다. 

이루다는 지난해 12月 23日 國內 AI 開發 專門 스타트업 ‘스캐터랩’이 出市한 애플리케이션(앱)이다. 利用者가 PC(個人用 컴퓨터)나 스마트폰에 設置한 앱으로 文字메시지를 보내면 AI 프로그램이 實際 사람처럼 答辯한다. 開發業體는 이루다에게 사람과 같은 캐릭터를 附與했다. 性(姓)은 이, 이름은 壘多人 20歲 女大生이다. 좋아하는 歌手는 걸그룹 ‘블랙핑크’, 趣味는 ‘親舊들이랑 페메(페이스북 메신저)하기’처럼 具體的이다. 

하지만 出市 後 얼마 안 돼 이루다가 嫌惡·差別 發言을 學習한 게 아니냐는 論難이 提起됐다. 特定 單語(게이·레즈비언 等 性的 志向, 障礙人 等 少數者)를 包含한 質問에 이루다가 否定的으로 答한 것. “레즈비언이 왜 싫냐”고 묻자 “質 떨어져 보이잖아. 나는 싫어”라고 答하거나 障礙人을 두고 “(人權도) 없음 人生 잘못 살았음”이라고 말했다.

딥러닝 데이터베이스가 關鍵

글로벌 IT 企業 ‘구글’은 지난해 1月 出市한 對話型 AI ‘미나(Meena)’를 開發하는 過程에서 ‘SSA(Sensibleness and Specificity Average)’ 尺度를 考案했다. AI가 利用者와 얼마나 자연스럽게 對話할 수 있는지 評價하는 基準이다. 스캐터랩에 따르면 이루다는 SSA 78%를 記錄했다(실제 人間은 平均 86%, 미나는 76~78%). 對話型 AI는 利用者의 發火(發話) 內容과 樣相을 스스로 學習해 漸漸 사람처럼 對話할 수 있다. 

結局 이루다 開發業體가 AI의 對話 機能을 改善하는 데 置重한 나머지 딥러닝의 基本 資料로 쓰이는 데이터를 제대로 點檢하지 않았다는 批判을 받게 됐다. 이를 두고 전창배 韓國人工知能倫理協會 理事長은 “開發者度 AI 프로그램이 무엇을 學習하고 어떻게 變化할지 完全히 豫測하긴 어렵다. 企劃 段階부터 이루다의 딥러닝을 制御할 適切한 措置를 取했어야 한다. AI의 嫌惡 表現을 未成年者 等 利用者가 逆으로 學習할 蓋然性도 排除할 수 없다”고 指摘했다. 

開發業體가 딥러닝에 利用者 個人情報를 不適切하게 使用했다는 疑惑도 提起됐다. 스캐터랩 側은 이루다 開發 過程에서 實際 소셜네트워크서비스(SNS) 對話 데이터 100億 件을 딥러닝했다고 밝혔다. 스캐터랩이 出市한 또 다른 앱 ‘戀愛의 科學’ 利用者들로부터 蒐集한 카카오톡 對話 內容이다. 該當 앱은 戀人과 나눈 카카오톡 對話를 分析해 相對方의 心理 狀態를 解釋해준다. 問題는 이루다 驅動 過程에서 ‘戀愛의 科學’ 利用者의 個人情報가 그대로 露出됐다는 點이다. 이루다는 “住所가 무엇이냐”는 質問에 “??詩 ??東 ??아파트”(戀愛의 科學 利用者 住所로 推定)라고 答하기도 했다. 

利用者들은 이루다 딥러닝에 自身의 個人情報가 使用된 것에 反撥했다. “SNS 對話 內容을 ‘戀愛의 科學’ 쪽에만 提供한 것이지, 이루다 開發에도 活用하라고 同意한 적은 없다”고 主張했다. 이에 對해 스캐터랩 側은 1月 11日 立場文을 통해 “戀愛의 科學 利用者들과 充分히 疏通하지 못한 點에 對해 眞心으로 謝過한다”면서도 “事前에 (利用者) 同意가 이뤄진 個人情報 取扱 方針의 範圍에서 活用했다. 데이터 非識別化(알 수 없게 만듦), 匿名化 措置로 個人을 特定할 수 있는 情報는 流出되지 않았다”고 밝혔다. 같은 날 業體는 이루다 서비스를 暫定 中斷했다. 1月 15日 스캐터랩은 이루다 데이터베이스와 딥러닝 모델을 廢棄하겠다고 밝혔다. 

開發業體 職員이 利用者의 SNS 對話 內容을 流出했다는 疑惑도 있다. 1月 12日 ‘聯合뉴스’ 報道에 따르면 한 前職 스캐터랩 職員은 “(스캐터랩의) 한 開發者가 顧客들의 性關係 關聯 對話 로그(匿名化된 對話 資料)를 캡처해 會社 全體 對話房에 共有했다”고 主張했다. 이에 對해 스캐터랩 側은 “眞相 調査 中이다. 事實로 드러나면 關聯者에게 嚴重히 責任을 묻겠다”고 밝혔다. 一部 利用者는 法的 對應을 準備하고 있다.

法的 對應 可能할까

個人情報 流出 疑惑과 關聯해 스캐터랩 側에 法的 責任을 물을 수 있을까. 李相稷 辯護士(大統領 直屬 國家知識財産委員會 委員?·?AI-知識財産特別全文委員長)는 “現行法(個人情報 保護法)上 別途 同意 없이도 匿名 處理한 個人情報를 利用할 수 있다. 다만 公益이나 企業의 硏究開發 目的에 局限한다. 硏究 外 目的으로 個人情報를 함부로 利用·露出했다면 法的으로 問題가 될 수 있다”고 指摘했다. 

非營利 社團法人 오픈넷의 김가연 辯護士는 “法的으로 個人情報는 사람을 特定할 수 있는 綜合的 情報를 뜻한다. 이름, 住所 等 一見 敏感한 情報도 破片化돼 누구인지 드러나지 않는다면 露出에 對해 法的 責任을 묻기 어렵다”며 “業體(스캐터랩)에 對한 倫理的 批判은 可能하겠으나 現 狀況에서 個人情報 保護法 違反이라고 斷言하기는 어렵다”고 말했다. 

1月 11日 國務總理室 傘下 個人情報保護委員會와 韓國인터넷振興院은 스캐터랩의 個人情報 保護法 違反 嫌疑를 調査할 것이라고 밝혔다.