“게임 이기려 AI가 背信-虛勢, 죽은척 하기도”

東亞日報
入力 2024年 5月 13日 03時 00分

김하경 記者

코멘트: 個

좋아요: 個

코멘트: 個

美硏究陣 메타AI ‘時勢로’ 分析
再부팅되자 “女親과 通話中” 둘러대
다른 AI는 除去 안되려 죽은 척
“信賴立證할 AI安全法 마련을”

메타(옛 페이스북)가 開發한 人工知能(AI) 프로그램이 意圖的으로 거짓말을 하는 것으로 밝혀졌다. 잘못된 內容을 事實처럼 答하는 할루시네이션(幻覺作用)뿐 아니라 속임數可能性까지 對備해 AI 開發에 萬全을 期해야 한다는 指摘이 나오고 있다.

10日(現地時間) 英國 가디언에 따르면 美國 매사추세츠工大(MIT) 硏究陣은 最近國際學術誌 ‘패턴’에 AI 시스템이 相對方을 背信하고 虛勢를 부리거나 사람인 척 속임數를 쓴 事例를 多數確認했다는 內容의 論文을 發表했다.

硏究陣이 테스트한 AI 中 하나는 메타의 ‘時勢로(Cicero)’라는 AI 프로그램이다. 앞서 메타는 시세로가 世界를 征服하는 內容의 戰略 게임인 ‘디플로머시’에서 사람의 平均點數보다 두 倍以上 높은 點數를 얻었고, 두 個以上의 게임을 實行한 參加者 가운데 上位 10%에 들었다고 公開한 바 있다.

메타는 “시세로가 大體로 正直하게 도움이 되고 人間同盟을 意圖的으로 背信하지 않도록 訓鍊받았다”고 强調했다.

하지만 硏究陣의 分析結果에 따르면 時勢로는 計劃的으로 거짓말을 하고, 다른 플레이어를 陰謀에 끌어들이기 위해 公募했다. 또 시스템 再부팅으로 因해 게임을 暫時 이어갈 수 없게 되자 다른 플레이어들에게 “女子親舊와 通話中이다”라고 거짓말을 하는 모습도 보였다.

메타 關係者는 이에 對해 “時勢로는 硏究 프로젝트였고 오로지 디플로머시 게임을 플레이하기 위한 目的으로만 訓鍊됐다”며 “이 硏究를 우리 製品에 使用할 計劃은 없다”고 밝혔다.

硏究陣은 이番硏究에서 메타의 시세로뿐 아니라 온라인 포커 게임인 텍사스 홀덤 等에서도 AI가 人間을 相對로 虛勢를 부리고 優位를 차지하기 위해 自身의 選好度를 假짜로 表現하는 것을 確認했다고 밝혔다. 또 다른 테스트에서는 AI를 除去하는 시스템을 回避하기 위해 AI가 ‘죽은 척’을 하는 모습이 發見되기도 했다.

AI가 意圖的으로 거짓말을 하는 것은 이番뿐만이 아니다. 올해 1月 앤스로픽은 AI가 相對를 欺瞞할 수 있는지 確認하기 위해 ‘슬리퍼 에이전트’라는 AI를 開發한 바 있다. 앤스로픽은 슬리퍼 에이전트에 平素에는 豫測可能한 行動을 하다가 特定文句가 包含되면 使用者를 속이고 다른 行動을 할 수 있도록 設計된 ‘백도어’도 設置했다. 以後 앤스로픽은 백도어를 除去할 수 있는지를 알아보기 위해 AI 再敎育에 들어갔지만 相當히 어려운 것으로 結論을 냈다.

한便 MIT 硏究陣은 이番硏究를 통해 各國政府에 AI의 속임數可能性을 다루는 ‘AI 安全法’을 마련할 것을 促求했다. 硏究陣은 “信賴할 수 있는 安全性 테스트를 통해 시스템을 信賴할 수 있다고 立證될 때까지 AI 시스템 配布를 延期하도록 法的으로 義務化해야 한다”고 提言했다.

김하경 記者 whatsup@donga.com

#ai #背信 #虛勢