Based on “User Trust in Recommendation Systems: A comparison of Content-Based, Collaborative and Demographic Filtering” (2022) by Mengqi Liao and S. Shyam Sundar and Joseph B. Walther. in CHI Conference on Human Factors in Computing Systems (CHI '22) .
무엇을, 왜 硏究했나?
人工知能(AI) 技術의 性能이 發展함에 따라 適用 可能한 分野가 擴大되고 있다. 日常 속 사람과 AI 間의 接點도 늘어나고 있다. 그러나 눈부신 技術 發展에도 不拘하고 아직까지 AI가 모든 狀況에서 完璧하진 못한 것이 現實이다. 이런 狀況에서 AI가 만들어 낸 結果를 使用者에게 傳達할 때 結果가 만들어진 理由와 過程을 함께 잘 說明하는 ‘說明 可能한 AI(XAI, Explainable AI)’가 注目받고 있다. AI가 100% 完璧하다면 使用者가 받은 結果를 穩全히 따르면 된다. 하지만 아직 技術이 完璧하지 않기에 AI가 내놓은 結果를 使用者는 어떻게 活用해야 할지 苦悶할 必要가 있다. 이때 使用者가 AI를 잘 活用할 수 있도록 돕는 情報를 提供하는 것이 바로 說明 可能한 AI의 役割이다.
說明 可能한 AI의 重要性이 커지는 應用 分野 中 하나는 推薦 시스템(Recommender System)이다. 시스템이 提供한 推薦 結果를 使用者가 받아들이고 理解하는 데 있어 附加的인 說明은 宏壯히 有用한 情報가 될 수 있다. 硏究에 따르면 推薦 結果에 對한 詳細한 說明은 使用者가 認識하는 推薦 性能을 높여주고, 全般的인 使用者 經驗을 改善하는 데 效果가 있는 것으로 나타났다. 본 硏究를 遂行한 美國 펜실베이니아주립대와 캘리포니아대 共同 硏究陣은 推薦 시스템이 使用하는 推薦 方式에 注目했다. 推薦 方式에 따라 推薦에 對한 說明도 달라지는데 이에 따라 使用者 信賴에도 差異가 있을 수 있다는 假說을 세웠다.
硏究陣은 實驗에 세 가지 代表的인 推薦 方式을 活用했다. 使用者의 選好度와 製品 特性을 매칭하는 콘텐츠 基盤 推薦(Content-based Recommendation), 類似한 選好度를 가진 使用者를 매칭하는 協業 필터링(Collaborative Filtering), 人口統計學的 特性을 基盤으로 使用者에게 맞춤化하는 人口統計學的 필터링(Demographic filtering)에 따라 說明이 包含된 推薦 結果를 提示했을 때 推薦 시스템에 對한 使用者 信賴가 어떻게 달라지는지 分析했다.
무엇을 發見했나?
硏究陣은 實驗 參與者 235名을 募集해 實驗 條件別로 그룹을 나눠 任意의 映畫 推薦 시스템을 使用해 보도록 指示하고 그들의 使用 經驗을 分析했다. 各 參與者는 콘텐츠 基盤 推薦, 協業 필터링, 人口統計學的 필터링 中 하나의 推薦 方式과 좋음, 나쁨 中 하나의 推薦 品質을 配定받고, 該當 條件에 따른 推薦 시스템을 經驗했다. 各 使用者에게 推薦되는 映畫는 實際 推薦 알고리즘을 통해 決定되지 않고, 推薦 品質에 따라 硏究者들이 미리 選別한 映畫 目錄을 使用했다. 映畫 評價 사이트인 IMDB 내 人氣 映畫 中 評點이 높은 映畫 5個를 推薦 品質이 좋은 映畫로, 評點이 낮은 映畫 5個를 品質이 낮은 映畫로 活用했다. 各 被驗者는 割當된 實驗 條件에 따라 推薦 시스템을 통해 映畫를 推薦받은 後 使用 經驗 및 心理的인 要素를 알아보는 問項에 應答했고, 硏究陣은 應答 結果에 對한 統計 分析을 遂行했다.
硏究 結果는 크게 두 가지로 要約할 수 있다. 먼저
推薦 方式에 따라 推薦 시스템에 對한 사람들의 信賴度가 달라지는 것으로 나타났다. 結果에 對한 더 깊은 理解를 위해 硏究陣은 心理 現象과 關聯된 媒介 變數를 分析했고, 두 가지 認知的 휴리스틱(Heuristic, 意思決定者의 어림짐작)을 發見했다. 集團의 支持를 따라가는 便乘 휴리스틱(Bandwagon Heuristic)의 影響으로 사람들은 協業 필터링 方式을 가장 信賴하는 傾向이 있었고, 推薦 品質이 좋지 않은 狀況에서도 信賴를 끌어내는 效果가 나타났다. 또한 同質感을 바탕으로 하는 正體性 휴리스틱(Identity Heuristic)의 影響으로 使用者의 選好度와 製品 特性을 매칭하는 콘텐츠 基盤 推薦 方式이 人口統計學的 推薦보다 더 높은 信賴를 얻는 것으로 나타났다.
또한 사람들이 推薦 시스템과 相互作用 時 좋은 推薦을 받았을 때는 自身에게, 나쁜 推薦을 받았을 때는 시스템에 責任을 돌리는 利己的 偏向(self-serving bias) 傾向이 나타났다.
하지만 人口統計學的 推薦 시스템에서는 이런 偏向이 덜 두드러졌는데 이는 人口統計學的 推薦 시스템을 活用할 때는 基本的으로 推薦 品質에 關係없이 恒常 시스템에 더 많은 責任을 돌리기 때문인 것으로 推定됐다.
硏究 結果가 어떤 敎訓을 주나?
본 硏究는 類似한 選好度를 가진 使用者를 매칭하는 協業 필터링 方式이 便乘 휴리스틱을 誘發해 使用者 信賴를 얻는 데 效果的임을 보여준다. 人口統計와 같은 皮相的인 社會的 情報만으로는 使用者 信賴를 構築하기에 充分하지 않으며 特定 製品에 對한 集團的 趣向과 選好度를 具體的으로 反映하는 社會的 情報가 必要함을 알 수 있다. 따라서 協業 필터링 시스템을 設計하는 디자이너는 社會的 支持를 이끌어내는 照會, 클릭 및 共有 數 等 多樣한 便乘 指標를 定義하고 이를 使用者 인터페이스(UI) 構築에 積極 活用할 必要가 있다. 이런 便乘 指標는 特히 使用者가 推薦 시스템 利用을 갓 始作해 推薦 性能이 떨어질 수 있는 콜드 스타트 狀況에서 使用者들로부터 最小限의 信賴를 確保해 離脫을 防止하는 데 도움이 된다.
또한
硏究는 콘텐츠 基盤 推薦 시스템에서 同質感을 바탕으로 하는 正體性 휴리스틱이 잘 發現될 때 使用者 信賴를 얻을 수 있음을 보여준다. 따라서 UI에 正體性을 强化하는 要素를 强調함으로써 推薦 시스템의 結果가 使用者의 選好度와 直接的으로 關聯 있고, 個人의 正體性을 잘 反映한다는 事實을 使用者에게 傳達할 必要가 있다. 例를 들어 “슬픈 映畫를 좋아하는 사람인가요?” “스포츠팬인가요?”와 같이 使用者가 明示的으로 自身의 正體性과 選好度를 設定할 수 있는 要素를 UI에 包含하는 것이다. 또한 “스포츠팬이면 이 製品을 좋아할 것입니다”와 같이 推薦 結果에 使用者의 正體性에 對한 明示的 案內를 包含한다면 맞춤化, 個別化된 答辯을 통한 肯定的 效果를 期待할 수 있을 것이다.
마지막으로, 사람들은 推薦 시스템이 내놓는 結果가 만족스럽지 않을 때 自身보다는 시스템을 탓하는 傾向이 컸다. 따라서 使用者 信賴를 높이기 위해서는 推薦 品質에 影響을 미칠 수 있는 시스템 要素를 미리 言及하고, 現在 活用하는 使用者 데이터의 制約에 따라 推薦 結果의 品質이 떨어질 수 있음을 인식시킬 必要가 있다. 이런 措置는 最適化되지 않은 시스템 性能과 關聯해 使用者에게 一部 責任이 있음을 想起해 使用者가 시스템에 모든 責任을 轉嫁하는 傾向을 緩和할 수 있다. 또한 向後 使用者의 데이터 共有 設定에 따라 改善된 推薦 結果를 받을 수 있다는 期待感도 줄 수 있다.
AI가 日常 깊숙이 자리하는 只今, AI 서비스 設計者는 이처럼 使用者에게 信賴를 주기 위한 說明 裝置를 考案할 必要가 있으며 使用者는 AI의 推薦 結果가 때로는 不正確할 수 있음에 注意해야 한다. 또한 使用者 스스로가 主體가 돼 合理的으로 判斷하며 AI가 내놓는 結果를 活用하는 能力도 漸次 重要해질 것으로 보인다.
