Article at a Glance
넷플릭스에서 ‘對與’(?)되는 映畫의 3分의 2街 顧客에게 推薦된 映畫이고, 아마존의 境遇 賣出의 35%가 推薦을 통해 發生하고 있다. 推薦 시스템 構築은 各自가 屬한 비즈니스가 어떤 領域에 屬해 있고, 어떤 顧客을 얼마만큼 確保하고 있는지에 따라 構築 目的부터 活用하는 모델에 이르기까지 完全히 다른 形態를 띠게 된다. 또한 推薦 시스템을 完璧하게 構築한 것처럼 보이더라도 그게 곧 비즈니스의 成功으로 이어지는 것도 아니다. 經營에 必須的인 인프라로, 때로는 核心 競爭力의 構成 要素로 자리매김하고 있는 推薦 시스템의 成功的 構成과 運營에 成功하려면 내가 屬한 비즈니스의 本質부터 깊이 들여다볼 必要가 있다.


編輯者註
DBR은 4次 産業革命 時代를 맞이해 急變하는 빅데이터 分析의 트렌드를 提示하고자 aSSIST(서울科學綜合大學院) 빅데이터MBA學科와 協力해 2018年 講義 中 核心 內容을 地上 中繼합니다. 過程 問議: sybae@assist.ac.kr



‘알파고 登場’ 以前부터 우리 周邊에 조용히 浸透해 들어왔던 人工知能. 어쩌면 이미 거의 10年, 아마도 그 以上의 期間 동안 우리의 購買決定에 暗暗裏에 影響을 미쳐왔던 그것. 바로 ‘推薦 시스템’이다.

인터넷 교보문고에서 冊을 살 때, 大型 온라인 마켓에서 生必品이나 옷 或은 電子機器를 살 때 끊임없이 내 앞에 떠오르는 ‘내가 關心 있어 할 만한 商品과 서비스’, 訪問하는 사이트마다 나를 쫓아다니는 배너廣告들은 너무도 當然한 우리의 日常이 돼 버린 지 오래다.

그러나 정작 推薦 시스템이 어떤 알고리즘과 原理로 具現되고 있고, 어떤 일에 쓰일 수 있는지, 제대로 된 推薦 시스템을 構築하기 위해서는 무엇이 必要한지에 對해서는 正確하게 아는 사람이 드물다. 이 分野 國內 最高 專門家로 꼽히는 이진형 分析家가 서울科學綜合大學院 빅데이터MBA 過程에서 24時間에 걸쳐 進行한 講義를 DBR에서 要約해 싣는다. 이진형 分析家는 머신러닝 基盤 빅데이터 分析 비즈니스 豫測 및 컨설팅 企業 威勢아이텍의 人工知能팀 首席으로 일하고 있다.

實際 알고리즘을 짜는 實習 等은 除外하고 어떤 시스템을, 왜, 어떻게 構築해야 하는지 講義한 內容을 中心으로 整理했다.

推薦 시스템의 目標와 歷史
먼저 推薦 시스템의 目標부터 確實히 定義 내릴 必要가 있다. ‘推薦’이라는 單語가 갖는 汎用性으로 인해 誤解의 餘地가 크기 때문이다. 推薦 시스템의 目標는 ‘使用者 記錄 情報, 去來 詳細 情報, 相互作用 로그와 같은 使用 可能한 使用者의 인터넷 活用 情報와 製品 辭讓, 使用者 後記, 다른 製品과의 比較 等을 아우르는 製品 情報를 考慮해 좀 더 個人化된 推薦을 하는 것’으로 定義할 수 있다. 使用者 觀點에서 보면 決定을 내리는 데 信賴할 수 있는 데이터로부터 關心 있을 만한 아이템을 받는 것이 重要하다. 提供者 觀點, 卽 推薦을 하는 企業 立場에서 보면 使用者에게 個人 맞춤 水準으로 推薦을 하는 게 重要하다. 賣出이나 朝會 數, 使用者 數 等을 願하는 目標만큼 끌어올리기 爲해서다. 좀 더 큰 觀點으로 推薦 시스템을 定義할 수도 있다. 아이템 購買나 照會 數 增加뿐만 아니라 使用者가 最上의 意思決定을 할 수 있도록 도와주는 시스템으로 定義하면 信用카드 詐欺 去來 探知(紛失 카드를 利用한 것으로 推定되는 去來 內譯을 찾아주는), 株式 價格 豫測(내가 사야 할 만한 種目을 推薦해주는), 옷 이미지 認識(내가 좋아할 만한 옷을 이미지 認識을 통해 알려주는), 故障 豫測(飛行機 엔진에서 故障 날 것으로 豫想되는 部分을 찾아주는) 等 多樣한 分野로 擴張된다. 推薦은 結局 完全히 人工知能의 領域이 된다.

다시 우리가 物件을 購買하거나 콘텐츠를 消費할 때마다 마주치게 되는 ‘協議’의 推薦 시스템 얘기로 돌아가보자. 推薦 시스템은 크게 (1) 協業 필터링 모델, (2) 콘텐츠 基盤 모델, (3) 하이브리드 推薦 모델로 나뉜다.

(1) 協業 필터링 모델은 推薦 시스템 1世代에 該當한다. 使用者들의 行動 履歷에 基盤해 推薦을 해준다. 두 名의 使用者가 過去에 同一한 關心事를 共有하고 있었다면 未來에도 類似한 趣向을 가질 것이라는 家庭이 前提돼 있다. 例를 들어 A라는 사람이 ‘머신러닝’과 關聯한 冊을 檢索해 購入했다면 A와 類似한 購買패턴, 나이帶, 學歷 等을 가진 B라는 사람이 接續했을 때, A가 購買한 冊을 推薦해주는 方式이다. 가장 오래되고 우리 모두가 接해본 가장 흔한 推薦 시스템으로 性能이 매우 좋은 便이다. 아마존이나 교보문고에서, 옥션이나 이베이에서 우리에게 뜨는 推薦 商品 리스트가 大部分 이 시스템에 바탕을 두고 運營된다. 그런데 이 시스템은 큰 問題를 하나 갖고 있다. 바로 ‘콜드 스타트’ 問題다. 어느 程度 時間 동안 充分한 사람들이 資料를 쌓지 않으면 아예 推薦이 不可能하다. 또 어느 程度 資料가 쌓인 以後에도 마찬가지 理由로 처음 보는 패턴의 消費者가 나타나거나, 새로운 類型의 製品이나 서비스가 나타났을 때 比較할 만한 對象이 없기에 아예 推薦이 作動하지 않는 問題가 있다.



(2) 콘텐츠 基盤 모델은 이 問題를 解決하기 위해 登場했다. 使用者와 아이템의 屬性에 基盤해 推薦을 하는 것으로 主로 유튜브 動映像을 볼 때 活用된다. 콘텐츠 그 自體의 聯關性과 類似度를 中心으로 推薦이 이뤄진다. 萬若 ‘류현진 出戰 競技’ 動映像을 하나 보고 나면 그 以後 關聯 콘텐츠로 류현진의 다른 競技, 하이라이트, 메이저리그 다른 競技 等을 繼續 推薦하는 것이다. 그러나 이 境遇 다른 스포츠, 或은 스포츠를 벗어난 다른 領域으로 擴張된 새로운 아이템을 推薦하는 건 거의 不可能한 시스템이다. 協業 필터링 推薦 方式과 콘텐츠 基盤 모델 等 다양한 模型을 섞어서 推薦 正確度를 向上시킨 게 바로 (3) 하이브리드 推薦 모델이다.

只今까지 說明한 세 가지 推薦 모델을 活用할 때에 注意해야 할 點이 있다. 歷史的으로는 1世代 協業 필터링부터 콘텐츠 基盤 모델, 하이브리드 推薦 시스템 巡으로 發展해왔지만 어느 하나가 特別히 優越한 것도 아니고, 各各 必要에 따라 쓰임이 다를 뿐이라는 것이다. 하이브리드 推薦 모델로 推薦 시스템을 構築할 때에도 마찬가지로 無條件 좋은 模型을 마구 다 섞기보다는 實際 내가 어떤 推薦을, 어떤 顧客에게, ‘왜’ 하는지를 잘 생각해 設計할 必要가 있다. 이미 엄청난 使用者 데이터와 아이템 購買/消費 데이터가 쌓여서 거의 모든 패턴을 確保한 狀態인데 굳이 協業 필터링 시스템을 버릴 必要는 全혀 없다는 얘기다.

推薦 시스템을 構築할 때 念頭에 둬야 할 것들
많은 비즈니스 領域에서 이미 推薦 시스템은 單純히 必要한 水準이 아니라 거의 核心的인 競爭力의 構成要素가 됐다. 世界 最高의 콘텐츠 企業으로 成長하고 있는 넷플릭스에서 ‘對與’(?)되는 映畫의 3分의 2街 顧客에게 推薦된 映畫다. 世界 最大의 流通 채널이자 生活 플랫폼으로 進化하고 있는 아마존의 境遇 賣出의 35%가 推薦을 통해 發生하고 있다. 아마존은 앞서 말했듯 엄청나게 새로운 模型을 이것저것 가져와 뒤섞어서 推薦 시스템을 만들지도 않는다. 이미 充分히 데이터가 쌓여 있기에 아이템을 爲主로 한 基本的인 協業 필터링 모델을 改良해가면서 推薦 시스템을 改善하고 있다. 넷플릭스는 좀 더 다양하게 새로운 技法을 導入하지만 아주 특별한 技術을 쓰는 건 아니다. 重要한 건 ‘適材適所’라는 얘기다.

이 講義를 듣는 여러분이 어떤 비즈니스에 屬해 있는지, 어떤 業務에 從事하는지 等에 따라 어떤 시스템을 構築해야 할지도 달라진다. 어쩔 수 없이 ‘케이스 바이 케이스’로 推薦 시스템을 構築해야 할 텐데 그럼에도 不拘하고 念頭에 둬야 할 基本 原則이 있고 그걸 整理해두고 自身의 비즈니스에 맞게 構築하면 좋을 것이다.

于先, 너무도 當然한 얘기지만 推薦 시스템 構築을 위해서는 세 가지가 必要하다. 첫째, 도메인 知識이다. 例를 들어 내가 流通과 關聯된 일을 한다면 流通業에 對한 專門的 知識에 더해 아마존에서는 언제, 어떻게, 무슨 推薦 시스템을 導入해 어떤 成果를 냈는지 等도 把握한 狀態여야 한다. 미디어에 있다면 페이스북, 콘텐츠 서비스 企業에 있다면 自身의 分野 全般에 對한 도메인 知識에 넷플릭스의 시스템에 對한 硏究가 先行돼야 할 것이다. 두 番째로, 當然하게 데이터가 必要하고, 세 番째로 그 데이터가 쌓이면 分析할 수 있는 인프라가 必要하다. 이 세 가지가 없으면 아무리 아이디어가 좋고, 적합한 알고리즘을 짜더라도 제대로 된 推薦 시스템은 構築할 수가 없다.

그리고 그다음에 ‘내가 推薦 시스템을 構築하려는 目的’이 무엇인지 正確하게 分類할 수 있어야 한다. 推薦 시스템 構築 目的은 普通 네 가지 中 하나다. 하나는 가장 잘 팔리는 商品 卽, ‘베스트 商品’을 推薦하는 것이고, 다른 하나는 關心 있는 商品과 類似한 商品을 推薦하는 것이다. 書店에서 베스트셀러를 推薦하는 것이 첫 番째 推薦 시스템의 典型的인 事例고, 어떤 商品을 照會한 顧客에게 같은 것을 照會한 顧客이 산 다른 商品도 볼 수 있도록 하는 게 두 番째 推薦 目的을 具現하는 代表的인 例다. 세 番째로 생각해볼 수 있는 推薦 시스템 構築 目的은 ‘特定人에게 個人化된 商品을 推薦하는 것’이다. 卽 ‘xxx 님만을 위한 推薦’이 그 目的이다. 마지막으로 생각해볼 수 있는 推薦 目的은 ‘狀況에 적합한 推薦’을 하는 것이다. 봄이 되면 ‘벚꽃 엔딩’이라는 노래를 推薦하거나 비가 오는 날에 ‘비처럼 音樂처럼’과 같은 曲을 推薦하는 것 等을 떠올리면 된다. (表 1)



그리고 이 모든 것을 自身의 비즈니스에 맞게 構築한 뒤 推薦 시스템이 너무나 잘 돌아가는 것 같을 때 돌아보고 點檢해야 하는 部分이 있다. 이건 많은 비즈니스 리더가 놓치는 部分이다. 바로 ‘推薦의 多樣性’ 確保다. 別거 아닌 것 같지만 한 番 데이터가 쌓이고 推薦 시스템이 돌아가기 始作하면 그 안에서 繼續 맴돌아 얼핏 보기엔 宏壯히 適合度 높은 시스템이 돌아가는 것 같지만 顧客들은 뭔가 不滿을 느낄 수가 있다. 먼저 ‘리스트 間 類似性’을 點檢할 必要가 있다. 어떤 顧客이 여러 番 接續하거나 檢索했을 때, 卽 여러 番의 推薦 要請이 自動으로 이뤄졌을 때 推薦 시스템 알고리즘이 繼續 같은 아이템을 提供하고 있지는 않은지 點檢하라. 顧客이 繼續 檢索을 다시 한다는 건 그 顧客이 願하는 게 안 나온다는 뜻이다. 또 ‘리스트 內 類似性’度 살펴봐야 한다. 推薦 結果로 提供되는 製品이나 서비스 아이템이 모두 비슷한 屬性으로만 이뤄져 있을 境遇 潛在顧客을 놓칠 수가 있다.

只今까지 살펴봤듯 推薦 시스템 構築은 各自가 屬한 비즈니스가 어떤 領域에 屬해 있고, 어떤 顧客을 얼마만큼 確保하고 있는지에 따라 그 構築 目的부터 活用하는 모델에 이르기까지 完全히 다른 形態를 띠게 된다. 또한 推薦 시스템을 完璧하게 構築한 것처럼 보이더라도 그게 곧 비즈니스의 成功으로 이어지는 것도 아니다. 經營에 必須的인 인프라로, 때로는 核心 競爭力의 構成要素로 자리매김하고 있는 推薦 시스템의 成功的 構成과 運營에 成功하려면 다시 여러분이 屬한 비즈니스의 本質부터 깊이 들여다볼 必要가 있다. 內 비즈니스에 對한 本質的 理解 없이 特定 시스템 構築에만 매달리거나 華麗하고 絢爛해 보이는 技術에만 執着하면 世界 最高의 推薦 시스템에 世界 最多 데이터를 投入해도 비즈니스를 成功으로 이끌 수 없다.

人氣記事