“VR 아바타가 내 表情이랑 똑같네!”

東亞日報
入力 2018年 12月 21日 03時 00分

코멘트: 個

좋아요: 個

코멘트: 個

漢陽大硏究팀, 表情再現技術開發… 皮膚에 흐르는 微弱한 電流 읽어
11가지 表情, 正確度 88% 表現

“놀란 表情을 지어 보세요.”

19日午前 서울 城東區漢陽綜合技術院 3層硏究室. 車好勝, 최성준 한양대 電氣·生體工學部硏究院의 말에 눈을 크게 뜨고 입을 힘껏 벌렸다. 앞에 있는 모니터에 우스꽝스러운 表情이 그대로 보였다. 그런데 마치 그 모습을 보고 놀란 듯, 옆에 그래픽으로 그려진 焚身(아바타)도 덩달아 눈을 크게 뜨고 입을 떡 벌렸다. 누가 봐도 놀란 모습이었다. 憫惘해 입을 다물고 웃자 아바타도 활짝 웃었다.

임창환 한양대 전기·생체공학부 교수팀이 개발한 표정 재현 기술을 직접 시연해 봤다. 놀란 표정을 짓자 분신(아바타)도 따라서 놀란 표정을 짓고 있다. — 임창환 한양대 電氣·生體工學部敎授팀이 開發한 表情再現技術을 直接試演해 봤다. 놀란 表情을 짓자 焚身(아바타)도 따라서 놀란 表情을 짓고 있다.

임창환 電氣·生體工學部敎授가 開發中인 假想現實(VR)用表情認識·再現技術을 試演하던 中이었다. VR 技術이 發展하면서 假想現實 속 風景은 漸漸 자연스러워지고 있다. 하지만 아직까지 解決되지 않은 게 있다. 바로 플레이어 自身의 表情이다. 未來에는 페이스북 等의 소셜네트워크서비스(SNS)가 VR와 結合해 아바타를 통해 對話를 나누게 될 可能性이 높아 實際表情을 自然스럽게 再現하는 技術이 必須다.

이 때문에 페이스북은 VR 企業과 視線追跡技術企業을 引受해 表情再現硏究에 沒頭하고 있다. 눈에 쓰는 헤드마운티드디스플레이(HMD) 아래에 작은 카메라를 달아 입 模樣을 읽거나, HMD에 壓力 센서를 달아 얼굴 筋肉의 움직임을 測定해 表情으로 變換하는 技術을 開發中이다. 日本의 VR 企業抛브도 視線追跡技術을 利用해 表情을 認識하고 있다.

林敎授 팀은 全혀 다른 方法을 試圖하고 있다. 얼굴 表面에는 神經이 만들어 낸 아주 微弱한 電流가 흐른다. ‘筋電圖’라고 부르는데, 1.5V 乾電池의 5000分의 1 程度에 該當하는 300μV(마이크로볼트·1μV는 100萬分의 1V)의 電流가 흐른다. 表情을 지으려 얼굴 筋肉을 움직이면 筋電圖가 變化한다. 林敎授 팀은 電極을 얼굴에 붙여 表情變化 때 發生하는 筋電圖變化 패턴을 읽고, 이를 數學的으로 解釋해 웃음, 키스, 놀람, 두려움, 슬픔, 비웃음 等 11個表情으로 正確하게 分類하고 再現하는 技術을 開發했다.

얼굴에 電極을 붙인다고 해서 걱정했는데, 實際로는 HMD에서 얼굴에 닿는 部分에 電極이 들어가 異物感이 없었다. 實驗이라 HMD를 빼고 눈썹 위와 눈 아래에 어른 새끼손톱만 한 電極 8個를 붙이자 準備가 끝났다. 처음 使用할 때는 11個表情을 한 番씩 지으며 ‘登錄’하는 節次가 있다. 個人마다 表情과 筋電圖 패턴이 달라 꼭 必要한 節次다. 旣存 다른 硏究에서는 이 過程을 4∼14番反復해야 겨우 表情을 區分했는데, 林敎授 팀의 技術은 한 番만 登錄하면 된다. 畵面을 보며 3秒씩 입을 벌렸다 눈을 찡그렸다 하니 1分餘 만에 登錄이 끝났다. 以後부터는 아바타가 實際表情을 따라 하기 始作했다.

現在 이 技術의 正確度는 約 88%다. 10番中 9番은 正確히 表情을 分類한다는 뜻이다. 茶硏究員은 “슬픔과 두려움같이 비슷한 表情을 種種混同한다”고 말했다. 實際로 해보니 이 두 表情에서 가장 많이 에러가 났다. 旣存筋電圖技術中에는 最高 97%까지 正確度가 올라가는 것도 있었지만, 再現하는 表情數가 적었다. 林敎授는 “筋電圖 패턴을 分析하는 데 全혀 다른 새로운 數學을 導入하고 分析方法을 바꿔 正確度는 비슷하면서 單 한 番의 表情登錄으로 가장 많은 表情을 再現할 수 있게 됐다”고 말했다.

이 技術은 應用可能性이 높은 데다 世界的으로도 아직 商用化에 成功한 곳이 없어 三星未來技術育成事業으로 選定돼 支援을 받고 있다. 林敎授는 “來年에는 딥러닝을 活用해 좀 더 自然스러운 얼굴 表情을 再現하는 方法을 追加할 計劃”이라고 말했다.
　
윤신영 동아사이언스 記者 ashilla@donga.com

#vr #헤드마운티드디스플레이 #假想現實