[스타트業-ing] 클레온 “AWS 人퍼런시아로 GPU 서버 費用 50% 줄였어요”

[IT東亞 한만혁 記者] 生成型 人工知能(AI)李 注目받으면서 다양한 스타트업이 AI 基盤 솔루션을 선보이고 있다. 새로운 市場을 開拓하면서 글로벌 企業과 投資者의 注目을 끄는 곳도 적지 않다. 하지만 이들은 莫大한 GPU 서버 費用을 堪當해야 한다는 負擔을 안고 있다. AI 솔루션 開發 以後에도 最適化, 輕量化 作業에 많은 努力을 기울이는 理由다.

디지털 휴먼을 통해 疏通의 經驗을 改善하고 있는 클레온 亦是 GPU 서버 費用에 負擔을 느끼고 있는 스타트업 中 하나다. 클레온은 한 張의 寫眞과 30秒 分量의 목소리로 디지털 휴먼 映像을 製作하는 클론, 디지털 휴먼과 자유롭게 對話하는 챗아바타 等의 서비스를 提供하고 있으며, 보다 많은 사람에게 디지털 휴먼 서비스를 提供하기 위해 努力하고 있다.

GPU 서버 費用 節減을 위해 苦悶하던 클레온은 最近 아마존웹서비스 人퍼런시亞(AWS Inferentia)를 導入했다. 人퍼런시아는 딥러닝 推論 애플리케이션에 必要한 高性能을 最低 費用으로 提供하도록 設計된 AI 칩이다. 德分에 클레온은 디지털 휴먼 生成 모델 推論 費用을 50% 切感했다.

클레온에서 人퍼런시亞 導入을 擔當했던 조대양 프로덕트AI팀長을 만나 좀 더 仔細한 이야기를 나눴다.

디지털 휴먼으로 疏通의 革新 이룬다

IT東亞: 安寧하세요, 조대양 팀長님. 于先 팀長님 紹介 付託드립니다.

조대양 팀長: 安寧하세요, 클레온에서 프로덕트 AI팀을 맡고 있는 조대양입니다. 저는 카이스트에서 博士 課程을 밟으면서 네트워크 시스템 高度化 硏究를 하고 있었는데요. 同僚, 先輩의 勸誘로 디지털 휴먼 商用化에 寄與하고자 클레온에 合流하게 되었습니다.

언뜻 보면 旣存에 硏究하던 分野와 差異가 있는 것 같지만 事實 딥러닝度 GPU라는 하드웨어에서 돌아갑니다. 제가 硏究하던 것이 네트워크 시스템을 最適化하고 하드웨어의 로우 레벨 코드를 開發하는 作業이어서 原理는 비슷해요. 어느 程度 聯關性은 있죠.

IT東亞: 現在 클레온에서 프로덕트 AI 팀長을 맡고 있는데요. 어떤 일을 하는 팀인가요?

조대양 팀長: 클레온에는 R&D테크센터가 있고 그 안에 프로덕트 AI팀과 퓨처AI팀, 百엔드팀이 있습니다. 퓨처AI팀은 새로운 AI 技術을 硏究하고, 프로덕트AI팀은 퓨처AI팀의 成果나 實際 서비스에 適用할 수 있는 技術을 찾아 高度化하는 役割을 합니다. 백엔드팀은 프로덕트AI팀이 高度化한 딥러닝 모델을 서비스에서 使用할 수 있도록 聯動하고요. 그러니까 저희 팀은 主로 딥러닝 모델 硏究, 솔루션 輕量化, 데이터를 통한 모델 性能 改善 等의 業務를 하고 있습니다.

IT東亞: 클레온에 對해서도 말씀 付託드립니다.

조대양 팀長: 클레온은 디지털 휴먼을 통해 疏通의 革新을 이루고자 합니다. 旣存의 疏通은 對面이나 電話, 온라인, 畫像會議 等을 통해 이뤄지는데 여기에는 時間的, 空間的, 言語的 限界가 있습니다. 저희는 디지털 휴먼을 통해 깨어 있을 때뿐 아니라 잠든 時間에도 疏通하고, 自動 通譯을 통해 言語에 拘礙받지 않고 疏通하는 等 物理的인 障壁을 허물고 언제 어디서나 쉽고 빠르게 疏通하는 世上을 만들고자 합니다.

이를 위해 現在 클론, 챗아바타, 클링 서비스를 出市했습니다. 클론은 한 張의 寫眞과 목소리로 디지털 휴먼을 生成하는 서비스입니다. 願하는 메시지를 텍스트로 電送하면 디지털 휴먼이 말하는 方式입니다.

챗아바타는 다양한 컨셉의 디지털 휴먼과 언제든지 對話할 수 있는 서비스입니다. 클론과 달리 實時間 對話型 서비스에요. 아바타에게 質問하면 바로 答辯을 들을 수 있죠. 클링은 더빙 言語에 따른 입 模樣을 生成하는 서비스입니다.

IT東亞: 이들 서비스를 위해 클레온이 構築한 技術은 무엇인가요?

조대양 팀長: 디지털 휴먼을 만들기 위해서는 얼굴, 입 模樣, 前身, 感情 等 다양한 側面에서 딥러닝 모델을 活用해야 합니다. 저희는 願하는 對象의 全體 頭上을 가져오는 헤드스와프(HeadSwap) 技術을 保有하고 있습니다. 旣存에는 눈, 코, 입에 局限되는 페이스스와프(FaceSwap) 技術만 있었는데 只今은 머리카락, 얼굴 크기 等 머리 全體를 가져옵니다.

또한 音聲에 맞춰 입 模樣을 만드는 립싱크 生成 技術, 옷을 包含하여 몸 全身을 만드는 풀보디(Full Body) 生成 技術을 開發했습니다. 30秒 程度 分量 목소리만 있으면 어떤 텍스트를 入力하든 그 목소리로 읽어주는 一種의 TTS 技術도 保有하고 있어요. 現在 5個 言語를 支援하고 있는데요. 持續的으로 追加할 豫定입니다. 딥러닝 모델 輕量化 또한 저희의 强點입니다. 德分에 디지털 휴먼을 相對的으로 低廉한 費用에 서비스할 수 있어요.

GPU 서버 費用 節減 爲한 選擇

IT東亞: 클레온은 最近에 AWS 人퍼런시아를 導入했습니다. 導入하게 된 契機가 있나요?

조대양 팀長: 저희는 AWS가 提供하는 엔비디아 GPU 서버 EC2 G4dn을 使用했습니다. 性能이나 開發 環境은 充分히 만족스러웠어요. 하지만 費用 負擔이 컸습니다. GPU 서버 費用이 다른 서버에 비해 壓倒的으로 높아요. 全體 費用의 70~80%를 차지할 때도 있습니다. 오픈AI가 챗GPT를 運營하는데 하루 70萬 달러(約 9億 2771萬 원)가 든다는 記事도 있죠. 大部分의 企業이 솔루션 開發 以後 最適化, 輕量化하는 理由 中의 하나가 GPU 서버 費用을 줄이기 위함이에요.

特히 저희는 보다 많은 顧客에게 서비스를 提供하는 것이 目標이다 보니 아무래도 GPU 서버 費用 節減이 切實한 狀況이었어요. 그래서 苦悶하고 있었는데 AWS의 저희 專擔 어카운트 매니저가 性能은 비슷한데 GPU 서버 費用을 줄일 수 있다면서 人퍼런시아를 推薦하더라고요. 그래서 導入을 決定했습니다.

IT東亞: 實際로 導入해 보니 어떤가요? 費用 節減 效果를 보셨나요?

조대양 팀長: 지난해 9月부터 始作해 約 두 달間 作業했습니다. 事實 한 달이면 될 줄 알았는데 다른 業務와 竝行하기도 했고 豫期치 못한 誤謬들이 좀 있어서 豫想보다 오래 걸렸어요. 勿論 다른 企業의 솔루션을 適用했다면 더 오래 걸렸을 거에요. AWS의 境遇 文書化度 잘 되어 있고 質問을 올리면 AWS 本社나 韓國의 솔루션 아키텍처(SA)가 빠르게 對應해서 좀 수월했습니다.

性能 部分에서는 旣存 環境과 類似합니다. 設計 方式이 다르긴 하지만 斜陽이나 最大 性能은 거의 同一하거든요. 實務者 立場에서는 별다른 差異를 못 느끼고 있습니다. 그럼에도 GPU 서버 費用은 거의 折半 水準으로 낮아졌어요. 事實 GPU 서버 費用은 워낙 額數가 크다 보니 10~20%만 줄여도 宏壯한 惠澤이거든요.

저희가 計算해 보니 人퍼런시亞 Inf1.xlarge 使用 時 g4dn.xlarge 對備 39.32%, Inf1.6xlarge 使用 時 g4dn.12xlarge 對備 59.78%의 費用 節減 效果가 있더라고요. 會社 立場에서는 엄청난 長點이죠.

IT東亞: 費用 節減 效果는 確實하네요. 그런데 導入 過程에서 誤謬가 좀 있었다고 하셨는데요. 어떤 誤謬였나요?

조대양 팀長: 事實 저는 그前부터 人퍼런시아에 對해 알고 있었어요. 費用을 劃期的으로 줄인다는 長點도 들었고요. 그런데 정작 實際 適用 事例는 많지 않더라고요. 導入을 檢討하면서 旣存 事例들을 좀 찾아봤는데 導入 過程보다는 結果에 對한 이야기가 많았어요. 그래서 導入 過程이 簡單할 거라고 豫想했죠.

그런데 實際로 해보니 誤謬가 좀 나오더라고요. 그런데 에러 메시지가 明確하지 않았어요. 에러 位置가 ‘unknown(알 수 없음)’으로 나오기도 했고요. 解決하고 보니 그렇게 어려운 問題는 아닌데 에러 메시지가 正確하지 않아서 조금 더 細密하게 살펴보고 이런저런 試圖를 해야 하죠. 아무래도 딥러닝 分野의 發展 速度가 너무 빠르고 使用 事例가 千差萬別이라 細細한 部分까지 具現되지 않은 것 같더라고요.

勿論 AWS의 도움도 받았습니다. AWS와 疏通하는 채널이 있는데, 그곳을 통해 症狀이나 誤謬에 對해 問議하면 AWS 人퍼런시亞 開發팀이나 國內 SA팀이 實際 內部에서 테스트해 보고 빠르게 回信을 주더라고요. 德分에 수월하게 解決策을 찾기도 했습니다. 그리고 저희가 먼저 問議하지 않아도 國內 SA팀이 隨時로 連絡해 좀 더 잘 活用할 수 있는 팁이나 助言을 주기도 했어요. 많은 도움이 되었습니다.

IT東亞: 말씀을 들어보니 人퍼런시아에 對해 全般的으로 滿足하고 있는 것 같습니다. 그러면 다른 스타트업에도 推薦할 만한가요?

조대양 팀長: GPU 서버 費用 이슈는 AI를 活用하는 모든 企業이 共通으로 느끼는 部分입니다. 저는 人퍼런시아가 그 企業 모두에게 적합한 솔루션이라고 생각합니다. 特히 AWS G4dn을 使用하는 企業에게 推薦하고 싶어요. 勿論 저희처럼 導入 過程에서 誤謬가 나올 수도 있어요. 하지만 그것을 잘 풀어가면 그 以後에는 엄청난 費用 節減 效果를 經驗할 수 있을 것입니다. 저희도 새로 開發하는 推論 서버에 人퍼런시아를 積極 使用할 計劃입니다. 이를 통해 費用을 節減하고 顧客에게 보다 合理的인 價格으로 서비스를 提供하도록 努力할 것입니다.

IT東亞: 마지막으로 클레온의 向後 計劃 및 目標에 對해 말씀 付託드립니다.

조대양 팀長: 于先 몇 가지 새로운 서비스를 準備하고 있어요. 于先 演藝人 디지털 휴먼과 다양한 言語로 對話하는 서비스 ‘크리챗’을 來年 上半期에 선보일 豫定입니다. 또한 웃음, 禍, 슬픔 等 感情을 表現할 수 있는 3D 메시 基盤 디지털 휴먼度 製作하고 있습니다.

글로벌 市場도 積極的으로 準備하고 있습니다. 特히 美國의 境遇 챗봇 市場이 活性化되어 있는데, 그만큼 디지털 휴먼에 對한 니즈도 剛합니다. 저희는 3月 18日부터 進行된 엔비디아 GPU 테크놀로지 콘퍼런스(GTC) 2024에 參與하고 있는데 이를 通해 多樣한 챗봇 企業과 協業 포인트를 만들고자 합니다.

이와 함께 持續的인 서비스 企劃, 모델 高度化 및 輕量化 等을 통해 多樣한 分野에서 活用되고 便宜性을 提供하는 纖細한 디지털 휴먼을 만들기 위해 努力할 것입니다.

글 / IT東亞 한만혁 記者 (mh@itdonga.com)