[위클리 리포트]스타트업 ‘쏙’
音樂世界에 뛰어든 ‘AI 스타트업’ 가보니
AI 音樂 作曲 스타트업 ‘胞子랩스’
AI 오디오 技術 스타트업 ‘수퍼톤’
《AI가 作詞-作曲하고 노래까지 人工知能(AI)李 純粹 創作의 領域인 作曲, 作詞, 그리고 노래까지 파고들었다. 장르와 雰圍氣만 고르자 10分 만에 曲 하나가 뚝딱. 내 목소리는 케이팝 歌手의 唱法에 얹혀 노래로 再誕生한다. AI의 音樂 創作 現場은 어떤 모습일까.》
올해 7月 放映한 MBC 드라마 ‘닥터로이어’ 最終話에서는 緊張感과 雄壯한 느낌을 주는 音樂이 흘러나왔다. ‘In Crisis’라는 題目의 노래로, 緊迫한 리듬과 다양한 樂器의 소리는 緊張感을 倍加시켰다.
여느 서스펜스 드라마나 映畫에 나오는 音樂과 크게 다르지 않은 듯했지만 이 曲은 다른 OST와 달리 특별한 點을 갖고 있다. 作曲者가 사람이 아닌 人工知能(AI)이라는 것. AI 作曲 音樂이 地上波 드라마 OST로 活用된 것은 이番이 처음이다. 該當 曲은 AI 音樂 作曲 스타트업 ‘胞子랩스’의 作品으로, 드라마 시놉시스와 臺本을 分析해 키워드와 코드를 抽出한 뒤 劇 中 狀況과 어울리도록 曲을 만들었다.
○ AI 作曲家, 10分 채 되지 않아 한 曲 뚝딱
지난달 23日 서울 江南區 胞子랩스에서 會社 關係者가 曲의 장르와 雰圍氣를 選擇하자 人工知能(AI)이 이에 적합한 曲을 만들어내고 있다.
AI가 多樣한 分野에서 活用되고 있는 가운데 最近 몇 年 사이에는 人間의 獨步的 領域으로 여겨져 왔던 藝術, 特히 音樂 領域에서도 頭角을 드러내고 있다. 멜로디와 陰性, 歌詞 等 노래를 構成하는 各 要素를 AI 技術로 相當 部分 具現할 수 있는 것이다.
세 가지 要素 中 가장 活潑하게 發達한 領域은 멜로디를 만들어내는 作曲이다. 國內 AI 作曲 스타트업은 胞子랩스를 비롯해 △業보트 엔터테인먼트 △크리에이티브마인드 △뉴툰 等이 있다. 技術 水準은 企業마다 差異가 있지만 企業, 放送局, 아티스트 等과 協業하며 音樂을 선보이고 있다.
지난달 23日 서울 江南區 胞子랩스 事務室에 訪問해 職員의 案內에 따라 AI 作曲을 體驗했다. 이준환 胞子랩스 매니저는 “使用者가 願하는 音樂의 장르와 雰圍氣 等을 選擇하면 AI가 이에 맞게 作曲해 준다”고 했다.
記者는 胞子랩스가 內部的으로 構築해둔 非公開 플랫폼에서 장르는 ‘재즈’, 雰圍氣는 ‘業리프팅(uplifting·希望을 주는)’을 選擇했다. 이어 마우스를 몇 番 더 클릭해 어떤 樂器를 쓸 것인지, 速度나 拍子 等은 어떻게 할 것인지 設定했다.
曲은 10分이 채 되지 않아 完成됐다. 大槪 作曲家가 한 曲을 作曲하는 데 며칠에서 몇 週의 時間을 보낸다는 것을 考慮하면 比較할 수 없을 程度로 빠른 速度다.
시스템上의 再生 버튼을 누르자 재즈 特有의 리듬감이 있으면서도 밝은 雰圍氣의 音樂이 3分假量 흘러나왔다. 變奏가 適切히 이뤄지는 가운데 導入과 上昇, 下降, 마무리 等 노래의 敍事와 起承轉結이 確實해 曲이 立體的으로 느껴졌다. 該當 曲을 함께 듣던 胞子랩스 關係者는 “方今 만들어진 曲이라 職員인 나조차 처음 들어보는 曲”이라며 “設定을 그대로 둔 채 다시 曲을 生成하면 같은 曲이 나올 確率은 極히 작다”고 말했다.
胞子랩스에 따르면 이곳의 作曲 AI는 그동안 사람이 作曲한 노래 63萬餘 個를 學習했다. AI가 學習할 데이터를 만들기 위해 實際 作曲家들이 이곳에서 勤務하며 데이터龍 音樂을 作曲했다. 現在까지 AI가 作曲한 音樂은 最小 3萬2000曲으로, 只今도 AI는 繼續해서 새로운 曲을 만들고 있다.
허원길 胞子랩스 代表는 “全 世界的으로 크리에이터가 몇千萬 名이 될 것으로 推算되는데, 自身만의 音樂을 必要로 하는 境遇가 많다”며 “사람들의 또 다른 創作 活動을 돕고 새로운 産業이 發展하는 데 도움이 될 수 있을 것”이라고 말했다.
○ 人間 音聲에 담긴 感性 學習해 具現하는 AI, 콘텐츠 質 提高 寄與
지난달 23日 서울 江南區 수퍼톤 事務室에서 歌手 아이유의 唱法을 學習한 人工知能(AI) 모델이 東亞日報 김하경 記者의
목소리를 合成할 수 있도록 수퍼톤 關係者가 作業을 하고 있다. 송은석 記者 silverstone@donga.com
音聲 關聯 AI 技術도 높은 水準으로 開發되고 있다. 國內에서는 AI 오디오 技術을 만드는 스타트업 ‘수퍼톤’이 注目받는다. 이 企業은 지난해 SBS에서 放映한 프로그램 ‘世紀의 對決 AI vs 人間’에서 故人이 된 歌手 김광석의 生前 歌唱 音聲을 부활시킨 곳으로 有名하다.
수퍼톤의 技術은 크게 ‘陰性 分離 技術’과 ‘音聲 合成 技術’ 等 두 가지로 나뉜다. 前者는 背景音과 목소리를 區分해 내는 技術을 말한다. 예컨대 有名人이 野外舞臺에서 演說을 할 때 마이크에 雜音이 섞여 들어가면 演說 內容이 또렷하게 들리지 않을 수 있다. 이때 수퍼톤의 音聲 分離 技術은 雜音과 演說 音聲을 깔끔하게 分離해 낸다. 다양한 사람의 音聲과 背景音을 學習한 AI가 雜音과 音聲을 區分해 내는 것이다.
수퍼톤 關係者는 “여러 사람의 목소리와 雜音이 많은 狀況에서도 自身이 關心을 갖는 이야기는 選擇的으로 듣게 되는 ‘칵테일파티 效果’와 같은 原理”라며 “AI가 사람 머릿속에서 일어나는 行爲를 模寫했다고 보면 된다”고 說明했다.
特히 音聲 合成 技術은 수퍼톤이 獨步的으로 保有한 技術이다. 自動應答시스템(ARS)이나 내비게이션처럼 特有의 機械的인 말套가 담긴 목소리를 넘어 演技와 感性이 담긴 自然스러운 목소리를 만들어 내거나 歌唱을 驅使한다. AI에 音程과 語調를 비롯한 感性 情報를 學習시켜 脈絡에 맞게 具現하도록 한 結果다. 1分 30秒 길이로 錄音한 사람 목소리는 AI가 學習하고 訓鍊해 該當 목소리로 노래를 부르거나 臺詞로 具現하기에 充分하다.
수퍼톤을 訪問해 수퍼톤의 音聲 合成 技術을 體驗해 봤다. 克明한 對備를 위해 特有의 唱法과 高音으로 오랜 時間 實力을 인정받고 있는 歌手 아이유의 노래를 부르기로 했다. 于先 수퍼톤 關係者가 陰性 分離 技術을 通해 ‘좋은날’의 音源에서 伴奏(MR)와 아이유 목소리를 서로 分離해 냈다. 두 個로 分離된 音源은 各各 MR와 歌手의 목소리를 따로 錄音한 것처럼 鮮明하게 들렸다.
이어 記者는 裝備를 갖춘 수퍼톤 錄音室에 들어가 목소리를 錄音했다. ‘노래와 無關한 內容의 텍스트를 冊 읽듯 읽어도 AI가 記者의 목소리를 學習할 수 있지만, 노래로 부르면 合成을 더 잘할 수 있다’는 案內에 따라 아예 노래를 불렀다. 低音인 記者의 목소리로 消化하기에는 어려운 노래이다 보니 錄音된 목소리는 형편없는 듯 들렸다.
錄音을 마치고 10分假量 기다리자 音聲 合成 作業을 하는 컴퓨터 모니터에 作業을 完了했다는 알림이 떴다. 再生 버튼을 누르니 아이유 唱法으로 노래를 부르는 記者의 목소리가 흘러나왔다. 唱法이 水準級으로 바뀐 만큼 노래를 잘 부르는 一般人이 부르는 노래처럼 들렸다.
최희두 수퍼톤 最高運營責任者(COO)는 “AI 모델이 아이유의 唱法을 學習한 뒤 아이유의 音色을 빼내고 記者의 音色을 넣은 것으로 보면 된다”고 말했다.
이 같은 音聲 合成 技術은 藝術의 다양한 領域에서 活用되며 콘텐츠의 質을 높일 수 있다. 死亡한 아티스트의 목소리로 未發表曲을 만들어 팬들에게 感動을 膳賜할 수도 있고, 外國 映畫 및 드라마의 더빙 퀄리티를 높여 作品의 沒入度를 높일 수 있다.
예컨대 넷플릭스 드라마 ‘오징어게임’이 다른 나라에서 放映될 때는 該當 國家의 言語로 臺詞를 驅使하는 聲優들의 목소리를 錄音해 덧씌운다. 이러다 보니 俳優의 演技가 담긴 表情과 흘러나오는 목소리가 서로 동떨어진 듯 들린다.
하지만 AI가 外國 聲優의 大使를 學習해 聲優의 音色을 빼내고 俳優의 音色을 넣으면 입 模樣은 多少 다르더라도 韓國 俳優가 外國語로 臺詞를 한 것과 같은 생생함이 傳達될 수 있다.
수퍼톤 關係者는 “60代 俳優 목소리를 20臺처럼 만들 수도 있고, 性別을 轉換하거나 第3의 목소리도 만들어낼 수 있다”며 “아티스트가 가진 限界를 補完하고 補助하면서 作品의 質을 높이는 데 活用될 것”이라고 말했다.
○ 作詞 AI는 아직 걸음마 段階
AI 作詞 技術은 相對的으로 初期 段階에 있다는 評價다. 歌詞와 類似하다고 할 수 있는 ‘詩’의 境遇 最近 카카오브레인이 詩 쓰는 AI 모델 ‘시아(SIA)’를 開發해 53篇의 詩로 構成된 詩集을 出刊할 程度로 發展했다. 노래 家事만을 專門的으로 生成하는 企業으로 뚜렷하게 알려진 곳은 아직까지 없다.
다만 서울對 音樂오디오硏究室(MARG)에서 AI 作詞 技術을 開發 中이다. 코딩 프로그램에 키워드를 入力한 뒤 1∼3段階로 나누어진 創意性 水準을 設定하면 1分도 채 되지 않아 歌詞가 生成되기 始作한다.
記者가 지난달 22日 MARG를 訪問해 實際로 家事 生成에 參與해 봤다. ‘微笑’라는 키워드와 함께 創意性 水準을 1段階로 入力하자 ‘微笑 짓던 그 모습 이젠/아직도 잊히지 않아/어색했던 人士가/아무렇지 않은 척해’라는 그럴듯한 歌詞가 나왔다.
하지만 創意性 段階를 2段階로 높이고 ‘네가 참 좋아’라는 키워드를 넣자 ‘너희가 참 좋아/세상에 하나뿐인 너희가 있다/나도 그저 너 하나밖에 안 보이고/너만 보면 어지러워 미치겠다/난 그런 놈이 좋아’라는 ‘過激하게 眞情性 넘치는’ 歌詞가 生成됐다.
MARG 硏究員은 “現在 技術 水準에서는 創意性 水準을 낮추면 生成된 歌詞가 剽竊의 境界에 있을 수 있고, 水準을 높이면 동떨어진 歌詞가 生成될 可能性이 높다”며 “詩와 달리 家事는 韻律을 넘어 멜로디와 旋律에도 맞게 生成해야 하기 때문에 아직 課題가 많이 남아 있다”고 말했다.
‘AI 作曲’ 法으로 著作權 認定한 나라 아직 없어
‘AI 創作物’ 著作權 問題 핫이슈 浮上
AI 音樂 著作權 사람 登錄할 때… 開發者-作曲家-代表 曖昧模糊
“産業 커질수록 配分 問題 憂慮”… 韓, 社會的 合意-立法 遲遲不進
剽竊 막을 倫理 가이드도 必要
人工知能(AI)의 創作 領域이 擴大되고 能力이 高度化하면서 AI 創作物에 對한 著作權 問題가 새로운 이슈로 떠오르고 있다. 關聯 論議가 各國에서 活潑하게 이뤄지고 있는 가운데 韓國도 AI 産業 發展을 위해서 AI 創作物을 어떻게 保護하고 다룰 것인지 等에 對해 社會的 合意를 마련해야 한다는 指摘이 나온다.
關聯 業界에 따르면 AI 創作物은 現在 法的으로 保護받는 것에 製藥社項이 많다. 著作權法에서 著作物은 ‘人間’의 思想 또는 感情을 表現한 創作物로, 著作物의 主體는 人間으로 限定해 定義하고 있기 때문이다.
AI 作曲 스타트업 胞子랩스 關係者는 “現在 狀態에서는 AI 音樂의 著作權者로 사람을 登錄해야 하는데 AI 알고리즘을 開發한 開發者, AI가 學習할 音樂을 만든 作曲家, 아니면 代表 等 누구의 이름을 넣어야 할지 曖昧하다”며 “關聯 産業이 커질수록 收益 配分 問題가 發生할 憂慮가 크다”고 말했다.
專門家들은 大體的으로 AI 創作 産業의 發展을 위해 AI 創作物을 法的으로 保護해야 할 必要가 있다고 말한다. 손승우 韓國知識財産硏究院長(중앙대 産業保安學科 敎授)은 “AI가 生成한 創作物을 保護하지 않으면 關聯 産業이나 技術에 對한 投資, 硏究開發이 低下될 것”이라며 “旣存 著作權法을 改正할 것인지, 아니면 새로운 法律을 만들 것인지, 또 著作權 保護 水準은 어느 程度로 할지 等 全方位的인 論議가 必要하다”고 말했다.
具體的인 立法을 위해서는 무엇보다 꾸준한 社會的 論議를 통해 AI 創作物에 對한 合意된 正義가 必要하다. 예컨대 AI가 創作物을 生成하는 過程에 사람의 指示나 介入이 隨伴되는 境遇도 많기 때문에 該當 創作物을 穩全히 AI 創作物로 바라볼 수 있는지도 模糊하다. 關聯 市場이 아직 不透明하다는 點도 立法 措置를 하기에는 時機尙早라는 指摘도 있다.
國會에서도 2020年 12月 朱豪英 國民의힘 議員이 代表로 ‘著作權法 一部改正法律案’을 發議했다. 하지만 小官位인 文化體育觀光委員會는 AI 創作物을 法的으로 保護할 必要性이 있는지, AI 創作物에 對한 사람의 關與道에 따라 著作者를 어떻게 判斷할 것인지 等에 對한 論議가 不足하다고 指摘했다. 現在 該當 法案은 審査 段階에 머물러 있는 狀態다.
AI 創作物에 對한 保護뿐 아니라 AI가 學習에 使用한 데이터에 對한 著作權에 對해서도 論議가 必要하다. 特히 AI의 創作物이 사람이 만든 旣存 作品과 類似할 境遇 剽竊 是非가 붙을 수 있다. 冊 ‘人工知能과 音樂’ 著者인 이지원 피아니스트는 “著作權 關聯 法뿐 아니라 倫理 가이드도 事前에 만들어져야 剽竊 等 많은 衝突을 防止할 수 있을 것”이라고 말했다.
海外 國家들의 狀況은 어떨까. 英國은 컴퓨터 AI로 生成된 藝術作品의 著者를 ‘著作物 製作에 必要한 準備를 遂行하는 사람’으로 規定해 著作權法을 업데이트했다. 프랑스와 룩셈부르크 音樂著作權協會는 英國의 AI 作曲 프로그램인 ‘에이바(AIVA)’를 著作權者로 認定했다. 다만 韓國知識財産硏究院에 따르면 AI 創作物을 旣存 法制 內에서 다루거나 別途의 法으로 規定한 나라는 아직 없다.
※記者가 體驗한 映像은 東亞닷컴(donga.com)을 통해 볼 수 있습니다.
김하경 記者 whatsup@donga.com
-
- 좋아요
- 0
個
-
- 슬퍼요
- 0
個
-
- 火나요
- 0
個
-
- 推薦해요
- 個
