Article at a Glance
2024年 2月 오픈AI가 出市한 텍스트 基盤 映像 生成 모델(text-to-video model) ‘소라(Sora)’는 챗GPT 出市 當時와 맞먹을 程度로 뜨거운 反應을 일으켰다. 소라는 單純히 高品質 비디오를 生産해주는 製品 程度가 아니라 物理的 世界를 理解하고 現實을 시뮬레이션할 수 있는 AI의 出現을 象徵한다. 이는 汎用人工知能(AGI)의 實現을 向한 하나의 里程標이자 발板이기도 하다. 이런 AI 技術 퀀텀점프의 初入에서 人間 아티스트의 存在 意義를 證明하려면 人間과 AI의 差異를 繼續해서 苦悶해야 한다. AI는 創作 行爲를 單純化하고 ‘創意性의 標準化’를 試圖한다는 點에서 人間과 藝術을 接近하는 方式이 根本的으로 다르다. 이런 差異에 注目하고 作家 精神의 毁損을 막으려면 作家들 스스로도 主體性을 잃지 않고 各自의 내러티브가 凝縮된 이야기들을 表現해야 하며 AI의 著作權 洗濯 試圖에도 警覺心을 가지고 行動해야 한다.
“게임이 始作됐다(game on).”
비디오 生成型 人工知能(AI) 分野의 代表 走者인 美國 스타트업 런웨이(Runway)의 CEO 크리스토발 발렌주엘라가 멀티 某달
1
AI 모델 ‘소라(Sora)’ 出市 直後 X(옛 트위터)에 남긴 말이다. 2018年 美國 뉴욕大 인터랙티브 텔레커뮤니케이션 프로그램 卒業生들이 共同 創業한 런웨이는 지난해 구글·엔비디아·세일즈포스 等으로부터 1億4100萬 달러(藥 1883億 원) 規模의 投資를 받고 AI 動映像 서비스를 高度化하는 中이다. 지난 2月 15日(現地 時間) 챗GPT 開發社 오픈AI가 出市한 텍스트 基盤 映像 生成 모델(text-to-video model) 소라는 비디오 生成型 AI 競爭이 本格化된 2024年 斷然코 런웨이가 銳意注視해야 할 對象이다. 소라라는 이름은 ‘無限한 創意性’乙 聯想케 하고자 하늘(空)을 뜻하는 日本語에서 따왔다.
소라는 命令語 프롬프트를 入力하면 最大 1920×1080픽셀의 解像度로 1分 程度 길이의 高品質 映像을 뚝딱 만들어 내며 衝擊과 驚歎, 憂慮와 期待를 同時에 자아냈다. 市場의 反應은 마치 챗GPT가 처음 出市됐을 當時를 聯想케 할 程度로 뜨거웠다. 이처럼 AI로 動映像을 生成하려면 많은 데이터를 處理하기 위한 高性能 그래픽處理裝置(GPU)와 高帶域幅메모리(HBM) 같은 메모리 半導體가 必要하다. 最近 AI 半導體 生産을 위해 7兆 달러(藥 9300兆 원) 規模의 投資 誘致에 나선 오픈AI의 行步에 對해서 여러 論難이 잇따르고 있지만 적어도 이 會社가 사람들의 마음을 사로잡는 서비스가 무엇인지는 機敏하게 把握하고 있는 듯하다.
소라, 現實을 시뮬레이션하다
소라는 ‘디퓨전 트랜스포머(Diffusion Transformer)’ 모델이다. 디퓨전 모델은 機械 學習을 통해 이미지에 노이즈를 넣어 이를 除去하는 過程을 數次例 거듭하면서 映像을 變形해 原本 이미지를 만든다. 노이즈 모델링을 통해 高品質 映像을 生成하는 것이다. 또한 트랜스포머는 單語 사이의 脈絡을 類推해 全體 文章을 理解하듯 順次的인 데이터 間 關係를 追跡해 意味를 學習하는 神經網이다. 트랜스포머를 基盤으로 하는 챗GPT가 텍스트 토큰에서 패턴을 찾는 것과 달리 소라는 時間과 空間의 작은 조각들이자 이미지와 비디오의 작은 데이터 單位 母音인 ‘時空間 패치(Spacetime Patch)’를 解釋한다. 이러한 소라의 核心 技術은 구글 딥마인드가 考案해 2021年 論文으로 紹介한 ‘비전 트랜스포머(Vision Transformer, ViT)’ 아키텍처를 高度化한 것이다.
오픈AI는 소라의 特長點에 關해 “言語에 對한 깊은 理解를 갖고 있어 프롬프트를 正確하게 解釋하고 ‘생생한 感情을 表現하는 魅力的인 캐릭터’를 生成할 수 있다”라고 說明했다. 소라에 ‘사이버펑크 環境에서 로봇의 삶에 對한 이야기’라고 入力하면 로봇이 主人公으로 登場하는 SF 映畫의 한 場面 같은 映像이 튀어나온다. 또한 ‘다른 스타일의 아름다운 作品들이 가득한 아트 갤러리 투어’라는 指示語를 入力하면 20秒 分量의 갤러리 空間 映像이 生成된다. 누구나 自身이 想像하는 콘셉트의 空間을 자유롭게 映像으로 具現할 수 있게 된 것이다. 그뿐만 아니라 소라를 活用하면 유튜브나 틱톡 等의 숏폼 콘텐츠와 映畫 티저, 放送, 廣告, 디지털 아트 等 다양한 媒體에 最適化된 맞춤型 AI 映像도 製作할 수 있다. 實際 오픈AI는 틱톡 公式 計定을 열고 소라로 製作한 숏폼 콘텐츠를 올려 틱톡커들에게 衝擊을 안기기도 했다.
現在 오픈AI는 視覺 藝術家, 디자이너, 映畫 製作者 等 制限된 創作者에게만 接近을 許容한 狀態다. 크리에이티브 專門家에게 가장 도움이 되는 모델로 발전시키려면 當事者들에게 具體的인 피드백을 받아야 하기 때문이다. 實際 소라 出市 以後 周邊의 映像 分野 아티스트들의 反應을 보니 場面과 場面 사이의 語塞한 組合 等 追加 作業이 必要하다고 評價했다. 아직까지는 AI를 使用했어도 熟鍊된 美感과 眼目을 지닌 專門家들이 디렉터로서 役割을 하며 完成度를 높이는 後半 作業을 해야 한다는 얘기다. 하지만 이런 限界에도 不拘하고 廣告 및 마케팅 目的의 映像 製作 外注를 擔當하는 中小企業이나 스타트업에서는 費用 節減을 위해 生成型 AI를 活用하는 頻度가 늘어날 수 있다. 이미 美드저니 等 이미지 生成型 AI를 會社 業務에 導入하는 企業들이 늘고 있다. 소라의 購讀料가 얼마로 策定될지는 모르나 向後 日程 費用을 支拂하고 이 서비스를 使用하기 願하는 企業들이 많아질 것은 自明하다.
勿論 商用化에 앞서 오픈AI가 먼저 解決해야 할 課題도 있다. 오픈AI는 소라 生成 映像物에 ‘콘텐츠 出處 및 眞僞 確認을 위한 聯合(Coalition for Content Provenance and Authenticity, C2PA)’이 開發한 開放型 技術 標準의 워터마크를 附着하려 하고 있다. C2PA는 2021年 디지털 假짜 뉴스 退治를 目的으로 BBC와 마이크로소프트가 主導해서 設立한 ‘프로젝트 오리진(Project Origin)’과 ‘콘텐츠 眞僞 이니셔티브(Content Authenticity Initiative, CAI)’가 協力해 設立한 聯合으로 디지털 콘텐츠의 出處와 眞僞 및 生成型 AI 使用 與否를 標示하는 標準을 開發했다. 오픈AI 亦是 이 標準을 따른다는 計劃이다. 또한 會社는 AI로 만든 映像 및 이미지 合成 造作物인 딥페이크(Deepfake) 惡用을 막기 위해 AI 시스템의 缺陷과 脆弱點을 찾는 安全性 評價도 實施할 것으로 보인다. 이런 安全 措置가 갖춰진 뒤에야 本格的으로 商用化가 可能해질 展望이다.
소라의 登場은 向後 AI 市場 競爭 時代에 우리가 目擊할 놀라운 技術 進步의 序幕에 不過하다. 實際로 소라는 團地 AI로 생생한 高品質 비디오 映像을 效率的으로 生産해주는 製品 次元에 그치지 않는다. 오픈AI는 소라 出市와 關聯해 “움직이는 物理的 世界를 理解하고 시뮬레이션하는 法을 學習한 AI를 開發했다”고 發表했다. 그리고 現實 世界를 理解하고 시뮬레이션하는 모델의 基盤을 갖추는 것이 重要한 理由로 ‘汎用人工知能(AGI, Artificial General Intelligence)’의 實現을 言及했다. 소라가 AGI로 向하는 里程標임을 公言한 셈이다.
最近 실리콘밸리 開發者들과 企業家들이 AI 開發을 支持하는 ‘效果的 加速注意(Effective Accelerationism)’ 陣營과 AI가 將次 人類에 破滅을 招來할 것이라는 否定的인 立場을 堅持하는 ‘效果的 利他主義(Effective Altruism)’ 陣營으로 나뉘고 있는 가운데
2
샘 올트먼의 只今까지 行步를 보면 그가 前者에 屬한다는 것을 類推할 수 있다. AI 樂觀論者는 好況을 뜻하는 ‘붐(boom)’에서 비롯한 ‘부머(boomer, 開發論者)’로, 悲觀論者는 不幸한 結末을 意味하는 ‘둠(doom)’에서 비롯한 ‘두머(doomer, 破滅론자)’로 불리는데 올트먼은 부머에 가깝다. 實際로 그는 公開的으로 AGI의 到來를 追求한다고 밝히기도 했다. 소라의 出市 亦是 AGI 實現을 向한 발板이라고 보는 게 妥當하다.
創意性의 標準化라는 逆說
AI 樂觀論者인 올트먼은 AI 아트와 關聯해서도 技術이 藝術의 本質을 변화시킬 것이나 人間 藝術家들의 役割은 恒常 重要하고 AI가 人間과의 連結을 더욱 渴望하게 만들 것이라 내다본다. 그리고 이런 意見을 證明하기 위해 오픈AI는 AI를 道具 삼아 새로운 創意性의 地平을 넓혀줄 實際 아티스트를 찾고 이들과 함께 實驗을 이어 가고 있다. 올해 1月 오픈AI는 젊은 藝術家들에게 作品 活動을 할 수 있는 空間을 提供하는 ‘아티스트 레지던시(入住 作家)’ 프로그램을 始作했는데 첫 入住 作家로 MIT 미디어랩을 卒業한 美國 샌프란시스코 出身의 藝術家 알렉산더 레벤이 選定됐다. 레벤은 3個月間 오픈AI에 머물며 AI 아트 作業을 進行하게 된다. 그는 AI가 새로운 形態의 創意性을 促進할 것이란 오픈AI의 期待에 副應해 여러 試圖를 하고 있으며 最近에는 ‘크로커 아트 뮤지엄(The Crocker Art Museum)’에서 個人展 ‘AI Am I?’를 열어 ‘人間과 機械의 協業(human-machine collaboration)’乙 强調했다. 레벤의 展示는 캔버스와 페인트 顔料度 只今의 AI와 다를 바 없이 한때는 새로운 技術이었다는 事實을 상기시킨다. 現在까지 大多數의 生成型 AI 아트 展示가 디지털 아트에 局限되는 樣相을 보였다면 레벤의 展示는 조각과 設置, 繪畫 等 人間과 機械의 協業의 結果가 더 다채로운 形態로 나타날 수 있다는 걸 보여줬다.
이렇게 AGI 時代의 到來를 念頭에 두고 藝術界도 AI가 代替할 수 없는 力量이 무엇인지, 人間과 AI의 差異는 어디에서 비롯되는지 持續的으로 發見해야 한다. 발렌주엘라 CEO는 AI와 藝術에 關한 靈感 넘치는 글을 자주 남기는데 最近에는 人間과 AI의 가장 重要한 差異는 ‘藝術에 對한 接近 方式’에서 나온다고 말한 바 있다.
3
그는 AI가 ‘創作 行爲를 지나치게 單純化하는 傾向(a tendency to oversimplify the creative act)’이 있다고 强調했다. 많은 AI 道具가 藝術家보다 工學者를 위해 設計됐으며, 그저 여러 그림을 찍어내 ‘創意性을 標準化하는 試圖(Attempting to standardize creativity)’는 創作 行爲를 손쉬운 하나의 結論으로 置換한다는 點에서 旣存 藝術에 對한 接近과 根本的인 差異가 있다는 것이다. 이런 觀點에서 볼 때 AI의 藝術은 ‘公式에 立脚한 藝術(formulaic art)’인데 발렌주엘라는 創作이라는 行爲는 決코 最適化를 위한 公式 하나로 要約될 수 없다고 말한다.
발렌주엘라는 새로운 技術이 創作 行爲를 單純化하지 않고 擴張하기 위해서는 네 가지 要素가 必要하다며 그 要素로 驚異로움(wonder), 發見(discovery), 統制(control), 피드백(feedback)을 꼽았다. 그리고 AI가 鎭靜 경이로움과 發見을 促進하는 創造的 道具로 發展하기 위해서는 “硏究를 하는 아티스트가 더 必要하다”고 덧붙였다. 이런 視角은 AI를 創造的인 道具로 活用하고자 하는 런웨이라는 企業의 代表로서 어떠한 哲學을 갖고 있는지를 보여준다. 어쩌면 이런 哲學이 소라의 登場에도 不拘하고 이런 企業의 한 끗 差異를 만들어내고 市場의 持續的인 關心을 誘導하는 競爭力으로 作用하게 될지도 모른다.
AI, 人間의 이야기를 表現하는 媒介體
이렇게 AI와 人間 藝術의 差異를 論하고 AI는 創作의 道具일 뿐이라는 樂觀論에도 不拘하고 소라는 그 登場만으로 映畫, 放送, 모션 그래픽 等 映像 分野 從事者들에게 큰 波長을 일으켰다. 勿論 소라가 公開한 映像만으로 비디오 生成型 AI에 對한 過度한 恐怖를 가지기는 이르며 오픈AI가 投資金을 모으기 위해 高品質 버전을 서둘러 선보인 것이란 見解도 있다. 하지만 技術 發展 速度를 勘案하면 이른 時日 안에 애니메이터, 콘셉트 아티스트 等 映像 콘텐츠 分野에서 AI로 인한 일자리 大體 問題가 떠오를 것임은 어렵지 않게 豫想할 수 있다. 그렇다면 當事者인 아티스트들의 反應은 어떠할까.
美國과 韓國을 基盤으로 活動 中인 映像 디자이너이자 3D 아티스트 金그輪 作家는 올해 1月 ‘라스트 오브 어스(The Last of Us)’ 메인타이틀 作業으로 에미賞을 受賞한 人物이다. 3D 映像 分野 最前線에 있는 아티스트라고 해도 過言이 아니다. AI 技術을 발 빠르게 習得해 人間 藝術家가 잘할 수 있는 部分을 찾아온 그는 소라의 登場 直後 自身의 유튜브 채널에서 “소라가 實際 撮影인지 스튜디오 製作用 映像인지 區分도 안 될 程度의 高品質 映像을 만들어내는 怪物”이라고까지 말하며 衝擊을 表現했다. 映像을 만드는 사람들 間에도 AI를 얼마나 잘 活用하는지에 따른 隔差가 생길 것이며 2D 映像 分野는 當場 올해부터, 3D 映像은 若干의 時間을 두고 代替될 可能性이 있다고 내다봤다.
이런 狀況에서 AI 아티스트의 役割을 두고 金 作家는 “이제 創作者가 좋은 아이디어를 낼 수 있는 企劃者이자 全體 숲을 바라보는 指揮者가 돼야 한다”고 强調했다. 그리고 “技術의 制約 없이 자유롭게 想像力을 視覺化할 수 있는 時代가 다가오고 있다”면서 “이제 眞짜 내가 무엇을 만들고 싶은지 原初的인 質問을 하며 自身의 생각을 단단하게 만들고, 더 意味 있는 메시지를 찾아 나가야 한다”고도 說明했다.
AI 아티스트이자 『된다! 美드저니(1分 만에 만드는 生成 AI 이미지)』의 윤석관 作家는 AI에 代替되지 않고 人間 創作者로서의 正體性을 維持하며 살아가고자 KEEPKWAN(킵콴)이라는 이름으로 活動하고 있는 人物이다. SM Culture and Contents 事業戰略 擔當으로 在職할 當時 中長期 戰略 事業 아이템을 發掘하던 中 AI와 만나 크리에이터 活動을 始作하게 된 그는 AI를 두고 “時間을 生成해 주는 道具이자 나의 이야기를 現實로 가져와 주는 協業 파트너”라고 描寫한다. 그에 따르면 “作家는 自身만의 이야기를 表現하는 存在”다. 소라의 出市 以後 尹 作家는 “生成型 AI 技術이 發展을 거듭할수록 作品을 만드는 努力과 이야기의 價値를 잃어버릴 수 있다는 點은 憂慮스럽다”라고 말했다. 創作物을 만드는 作業이 單純히 프롬프트를 入力해 結果物을 算出하는 過程이 아니라 AI에 나의 이야기를 들려주면서 함께 그것을 現實로 가져오는 方法을 찾아가는 過程이라고 强調한 것이다. 그는 이런 哲學을 바탕으로 AI를 엔터테인먼트에서 自身의 이야기를 하는 道具로 活用해 畫報, 映畫, 뮤직비디오, 애니메이션 等의 콘텐츠를 創作하고 있으며 獨特한 履歷을 基盤으로 디즈니, 라인, 제일기획, 크래프톤 等 國內外 有數 企業들과 生成型 AI 프로젝트 協業을 進行하고 있다.
이처럼 소라가 充分히 놀라운 技術이란 點은 분명하고 映像 生成 亦是 只今까지 AI 技術의 進步가 그래온 것처럼 人間 創作者에 더 많은 時間을 生成해 줄 것으로 期待된다. 하지만 結局 藝術을 이끌어가는 것은 人間의 主體性이라는 게 作家들의 共通的인 목소리다. ‘人間의 이야기’를 잃어버리지 말아야 하며 사람들 各自의 내러티브가 凝縮된 이야기들이 生成型 AI를 통해 表現되도록 해야 한다. 이런 作家들의 이야기를 傾聽하다 보면 AI가 眞正한 人間다움과 살아 있는 이야기를 건져 올려 줄 수 있다는 可能性을 엿볼 수 있다.
著作權 洗濯에 맞서
‘作家 精神’을 지키려면
이런 可能性에도 不拘하고 AI가 旣存 藝術家의 일자리를 빼앗고 他人의 作品을 도둑질한 데이터로 創作해 著作權을 侵害한다는 거센 批判도 끊이지 않고 있다. 2022年 2月 미드저니가 이미지 生成 AI 訓鍊에 使用한 作品을 創作한 1萬6000餘 名의 藝術家 目錄이 流出되는 事態가 있었다. 데이비드 홀츠 美드저니 CEO가 디스코드 서버와 구글 닥스에 美드저니의 性能을 자랑하기 위해 이 目錄을 對外的으로 公表한 것이다. 이를 契機로 著作權 侵害 問題가 水面 위로 떠오르면서 2024年에는 美드저니 아티스트 目錄에 包含된 데미이언 허스트, 아니視 카푸어 等 現代美術界의 有名한 아티스트들이 美드저니, 스태빌리티AI, 런웨이, 데비안아트 等을 相對로 한 集團 訴訟에 參與 意思를 밝히고 辯護士와 接觸 中인 것이 알려졌다. 巨匠들까지 나서서 이미지 生成 AI가 著作權 洗濯을 위한 道具로 惡用되고 있으며 藝術家들에게 正當한 費用을 支拂하지 않은 채 藝術의 惠澤을 사람들에게 販賣하고 있는 데 問題를 提起하고 있는 것이다.
創作에는 不可避한 苦痛이 따른다. ‘作家 精神’을 지닌 아티스트들은 正말 한 땀 한 땀 作品을 完成하기 위해 熾烈한 時間을 보낸다. 創作의 過程에 無數한 苦悶이 잇따르고 作業이 意圖대로 풀리지 않는 슬럼프의 時間을 보내는 等 勞苦가 클 수밖에 없다. 그런데 프롬프트 몇 個를 入力해 바로 願하는 結果物을 算出하는 것은 이 創作의 過程을 지나치게 單純化하는 것이다. 하지만 創意性은 그렇게 쉽게 標準化될 수 없으며 藝術은 本質的으로 熟鍊의 時間을 통해 美를 具現하는 作業이기 때문에 作家의 凝縮된 이야기를 빼놓고는 말할 수 없다. 創作者의 同意와 許可 없이 商業用 AI 서비스 出市를 위해 作品을 無斷 학습시키는 企業은 더 많은 著作權 侵害, 作家 正體性 毁損 等 論難에 휩싸일 것이다. 오픈AI 亦是 이番 소라의 데이터 學習 出處에 關聯한 블랙박스를 公開하지 않았다. 빅테크가 如前히 어떤 데이터를 生成型 AI 訓鍊에 使用하고 있는지 公開할 意思가 없음을 보여준다. 소라는 앞으로 마주할 無數한 AI 技術의 퀀텀점프(Quantum Jump, 飛躍的 成長)의 始作인 同時에 이를 둘러싼 葛藤과 戰爭의 序幕일지도 모른다.
