지난해 11月 오픈AI의 챗GPT가 導入되면서 人工知能(AI) 環境이 크게 바뀌기 始作했다. 구글, 마이크로소프트(MS), 메타 等 主要 빅테크 企業의 AI 데이터센터에서 그래픽處理裝置(GPU) 役割이 重要해진 것이다. 가장 强力한 칩메이커 엔비디아의 H100은 비싼 價格에도 生成型 AI와 클라우드 서비스 等에서 高性能 칩 需要가 增加함에 따라 品貴 現象이 이어지고 있다. AI 企業의 H100 사재기 狂風이 부는 가운데 새롭게 發表된 後續 製品 H200의 性能이 얼마나 向上됐으며 供給 不足 問題가 改善될지 關心이 쏠리고 있다.

엔비디아는 11月 13日 美國 콜로라도州에서 열린 ‘슈퍼컴퓨팅 2023’에서 生成型 AI 訓鍊을 위한 最新 GPU인 H200을 公開했다. 이언 벅 엔비디아 HPC(高性能 컴퓨팅) 製品 擔當 副社長은 이날 “生成型 AI와 HPC 애플리케이션(앱)을 驅動하려면 大規模 GPU 메모리를 통해 厖大한 데이터를 빠르고 效率的으로 處理해야 한다”며 “AI 슈퍼컴퓨팅 플랫폼 H200을 통해 重要 課題를 解決하는 速度가 더욱 빨라질 것”이라고 말했다.

H200, 效率性 最適化

H200은 生成型 AI와 HPC 等 計算量이 많은 作業에서 處理 性能을 加速化하는 同時에 GPU 活用度와 效率性을 最適化하는 데 焦點을 맞춘 製品이다. 特히 H200은 오픈AI의 最新 巨大 言語 모델(LLM) GPT-4를 훈련시키는 데 最適化된 칩이다. 以前 製品인 H100에 비해 메모리 部門에서 意味 있는 업그레이드가 이뤄졌다. 바로 5世代 HBM(高帶域幅메모리)인 HBM3E가 導入된 것이다. HBM3E는 4世代 HBM3보다 훨씬 더 많은 容量과 큰 메모리 帶域幅을 提供함으로써 高性能 프로세서에서 增加하는 作業 部下를 堪當할 수 있도록 돕는다.

HBM은 D램 여러 個를 垂直으로 쌓아올리고 連結해 帶域幅이 더 넓어진 메모리를 말한다. 帶域幅이란 주어진 時間 내 데이터 電送 速度와 處理量, 卽 데이터 運搬 能力을 뜻한다. 챗GPT나 구글 바드, 美드저니 等 AI 서비스가 發展할수록 暴發的으로 增加하는 데이터를 效率的으로 빠르게 處理하기 위해 더 뛰어난 메모리 性能이 要求되고 있다. 이에 登場한 HBM 메모리 技術은 시스템 性能과 電力 效率 改善에도 影響을 미친다.

H200은 HBM3E를 適用해 메모리 帶域幅을 H100의 秒當 3.35TB(테라바이트)에 비해 秒當 4.8TB로 눈에 띄게 끌어올렸다. 이는 30GB(기가바이트) 容量의 UHD 映畫 160篇을 1秒 만에 處理하는 것과 같은 速度다. 全體 메모리 容量도 H100의 80GB에서 141GB로 늘어났다. 以前 製品인 A100에 비해서는 거의 2倍 容量과 2.4倍 帶域幅을 提供하는 性能이다.



H200을 챗GPT 같은 生成型 AI 모델에 直接 使用한다면 作業 速度가 얼마나 빨라질까. H200은 H100에 비해 最大 90%까지 性能을 向上시키는 것으로 알려졌다. 700億 個의 媒介變數를 가진 메타의 LLM 라마2에 H200을 테스트해보니 H100에 비해 神經網 推論 速度가 2倍假量 向上되는 安定的인 結果가 나왔다. 또 1780億 個 媒介變數를 가진 LLM GPT-3에 適用할 境遇 旣存 A100보다 最大 18倍 높은 性能을 나타냈다. 엔비디아는 H200에 이어 後續 모델인 B100을 來年 出市할 것으로 알려졌다. B100은 블랙웰(Blackwell) 아키텍처를 基盤으로 設計돼 H200에 비해 性能이 2倍 以上 向上될 展望이다.

H200은 H100을 支援하는 同一한 시스템과 互換되도록 設計돼 여러 폼팩터로 提供된다. 여기에는 4方向 및 8方向 構成의 H200 서버 보드가 包含되며 H100 시스템의 하드웨어 및 소프트웨어와 모두 虎患 可能하다. 또한 CPU와 GPU를 하나의 패키지로 結合한 엔비디아의 GH200 그레이스 호퍼 슈퍼칩(Grace Hopper Superchip)도 使用할 수 있다. GH200 그레이스 호퍼 슈퍼칩은 TB 規模의 HPC 앱에 더 높은 性能을 提供하도록 設計된 AI用 칩이다. 72코어 그레이스 CPU와 후퍼 H100 GPU에 480GB LPDDR5X 메모리가 結合돼 만들어졌다. 來年 出市될 업데이트 버전에는 H200이 適用돼 HBM3E를 支援하게 된다. 8個의 H200이 結合된 GH200은 딥 러닝을 위해 最大 1.1TB의 HBM3E와 32페타플롭스의 FP8(8비트 浮動小數點) 性能을 提供할 豫定이다. 이를 通해 H200은 온프레미스(on-premise: 소프트웨어나 시스템이 使用者의 內部 네트워크에 設置·運營되는 環境), 클라우드, 하이브리드 클라우드와 에지를 비롯한 모든 類型의 데이터센터에 配布될 수 있다.

GPU 確保 戰爭

무엇보다 엔비디아의 H200은 AI業體들이 必死的으로 H100을 求하고 있는 가운데 發表된 新製品이라 더욱 注目받는다. 엔비디아 칩은 生成型 AI와 LLM에 必要한 엄청난 量의 데이터를 效率的으로 處理하는 데 반드시 必要한 核心 모듈이다. 現在 全 世界 生成型 AI에 必要한 칩 市場은 엔비디아가 80% 以上을 先占하고 있다. 그러나 需要에 비해 供給이 크게 不足해지면서 技術業體들의 H100 確保 戰爭이 이어지고 있다. GPU의 稀少性과 必須不可缺性으로 엔비디아에 對한 依存度는 繼續 커져만 가는 狀況이다. 이에 엔비디아 側은 來年까지 H100 生産量을 3倍로 늘릴 計劃이라고 밝힌 바 있다. 目標는 올해 約 50萬 個, 來年까지 最大 200萬 個를 生産하는 것이다. 하지만 生成型 AI와 클라우드 서비스 또한 持續的으로 增加하고 있어 充分한 供給이 이뤄질지는 未知數다.
엔비디아는 來年 2分期 H200의 글로벌 出市 計劃을 밝혔다. 아마존, 구글, MS, 오라클 等 클라우드 서비스業體와 테크놀로지스, HP엔터프라이즈, 레노버 等 서버 供給業體를 통해 새로운 GPU를 提供할 豫定이다. H200 價格은 아직 公開되지 않았지만, 出市된다면 性能이 向上된 만큼 H100 價格에서 더 引上될 것으로 보인다. 現在 H100은 注文量에 따라 個當 約 2萬5000~4萬 달러(藥 3255萬~5200萬 원)에 販賣되고 있다. 生成型 AI를 開發하고 訓鍊이 可能한 모델을 만들려면 多量의 칩이 必要하다. AI 分野의 많은 企業이 H100을 數千 個씩 購買하고 있다. 오픈AI는 챗GPT 商用化를 위해 3萬 個 넘는 A100 GPU를 必要로 했다.

앞다퉈 AI用 칩 出市하는 競爭社들

AI用 칩이 重要 컴퓨팅 資源으로 떠오르면서 製造業體로서 先頭를 달리는 엔비디아는 엄청난 收益性을 確保한 것은 勿論, 企業價値가 1兆 달러(藥 1302兆 원)를 넘어서며 半導體 分野의 獨步的 1位를 維持하고 있다. 아마존, 구글, MS, 인텔, AMD 等 技術業體들이 AI가 主導할 未來에 對備하고자 次世代 프로세서 開發에 積極 나서고 있으나, 이番 H200 公開로 엔비디아가 AI用 칩 分野에서 當分間 最强者 자리를 維持할 것으로 보인다.

엔비디아에 맞서는 가장 强力한 競爭社로 손꼽히는 AMD는 6月 新製品 ‘MI300X’를 선보였다. H100을 겨냥한 MI300X는 H100에 비해 메모리 密度가 2.4倍 높고 帶域幅은 1.6倍 크다. H100을 凌駕하지만 H200에는 못 미치는 辭讓이다. 最近 인텔은 來年 出市될 3世代 가우디3 AI用 칩이 96GB에서 144GB로 메모리 容量이 늘어날 것이라고 밝혔다. 인텔의 또 다른 AI用 칩 製品群인 인텔 맥스 시리즈 GPU는 現在 最大 128GB의 HBM2를 支援하지만 向後 世代에서는 칩 容量을 늘릴 計劃이다. MS 또한 自體 開發한 AI用 GPU인 마이아100을 公開했다. 마이아100은 엔비디아의 H100과 마찬가지로 生成型 AI의 LLM을 훈련시키고 實行하는 데이터센터 서버 구동용으로 設計된 칩이다. 外部 販賣 前 自體 AI 基盤 소프트웨어와 애저 클라우드 서비스의 性能을 높이고 GPU 需給 問題를 解決하는 데 活用될 計劃이다. 스콧 거스리 MS 클라우드 및 AI그룹 副社長은 ‘파이낸셜타임스’를 통해 “마이아100 GPU 開發로 더욱 最適化된 AI 아키텍처는 AI用 칩 供給業體에 對한 依存度를 줄여줌으로써 顧客에게 低廉한 모델을 提供하게 해준다”며 ”이런 根本的 投資는 AI 技術과 關聯해 向後 10年間 革新을 이끌어가는 데 도움이 될 것”이라고 밝혔다.

_{*유튜브와 포털에서 各各 ‘매거진東亞’와 ‘투벤저스’를 檢索해 팔로剩하시면 記事 外에도 動映像 等 多彩로운 投資 情報를 만나보실 수 있습니다.}