高性能 컴퓨팅을 再定義하는 메모리, HBM3란 무엇인가?

[IT東亞 남시현 記者] 올해 들어 三星前者 株價가 6~7萬 원臺를 橫步하고 있지만, 年末에는 달라질 것이라는 期待感이 크다. 8月 들어 半導體 業況이 바닥을 찍고 上昇勢로 돌아갈 것이라는 觀測이 나오고, 또 올해 下半期부터 本格的으로 HBM3P를 出市할 豫定이어서다. SK하이닉스는 지난해 6月 世界 最初로 HBM3를 量産한데 이어, 올해 4月에는 現存 最古 容量인 24GB HBM3 新製品을 公開한 바 있다. 두 會社 모두 高帶域幅 메모리인 HBM3에 올해 全般의 實績과 成果를 걸고 있는 모습이다.

두 會社 말고도 HBM3에 死活을 거는 會社가 한둘이 아니다. 人工知能 半導體의 大將格인 엔비디아는 엔비디아 호퍼 H100 데이터센터 GPU에 120GB 容量의 HBM3를 搭載하고 있고, AMD의 데이터센터 APU인 인스팅트 MI300度 HBM3를 搭載한다. 인텔 亦是 次世代 데이터 서버用 GPU(코드名 팔콘 쇼어)에 最大 288GB 容量의 HBM3 메모리를 搭載할 豫定이고, 國內에서도 퓨리오사AI가 人工神經網 半導體(NPU) 製造社로는 最初로 2世代 칩인 레니게이드에 HBM3를 搭載한다. 全 世界 半導體 市場에서 빠지지 않고 登場하는 HBM3란 어떤 메모리인 걸까?

HBM3, 메모리 垂直 連結해 帶域幅 늘린 新 技術

HBM(High Bandwidth Memory, 高帶域幅 메모리)는 2008年 AMD와 SK하이닉스가 共同으로 開發을 主導한 次世代 메모리 規格으로, 2013年 10月 JEDEC(國際半導體標準協議機構)에 依해 産業 標準으로 制定됐다. 以後 2016年 HBM2 標準이 承認되었으며, 昨年 1月에 HBM3 規格이 公式 發表됐다. 現在는 SK하이닉스와 삼성전자, 마이크론이 HBM3를 生産하고 있다.

HBM은 旣存에 使用되는 D램을 垂直으로 쌓고, 數千 個의 실리콘貫通電極(TSV)를 設置해 데이터 處理 速度와 칩間 通信 速度를 飛躍的으로 끌어올린 製品이다. 쉽게 말해 D램 위에 D램을 最大 12個까지 쌓고, 이를 貫通하는 通路를 만들어서 通信한다. 旣存의 D램 方式에서 데이터 移動 方式이 무빙 워크라면, HBM은 엘리베이터로 데이터를 垂直移動하는 方式이어서 電送 速度가 빠른 것이다.

德分에 HBM3는 單一 칩셋으로 最大 24GB의 容量을 實現하며, 쌓아놓은 칩(스택)에서 秒當 819GB의 데이터를 處理할 수 있다. 이는 1秒에 5GB 映畫 163篇 分量을 處理할 수 있는 水準이며, 以前 世代인 HBM2E와 比較해 約 78%나 빨라진 數値다. 아울러 열 效率性이 뛰어나 發熱 管理가 수월하고, 同一 容量의 D램과 比較해 에너지 消費를 크게 낮춰 全般的인 시스템 安定性도 크게 向上된다.

電力 消費와 效率 잡아야 하는 大規模 데이터 處理에 特化

HBM3는 消費者 市場보다는 大規模 컴퓨팅 資源을 必要로 하는 서버 市場에서 注目받고 있다. 例를 들어 우리나라 國家 슈퍼컴퓨터 5號基만 하더라도 全體 D램 메모리 容量이 2064TB에 達하며, 32GB 컴퓨터로 換算하면 6萬4500代 分量이다. 슈퍼 컴퓨터도 메모리 自體는 PC用 컴퓨터 메모리 數十 個를 서버랙(Rack)에 裝着하고 連結하는 方式이라 空間 對備 容量이나 密度, 에너지 效率性 等이 크게 떨어진다. HBM3를 活用하면 그만큼 空間 效率을 늘릴 수 있고, 에너지 管理나 메모리 密度 側面에서도 도움이 된다.

實際로 서버 컴퓨터에 HBM을 導入한 代表的인 事例가 2020年 6月부터 22年 6月까지 世界 1位 자리를 지킨 日本의 슈퍼컴퓨터 後嫁쿠(Fugaku)다. 후가쿠는 슈퍼컴퓨터로는 처음으로 HBM이 使用되었는데, 出市 當時 性能이 2位에서 5位를 합친 것보다 10%나 높았을 程度로 큰 性能 隔差를 보여주었다. 現在 世界 1位 슈퍼컴퓨터이자, 後嫁쿠 性能의 세 倍가 넘는 唯一한 엑사스케일 컴퓨터인 오크릿지 硏究所의 프런티어 슈퍼컴퓨터도 AMD의 HBM 基盤 에픽 프로세서와 라데온 인스팅트 GPU를 基盤으로 하고 있다.

特히 生成型 AI로 觸發된 人工知能 競爭에도 HBM3街 大擧 使用되고 있다. 엔비디아의 데이터센터龍 그래픽 카드 中 主力 모델인 H100는 80GB 容量의 HBM3를 搭載하는데, 80GB HBM2e를 搭載한 A100과 比較해 最大 30倍에 가까운 AI 處理 能力을 보여준다. CPU와 GPU가 統合된 次世代 모델인 엔비디아 GH200 그레이스 호퍼 슈퍼칩은 HBM3 對備 데이터 電送 速度가 50% 더 높은 282GB HBM3e 메모리가 搭載된다. 年産 處理에 必要한 메모리 自體의 크기를 늘려 더 많은 데이터를 한 番에 處理함으로써 人工知能 開發 效率도 暴發的으로 끌어올리는 것이다.

HBM3, 우리나라 메모리 産業의 동아줄

컴퓨터 및 人工知能 業界에서 HBM3 메모리 採用에 競爭的인 理由는 結局 性能과 效率 때문이다. 旣存의 D램에서 오는 帶域幅의 限界나 發熱, 消費電力 等의 問題를 모두 解決함과 同時에 全般的인 性能 上限線을 大幅 늘릴 수 있는 方案이기 때문이다. 個人用 PC의 境遇 HBM3를 接할 일이 없겠으나, 서버 市場만큼은 長期的으로 HBM이 大勢가 될 展望이다.

國內 半導體 企業들 亦是 HBM으로 突破口를 마련하는 狀況이다. 지난 21日, SK하이닉스는 HBM3보다 더 性能이 높은 HBM3E 開發에 成功했다고 밝혔다. HBM3E는 819GB에서 더 높은 1.15TB의 데이터를 處理하면서 熱 放出 性能은 10% 늘어났다. 삼성전자 亦是 下半期 中으로 HBM3보다 性能을 높인 HBM3P를 出市할 豫定이다. 氷河期에 빠진 國內 메모리 市場이 HBM 競爭을 바탕으로 成長 動力을 回復하길 祈願한다.

글 / IT東亞 남시현 (sh@itdonga.com)