MPEG-4

위키百科, 우리 모두의 百科事典.

MPEG-4 (엠펙 抛, ISO/IEC 14496)는 映像, 音聲을 디지털 데이터 (Digital data)로 電送, 貯藏하기 위한 規格의 하나이다. MPEG-1 , MPEG-2 와 같이 시스템, 비주얼, 音響, 파일 포맷 規格으로 構成되어 있다. 그렇지만, 一般的으로 MPEG-4 라고 할 때에는 動映像 인코딩 方式을 記述하는 비주얼 部分을 가리키는 境遇가 많다.

規格을 管理하는 動畵像 專門家 그룹 (MPEG의 元來 意味)은 MPEG-4를 窮極의 映像/陰性 인코딩 規格으로 삼으려는 意圖가 있어서 現在 3次元 컴퓨터 그래픽, 音聲 合成 等을 아우르는 巨大한 規格이 되었다. MPEG 技術은 技術마다 部分이라고 불리는 規格으로 나뉘어 있고, 새 技術이 採用될 때마다 部分이 새로 생긴다. 最近엔 H.264 가 MPEG-4 Part 10 AVC로 規格化되는 等 現在도 繼續 追加 擴張되고 있는 規格이다.

MPEG-4를 構成하는 파트 [ 編輯 ]

MPEG-4는 다음과 같이 "파트"라 불리는 여러 個의 標準으로 構成되어 있다.

  • 파트 1 (ISO/IEC 14496-1): 시스템: 비디오와 音響의 同期化와 多重化(multiplexing)에 對해 記述한다.
  • 파트 2 (ISO/IEC 14496-2): 비주얼: 비주얼 데이터(비디오, 停止 텍스처, 合成 이미지 等)를 위한 壓縮 코덱 을 記述한다. 파트 2의 많은 프로파일(profile) 中 하나가 高級 單純 프로파일( ASP )이다.
  • 파트 3 (ISO/IEC 14496-3): 音響: 音響 信號의 認知 코딩(perceptual coding)을 위한 壓縮 코덱 , AAC(Advanced Audio Coding)의 變形(AAC, BSAC , TWINVQ)들을 비롯한 다양한 音響/育成 코딩 道具를 包含한다.
  • 파트 4 (ISO/IEC 14496-4): 整合 테스트: 標準 內의 다른 파트들과의 整合性 테스트를 위한 過程을 記述한다.
  • 파트 5 (ISO/IEC 14496-5): 參照 소프트웨어: 標準 內의 파트들을 再演하고 분명하게 하기 위한 소프트웨어를 提供한다.
  • 파트 6 (ISO/IEC 14496-6): DMIF
  • 파트 7 (ISO/IEC 14496-7): 最適化된 參照 소프트웨어: 改善된 機能을 만드는 方法에 對한 예제 提供. (보기: 파트 5를 볼 것).
  • 파트 8 (ISO/IEC 14496-8): ip 네트워크에서 傳達: IP 네트워크 위에서 MPEG-4 콘텐츠를 傳達할 方式을 指定한다.
  • 파트 9 (ISO/IEC 14496-9): 參照 하드웨어: 다른 파트의 標準을 追加하는 法을 提示하기 위한 하드웨어 設計를 提供한다.
  • 파트 10 (ISO/IEC 14496-10): 高級 映像 코딩: AVC라는 映像 信號를 위한 코덱이며 技術的으로 ITU-T H.264 標準과 同一하다.
  • 파트 11 (ISO/IEC 14496-11): 場面 技術 (Scene description)과 應用 프로그램 엔진, BIFS 라 稱함, 3D 콘텐츠나 字幕 等에 使用할 수 있다.
  • 파트 12 (ISO/IEC 14496-12): ISO 베이스 미디어 파일 포맷: 미디어 콘텐츠를 貯藏하기 위한 파일 포맷.
  • 파트 13 (ISO/IEC 14496-13): 知的 財産權 管理와 保護 (IPMP)를 위한 擴張들.
  • 파트 14 (ISO/IEC 14496-14): MPEG-4 파일 포맷: MPEG-4 콘텐츠를 위한 컨테이너 파일 포맷이며 파트 12를 基盤으로 한다.
  • 파트 15 (ISO/IEC 14496-15): AVC 파일 포맷: 파트 12를 基盤으로 한 파트 10 비디오의 貯藏을 위한 것.
  • 파트 16 (ISO/IEC 14496-16): 애니메이션 프레임워크 擴張 (AFX).
  • 파트 17 (ISO/IEC 14496-17): 時間에 맞춰 字幕을 띄우는 포맷.
  • 파트 18 (ISO/IEC 14496-18): 글꼴 壓縮 및 스트리밍 (오픈타입 글꼴).
  • 파트 19 (ISO/IEC 14496-19): 合成 텍스처 스트림 (Synthesized Texture Stream).
  • 파트 20 (ISO/IEC 14496-20): LASeR (Lightweight Scene Representation의 弱者)
  • 파트 21 (ISO/IEC 14496-21): MPEG-J 그래픽 프레임워크 擴張 (GFX)
  • 파트 22 (ISO/IEC 14496-22): 오픈타입 基盤의 오픈 폰트 포맷 規格 (OFFS)
  • 파트 23 (ISO/IEC 14496-23): SMR (Symbolic Music Representation의 弱者)
  • 파트 24 (ISO/IEC 14496-24): MP4 파일 포맷과 MPEG-4 오디오 와의 動作을 正義
  • 파트 25 (ISO/IEC 14496-25): 3D 그래픽스에 對한 壓縮 標準
  • 파트 26 (ISO/IEC 14496-26): Audio conformance (標準化 進行 中)
  • 파트 27 (ISO/IEC 14496-27): 3D Graphics conformance
  • 파트 28 (ISO/IEC CD 14496-28): Composite font representation
  • 파트 29 (ISO/IEC CD 14496-29): 開發 中 (Web video coding)
  • 파트 30 (ISO/IEC CD 14496-30): 開發 中 (Web video coding?Part 30: ISO 基盤 미디어 파일 포맷의 타이밍에 맞춘 텍스트 및 其他 時刻 오버레이)

프로파일들은 各 "파트" 안에 定義되므로 파트의 追加는 普通 完全한 파트의 追加라고 할 수 없다.

MPEG-1 , MPEG-2 , MPEG-7 그리고 MPEG-21 은 또 다른 MPEG 標準 세트들이다.

技術 槪要 [ 編輯 ]

動映像 符號化 [ 編輯 ]

現在 MPEG-4에서 規定하고 있는 動映像 인코딩 方式은 1999年 에 처음 規格이 確定된 Part 2 方式과, 2003年 에 規格이 된 Part 10 方式 두 가지가 있다. 이 둘을 區別하기 위해 앞에 것을 그냥 MPEG-4 또는 MPEG-4 비주얼이라 부르고, 뒤에 것을 MPEG-4 AVC라고 부른다.

MPEG-4 技術은 通常 인코딩 技術로 紹介되지만 實際 規格에는 인코딩된 데이터를 어떻게 풀어야 하는지 하는 디코딩 過程만 記述되어 있고, 어떻게 인코딩해야 하는지에 對한 規定은 없다.

MPEG-4(Part 2) [ 編輯 ]

MPEG-1 에서는 비디오 CD , MPEG-2 에서는 放送, HDTV 等에서 쓰일 것을 考慮했지만 MPEG-4에서는 낮은 비트율 狀況에까지 그 用途를 廓大하려는 目標로 規格化가 始作되었다. 인코딩 技術로서는 먼저 規格化가 進行되었던 H.263 을 基本으로 하여 몇 가지 道具를 追加하여 構成되었다. H.263 과의 差異點은 프레임 간 豫測에서 B프레임 을 採用한 點, DCT 係數의 AC/DC 豫測 을 導入한 點 等을 들 수 있다.

이 비주얼 技術 自體도 誤謬 톨러런스 技術 外에 任意 形象 技術 , 스프라이트 인코딩 技術 , 얼굴 움직임을 인코딩하는 페이스(Face) 인코딩 技術 , 스케일러빌러티 技術 等을 집어넣은 巨大한 것이었지만 現在는 誤謬 톨러런스 技術 外에는 잘 使用되지 않고 있다.

MPEG-4 AVC(Part 10) [ 編輯 ]

Part 2에서 規格의 範圍가 너무 커져 버렸다. 그래서 通常的인 映像 壓縮率에 滿足하자는 方針으로 開發이 進行되었다(Part 2에서 使用되는 일이 없었던 페이스 技術 , 스케일러빌러티 技術 은 빼버림). ITU-T 와 共同으로 規格化한 것으로 H.264 와 같다. H.264/AVC 라고도 불린다.

音響 인코딩(音響, Part 3) [ 編輯 ]

MPEG-4의 音響 인코딩 技術에서는 CELP 인코딩 , AAC , TwinVQ , BSAC 等이 採用되었다. 特히 旣存의 使用되던 CELP , MPEG-2 에서 定義된 AAC , MPEG-4에서 새롭게 定義된 TwinVQ , BSAC 等 많은 客體를 가지며 이러한 客體의 組合을 利用하여 프로파일을 生成하고, 이를 利用한다. 또한, 壓縮뿐만 아니라 TTS 等과 같은 저電送率을 利用한 陰性 復元 機能까지 가지고 있다.

시스템(Part 1) [ 編輯 ]

멀티미디어 데이터를 파일이나 記錄 媒體에 保存하거나 네트워크에서 餞送하기 위해서는 映像과 音聲 各各 따로 인코딩韓 데이터를 합쳐서 보내는 것(멀티플렉싱, 多重化)과 同期化를 爲한 方法이 必要하다. 이러한 多重化 方式을 規定하는 것이 시스템이다. 또, 시스템에 依해 多重化되기 以前의 映像, 音聲 바이너里를 엘里멘터里 스트림 (ES: Elementary Stream)이라 한다.

動映像과 音聲의 엘里멘터里 스트림 을 다중화한다는 目的에는 MPEG-1 이나 MPEG-2 의 시스템과 같지만 MPEG-4에는 客體 인코딩 이라는 槪念이 있어 差異가 있다. MPEG-4에서 音響, 비주얼(비디오)의 데이터는 各 1個의 客體로서 다루어져 이러한 客體를 多重化·동기화하는 것이 시스템의 役割이다. 더불어 MPEG-4의 動畵像(비주얼 및 AVC)이나 音聲의 엘里멘터里 스트림 의 多重化에는 MPEG-4 시스템뿐 아니라, MPEG-2 트랜스포트 스트림(MPEG-2 TS) 을 利用해도 되고, 地上波 디지털 텔레비전 放送 의 1 세그먼트(segment) 放送에서는 AVC와 AAC 의 電送에 MPEG-2 TS 가 利用된다.

게다가 여러 個의 客體를 組合해 다루기 위한 씬 技術 을 위한 斜陽으로 VRML97 를 基盤으로 한 BIFS (Binary Format for Scenes)가 規定되어 있다. 이를테면, 人物이나 背景의 動映像 및 音聲을 各各 別個의 客體로서 인코딩해서 各各의 客體들을 겹쳐서 標示하거나 使用者가 任意의 客體를 움직이게 할 수 있는 애플리케이션 을 만들 수 있다. 그러나 이러한 客體 인코딩 은 一般的으로는 實用化되어 있지 않았다.

客體 인코딩 槪念의 導入이나 BIFS 等에 依해 MPEG-4 시스템의 內容이 肥大해졌기 때문에 파일 포맷( MP4 )에 關해서는 뒤에 敍述할 Part 14로 獨立해 規定하고 있다. 덧붙여 네트워크上에서의 電送에 關해서는 Part 8 및 RFC 3640 으로 規定하고 있다.

파일 포맷(Part 12, 14) [ 編輯 ]

멀티미디어 데이터를 파일에 記錄하려면 動映像과 音聲 엘里멘터里 스트림 을 다중화할 必要가 있지만 다음에 再生할 때에 빨리 感氣나 編輯에서의 容易性을 위해 프레임 單位로 액세스 할 수 있도록 데이터를 區分하여 接近 管理 데이터를 附加하는 것이 便利하다. MPEG-4에서는 이러한 것을 위한 포맷으로 MP4 파일 포맷을 規定하고 있다.

音聲은 파일 포맷에 맞추지 않고, 인코딩된 데이터를 그대로 使用하기도 한다. MPEG-1等에서 規定된 MP3 가 이 좋은 例이다.

MP4 파일 포맷은 애플 퀵타임 (QuickTime) 파일 포맷을 基盤으로 開發되고 있다. 퀵타임 파일 포맷으로 採用되고 있는 파일 構造는 다양한 動畵像이나 音聲의 엘里멘터里 스트림 을 柔軟하게 다중화할 수 있어 汎用의 파일 포맷으로서 ISO 베이스 미디어 파일 포맷(Part 12)에 採用되었다. 이 Part 12로부터 MPEG-4用意 파일 포맷으로서 派生한 것이 MP4 파일 포맷이다.

프로파일, 레벨 [ 編輯 ]

비주얼, 音響 共히 그 規格 안에 프로파일과 레벨이란 槪念이 規定되고 있다. 프로파일이란 使用할 수 있는 道具를 나타내는 것이며, 레벨이란 使用할 수 있는 파라미터의 範圍를 規定하는 것이다. 例를 들면, MPEG-4 Part 2에서는 심플 프로파일 (SP), 어드벤스드 심플 프로파일 (ASP), 메인 프로파일 (MP) 等이 規定되어 各各 使用 可能한 道具가 다르다. MPEG-4 AVC에서는 베이스라인 프로파일 , 메인 프로파일 , 擴張(Extended) 프로파일 의 세 種類가 規定되고 있으며, 追加로 하이 프로파일 等의 몇 가지가 追加되었다. 레벨은 數値로 나타난다. 通商 프로파일과 레벨을 합쳐서 簡單하게 SP@L3 (심플 프로파일 레벨 3) 等으로 表現한다.

歷史 [ 編輯 ]

1999年 에 規格化된 直後부터 動映像을 長時間 記錄하는 用途로 디지털 카메라에 使用되었다. 當初에는 파일 포맷이 規格化되어 있지 않았기 때문에 마이크로소프트 辭意 ASF 파일 포맷이 使用되었다. 近來에는 第3世代 携帶 電話 의 動映像 포맷으로서 採用되고 PDA 를 包含한 모바일 動映像 再生機의 主要 포맷이 되고 있다. 이러한 動映像 인코딩 技術은 現在까지는 MPEG-4 Part 2이지만, 2005年 後半부터는, MPEG-4 AVC도 使用되는 것이 確實視되고 있다.

放送이나 通信 分野에는 使用權 問題도 있어 용용 事例가 적었지만 MPEG-4 AVC( H.264 )가 日本 地上波 디지털 放送 의 携帶 端末機 를 위한 (1 세그먼트(segment)) 放送을 비롯한 各 모바일 放送 標準으로 採用되고, Blu-ray Disc 이나 HD DVD 의 비디오· 코덱 으로서 承認이 되고 있어 應用 事例는 增加할 展望이다.

MPEG-4 壓縮 動映像의 콘텐츠 分析技術 [ 編輯 ]

MPEG-4 動映像의 콘텐츠 分析技術이 活潑하게 硏究되어 왔다. 이는 動映像의 場面을 自動으로 分割하는 技術, 動映像으로부터 客體를 自動으로 認識하고 追跡하는 技術 및 콘텐츠 情報의 標準化 等을 包含한다. 動映像의 픽셀 情報를 利用하기 때문에 處理速度가 느려 高性能 하드웨어에 依存해야 했던 旣存의 컴퓨터 비전 技術과 달리, 大部分의 壓縮 領域에서의 客體 認識 및 追跡 技術은 壓縮 데이터에 包含된 모션 벡터, 殘餘信號(DCT 또는 Integer coefficients), 및 매크로블록 타입 같은 其他 情報를 利用하여 一般 컴퓨터에서도 빠른 速度로 處理하는 것을 志向한다. 代表的인 알고리즘으로 MRF 基盤 모델, 非類似性 最少化 알고리즘 (dissimilarity minimization) , 確率的 데이터 聯關 필터링 알고리즘 (probabilistic data association filtering, PDAF) , 및 確率的 時空間 매크로블록 필터링 알고리즘 (probabilistic spatiotemporal macroblock filtering, PSMF) 等이 있다.


같이 보기 [ 編輯 ]

外部 링크 [ 編輯 ]