GPT-4
(Generative Pre-trained Transformer 4)는
오픈AI
가 開發한 멀티모달 大型 言語 모델이자
GPT 모델
시리즈 中 4番째이다.
[1]
2023年 3月 14日에 出市되었으며
ChatGPT
플러스를 통해 限定된 形態로서, 大氣 目錄을 통해 提供되는 常用
API
의 接近을 통해서 公開되었다.
[1]
變換器
로서 GPT-4는 다음
토큰
을 豫測하기 위해 미리 訓鍊되었다.
觀察者들은 GPT-4 基盤 버전의 ChatGPT가 移轉(GPT-3.5 基盤) ChatGPT 對備 改善이 있지만 GPT-4에 一部 同一 問題가 있다고도 報告했다.
[2]
前作들과 달리 GPT-4는 文字 外에도 이미지를 入力으로 받을 수 있다.
[3]
오픈AI는 GPT-4 모델의 크기 等 技術 情報의 公開를 拒否했다.
[4]
背景
[
編輯
]
OpenAI는 2018年에 最初의 GPT 모델(GPT-1)을 導入하여 "生成 事前 訓鍊을 통한 言語 理解 改善"이라는 論文을 發表했다. 이는 트랜스포머 아키텍처를 基盤으로 하며 大規模 冊 母音에서 訓鍊되었다. 다음 해에는 一貫된 텍스트를 生成할 수 있는 더 큰 모델인 GPT-2를 導入했다. 2020年에는 GPT-2보다 100倍 많은 媒介變數를 갖고 몇 가지 예제만으로 다양한 作業을 遂行할 수 있는 모델인 GPT-3을 出市했다. GPT-3는 GPT-3.5로 더욱 改善되어 챗봇 製品인
ChatGPT
를 만드는 데 使用되었다.
所聞에 따르면 GPT-4에는 1兆 7600億 個의 媒介變數가 있는데, 이는 實行 速度와
조지 호츠
에 依해 처음 推定되었다.
性能
[
編輯
]
OpenAI는 GPT-4街 "GPT-3.5보다 더 安定的이고 創意的이며 훨씬 더 微妙한 指針을 處理할 수 있다"고 밝혔다. 8,192個와 32,768個 토큰의 컨텍스트 槍을 갖춘 두 가지 버전의 GPT-4를 生産했는데, 이는 各各 4,096個와 2,049個 토큰으로 制限되었던 GPT-3.5와 GPT-3에 비해 크게 改善되었다. GPT-4의 機能 中 一部는 訓鍊 前에 OpenAI에 依해 豫測되었지만 다운스트림 擴張 法則의 違反으로 인해 다른 機能은 豫測하기 어려웠다. 以前 모델과 달리 GPT-4는 多衆 모드 모델이다. 이미지와 텍스트를 入力으로 使用할 수 있다. 이를 通해 特異한 이미지로 유머를 說明하고, 스크린샷의 텍스트를 要約하고, 다이어그램이 包含된 試驗 問題에 答할 수 있는 機能을 提供한다. 이제 音聲을 통해 使用者와 相互 作用하고 이미지에 應答할 수 있으므로 보다 자연스러운 對話가 可能하고 寫眞 업로드를 基盤으로 提案이나 答辯을 提供할 수 있다.
GPT-4에 對한 追加 制御權을 얻기 위해 OpenAI는 音聲 및 作業의 톤을 指定하기 위해 GPT-4에 提供되는 自然語로 된 指示文人 "시스템 메시지"를 導入했다. 例를 들어 시스템 메시지는 모델에 "셰익스피어 海賊이 되라"고 指示할 수 있으며, 이 境遇 韻律이나 셰익스피어 散文으로 應答하거나 "[該當] 應答의 出力을 恒常 JSON으로 作成"하도록 要請할 수 있다. 모델이 그렇게 하는 境遇 應答의 構造와 一致하도록 適切하다고 判斷되는 키와 값을 追加한다. OpenAI가 提供한 例에서 GPT-4는 對話 中에 使用者의 要請에도 不拘하고 시스템 메시지에서 벗어나는 것을 拒否했다.
該當 指示를 받으면 GPT-4는 外部 인터페이스와 相互 作用할 수 있다. 例를 들어, 웹 檢索을 遂行하기 위해 <search></search> 태그 內에 쿼리를 包含하도록 모델에 指示할 수 있으며, 그 結果는 모델의 프롬프트에 揷入되어 應答을 形成할 수 있다. 이를 통해 모델은 API 使用, 이미지 生成, 웹 페이지 액세스 및 要約과 같은 一般的인 텍스트 豫測 機能 以上의 作業을 遂行할 수 있다.
네이처
의 2023年 記事에 따르면 프로그래머는 GPT-4街 旣存 코드에서 誤謬를 찾고 性能 向上을 위한 最適化를 提案하는 等 코딩 作業(誤謬 傾向에도 不拘하고)을 支援하는 데 有用하다는 事實을 發見했다. 이 記事에서는 自身의 프로그램 中 하나를
MATLAB
에서
파이썬
으로 移植하는 데 必要한 時間이 며칠에서 "1時間 程度"로 短縮되었다는 事實을 發見한 生物物理學者의 말을 引用했다. 89個 保安 시나리오 테스트에서 GPT-4는 SQL 注入 攻擊에 脆弱한 코드를 5%로 生成했는데, 이는 脆弱點이 40%로 發生한 2021年 깃허브 코파일럿에 비해 改善된 것이다.
2023年 11月 OpenAI는 128K 컨텍스트 槍과 훨씬 低廉한 價格을 特徵으로 하는 GPT-4 터보 및 GPT-4 터보 위드 비전(Turbo with Vision) 모델을 發表했다.
GPT-4o
[
編輯
]
2024年 5月 13日, OpenAI는 텍스트, 오디오, 이미지 樣式 全般에 걸쳐 實時間으로 出力을 處理하고 生成하여 相當한 發展을 이룬 모델인 GPT-4o("omni"를 뜻하는 "o")를 出市했다. GPT-4o는 對話에서 人間의 反應에 匹敵하는 빠른 應答 時間, 英語 以外의 言語에 對한 性能 向上, 視覺 및 오디오에 對한 向上된 理解를 보여준다.
이 모델은 統合 神經網을 통해 入力과 出力을 統合하여 以前 모델보다 더 빠르고 費用 效率的이며 效率的이다. GPT-4o는 또한 多國語 및 비전 벤치마크에서 最尖端 結果를 達成하여 오디오 音聲 認識 및 飜譯 分野에서 새로운 記錄을 세웠다. OpenAI는 技術的 改善 外에도 强力한 安全 機能을 具現하고 廣範圍한 外部 評價를 遂行하여 새로운 方式과 關聯된 危險을 解決했다.
GPT-4o의 出市는 ChatGPT의 텍스트 및 이미지 機能으로 始作되며 向後 選擇된 파트너에게 오디오 및 비디오 機能으로 擴張될 計劃이다. 이番 릴리스는 딥 러닝 技術의 境界를 넓히려는 OpenAI의 持續的인 努力을 反映하여 高級 AI 모델을 多樣한 애플리케이션에서 보다 廣範圍하게 액세스하고 使用할 수 있도록 만드는 重要한 段階를 의미한다.
같이 보기
[
編輯
]
各州
[
編輯
]