如果喜????目，???一?Star；如果??明了好用的快捷?或?件，?迎?pull requests！

If you like this project, please give it a Star. Read this in English | 日本語 | 韓國語 | Русский | Francais . All translations have been provided by the project itself. To translate this project to arbitrary language with GPT, read and run multi_language.py (experimental).

• 新界面（修改 config.py 中的LAYOUT???可??“左右布局”和“上下布局”的切?）

• 所有按?都通??取functional.py??生成，可?意加自定?功能，解放剪?板

• ?色/??

• 如果?出包含公式，?以tex形式和渲染形式同??示，方便?制和??

• ?得看?目代?？直接把整?工程炫ChatGPT嘴里

• 多?大?言模型混合?用（ChatGLM + OpenAI-GPT3.5 + GPT4）

flowchart TD
    A{"安?方法"} --> W1("I. ??直接?行 (Windows, Linux or MacOS)")
    W1 --> W11["1. Python pip包管理依?"]
    W1 --> W12["2. Anaconda包管理依?（推??）"]

    A --> W2["II. ??使用Docker (Windows, Linux or MacOS)"]

    W2 --> k1["1. 部署?目全部能力的大?像（推??）"]
    W2 --> k2["2. ?在?模型（GPT, GLM4等）?像"]
    W2 --> k3["3. 在?模型 + Latex的大?像"]

    A --> W4["IV. ??其他部署方法"]
    W4 --> C1["1. Windows/MacOS 一?安??行脚本（推??）"]
    W4 --> C2["2. Huggingface, Sealos?程部署"]
    W4 --> C4["3. ... 其他 ..."]

1. 下??目

   git clone --depth=1 https://github.com/binary-husky/gpt_academic.git
   cd
    gpt_academic
   

2. 配置API_KEY等?量

   在 config.py 中，配置API KEY等?量。 特殊???境?置方法 、 Wiki-?目配置?明 。

   「 程序??先??是否存在名? config_private.py 的私密配置文件，?用其中的配置覆盖 config.py 的同名配置。如?能理解以上?取??，我?强烈建??在 config.py 同路?下?建一?名? config_private.py 的新配置文件，?使用 config_private.py 配置?目，?而?保自?更新?不??失配置 」。

   「 支持通? ?境?量 配置?目，?境?量的??格式?考 docker-compose.yml 文件或者我?的 Wiki?面 。配置?取?先?: ?境?量 > config_private.py > config.py 」。

3. 安?依?

   #
    （??I: 如熟悉python, python推?版本 3.9 ~ 3.11）?注：使用官方pip源或者阿里pip源, ???源方法：python -m pip install -r requirements.txt -i https://mirrors.aliyun.com/pypi/simple/
   
   python -m pip install -r requirements.txt
   
   #
    （??II: 使用Anaconda）步?也是?似的 (https://www.bilibili.com/video/BV1rc411W7Dr)：
   
   conda create -n gptac_venv python=3.11    
   #
    ?建anaconda?境
   
   conda activate gptac_venv                 
   #
    激活anaconda?境
   
   python -m pip install -r requirements.txt 
   #
    ??步?和pip安?一?的步?
   

#
 【可?步?I】支持??ChatGLM3。??ChatGLM?注：如果遇到"Call ChatGLM fail 不能正常加?ChatGLM的??" ??，?考如下： 1：以上默?安?的?torch+cpu版，使用cuda需要??torch重新安?torch+cuda； 2：如因本机配置不?无法加?模型，可以修改request_llm/bridge_chatglm.py中的模型精度, ? AutoTokenizer.from_pretrained("THUDM/chatglm-6b", trust_remote_code=True) 都修改? AutoTokenizer.from_pretrained("THUDM/chatglm-6b-int4", trust_remote_code=True)

python -m pip install -r request_llms/requirements_chatglm.txt

#
 【可?步?II】支持?旦MOSS

python -m pip install -r request_llms/requirements_moss.txt
git clone --depth=1 https://github.com/OpenLMLab/MOSS.git request_llms/moss  
#
 注意?行此行代??，必??于?目根路?


#
 【可?步?III】支持RWKV Runner

?考wiki：https://github.com/binary-husky/gpt_academic/wiki/%E9%80%82%E9%85%8DRWKV-Runner

#
 【可?步?IV】?保config.py配置文件的AVAIL_LLM_MODELS包含了期望的模型，目前支持的全部模型如下(jittorllms系列目前?支持docker方案)：

AVAIL_LLM_MODELS = [
"
gpt-3.5-turbo
"
, 
"
api2d-gpt-3.5-turbo
"
, 
"
gpt-4
"
, 
"
api2d-gpt-4
"
, 
"
chatglm
"
, 
"
moss
"
] 
#
 + ["jittorllms_rwkv", "jittorllms_pangualpha", "jittorllms_llama"]


#
 【可?步?V】支持本地模型INT8,INT4量化（?里所指的模型本身不是量化版本，目前deepseek-coder支持，后面??后?加入更多模型量化??）

pip install bitsandbyte
#
 windows用?安?bitsandbytes需要使用下面bitsandbytes-windows-webui

python -m pip install bitsandbytes --prefer-binary --extra-index-url=https://jllllll.github.io/bitsandbytes-windows-webui
pip install -U git+https://github.com/huggingface/transformers.git
pip install -U git+https://github.com/huggingface/accelerate.git
pip install peft

4. ?行

   python main.py
   

0. 部署?目的全部能力（??是包含cuda和latex的大型?像。但如果??速慢、硬?小，?不推??方法部署完整?目）

   #
    修改docker-compose.yml，保留方案0??除其他方案。然后?行：
   
   docker-compose up
   

1. ?ChatGPT + GLM4 + 文心一言+spark等在?模型（推?大多?人??）

   #
    修改docker-compose.yml，保留方案1??除其他方案。然后?行：
   
   docker-compose up
   

P.S. 如果需要依?Latex的?件功能，??Wiki。?外，?也可以直接使用方案4或者方案0?取Latex功能。

2. ChatGPT + GLM3 + MOSS + LLAMA2 + 通?千?（需要熟悉 Nvidia Docker ?行?）

   #
    修改docker-compose.yml，保留方案2??除其他方案。然后?行：
   
   docker-compose up
   

1. Windows一??行脚本 。 完全不熟悉python?境的Windows用?可以下? Release 中?布的一??行脚本安?无本地模型的版本。脚本???源： oobabooga 。

2. 使用第三方API、Azure等、文心一言、星火等，? Wiki?面

3. 云服?器?程部署避坑指南。 ??? 云服?器?程部署wiki

4. 在其他平台部署&二??址部署

   • 使用Sealos 一?部署 。
   • 使用WSL2（Windows Subsystem for Linux 子系?）。??? 部署wiki-2
   • 如何在二??址（如 http://localhost/subpath ）下?行。??? FastAPI?行?明

?在已可以通?UI中的 界面外? 菜?中的 自定?菜? 添加新的便捷按?。如果需要在代?中定?，?使用任意文本??器打? core_functional.py ，添加如下?目?可：

"超?英?中"
: {
    
# 前?，?被加在?的?入之前。例如，用?描述?的要求，例如??、解?代?、?色等等

    "Prefix"
: 
"???把下面一段?容成中文，然后用一?markdown表格逐一解?文中出?的?有名?：
\n
\n
"
,

    
# 后?，?被加在?的?入之后。例如，配合前?可以把?的?入?容用引?圈起?。

    "Suffix"
: 
""
,
},

??强大的函??件??行任何?想得到的和想不到的任?。 本?目的?件??、???度?低，只要?具?一定的python基?知?，就可以?照我?提供的模板??自己的?件功能。 ?情??考 函??件指南 。

1. ??保存功能。在函??件??用 保存?前的?? ?可??前??保存?可?+可?原的html文件， ?外在函??件?（下拉菜?）?用 ?入???史存? ，?可?原之前的??。 Tip：不指定文件直接点? ?入???史存? 可以?看?史html存??存。

2. ?Latex/Arxiv?文??功能?

===>

3. ?空?端（?自然?言?入中，理解用?意?+自??用其他?件）

• 步?一：?入 “ ??用?件??PDF?文，地址? https://openreview.net/pdf?id=rJl0r3R9KX ”
• 步?二：点?“?空?端”

4. 模?化功能??，??的接口却能支持强大的功能

5. ?解其他?源?目

6. ?? live2d 的小功能（默???，需要修改 config.py ）

7. OpenAI?像生成

8. 基于mermaid的流?、???制

9. Latex全文校???

===>

10. ?言、主?切?

• version 3.80(TODO): ?化AutoGen?件主????一系列衍生?件
• version 3.70: 引入Mermaid??，??GPT???等功能
• version 3.60: 引入AutoGen作?新一代?件的基石
• version 3.57: 支持GLM3，星火v3，文心一言v4，修?本地模型的??BUG
• version 3.56: 支持??追加基?功能按?，新??PDF???面
• version 3.55: 重?前端界面，引入?浮?口?菜??
• version 3.54: 新增??代?解?器（Code Interpreter）（待完善）
• version 3.53: 支持????不同界面主?，提高?定性&解?多用??突??
• version 3.50: 使用自然?言?用本?目的所有函??件（?空?端），支持?件分?，改?UI，??新主?
• version 3.49: 支持百度千帆平台和文心一言
• version 3.48: 支持阿里?摩院通?千?，上海AI-Lab?生，??星火
• version 3.46: 支持完全?手操作的???音??
• version 3.45: 支持自定?ChatGLM2微?模型
• version 3.44: 正式支持Azure，?化界面易用性
• version 3.4: +arxiv?文??、latex?文批改功能
• version 3.3: +互??信息?合功能
• version 3.2: 函??件支持更多??接口 (保存??功能, 解?任意?言代?+同???任意的LLM?合)
• version 3.1: 支持同???多?gpt模型！支持api2d，支持多?apikey??均衡
• version 3.0: ?chatglm和其他小型llm的支持
• version 2.6: 重?了?件??，提高了交互性，加入更多?件
• version 2.5: 自更新，解???大工程源代??文本??、token溢出的??
• version 2.4: 新增PDF全文??功能; 新增?入?切?位置的功能
• version 2.3: 增强多?程交互性
• version 2.2: 函??件支持?重?
• version 2.1: 可折?式布局
• version 2.0: 引入模?化函??件
• version 1.0: 基?功能

GPT Academic??者QQ群： 610599535

• 已知??
  • 某些??器???件干?此?件前端的?行
  • 官方Gradio目前有?多兼容性??，? ?必使用 requirement.txt 安?Gradio

timeline LR
    title GPT-Academic?目?展?程
    section 2.x
        1.0~2.2: 基?功能: 引入模?化函??件: 可折?式布局: 函??件支持?重?
        2.3~2.5: 增强多?程交互性: 新增PDF全文??功能: 新增?入?切?位置的功能: 自更新
        2.6: 重?了?件??: 提高了交互性: 加入更多?件
    section 3.x
        3.0~3.1: ?chatglm支持: ?其他小型llm支持: 支持同???多?gpt模型: 支持多?apikey??均衡
        3.2~3.3: 函??件支持更多??接口: 保存??功能: 解?任意?言代?: 同???任意的LLM?合: 互??信息?合功能
        3.4: 加入arxiv?文??: 加入latex?文批改功能
        3.44: 正式支持Azure: ?化界面易用性
        3.46: 自定?ChatGLM2微?模型: ???音??
        3.49: 支持阿里?摩院通?千?: 上海AI-Lab?生: ??星火: 支持百度千帆平台 & 文心一言
        3.50: ?空?端: 支持?件分?: 改?UI: ??新主?
        3.53: ????不同界面主?: 提高?定性: 解?多用??突??
        3.55: ??代?解?器: 重?前端界面: 引入?浮?口?菜??
        3.56: ??追加基?功能按?: 新??PDF???面
        3.57: GLM3, 星火v3: 支持文心一言v4: 修?本地模型的??BUG
        3.60: 引入AutoGen
        3.70: 引入Mermaid??: ??GPT???等功能
        3.80(TODO): ?化AutoGen?件主?: ??衍生?件

可以通?修改 THEME ??（config.py）?更主?

1. Chuanhu-Small-and-Beautiful ?址

1. master 分支: 主分支，?定版
2. frontier 分支: ??分支，??版
3. 如何 接入其他大模型
4. ??GPT-Academic的 在?服??支持我?

代?中?考了?多其他?秀?目中的??，?序不分先后：

# ??ChatGLM2-6B:
https://github.com/THUDM/ChatGLM2-6B

# ??JittorLLMs:
https://github.com/Jittor/JittorLLMs

# ChatPaper:
https://github.com/kaixindelele/ChatPaper

# Edge-GPT:
https://github.com/acheong08/EdgeGPT

# ChuanhuChatGPT:
https://github.com/GaiZhenbiao/ChuanhuChatGPT

# Oobabooga one-click installer:
https://github.com/oobabooga/one-click-installers

# More：
https://github.com/gradio-app/gradio
https://github.com/fghrsh/live2d_demo