P.S. 如果?按照以下步?成功接入了新的大模型,?迎?Pull Requests(如果?在自己接入新模型的?程中遇到困?,?迎加README底部QQ群?系群主)
-
?制
request_llms/bridge_llama2.py
,重命名??喜?的名字
-
修改
load_model_and_tokenizer
方法,加??的模型和分?器(去?模型官??demo,?制粘??可)
-
修改
llm_stream_generator
方法,定?推理模型(去?模型官??demo,?制粘??可)
-
命令行??
- 修改
tests/test_llms.py
(?慧如?,只需要看一眼?文件就明白??修改了)
- ?行
python tests/test_llms.py
-
??通?后,在
request_llms/bridge_all.py
中做最后的修改,把?的模型完全接入到?架中(?慧如?,只需要看一眼?文件就明白??修改了)
-
修改
LLM_MODEL
配置,然后?行
python main.py
,??最后的效果
-
?制
request_llms/bridge_zhipu.py
,重命名??喜?的名字
-
修改
predict_no_ui_long_connection
-
修改
predict
-
命令行??
- 修改
tests/test_llms.py
(?慧如?,只需要看一眼?文件就明白??修改了)
- ?行
python tests/test_llms.py
-
??通?后,在
request_llms/bridge_all.py
中做最后的修改,把?的模型完全接入到?架中(?慧如?,只需要看一眼?文件就明白??修改了)
-
修改
LLM_MODEL
配置,然后?行
python main.py
,??最后的效果