AI魔法学院客服
傻瓜式!一键部署ChatGLM3,免去环境烦恼+开箱即用!集成API调用!本地化界面操作!
傻瓜式系列已经更新第三期了啊!雄哥更新初衷就是,让环境部署简单易用!让碰到的各种困难的小朋友!快速拿到结果! 小白也能0基础部署!也能动手去微调!搭建自己的知识库!
 2024-04-02
收藏 复制地址分享海报

【新版】chatglm3-6b一键部署+API!
https://www.123pan.com/s/nX5VVv-QffsA.html
提取码:1vTH


【旧版】傻瓜式一键部署+微调的封装包!
链接:https://pan.quark.cn/s/5e722c73ce23
提取码:NaM2

默认自带了chatglm3-6b-int4量化版本,需要大概5GB左右显存!

 


下载好后!话不多说,我们开始今天的部署!

① 下载解压

② 安装依赖

③ 启动webui+api!

 


第一部分:下载解压

就这么简单!其实你下载了这个包,我都不用介绍太多,你看名字就知道应该怎么做了!

首先要下载!

解压到一个全英文的路径中!

千万别放到有中文的路径!你是无法启动的!

 

 


第二部分:安装依赖+环境

在启动前,你要安装好AI环境,这里参照雄哥之前的教程!

第四天!0基础微调大模型+知识库,部署在微信!手把手安装AI必备环境!4/45

安装好环境之后,我们要点击  “2-2.安装依赖.bat”  这个脚本,无需管理员身份,双击即可!

他会安装好需要的依赖,如果出现报错,要逐个安装依赖,记得开魔法!

第三部分:启动webui+API!

主打一个简单!

非常简单,双击  “1.运行webui.bat”  这个程序,会自动打开UI界面!在开启前,需要先打开全局魔法!

这里占用的是本地7860端口,地址是这个!这里就可以跟他对话了!

整个占用大概5G左右显存!

· 

http://127.0.0.1:7860/

 

如果你要用本地的langchain调用,或者是用glm3来做一些本地任务,那里一定要调API出来了!

上面这个地址是无法被调用的,这时我们打开   “ 1.运行api.bat”  他会自动开启!启动API的端口“8000”,这才是可以用到OpenAI标准的API key中!

 

例如我们要将这个模型调用到fastgpt的本地知识库环境中,我们只需要这样填写API key即可!

那今天除了讲解一些功能之外,重点讲讲如何调用ChatGLM3-6B的API调用!其他的本地程序调用也是同样道理!

必须要填写“v1”!

· 

OPENAI_BASE_URL=http://192.168.2.138:8000/v1

 

如果想了解更多本地LLM调用API的实例,或者知识库的搭建!

出自:https://mp.weixin.qq.com/s/TkNOFEB3Ypa8V2lr7vHi1g

本文档由网友提供,仅限参考学习,如有不妥或产生版权问题,请联系我们及时删除。 客服请加微信:skillupvip
评论
0 评论