【新版】chatglm3-6b一键部署+API！
https://www.123pan.com/s/nX5VVv-QffsA.html
提取码:1vTH
【旧版】傻瓜式一键部署+微调的封装包！
链接：https://pan.quark.cn/s/5e722c73ce23
提取码：NaM2
默认自带了chatglm3-6b-int4量化版本，需要大概5GB左右显存！
下载好后！话不多说，我们开始今天的部署！
① 下载解压
② 安装依赖
③ 启动webui+api！
第一部分：下载解压
就这么简单！其实你下载了这个包，我都不用介绍太多，你看名字就知道应该怎么做了！
首先要下载！
解压到一个全英文的路径中！
千万别放到有中文的路径！你是无法启动的！
第二部分：安装依赖+环境
在启动前，你要安装好AI环境，这里参照雄哥之前的教程！
第四天！0基础微调大模型+知识库，部署在微信！手把手安装AI必备环境！4/45
安装好环境之后，我们要点击 “2-2.安装依赖.bat” 这个脚本，无需管理员身份，双击即可！
他会安装好需要的依赖，如果出现报错，要逐个安装依赖，记得开魔法！
第三部分：启动webui+API！
主打一个简单！
非常简单，双击 “1.运行webui.bat” 这个程序，会自动打开UI界面！在开启前，需要先打开全局魔法！
这里占用的是本地7860端口，地址是这个！这里就可以跟他对话了！
整个占用大概5G左右显存！
·
http://127.0.0.1:7860/
如果你要用本地的langchain调用，或者是用glm3来做一些本地任务，那里一定要调API出来了！
上面这个地址是无法被调用的，这时我们打开 ： “ 1.运行api.bat” 他会自动开启！启动API的端口“8000”，这才是可以用到OpenAI标准的API key中！
例如我们要将这个模型调用到fastgpt的本地知识库环境中，我们只需要这样填写API key即可！
那今天除了讲解一些功能之外，重点讲讲如何调用ChatGLM3-6B的API调用！其他的本地程序调用也是同样道理！
必须要填写“v1”！
·
OPENAI_BASE_URL=http://192.168.2.138:8000/v1
如果想了解更多本地LLM调用API的实例，或者知识库的搭建！
出自：https://mp.weixin.qq.com/s/TkNOFEB3Ypa8V2lr7vHi1g