默认自带了chatglm3-6b-int4量化版本，需要大概5GB左右显存！

下载好后！话不多说，我们开始今天的部署！

① 下载解压

② 安装依赖

③ 启动webui+api！

第一部分：下载解压

就这么简单！其实你下载了这个包，我都不用介绍太多，你看名字就知道应该怎么做了！

首先要下载！

解压到一个全英文的路径中！

千万别放到有中文的路径！你是无法启动的！

第二部分：安装依赖+环境

在启动前，你要安装好AI环境，这里参照雄哥之前的教程！

第四天！0基础微调大模型+知识库，部署在微信！手把手安装AI必备环境！4/45

安装好环境之后，我们要点击  “2-2.安装依赖.bat”  这个脚本，无需管理员身份，双击即可！

他会安装好需要的依赖，如果出现报错，要逐个安装依赖，记得开魔法！

第三部分：启动webui+API！

主打一个简单！

非常简单，双击  “1.运行webui.bat”  这个程序，会自动打开UI界面！在开启前，需要先打开全局魔法！

这里占用的是本地7860端口，地址是这个！这里就可以跟他对话了！

整个占用大概5G左右显存！

· 

http://127.0.0.1:7860/

如果你要用本地的langchain调用，或者是用glm3来做一些本地任务，那里一定要调API出来了！

上面这个地址是无法被调用的，这时我们打开 ：  “ 1.运行api.bat”  他会自动开启！启动API的端口“8000”，这才是可以用到OpenAI标准的API key中！

例如我们要将这个模型调用到fastgpt的本地知识库环境中，我们只需要这样填写API key即可！

那今天除了讲解一些功能之外，重点讲讲如何调用ChatGLM3-6B的API调用！其他的本地程序调用也是同样道理！

必须要填写“v1”！

· 

OPENAI_BASE_URL=http://192.168.2.138:8000/v1

如果想了解更多本地LLM调用API的实例，或者知识库的搭建！

出自：https://mp.weixin.qq.com/s/TkNOFEB3Ypa8V2lr7vHi1g