傻瓜式系列已经更新第三期了啊!雄哥更新初衷就是,让环境部署简单易用!让碰到的各种困难的小朋友!快速拿到结果!
小白也能0基础部署!也能动手去微调!搭建自己的知识库!
【新版】chatglm3-6b一键部署+API!
https://www.123pan.com/s/nX5VVv-QffsA.html
提取码:1vTH
【旧版】傻瓜式一键部署+微调的封装包!
链接:https://pan.quark.cn/s/5e722c73ce23
提取码:NaM2
默认自带了chatglm3-6b-int4量化版本,需要大概5GB左右显存!
下载好后!话不多说,我们开始今天的部署!
① 下载解压
② 安装依赖
③ 启动webui+api!
第一部分:下载解压
就这么简单!其实你下载了这个包,我都不用介绍太多,你看名字就知道应该怎么做了!
首先要下载!
解压到一个全英文的路径中!
千万别放到有中文的路径!你是无法启动的!
第二部分:安装依赖+环境
在启动前,你要安装好AI环境,这里参照雄哥之前的教程!
第四天!0基础微调大模型+知识库,部署在微信!手把手安装AI必备环境!4/45
安装好环境之后,我们要点击 “2-2.安装依赖.bat” 这个脚本,无需管理员身份,双击即可!
他会安装好需要的依赖,如果出现报错,要逐个安装依赖,记得开魔法!
第三部分:启动webui+API!
主打一个简单!
非常简单,双击 “1.运行webui.bat” 这个程序,会自动打开UI界面!在开启前,需要先打开全局魔法!
这里占用的是本地7860端口,地址是这个!这里就可以跟他对话了!
整个占用大概5G左右显存!
·
http://127.0.0.1:7860/
如果你要用本地的langchain调用,或者是用glm3来做一些本地任务,那里一定要调API出来了!
上面这个地址是无法被调用的,这时我们打开 : “ 1.运行api.bat” 他会自动开启!启动API的端口“8000”,这才是可以用到OpenAI标准的API key中!
例如我们要将这个模型调用到fastgpt的本地知识库环境中,我们只需要这样填写API key即可!
那今天除了讲解一些功能之外,重点讲讲如何调用ChatGLM3-6B的API调用!其他的本地程序调用也是同样道理!
必须要填写“v1”!
·
OPENAI_BASE_URL=http://192.168.2.138:8000/v1
如果想了解更多本地LLM调用API的实例,或者知识库的搭建!
出自:https://mp.weixin.qq.com/s/TkNOFEB3Ypa8V2lr7vHi1g
本文档由网友提供,仅限参考学习,如有不妥或产生版权问题,请联系我们及时删除。
客服请加微信:skillupvip