ChatOllama是集成ollama与OpenAI的图形化管理工具,支持模型、指令、知识库管理及AI聊天。使用Vue3、Nuxt等技术开发,可下载代码学习。支持docker安装及本地安装,需配置OpenAI、Claude等API密钥。功能包括创建系统指令、知识库、使用ChatGPT和Claude3模型,以及模型管理。项目开源,可加入学习交流群探讨大模型技术。
ChatOllama是一款ollama图形化管理工具,集成了ollama,OpenAI,可以实现ollama的模型管理,系统指令管理,知识库管理,AI聊天等功能,功能方面与Open WebUI类似,作者在不断改进优化功能。使用Vue3、Nuxt还涉及数据库等内容,如果对前后端感兴趣,可以拿来代码看看,这些功能是如何实现。
1.1.下载下载
下载地址:
https://github.com/sugarforever/chat-ollama
离线下载或者用git拉取。
2.2.安装
本项目有两种安装方式,这里是使用离线下载安装方式,另外还有docker安装方式。解压缩,进入目录,cmd,在命令行运行 code .
在vs code的terminal中运行
#https://hub.docker.com/r/chromadb/chroma/tags
docker pull chromadb/chroma
docker run -d -p 8000:8000 chromadb/chroma
主要是通过docker拉取chroma
的镜像,启动这个数据存储服务,服务端口是8000。
浏览器访问http://localhost:8000
,会提示{"detail":"Not
Found"}
。
这个服务的docker后台
把目录下.env.example
修改为.env
,安装依赖:
npm install
安装成功
使用 Prisma Migrate 运行迁移以创建数据库表
npm run prisma-migrate
启动服务:
npm run dev
在浏览器访问:
http://localhost:3000/
进入到ChatOllama
聊天界面。
3.3.基本设置设置
进入Settings
页面,可以设置OpenAI
的key
,Claude3
的key
以及ollama
本地服务地址及端口。设置基本完成。如果有这些key
可以填上,没有默认就可以。Host填http://127.0.0.1:11434
,默认那个是在docker中使用的。
4.基本聊天4.基本聊天
创建系统指令,也就是聊天中system
角色,比如让它做为你的翻译助手,可以在instrucions
选create new instruction
创建指令,保存:
最上面选chat
,chat with
处选择要用的模型,从下拉中选择gemma:7b
,指令选择翻译助手,这个时候在聊天中给他一段英文,他就会把中文翻译结果返回回来:
这里的系统指令就相当于ollama
聊天补全中的system
角色,我们发出的内容就是user
角色,返回的结果就是assistant
角色。
创建一个python
解释器系统指令:
chatgpt prompts提示词库
https://github.com/f/awesome-chatgpt-prompts
这里收集了各种设定的提示词供大家参考。
55.创建知识库.创建知识库
进入Knowledge bases页面,创建新的知识库:保存成功后,点这个名称,就可以进入这个聊天页面。
6.6.使用chatgpt和claude3使用chatgpt和claude3
在settings设置openai,Anthropic的key,就可以在模型中选择中openai的几个模型进行聊天。在下拉单中可以看到chatgpt的几个模型。这里使用三方的接口,需要配置正确的base_url
。问两个问题,从中国到美国,骑自行车需要多长时间,需要多少钱?这两次问答用了0.06刀,大概是0.3元。
7.7.模型管理管理
点models,进行模型管理,可以在页面增加和删除模型。勾选模型,在上面操作中选删除。按提示删除即可。如果下载gemma:2b
模型,在下载中输入正确名称,即可下载模型。
8.8.资源获取资源获取
『ChatOllama』为github开源项目,最上面已给了下载地址,也可后台回复
『ChatOllama』获取这个项目的离线包。
99.学习交流矩阵.学习交流矩阵
组建了两个python学习群,学习生态很好。现在各种大模型层出不穷,chatgpt4
已经很牛了,现在还出了claude3
,还有ollama
这种开源大模型,民用级机器也可以跑大模型。李老板昨天说『以后没有程序员这个职业了』,人人都拥有程序员的技能,这几天英伟达的黄老板也说了类似的话,把编程这个活交给AI,你的后台支撑那里来,来学习『大模型』吧,我想组个『大模型交流群』。如果对大模型感兴趣,加我微信,组大模型群拉上你。加微信时备注一下。昨天一天已经有30多人入群了。组群发个福利,给大家介绍一个好用的集成了chatgpt
、claude
、bard
等大模型的好用小工具,后台回复『大模型』获取这个工具。
出自:https://mp.weixin.qq.com/s/xsre0YnFxmVmy6qF1ekXKQ
本文档由网友提供,仅限参考学习,如有不妥或产生版权问题,请联系我们及时删除。
客服请加微信:skillupvip