Ollama的本地化又一图形工具ChatOllama,让你轻松玩转ollama,ChatGPT
AI魔法学院
2024-08-26
分享海报

ChatOllama是一款ollama图形化管理工具,集成了ollamaOpenAI,可以实现ollama的模型管理,系统指令管理,知识库管理,AI聊天等功能,功能方面与Open WebUI类似,作者在不断改进优化功能。使用Vue3Nuxt还涉及数据库等内容,如果对前后端感兴趣,可以拿来代码看看,这些功能是如何实现。

1.1.下载下载

下载地址:

https://github.com/sugarforever/chat-ollama

离线下载或者用git拉取。

2.2.安装

本项目有两种安装方式,这里是使用离线下载安装方式,另外还有docker安装方式。解压缩,进入目录,cmd,在命令行运行code .vs codeterminal中运行

#https://hub.docker.com/r/chromadb/chroma/tags

docker pull chromadb/chroma
docker run -d -p 8000:8000 chromadb/chroma

主要是通过docker拉取chroma的镜像,启动这个数据存储服务,服务端口是80001720173160983

浏览器访问http://localhost:8000,会提示{"detail":"Not Found"}

这个服务的docker后台

把目录下.env.example修改为.env,安装依赖:

npm install

安装成功

使用 Prisma Migrate 运行迁移以创建数据库表

npm run prisma-migrate

启动服务:

npm run dev

在浏览器访问:

http://localhost:3000/

进入到ChatOllama聊天界面。

3.3.基本设置设置

进入Settings页面,可以设置OpenAIkeyClaude3key以及ollama本地服务地址及端口。设置基本完成。如果有这些key可以填上,没有默认就可以。Hosthttp://127.0.0.1:11434,默认那个是在docker中使用的。

4.基本聊天4.基本聊天

创建系统指令,也就是聊天中system角色,比如让它做为你的翻译助手,可以在instrucionscreate new instruction创建指令,保存:

最上面选chatchat with处选择要用的模型,从下拉中选择gemma:7b,指令选择翻译助手,这个时候在聊天中给他一段英文,他就会把中文翻译结果返回回来:

这里的系统指令就相当于ollama聊天补全中的system角色,我们发出的内容就是user角色,返回的结果就是assistant角色。

创建一个python解释器系统指令:

chatgpt prompts提示词库 https://github.com/f/awesome-chatgpt-prompts

这里收集了各种设定的提示词供大家参考。

55.创建知识库.创建知识库

进入Knowledge bases页面,创建新的知识库:保存成功后,点这个名称,就可以进入这个聊天页面。

6.6.使用chatgptclaude3使用chatgptclaude3

settings设置openaiAnthropickey,就可以在模型中选择中openai的几个模型进行聊天。在下拉单中可以看到chatgpt的几个模型。这里使用三方的接口,需要配置正确的base_url问两个问题,从中国到美国,骑自行车需要多长时间,需要多少钱?这两次问答用了0.06刀,大概是0.3元。

7.7.模型管理管理

models,进行模型管理,可以在页面增加和删除模型。勾选模型,在上面操作中选删除。按提示删除即可。如果下载gemma:2b模型,在下载中输入正确名称,即可下载模型。

8.8.资源获取资源获取

ChatOllama』为github开源项目,最上面已给了下载地址,也可后台回复

ChatOllama』获取这个项目的离线包。

99.学习交流矩阵.学习交流矩阵

组建了两个python学习群,学习生态很好。现在各种大模型层出不穷,chatgpt4已经很牛了,现在还出了claude3,还有ollama这种开源大模型,民用级机器也可以跑大模型。李老板昨天说『以后没有程序员这个职业了』,人人都拥有程序员的技能,这几天英伟达的黄老板也说了类似的话,把编程这个活交给AI,你的后台支撑那里来,来学习『大模型』吧,我想组个『大模型交流群』。如果对大模型感兴趣,加我微信,组大模型群拉上你。加微信时备注一下。昨天一天已经有30多人入群了。组群发个福利,给大家介绍一个好用的集成了chatgptclaudebard等大模型的好用小工具,后台回复『大模型』获取这个工具。

出自:https://mp.weixin.qq.com/s/xsre0YnFxmVmy6qF1ekXKQ

© THE END

转载请联系本网站获得授权

投稿或版权问题请加微信:skillupvip