无显卡+纯本地跑Qwen1.5版模型!0基础闭眼部署指南!适用绝大部分开源模型!llama2+Mistral+Zephyr通杀!
AI魔法学院
2024-04-16
分享海报

在新年几天,把知识图谱和高级RAG应用干完!

干完了,我们继续干agent!干教育组项目!

接下来我们会用到纯本地的环境,做知识图谱+RAG应用!

我需要部署一个本地开源模型,完成任务!

但雄哥带回家的笔记本电脑,没有显卡!

怎么办?

刚好qwen发布了1.5 版本!而且一下更新了:0.5B, 1.8B, 4B, 7B, 14B,  72B

6个尺寸版本!

最小的尺寸仅0.5B!

就是不知能力如何!

我们先看看他常规尺寸的数据,这么看,各项数据,不管放在国内外,在开源阵营中,都是非常能打的!

 

但雄哥本地没有显卡,只能用CPU来跑,而且日后接API出来做知识图谱和RAG,小尺寸模型才是我的菜!

来看看小尺寸的表现!

 

嗯!就它了!

雄哥本地没有任何显卡,只有CPU!到时跑知识图谱,那个温度+音浪~

已经有画面了!

 

人的专注力只有10分钟,那,话不多说!

① 部署ollama推理环境!

② 下载qwen1.5版本模型!(全)

③ 启动推理!跑起来!

价值内容,仅对知识星球会员开放,被长辈催婚,不如关门学习,快加入星球,一起打卡学习吧!

我们已经做了大模型微调、知识库+RAG、数据预处理、langchain+llama_index的内容!点击下方小程序申请加入!

 

第一部分:部署ollama推理环境


ollama!是一个操作简单的大模型部署工具!可以无缝接入到各大应用中!

当然!支持langchain+llama_index!来看看它的优势!

运行环境:纯本地

支持系统:Mac、linux、win系统的WSL2

算力要求:零!雄哥16G内存,0显存,照样跑!

部署方式:一条指令搞掂,无需安装依赖!

docker:完美使用!

GitHub地址:https://github.com/ollama/ollama

接下来,雄哥用win11系统的WSL和docker两种方式来部署它!

如果你是小白,没关系,你可以把ollama理解为一个手机系统,大模型就是一个APP!

只有安装了系统,我们才能启动一个APP,一样道理!

好!动起手来,跟着雄哥把系统部署下来!

 

1.1 安装wsl+docker

是的,雄哥是0基础教,那一定是从这个开始的!wsl和docker几乎是捆绑在一起的!

首先,我们要先安装wsl!这是win系统的linux虚拟机,完全独立于win系统!这样无需安装双系统了!

安装!对你日后的AI环境使用,都有好处,雄哥的使用率极高!

安装wsl有自动和手动两种,雄哥用自动挡,没成功~

没关系,手动安装也是一眨眼的事!

现在在开始菜单按钮右键,管理员身份运行终端!

 

输入以下指令,回车!启动wsl功能

· 

dism.exe /online /enable-feature /featurename:Microsoft-Windows-Subsystem-Linux /all /norestart

 

继续!输入以下指令,回车!启动虚拟机功能!

· 

dism.exe /online /enable-feature /featurename:VirtualMachinePlatform /all /norestart

 

打开电脑的“应用商店”,搜索并安装wsl!

 

 

回到刚刚的窗口,看看安装成功没!输入以下指令!回车!

· 

wsl --list --verbose

 

注意看!星标在不在新安装的这个版本上!

如果不在,输入以下指令,将新安装的wsl设置为默认版本!

否则是无法启动的!

· 

wsl --set-default-version Ubuntu-22.04

 

现在,该安装docker了!

在知识星球会员盘下载docker后!直接下一步安装!

安装成功后,注意要点设置!打钩!

 

全部搞掂!

 

1.2 安装ollama!

打开刚刚那个WSL小企鹅!这是linux和wsl的安装指令!

一条搞掂,输入后回车!

· 

curl https://ollama.ai/install.sh | sh

 

整个下载几分钟搞掂!因为雄哥本地的笔记本,没有显卡,只有CPU,所以它提示我,会用CPU来运行模型!

没关系!

下载完了,这个系统就搞掂了!

之后运行模型只需要一条指令!

是不是很简单?

甚至不用安装依赖!

 

上面已经安装好了!不需要再做任何操作了!

当然,你也可以用docker安装,如果你还想拓展更多花活,你就可以玩docker了,也是一条指令搞掂!

两个系统是独立的,一个在docker,一个在wsl中!

· 

docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama

 

 

第二部分:下载模型!(全)


雄哥实在太爱这个工具了,下载模型只需要一条指令!无需魔法!

首先!雄哥要下载qwen1.5版本的模型,ollama专门做了一个模型商店!

上面有绝大部分的开源模型!以下是qwen1.5版本仓库的商店链接!

· 

https://ollama.ai/library/qwen/tags

 

直接在wsl窗口输入以下指令,回车!

· 

ollama run qwen:0.5b

 

这是支持的所有开源模型的商店链接!

客观您慢慢挑~

https://ollama.ai/library

 

 

注意!在docker中的操作是完全不同的!

使用以下命令。

CPU

· 

docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama

有英伟达GPU的

1. 

安装 Nvidia 容器工具包。

2. 

3. 

Docker 容器中运行 Ollama

4. 

· 

docker run -d --gpus=all -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama

运行模型

现在,您可以在容器内运行类似 qwen1.5_0.5b 的模型。

· 

docker exec -it ollama ollama run qwen:0.5b

 

第三部分:启动推理!跑起来!


跑起来!

一条指令!

· 

ollama run qwen:0.5b-chat

没错!还是它!

如果你下载完,会自动进入chat,退出后,也可以用它来启动!

 

你有什么问题在,直接在窗口就可以跟它对话,CPU,也非常快!

简单问了两个问题!

1:树上有10只鸟,开 枪打死一只,树上还有几只鸟?

1:当开枪打死一只之后,树上可能会剩下9只鸟。但请注意,这只是一个假设的计算,并没有考虑到所有可能的情况。

2:你是谁

2:我是来自阿里云的大规模语言模型——通义千问。我不仅能够理解和生成高质量的文字,而且还能进行深度对话和知识查询,为用户提供更便捷的服务。

整个回答,还算简洁,没什么多余的话,这只是0.5B的!跑完了这个,我感觉我的电脑可以跑4B的,16G显存,马上下载试试!

反正一条指令干完所有事,大家也动起手来

qwen1.5系列,全系都是32K,真的好评!

雄哥好好玩下

 

后续我们要用它来部署纯本地的LLM,接API来做知识图谱+RAG应用!

 

 

 

 

 

 

出自:https://mp.weixin.qq.com/s/Hx0C0GG63iHm6W_PlQdhJw

© THE END

转载请联系本网站获得授权

投稿或版权问题请加微信:skillupvip