大模型已经发布很久，网络上的大模型形形色色，现在已然是群英荟萃，那么，如何在本地运行一个大模型？

本文采用ollama，简单运行本地大模型，不需要写代码。

测试机器：

i5 8400

16G内存

1060 6G

安装ollama安装，下载，运行模型。Chatbox作为桌面程序，用来更方便的调用大模型。

经测试，gemma:2b模型可流畅运行

ollama

下载地址

githup

https://github.com/ollama/ollama/releases

百度云

https://pan.baidu.com/s/1kETzxfpJEDm0LovVRf4AFg?pwd=anan

模型默认安装位置

C:\Users\用户名\.ollama

1

修改模型默认安装位置

模型的默认下载路径为

C:\Users\<username>\.ollama\models

如果不想保存在C盘，需要修改，择需要添加环境变量，并重启ollama

OLLAMA_MODELS

修改完毕后需要重启ollama，在任务栏右键退出。之后再window中双击运行

最后可以看到在我们的设置页面中出现了一个新的文件夹，这就表示设置成功了

可下载模型

执行以上命令后，Ollama 将开始初始化，并自动从 Ollama 模型库中拉取并加载所选模型。一旦准备就绪，就可以向它发送指令，它会利用所选模型来进行理解和回应。

记得将modelname名称换成要运行的模型名称，常用的有：

模型       参数       大小       安装命令       发布组织

Llama 2   7B   3.8GB     ollama run llama2 Meta

Code Llama   7B   3.8GB     ollama run codellama   Meta

Llama 2 13B   13B  7.3GB     ollama run llama2:13b  Meta

Llama 2 70B   70B  39GB      ollama run llama2:70b  Meta

Mistral    7B   4.1GB     ollama run mistral Mistral AI

mixtral    8x7b       26GB      ollama run mixtral:8x7b       Mistral AI

Phi-2      2.7B 1.7GB     ollama run phi      Microsoft Research

LLaVA    7B   4.5GB     ollama run llava    Microsoft Research

Columbia University                         

Wisconsin                          

Gemma 2B     2B   1.4GB     ollama run gemma:2b  Google

Gemma 7B     7B   4.8GB     ollama run gemma:7b  Google

Qwen 4B 4B   2.3GB     ollama run qwen:4b     Alibaba

Qwen 7B 7B   4.5GB     ollama run qwen:7b     Alibaba

Qwen 14B      14B  8.2GB     ollama run qwen:14b    Alibaba

运行 7B 至少需要 8GB 内存，运行 13B 至少需要 16GB 内存。

相关命令

# 查看本地已经下载的模型

ollama list

# 下载模型 例如gemma:2b

ollama run gemma:2b

下载完毕后

可通过命令行输出与之对话

Chatbox客户端

Chatbox 支持 ollama，可以使用图形化的对话方式。

下载地址

githup

https://github.com/Bin-Huang/chatbox/releases

百度云

https://pan.baidu.com/s/11mUtHDAN-nvfk0L_3ZE26Q?pwd=anan

设置ollama模型并运行

原文链接：https://blog.csdn.net/qq_46554590/article/details/136547400