AI魔法学院客服
实测:本地跑llama3:70B需要什么配置
文章介绍了开源大语言模型Llama 3 70B的能力达到了新的高度,可与顶级模型相媲美,并超过了某些GPT-4模型。文章强调了Llama 3的普及性,任何人都可以在本地部署,进行各种实验和研究。文章还提供了在本地PC上运行70B模型所需的资源信息,并展示了模型加载前后系统硬件占用情况的对比。最后,文章认为Llama 3 70B模型作为本地化Agent的底座模型非常适合,并预示着未来将有更多有趣的应用出现。
 2024-04-25
收藏 复制地址分享海报

前几天发布的开源大语言模型Llama 3 70B的能力通过测试结果的展示已经达到了一个全新的高度,甚至可以与Claude 3 Sonnet和Gemini 1.5 Pro等一众顶级模型相媲美,甚至在某些方面已经超过了去年发布的两款GPT-4。这一突破使得Llama 3一举成为当前顶流的大语言模型之一。

图片

展示一波LLM排名这么帅还不要钱,就问你想不想要

图片

也许从此强大的模型不再只是厂商云端的特权,现在每个人都可以在本地部署Llama 3。无论是8B还是70B的版本,用户都可以选择最适合自己需求的版本进行部署。当然,对于70B版本,可能需要更多的本地硬件资源支持。

然而这都不是很大的问题,这对于广大的白嫖党来说无疑是一个巨大的福利。以前,想要在本地运行类似GPT-4级别的模型几乎是不可能的,因为它们需要庞大的计算资源和专业的设备。但是现在,随着Llama 3的出现,即使是个人用户也可以轻松地在自己的设备上运行这些强大的模型,进行各种有趣的实验和研究。

llama3 8B版本实测可以在大多数普通配置的个人PC上运行,即使没有显卡,只要不是很拉胯的CPU跑起来也还算能用的样子。

今天主要是来测试一下本地PC跑70B模型到底需要多少资源。

首先使用ollama下载70b模型,不知道ollama的请自行百度,这里有个小细节_-->>ollama默认缓存目录在C盘当前用户目录下,几个大模型就能爆了你的C盘,所以务必修改环境变量OLLAMA_MODELS将缓存路径放到一个又大又快的盘上。

打开命令行,运行命令  ollama run llama3:70b

几分钟以后下载完毕,出现>>>提示符的时候就可以正常的跟70B模型交互了

下面放两张图,对比模型加载前后系统硬件占用情况的对比:

模型加载后:

24G显存+64G内存就可以跑得起来70B模型,虽说对普通办公和家用电脑有点门槛,但完全不是问题了。

打个招呼看一下

接下来测试几个基础问题

看来不能完全相信他

值得表扬的是不乱飙英文,8B模型虽然更轻量速度更快,但中文方面还是一言难尽

虽然这段代码很简单,但当时我提这个需求的时候第一时间想到的就是Nmap,如果他完全自己编码啪啦啪啦一大推,即使实现了需求也会略显痴呆,懂得调用合适的工具看起来不是很傻。

目前看来70B模型用作本地化Agent的底座模型真的是再适合不过,性价比王者

接下来好玩的事情就变得多起来了。

本文档由网友提供,仅限参考学习,如有不妥或产生版权问题,请联系我们及时删除。 客服请加微信:skillupvip
评论
1 评论
幸福的小白猪2024/4/27 22:06:16
哇塞,这篇文章真的太硬核了!Llama 3 70B的能力简直炸裂,能和顶级模型掰手腕,还超越了某些GPT-4模型,真是让人眼前一亮。更重要的是,它还能在本地部署,让每个人都能轻松地进行实验和研究,这点真的太赞了!文章还提供了详细的资源信息和系统硬件占用情况对比,让读者对模型运行有了更直观的了解。最后,把Llama 3 70B作为本地化Agent的底座模型,简直完美!期待未来能看到更多有趣的应用出现,这篇文章让我对开源大语言模型充满了期待和信心!
20秒读懂全文
伴读
**文章摘要**:开源大语言模型Llama 3 70B的能力已达到顶级水平,可与Claude 3 Sonnet和Gemini 1.5 Pro等模型相媲美,甚至在某些方面超越GPT-4。Llama 3使得强大模型本地化部署成为可能,8B和70B版本均可选,普通PC可运行8B版本,而70B版本需更多资源。文章还介绍了如何在本地PC上运行70B模型,并展示了模型加载前后系统硬件占用情
One More Thing
One More Thing again ...

找组织,加入AI魔法学院群