文章列表-AI魔法学院

文章列表

自己电脑上跑大语言模型（LLM）要多少内存？

以我用ollama + Lllama 7B 4bit 做推断（Inference，问大模型问题）为例，模型文件大小是3.8G，实际运行的时候电脑内存会多占用大概4.8G左右。

大语言模型运行

9.4k Star！MemGPT：伯克利大学最新开源、将LLM作为操作系统、无限上下文记忆、服务化部署自定义Agent

MemGPT 还支持与 llama.cpp、vLLM、Ollama、LM Studio 等开源模型整合、以及与 AutoGen 等 MultiAgent 框架进行结合使用。

MemGPT 大语言模型

将任意文本转换为知识图谱

该模型可以使用 Ollama 在本地设置，因此生成 KG 基本上是免费的（无需调用 GPT）。

知识图谱转换文本

Coze、Dify、FastGPT：哪款智能体平台最强？深度对比分析！

· Dify：支持OneAPI、Ollama等多种大语言模型的接入，界面简便易用，适合不同背景的用户。

智能体平台对比

GitHub狂飙3万star的LLM公开资料 - 大模型入门教程

您可以直接在Hugging Face Spaces中运行它们中的一些，或者在像LM Studio这样的应用程序中下载并在本地运行，或者通过llama.cpp或Ollama的CLI运行。

LLM 大模型 GitHub

46.6k星星！最强开源AI集合系统，一键部署全网AI工具都能直接用，UI简直是视觉盛宴！

三、本地大模型支持 LobeChat目前仅支持基于Ollama的本地模型，希望后面可以增加更多本地模型来使用。

AI开源集合

7.1k Star！RAGFlow：最新开源OCR+深度文档理解的RAG引擎、大海捞针测试、降低幻觉、服务化API集成进业务！

o o • 2024-04-08 支持用 Ollama 本地化部署大模型。

OCR RAG 开源

<12>

汇聚AI资讯，网罗AI文档，详解AI工具！

关于我们用户协议隐私条款商务合作：skillupvip

© 2023-2025 AI魔法学院

京ICP备20027199号-1