文章列表-AI魔法学院

文章列表

微软打破Decoder-Only架构！大幅降低GPU内存需求，网友：把Llama3 70B弄20GB GPU上运行

YOCO仅缓存一次键值对，可大幅降低GPU内存需求，且保留全局注意力能力。

Decoder-Decoder YOCO 架构

实测：本地跑llama3:70B需要什么配置

首先使用ollama下载70b模型，不知道ollama的请自行百度，这里有个小细节_-->>ollama默认缓存目录在C盘当前用户目录下，几个大模型就能爆了你的C盘，所以务必修改环境变量OLLAMA_MODELS

llama GPU内存

自己电脑上跑大语言模型（LLM）要多少内存？

在本地电脑上运行大型语言模型(LLM)，需要考虑的关键因素之一就是电脑的内存够不够。

大语言模型运行

GPU 性能（数据表）快速参考

这篇文章为流行的GPU的性能提供了一个简明的参考，包括NVIDIA和华为海思的主流型号，水平有限，译文整理，供参考学习。

GPU 算力

使用自己的数据训练清华ChatGLM2-6B 模型

服务器准备不想折腾mac了，正好腾讯云有活动，GPU服务器，8核32G内存16G显存，60块钱半个月，刚好买来试试，活动链接在结尾处。

ChatGLM2-6B

微信为什么使用 SQLite 保存聊天记录？

无论何时，只要开发者想使用 SQL 在文件中存储结构化的数据，SQLite 应是首选方案。

SQLite 微信数据库

微信为什么使用 SQLite 保存聊天记录!

无论何时，只要开发者想使用 SQL 在文件中存储结构化的数据，SQLite 应是首选方案。

SQLite 微信数据库

大模型压缩首篇综述来啦~

此外，为了有效管理操作，部署该模型进行推理至少需要五个A100 GPU，每个GPU配备80GB内存。

大模型

盘点来自工业界的GPU共享方案

cGPU实现了一个内核模块cgpu_km，该模块可以对一个物理GPU虚拟出16个虚拟GPU设备。

大模型

AI国力战争：GPU是明线，HBM是暗线

但在更为隐秘的战场，HBM（高带宽内存）显然是基本被忽视的关键一环。

GPU HBM 大模型

国内人工智能对北京高考微作文题目的回答

这个场景表现了黛玉内心的孤独和悲痛，与花卉的意象相互呼应。

中文大模型

国内开源的低代码框架有哪些？

Appsmith Appsmith 是一款开源的低代码框架，其主要用于帮助用户及团队更快、更协调地完成构建管理面板、内部工具和仪表板等，且允许拖放UI 组件来构建页面，用户可以通过Appsmith连接到任何

大模型

国内法律类大模型介绍

国内法律类大模型列表： 1.

法律大模型

谈谈RAG存在的一些问题和避免方式

一般来说，分块过程忽略了文本的内容，这就产生了问题。

RAG 大模型

Yann LeCun杨立昆最新观点：AGI不存在

本篇内容来自Yann LeCun最新的播客访谈，以及1月份的公开内容整合。

AGI 大语言模型观点

<12 3 4 5 6 7 8 9 10 ...>

汇聚AI资讯，网罗AI文档，详解AI工具！

关于我们用户协议隐私条款商务合作：skillupvip

© 2023-2024 AI魔法学院

京ICP备20027199号-1