文章列表-AI魔法学院

文章列表

GPU 性能（数据表）快速参考

这篇文章为流行的GPU的性能提供了一个简明的参考，包括NVIDIA和华为海思的主流型号，水平有限，译文整理，供参考学习。

GPU 算力

微软打破Decoder-Only架构！大幅降低GPU内存需求，网友：把Llama3 70B弄20GB GPU上运行

YOCO仅缓存一次键值对，可大幅降低GPU内存需求，且保留全局注意力能力。

Decoder-Decoder YOCO 架构

盘点来自工业界的GPU共享方案

进年来工业界一直孜孜不倦地寻求提升GPU利用率的方案，能被更多用户理解和使用的GPU共享走进工程师的视野中。

大模型

AI国力战争：GPU是明线，HBM是暗线

· 虽然GPU龙头英伟达股价一飞冲天，但搅局者的动力也有增无减，AMD作为二供被寄予了厚望，谷歌自研TPU也被不少人看好；而国产GPU选手华为昇腾、寒武纪、海光、沐熙、壁韧等也在尝试形成自己的闭环

GPU HBM 大模型

Pytorch安装（保姆级教学真·满血·GPU版）CUDA更新？torch版本？一文全搞定！

输入： >>> import torch >>> print(torch.cuda.is_available()) 如果输出是True，那么恭喜你就是GPU

训练

比GPT-4快18倍，世界最快大模型Groq登场！每秒500 token破纪录，自研LPU是英伟达GPU 10倍

Groq突然爆火，背后最大的功臣不是GPU，而是自研的LPU——语言处理单元。

Groq 大模型

芯片拼接技术：英伟达新核弹，站在苹果的肩膀上

2024GTC大会上，黄仁勋右手B200，左手H100，理所当然地有了新人忘旧人：“我们需要更大的GPU，如果不能更大，就把更多GPU组合在一起，变成更大的虚拟GPU。”

芯片拼接

芯片拼接技术：英伟达新核弹，站在苹果的肩膀上！

2024GTC大会上，黄仁勋右手B200，左手H100，理所当然地有了新人忘旧人：“我们需要更大的GPU，如果不能更大，就把更多GPU组合在一起，变成更大的虚拟GPU。”

芯片拼接技术

实测：本地跑llama3:70B需要什么配置

前几天发布的开源大语言模型Llama 3 70B的能力通过测试结果的展示已经达到了一个全新的高度，甚至可以与Claude 3 Sonnet和Gemini 1.5 Pro等一众顶级模型相媲美，甚至在某些方面已经超过了去年发布的两款GPT-4。这一突破使得Llama 3一举成为当前顶流的大语言模型之一。

llama GPU内存

DeepSeek V3刷屏，550万元2000张卡做出的开源模型，和OpenAI几亿烧出来的一样好

小时，也就是说，在我们的具有 2048 个 H800 GPU 的集群上需要 3.7 天。

DeepSeek V3 开源模型

手把手带你微调一个自己的 ChatGLM2-6B 模型

o 硬件环境我这里使用了阿里云的 GPU 服务器： o • 12核(vCPU) 92 GiB o o •

ChatGLM2-6B

使用自己的数据训练清华ChatGLM2-6B 模型

服务器准备不想折腾mac了，正好腾讯云有活动，GPU服务器，8核32G内存16G显存，60块钱半个月，刚好买来试试，活动链接在结尾处。

ChatGLM2-6B

大模型压缩首篇综述来啦~

此外，为了有效管理操作，部署该模型进行推理至少需要五个A100 GPU，每个GPU配备80GB内存。

大模型

Ilya认错，Scaling Law崩了？自曝SSI秘密技术路线取代OpenAI

而各方巨头改变训练范式后，英伟达GPU的垄断地位或许也要打破了。

Scaling Law AI大模型

图解大模型训练之：张量模型并行(TP)，Megatron-LM

· f 的forward计算：把输入X拷贝到两块GPU上，每块GPU即可独立做forward计算。

开源模型

<12 3 4 5 6 7 8 9 10 ...>

汇聚AI资讯，网罗AI文档，详解AI工具！

关于我们用户协议隐私条款商务合作：skillupvip

© 2023-2025 AI魔法学院

京ICP备20027199号-1