文章列表-AI魔法学院

文章列表

中国大模型「顶流群聊」笔记

他说很快大家就会发现，做过大模型 Infra 的人比做大模型的人还要贵、更稀缺；而会做 Scaling Law（扩展定律，模型能力随着训练计算量增加而提升）的人比会做大模型 Infra 的人更稀缺。

大语言模型

【提前体验GPT-5】吴恩达AI智能体工作流详细解读

Ng also suggests the concept of scaling up from one to multiple intelligent agents with distinct functionalities

GPT-5 智能体

揭秘DeepSeek:一个更极致的中国技术理想主义故事

Scaling Law也在被如此对待。

DeepSeek 大模型

《构建个人知识图谱》：让 AIGC 帮你自动构建知识图谱

as K8s, is an open-source system for automating deployment, scaling

提示词文生图 AIGC

快手版Sora「可灵」开放测试：生成超120s视频，更懂物理，复杂运动也能精准建模

类Sora模型架构，scaling law得到验证先从模型的设计说起，这当中主要应当考虑两方面的因素，一是足够强的拟合能力，二是足够多的参数容量。

可灵快手文生视频

OpenAI视频模型Sora的推理生成成本多高？

、大显存 LLM 推理芯片，可以绕开芯片制程的瓶颈迅速商业化测算 GPT-4 的训练算力需求首先估算 GPT-4 的算力需求，根据 OpenAI 的 Paper： Scaling

Sora 推理算力

大模型时代-行业落地的再思考

而且，该阈值和预训练模型的大小，预训练时原始数据的比例等条件都息息相关，需要在实践中反复修正（这个时候就能看出scaling law的重要性了）。

大模型

大模型：泛化即智能，压缩即一切

如果你认同Scaling Law定律，你就应该相信通过大量不同的数据来追求长期的模型泛化能力比短期的通过巧妙的模型微调更重要，这个想法在机器学习先驱 Rich Sutton 《苦涩的教训》中也有所体现。

大模型泛化

大模型文本生成——解码策略（Top-k & Top-p & Temperature）

· 它可以与其他解码策略结合使用，例如温度调节（Temperature Scaling）、重复惩罚（Repetition

大模型

Stablediffusion3论文下载-确定了Stablediffusion3与Sora的架构是一致的

这篇论文的标题是《Scaling Rectified Flow Transformers for High-Resolution Image Synthesis》，作者是来自Stability AI的多位研究人员

SD 论文

微调、训练大模型概念介绍及论文笔记：Tuning系列论文笔记

#65533;��) q, k, v是输入数据，在微调过程中仅改变输入的序列长度并不会改变权重矩阵推荐材料 Scaling

训练微调

AI国力战争：GPU是明线，HBM是暗线

众所周知，大模型的智力涌现，依托于Scaling laws指导下的大力出奇迹，大模型对数据量和算力有着近乎无上限的需求，而算力的发动机GPU和存储池HBM，意外成为最大的受益者。

GPU HBM 大模型

图解大模型训练之：张量模型并行(TP)，Megatron-LM

7.3 GPU效率计算最后，在实验这块，咱们再来说说柱状图的weak scaling指标是怎么算出来的。

开源模型

大模型套壳祛魅：质疑套壳，理解套壳

直到 2020 年，OpenAI 发布一篇论文，首次提出了 Scaling Laws（尺度定律），NLP 的研究才正式进入大模型时代——大模型基于「大算力、大参数、大数据」，模型性能就会像摩尔定律一样持续提升

大模型套壳

一个产品经理的大模型观察、反思与预测

双向编码器表征模型） 2018年：OpenAI GPT（Generative Pre-trained Transformer / 生成式预训练转换器） Scaling

工作

<123 >

汇聚AI资讯，网罗AI文档，详解AI工具！

关于我们用户协议隐私条款商务合作：skillupvip

© 2023-2024 AI魔法学院

京ICP备20027199号-1