文章列表-AI魔法学院

文章列表

会“追问”的Agent，大模型知识库另类实践

决策所需要的Token量级远远低于Langchain推送文档切片所需的Token量级，可以省不少钱。

大模型

Stable Diffusion

硬核解读Stable Diffusion（系列一）

对于输入text，送入CLIP text encoder后得到最后的hidden states（即最后一个transformer block得到的特征），其特征维度大小为77x768（77是token的数量

StableDiffusion 文生图

图解大模型训练之：张量模型并行(TP)，Megatron-LM

其中： · b：batch_size，表示批量大小 · s：sequence_length，表示输入序列的长度 · h：hidden_size，表示每个token向量的维度

开源模型

无一幸免！OpenAI最强竞对Anthropic：“长上下文”让大模型更不安全

2023 年初，LLM 的上下文窗口约为一篇长文的大小（约 4000 个 token）。

Anthropic 大语言模型

RAG应用中数据处理过程需要注意的事项

这个问题经常出现在朴素的分块方法中，它涉及到按字符或token分割。

RAG 大模型

3 个令人惊艳的 AI 文档神器，开源了！

后来居上的 Claude，也在该特性上持续发力，将原有大模型的 Token 上限硬生生拉到了 100K（约 7.5 万个单词）。

大模型开源模型

百川智能正式发布130亿参数通用大语言模型百川大模型（Baichuan-13B-Base）

Baichuan-inc/Baichuan-13B-Chat/ 多领域超越ChatGPT 老规矩，先提纲挈领地说一下Baichuan-13B的基本个“模”资料：中英双语大模型，130亿参数，在1.4万亿token

大模型中文

Llama 3突然来袭！开源社区再次沸腾：GPT-4级别模型可以自由访问的时代到来

架构层面，Llama 3选择了经典的仅解码（decoder-only）式Transformer架构，采用包含128K token词汇表的分词器。

meta llama3

Fastwhisper + Pyannote 实现 ASR + 说话者识别

spk_rec_pipeline = Pipeline.from_pretrained("pyannote/speaker-diarization-3.1", use_auth_token="your huggingface token

faster-whisper 语者识别 ASR

解读OpenAI Sora文生视频技术原理

与ChatGPT首先引入Token Embedding 思路一致，针对视觉数据的建模方法则作为构建Sora最重要的第一步。

sora

零一万物API开放平台出场！通用Chat多模态通通开放，还有200K超长上下文版本

针对数字，Yi还采用了拆分成单个token的方式来提高模型理解力；甚至对于特殊和无法识别的字符，也有专门的应对策略。

零一万物 YI 李开复

Sora物理悖谬的几何解释

Sora 将视频编码映射到隐空间，再切割成时空补丁，被称为时空令牌（time-space token）。

Sora 解释

图解检索增强式生成（RAG）技术 | 万字长文

它取决于你使用的嵌入模型及其在 Token 上的处理能力。

检索增强式生成 RAG

回望做大模型一年后的感悟

前一类现在大家基本上都是2T左右token起，也有3、4T token的数量级的，这类工作即使训练7B的模型也需要几百万的代价，训练30几B的模型更是数千万的成本。

大模型感悟

一个产品经理的大模型观察、反思与预测

ensp; 预训练时要处理的数量级：上下文长度通常是 2000、4000 甚至是 100,000（决定GPT在尝试预测序列中的下一个token

工作

<...3 4 5 678 9 10 11 12 ...>

汇聚AI资讯，网罗AI文档，详解AI工具！

关于我们用户协议隐私条款商务合作：skillupvip

© 2023-2025 AI魔法学院

京ICP备20027199号-1