文章列表-AI魔法学院

文章列表

FFmpeg之父新作——音频压缩工具 TSAC

RVQ流程如下所示： RVQGAN RVQGAN的网络结构和SoundStream类似，是一种encoder-decoder的形式。

TSAC 音频工具

大模型套壳祛魅：质疑套壳，理解套壳

Transformer 的原始架构包含两个核心组件——编码器（Encoder）与解码器（Decoder），编码器负责理解输入文本，解码器负责生成输出文本。

大模型套壳

RAG 修炼手册｜一文讲透 RAG 背后的技术

这个模型由“编码器（Encoder）”和“解码器（Decoder）”组成，其中编码器将输入语言序列编码为一系列隐藏表示，解码器则将这些隐藏表示解码为目标语言序列。

RAG Embedding

万字长文，AI大模型的应用实践总结

而基于Transformer结构的模型又可以分为Encoder-only、Decoder-only、Encoder-Decoder这三类。

大模型

什么是ChatGPT？

然后用一个叫做编码器 encoder 的东西变成数字的表现（比如 GPT 就用 1536 个浮点数（也叫 1536 维向量）表示任何的单词，或者句子，段落，篇章等），然后经过转化，变成一串新的序列，最后再用 decoder

ChatGPT OpenAI 大模型

OCR终结了？旷视提出可以文档级OCR的多模态大模型框架Vary，支持中英文，已开源！

不同于现有方法直接用现成的 CLIP 词表，Vary 分两个阶段：第一阶段先用一个很小的 Decoder-only 网络用自回归方式帮助产生一个强大的新视觉词表；然后在第二阶段融合新词表和 CLIP 词表

OCR 手写文字识别

解读wav2lip：探究语音驱动唇部动作的技术原理！

wav2lip的生成器负责生成包含目标口型的人脸图像，是一个2D-CNN编码器-解码器结构，包含三个由卷积网络组成的模块：Identity Encoder，Speech Encoder，Face Decoder

wav2lip 语音

TrOCR——基于transformer模型的OCR手写文字识别

commented icily. " Let us have a 这里我们可以看一下TrOCR的主要配置，可以看到整个数据库有50265个词表，且embedding维度为1024，每个encoder与decoder

OCR 手写文字识别

领域大模型LLM训练Trick

不过GPT系列大模型的预训练和微调，从实现方式上来讲是没有什么差别的，都是用decoder only的语言模型进行训练并更新参数，如果样本数量比较少，没有大量的篇章文档数据，个人认为只进行微调也能够注入知识

垂直训练大模型

保姆级教程：图解Transformer

Transformer 的内部，在本质上是一个 Encoder-Decoder 的结构，即编码器-解码器。

人工智能

【语音识别】OpenAI语音力作Whisper

三、模型模型结构是encoder-decoder transformer，中间attention模块前后有残差链接，encoder用的是self attention，decoder用的是

语音转文字 whisper

重磅来袭！Llama中文社区开源预训练中文版Atom-7B大模型

| 训练过程 ⭐支持更长上下文的模型结构基于当前最优秀的开源模型 Llama2，使用主流 Decoder-only 的标准 Transformer 网络结构，支持

大模型

Llama 3突然来袭！开源社区再次沸腾：GPT-4级别模型可以自由访问的时代到来

架构层面，Llama 3选择了经典的仅解码（decoder-only）式Transformer架构，采用包含128K token词汇表的分词器。

meta llama3

万字长文震撼来袭！揭秘Transformer——吐血解读自注意力机制的革命性突破

3.1 Encoder and Decoder Stacks（编码器与解码器堆叠）

Transformer 大模型

大模型外挂知识库优化技巧-如何更有效的利用召回的文档

这非常符合直觉，实验的用的都是decoder架构的模型，只能看到上文的信息，带着问题去找答案更简单。

大模型

<123 4 >

汇聚AI资讯，网罗AI文档，详解AI工具！

关于我们用户协议隐私条款商务合作：skillupvip

© 2023-2025 AI魔法学院

京ICP备20027199号-1