文章列表-AI魔法学院

文章列表

GLM-4-Voice 9B——实时多语言语音对话 AI——几分钟内即可在本地安装

GLM-4-Voice-Decoder：该解码器将离散标记转换回连续语音，使模型能够生成音频输出。

GLM-4-Voice 9B 语音安装

通俗解读大模型微调(Fine Tuning)

而Prefix Tuning是在Transformer的Encoder和Decoder的网络中都加了一些特定的前缀。

大模型微调

Yi技术报告细节分享

模型采用Transformer-Decoder结构，采用llama的代码实现，修改如下： o 注意力机制：Yi-6B和34B版本均采用Grouped-Query Attention

Yi模型大模型

从零开始了解AI大模型 - 概念篇：一文带你走进大模型世界

2018年6月，openAI发布了第一代GPT（Generative Pre-Training），基于Transformer Decoder的改进，有效地证明了在自然语言处理领域使用预训练+微调方法的有效性

苹果一次性开源了8个大模型！包含模型权重、训练日志和设置，OpenELM全面开源

OpenELM 采用了decoder-only的架构，并遵循最新的大语言模型（LLM）的设计，包括： 1.

OpenELM 大模型

ViTPose+：迈向通用身体姿态估计的视觉Transformer基础模型

2.2 简单性和扩展性表1 使用不同decoder的ViTPose在MS COCO的性能对比为了验证ViTPose的简单性和可扩展性，研究者使用了不同的解码器和不同尺寸的编码器

ViTPose+Transformer 身体姿态

什么是BERT？

而BERT利用MLM进行预训练并且采用深层的双向Transformer组件（单向的Transformer一般被称为Transformer decoder，其每一个token（符号）只会attend到目前往左的

中文通用大模型最全汇总

XVERSE-13B 地址：https://github.com/xverse-ai/XVERSE-13B 简介：由深圳元象科技自主研发的支持多语言的大语言模型，使用主流 Decoder-only

大模型开源模型

Stable Diffusion

硬核解读Stable Diffusion（系列三）

Stability AI公司还开源了两个加强版的autoencoder：ft-EMA和ft-MSE（前者使用L1 loss后者使用MSE loss），前面已经说过，它们是在LAION数据集继续finetune decoder

Stable Diffusion 文生图

中国电信开源星辰AI大模型：央企中首个完成LLM研发和开源的选手诞生

具体来看，在模型结构设计上，团队采用解码器架构（decoder-only）并改进旋转位置编码（RoPE），再结合自适应插值的NTK-aware + LogN算法，大幅提高了模型的外推能力，使其支持超长上下文

开源大模型电信

Stable Diffusion

Stable Diffusion教程：提示词

然后把这组向量投递给一个图片生成器（ Image Information Creator），图片生成器根据向量的值来构建出相应语义的图片信息，这些信息还不是我们常见的图片格式，然后还需要 Image Decoder

提示词 SD 绘画

Deepseek-V2技术报告解读！全网最细！

在经过embedding层后，与Deepseek-MoE保持一致，首先会经过一个共享的大Decoder层进行第一层计算，这层模型的attention计算设定与后续59层基本一致，唯一区别是这一层的mlp

Deepseek-V2 大模型

什么情况用Bert模型，什么情况用LLaMA、ChatGLM类大模型，咋选？

当然，GPT大模型的预训练和微调，从实现方式来讲是没有什么差别的，都是decoder only的语言模型训练并更新参数，如果样本集小，没有大量的篇章文档数据，我认为只进行微调也能注入知识的，不必太纠结预训练

微调、训练大模型概念介绍及论文笔记：Tuning系列论文笔记

评估的任务 table-to-text任务：语言模型GPT-2 摘要任务：BART模型 GPT类的自回归模型上采用[PREFIX, x, y]， T5类的encoder-decoder

OpenAI Sora视频生成模型技术报告中英全文+总结+影响分析

We also train a corresponding decoder model that maps generated latents back to pixel space.

sora openai 视频生成

Ai助理

Hello 👏🏻

我是 Ai助理，关于ai的问题你可以问我