文章列表-AI魔法学院

文章列表

截至2023年5月份业界支持中文大语言模型开源总结及商用协议分析

一、MetaAI开源的OPT - Open Pre-trained Transformer模型二、Google开源的Flan-T5系列三、BigScience开源的BLOOM

大模型

Sora懂不懂物理世界？

虽然Transformer可以学习临近时空令牌间的连接概率，但是整体的合理性需要更高层次的数学理论观点、或者更为隐蔽而深厚的自然科学和人文科学的背景，目前的Transformer无法真正悟出这些全局观点

文生视频视频生成 sora

大模型套壳祛魅：质疑套壳，理解套壳

在 Transformer 诞生的十年前，有一部好莱坞大片《变形金刚》在全球上映，这部电影的英文名字就叫「Transformers」。

大模型套壳

从零开始了解AI大模型 - 技术篇：万字深度好文人话说大模型技术

1.1 关键技术原理一：Transformer模型架构 Transformer模型起源：ChatGPT的底层框架脱胎于2017年Google发布的Transformer模型，此模型引入了注意力机制，彻底颠覆了传统深度学习中的循环和卷积结构

大模型

解读OpenAI Sora文生视频技术原理

; OpenAI 讲Sora 是一个Diffusion Transformer，这来自伯克利学者的工作Diffusion Transformer (DiT)："采用Transformer的可扩展扩散模型

sora

一文读懂GPT-1：生成式预训练如何提升语言理解

它采用了Transformer作为模型架构，这种架构提供了更加结构化的记忆，以便处理文本中的长期依赖关系，从而实现了卓越的迁移性能。

GPT

什么是ChatGPT？

GPT：Generative Pre-Training Transformer Generative 生成式虽然我们已经习惯了话唠的机器人絮絮叨叨的说个不停，但这只是众多的人工智能模型的一种方式

ChatGPT OpenAI 大模型

模型压缩：量化、剪枝和蒸馏

本文将介绍针对BERT（以Transformer Block 堆叠而成的深度模型）的压缩方法。

BERT 语言模型

FFmpeg之父新作——音频压缩工具 TSAC

其原理和我们之前介绍的突破压缩极限的AI语音编解码器类似，使用深度学习网络进行压缩，TSAC这里引入Transformer结构来提升性能。

TSAC 音频工具

苹果一次性开源了8个大模型！包含模型权重、训练日志和设置，OpenELM全面开源

为了实现Transformer层中参数的非均匀分配，研究人员调整了每个Transformer层中注意力头的数量和FFN维度调整系数。

OpenELM 大模型

【万字长文】LLaMA, ChatGLM, BLOOM的参数高效微调实践

模型结构上，与GPT相同，LLaMA采用了causal decoder-only的transformer模型结构。

大模型微调训练

Sora相关论文合集---全32套大放送

- Transformer架构在自然语言处理和视觉识别等领域展现出优越的扩展性和性能。

Sora 论文

OpenAI视频模型Sora的推理生成成本多高？

的训练算力需求首先估算 GPT-4 的算力需求，根据 OpenAI 的 Paper： Scaling Laws for Neural Language Models , 训练 Transformer

Sora 推理算力

语言大模型100K上下文窗口的秘诀

处理大型上下文长度时，原始Transformer架构的主要局限性是什么？

大模型

F5-TTS：上海交大开源超逼真声音克隆TTS，告别ElevenLabs，以后就用它了！实测真的很牛

3、Diffusion Transformer（DiT）的应用： F5-TTS利用了Diffusion Transformer，这是一种结合了扩散模型的Transformer结构

F5-TTS 音频克隆

<1 234 5 6 7 8 9 10 ...>

汇聚AI资讯，网罗AI文档，详解AI工具！

关于我们用户协议隐私条款商务合作：skillupvip

© 2023-2025 AI魔法学院

京ICP备20027199号-1