首页
Ai 资讯
Ai 知识库
创作魔法
绘画魔法
视频魔法
训练魔法
Ai术语
Ai提示词
Ai创意图
Ai工具
Ai视频
VIP专区
VIP专区
登录
AI魔法学院客服
最新
排序
收藏
全部
七天内
一个月内
选择分类
全部
写作魔法
绘画魔法
视频魔法
训练魔法
其他
AI工具
VIP视频
推荐阅读
换一批
· 第一性原理以及第一性原理是怎么帮马斯克成为首富的
· 爆火的“哄哄模拟器”,它是如何炼成的?Prompt泄漏了
· 从第一性原理看大模型Agent技术
· ComfyUI官方使用手册【官网直译+关键补充】
· 芯片拼接技术:英伟达新核弹,站在苹果的肩膀上
· AI声音克隆 | 最全最简教程(权威版)
· Github上Star数最多的大模型应用基础服务:Dify 深度解读
· 生成式AI与大语言模型的区别
· 自己电脑上跑大语言模型(LLM)要多少内存?
· 深入解析 Mistral AI 的 Mixtral 8x7B 开源MoE大模型
热门标签
Stable Diffusion
stable diffusion
Midjourney
midjourney
ComfyUI
comfyui
ChatGPT
chatgpt
大模型
数字人
开源
人工智能
Sora
文心一言
天工
零一万物
知海图
星火
文心一格
混元
通义千问
盘古
言犀
ChatGLM
Github
微软
热门标签
免费
教程
插件
免费
教程
插件
免费
教程
插件
文章列表
开源
SD3 正式开源 Sora同源架构
Stablediffusion3,如果说一个是音视频方向,一个是图像生成方向,那么两者没有必然的联系,但Sora和Stablediffusion3的架构是出奇的一致,核心部分都是采用了Difusion
Transformer
SD3
绘画
大模型
图解大模型训练之:张量模型并行(TP),Megatron-LM
今天我们将要介绍最重要,也是目前基于
Transformer
做大模型预训练最基本的并行范式:来自NVIDIA的张量模型并行(TP)。
开源模型
大模型
大模型实践总结
对于以
Transformer
、MOE结构为代表的大模型来说,传统的单机单卡训练模式肯定不能满足上千(万)亿级参数的模型训练,这时候我们就需要解决内存墙和通信墙等一系列问题,在单机多卡或者多机多卡进行模型训练
大模型
训练
混合专家模型 (MoE) 详解
作为一种基于
Transformer
架构的模型,混合专家模型主要由两个关键部分组成: · 稀疏 MoE 层: 这些层代替了传统
Transformer
模型中的前馈网络 (FFN) 层。
MoE大模型
语音
语音识别的未来已来:深入了解faster-whisper的突破性进展
faster-whisper简介 faster-whisper是基于OpenAI的Whisper模型的高效实现,它利用CTranslate2,一个专为
Transformer
模型设计的快速推理引擎。
语音识别
Faster-Whisper
微软
微软打破Decoder-Only架构!大幅降低GPU内存需求,网友:把Llama3 70B弄20GB GPU上运行
一张图来看YOCO和标准
Transformer
的比较。
Decoder-Decoder
YOCO
架构
LLM
从思维链(CoT),到思维树(ToT),再到思维图(GoT):用LLMs解决复杂问题!
arxiv.org/pdf/2308.09687v2.pdf Code:https://github.com/spcl/graph-of-thoughts 背景介绍 近年来,随着基于解码器
Transformer
大模型
提示词
45个 DALL-E 3 使用案例 (附提示词)
借助于
Transformer
模型优秀的自然语言能力,它可以精准地理解你的设计需求,并近乎如实地反映在画面上。
DALL-E
提示词
文生图
Stable Diffusion
AI绘画巅峰对决:Stable Diffusion 3与DALL·E 3原理深度比较
AI 绘画中用到的 U-Net 实际上是引入了
Transformer
思想的加强版 U-Net 模型。
Stable
Diffusion
DALL·E
人工智能
人工智能大语言模型微调技术:SFT 、LoRA 、Freeze 监督微调方法
对
Transformer
的每一层结构都采用 LoRA 微调的方式,最终可以使得模型微调参数量大大减少。
大模型
微调
什么是BERT?
而BERT利用MLM进行预训练并且采用深层的双向
Transformer
组件(单向的
Transformer
一般被称为
Transformer
decoder,其每一个token(符号)只会attend到目前往左的
embedding
全球生成式 AI 应用全景图
Vision
Transformer
(VIT)于 2020 年由 Google 提出,可以看成是
Transformer
的图形版本,在尽可能少的改造下将标准的
大模型
开源
截至2023年5月份业界支持中文大语言模型开源总结及商用协议分析
一、MetaAI开源的OPT - Open Pre-trained
Transformer
模型 二、Google开源的Flan-T5系列 三、BigScience开源的BLOOM
大模型
大模型
大模型套壳祛魅:质疑套壳,理解套壳
在
Transformer
诞生的十年前,有一部好莱坞大片《变形金刚》在全球上映,这部电影的英文名字就叫「Transformers」。
大模型
套壳
Sora
Sora懂不懂物理世界?
虽然
Transformer
可以学习临近时空令牌间的连接概率,但是整体的合理性需要更高层次的数学理论观点、或者更为隐蔽而深厚的自然科学和人文科学的背景,目前的
Transformer
无法真正悟出这些全局观点
文生视频
视频生成
sora
<
1
2
3
4
5
6
7
8
9
10
...
>
1
2
4
5
6
7
8
9
100