文章列表-AI魔法学院

文章列表

构建开源多模态RAG系统

像 Image2Text：这部分重点在于使用基于transformer的架构来改进复杂图像的字幕生成。

RAG 大模型

2023年LLM如何入门？请看这篇综述！

A：确实，那近几年的话，研究人员提出了预训练语言模型PLM，通过对大规模语料库进行Transformer模型的预训练，展现了解决各种NLP任务的强大能力。

大模型

大模型应用发展的方向｜代理 Agent 的兴起及其未来（上）

提高Transformer的长度限制、通过总结记忆来提高效率、使用向量或数据结构来压缩记忆。

大模型

详解大模型RLHF过程（配代码解读）

模型并没有在每个action之后得到新的state（感谢评论区大佬的点拨，对于answer的第二个词，可以把prompt+answer的一个词当作新的state，而不只是把prompt当作state，状态转移蕴含在transformer

训练

10个值得收藏的ChatGPT辅助编程技巧

6、对输入保密代码保持警惕鉴于 ChatGPT 使用的是 Large Language Model (LLM)，即 Generative Pretrained Transformer，其中“生成”是指模型生成新内容的能力

编程提示词 chatgpt

国产编程大模型CodeGeex

CodeGeeX含有40个transformer层，每层自注意力块的隐藏层维数为5120，前馈层维数为20480，总参数量为130亿。

编程

摆脱 OpenAI 依赖，8 分钟教你用开源生态构建全栈 AI 应用

Llama 2-Chat-70B：Llama 2系列模型是一组GPT-like (也被称作自回归Transformer

开源模型

llm-action：让天下没有难学的大模型

配套代码 HuggingFace PEFT LLM分布式训练并行技术近年来，随着Transformer

大模型 LLM

中国电信开源星辰AI大模型：央企中首个完成LLM研发和开源的选手诞生

在模型训练上，为了保证稳定性，团队又使用了Embedding LayerNorm算法，在嵌入层添加额外的RMSNorm层，并在每个Transformer子层前加入RMSNorm层。

开源大模型电信

爆火！腾讯开源PhotoMaker：高效地定制化生成任意风格的逼真人类照片！

由于用于训练原始CLIP图像编码器的数据主要由自然图像组成，为了更好地使模型从掩码图像中提取id相关的嵌入，在训练PhotoMaker时对图像编码器中的部分transformer层进行了微调。

PhotoMaker 文生图

大语言模型的拐杖——RLHF基于人类反馈的强化学习

此外，该库易于定制，允许基于任何任意用户指定的奖励函数来训练任何编码器-解码器或基于encoder transformer 的LM。

大模型训练

AI+音乐｜对话 Suno CEO：破圈的音乐生成产品是如何诞生的？

我们一开始就决定要走 foundation model 的路线,因为从长远来看,这是最有前途的方向,虽然当时业界几乎没有用 transformer 做音频的先例。

suno 音乐

被高估的Pika，被低估的多模态AI

“如果未来 Transformer 或者另外一套算法能够准确预测下一帧，那么视频模型就出来，就有机会解锁下一个抖音级别的内容平台；如果能准确预测下一串动作序列，那么具身智能模型就出来了

大模型多模态

最详细的文本分块(Chunking)方法——可以直接影响基于LLM应用效果

例如，sentence-transformer~[1]~模型在单个句子上工作得很好，但像text- embedt-ada -002~[2]~这样的模型在包含256或512个tokens的块上表现得更好。

RAG 大模型

Ilya认错，Scaling Law崩了？自曝SSI秘密技术路线取代OpenAI

所谓GPT，即生成式预训练Transformer模型，是ChatGPT和大多数其他生成式人工智能产品的基石。

Scaling Law AI大模型

<...5 6 7 8 9 101112 13 14 >

汇聚AI资讯，网罗AI文档，详解AI工具！

关于我们用户协议隐私条款商务合作：skillupvip

© 2023-2025 AI魔法学院

京ICP备20027199号-1