文章列表-AI魔法学院

文章列表

AutoGPT与LLM Agent解析

大概意思就是利用一个 embedding 模型，将所有的记忆文本都转化为一个向量。

大模型

深入探秘：百川7B大模型的训练代码解析，揭秘巨无霸语言模型背后的奥秘

多头的注意力并不会增加参数量，只是把hidden_size 拆开成了head_dim 和 num_head 结语：本次梳理了百川-7B的模型代码，里面还有些细节，每一个小细节都比较复杂，比如位置embedding

大模型

如何提高RAG 的效果

Embedding匹配：当前中文场景下笔者用的比较多的是m3e的基座模型，而在垂类问答下，存在大量的专名，是非常有必要对向量模型进行微调的，而且收益很高，大概在6个点以上。

RAG 大模型

中国电信开源星辰AI大模型：央企中首个完成LLM研发和开源的选手诞生

在模型训练上，为了保证稳定性，团队又使用了Embedding LayerNorm算法，在嵌入层添加额外的RMSNorm层，并在每个Transformer子层前加入RMSNorm层。

开源大模型电信

大模型外挂知识库优化技巧-如何更有效的利用召回的文档

文档片段长度最好别超过100，不然会影响embedding模型向量化效果，进而使得召回精度降低。

大模型

说真的，学会用SD做电商图，你才是真的入了门

detail, product photo,raw photo, coffee_shop background, day time,warm light, no human, 反向提示词，常规的反向embedding

文生图 SD 电商

教你用StableDiffusion设计AI数字人

我们把相同画面感受的图片作为数据集，训练嵌入式模型Embedding（把数据向量化，可理解为prompt合集），帮助AI理解更好地理解美感风格。

文生图

微调、训练大模型概念介绍及论文笔记：Tuning系列论文笔记

因为大模型参数量大，精调起来效率低，毕竟prompt的出现就是要解决大模型少样本的适配作者发现直接优化Prompt参数不太稳定，加了个更大的MLP，训练完只保存MLP变换后的参数就行了实验证实只加到embedding

训练微调

分享使用SDXL 1.0模型的一些技巧和心得

当然，像embedding还是不能使用。

文生图

基于LLM+向量库的文档对话痛点及解决方案

检索部分只对关键信息做embedding，参与相似度计算，把召回结果映射的原始文本交给LLM。

开源模型

LLM微调经验&认知

可能把历史对话做一个摘要或embedding映射更合理一点？

LLM 大模型

新测试基准发布，最强开源Llama 3尴尬了

为了确保这一点，团队采用BERTopic中主题建模管道，首先使用OpenAI的嵌入模型（text-embedding-3-small）转换每个提示，使用 UMAP 降低维度，并使用基于层次结构的模型聚类算法

Llama 3 大模型开源

通俗解读大模型微调(Fine Tuning)

根据我们在《揭密Transformer：大模型背后的硬核技术》一文中介绍的大模型背后的Transformer模型，Prompt Tuning是发生在Embedding这个环节的。

大模型微调

简单提升RAG的10种方法

RAG 的标准方法涉及embedding和相似性搜索。

RAG 大模型

人工智能大语言模型微调技术：SFT 、LoRA 、Freeze 监督微调方法

在 prefix 部分，每一层的 transformer 的 embedding 输入都需要被微调，而 P-tuning v1 只在第一层进行微调。

大模型微调

<1 2 3 4 567 8 9 10 >

汇聚AI资讯，网罗AI文档，详解AI工具！

关于我们用户协议隐私条款商务合作：skillupvip

© 2023-2024 AI魔法学院

京ICP备20027199号-1