文章列表-AI魔法学院

文章列表

图解大模型训练之：张量模型并行(TP)，Megatron-LM

4.1 输入层Embedding 我们知道Embedding层一般由两个部分组成： · word embedding：维度(v, h)，其中v表示词表大小。

开源模型

QWen1.5: 卓越模型之路

//zhuanlan.zhihu.com/p/642255416 PreTrainedModel.from_pretrained调用tie_weights方法，是的，就是tie_weights方法将embedding

Qwen1.5 开源模型

腾讯最新的人像写真工作PhotoMaker

在文本输入上做文章，把man和woman这种单词与文本embedding结合，得到一个融合后的向量，这个向量会与图像embedding做融合。

PhotoMaker 文生图

最详细的文本分块(Chunking)方法——可以直接影响基于LLM应用效果

——Embedding）。

RAG 大模型

检索增强生成(RAG)有什么好的优化方案？

用同一个embedding模型把文本summary和表格summary向量化，并存入多向量检索器。

RAG 检索增强

检索增强生成(RAG)有什么好的优化方案

用同一个embedding模型把文本summary和表格summary向量化，并存入多向量检索器。

RAG 检索增强生成

百川智能RAG方案总结：搜索出生的百川智能大模型RAG爬坑之路

并且其自研的Baichuan-Text-Embedding向量模型也登顶了C-MTEB语义向量评测标准。

RAG 大模型

【万字长文】LLaMA, ChatGLM, BLOOM的参数高效微调实践

为了适应新的tokenizer，将transformer模型的embedding矩阵从，新加入的中文token附加到原始embedding矩阵的末尾，确保原始词表表的embedding矩阵不受影响

大模型微调训练

【CLIP系列Paper解读】CLIP: Learning Transferable Visual Models From Natural Language Supervision

ensp; Sample所有N个class，得到N个input text，都经过text encoder编码得到对应的N个class text embedding

OpenAI 自然语言监督

QAnything：网易有道最新开源的“本地化部署知识库”AI问答系统

RAG评估在LlamaIndex中（嵌入和重排）注意在WithoutReranker设置中，bce-embedding-base_v1模型在所有其他嵌入模型中表现最佳

网易 RAG 知识库

一键AI换脸！小红书和北大合作的InstantID

InstantID 的工作原理可分为三个关键部分： ID Embedding：团队利用预训练的面部识别模型代替 CLIP 来提取语义人脸特征，并使用可训练的投影层，将这些特征映射到文本特征空间，形成

InstantID 文生图

模型压缩：量化、剪枝和蒸馏

BERT 的结构拆分如图1 所示，根据具体的实现逻辑，可以分为Embedding 层、Linear before Attention 层、Multi-Head Attention 层、Linear

BERT 语言模型

检索增强生成 (RAG):What, Why and How?

根据不同类型和用例以及embedding模型，数据会更小块进行处理, 例如：如果你要保存文本信息，可以按句子或段落划分；如果你要保存代码，则可以按函数或类划分；如果你选择提供与LLM相关上下文范围范围代码片段时

检索增强大模型

如何避免大语言模型绕过知识库乱答的情况？LlamaIndex 原理与应用简介

列表索引提供了许多查询列表索引的方法，从基于嵌入的查询中获取前 k 个邻居，或者添加一个关键字过滤器，如下所示: 列表索引 LlamaIndex 为列表索引提供 Embedding 支持。

大语言模型

TrOCR——基于transformer模型的OCR手写文字识别

首先，图像被分解成小块，类似VIT模型的patch embedding操作，然后再添加位置编码。

OCR 手写文字识别

<1 234 5 6 7 8 9 10 >

汇聚AI资讯，网罗AI文档，详解AI工具！

关于我们用户协议隐私条款商务合作：skillupvip

© 2023-2025 AI魔法学院

京ICP备20027199号-1