文章列表-AI魔法学院

文章列表

大模型检索增强生成RAG的优化

用同一个embedding模型把文本summary和表格summary向量化，并存入多向量检索器

RAG 检索增强大模型

TrOCR——基于transformer模型的OCR手写文字识别

首先，图像被分解成小块，类似VIT模型的patch embedding操作，然后再添加位置编码。

OCR 手写文字识别

WebUI使用用InstantID，AI换脸完美版

InstantID 的工作原理可分为三个关键部分： ID Embedding：团队利用预训练的面部识别模型代替 CLIP 来提取语义人脸特征，并使用可训练的投影层，将这些特征映射到文本特征空间，形成

换脸小红书

LangChain - RAG: 拿什么「降伏」PDF 中的 Table 类型数据

也可以有针对性的更新，之前我们提到可以针对 Document 做更新单位，主要是针对 chunk 做更新有些过于繁琐，但实际应用的过程中很多人反馈说针对 Document 有些过大，这下好了，中间加了一层，embedding

大模型 LangChain RAG

开源新标杆，千问Qwen2系列模型发布，全面超越LLama3

针对小模型，由于embedding参数量较大，使用了tie embedding的方法让输入和输出层共享参数，增加非embedding参数的占比。

qwen 千问开源

基于本地知识的问答机器人langchain-ChatGLM

5.1、让query相关的Document尽可能多的被召回将本地知识切分成Document的时候，需要考虑Document的长度、Document embedding质量和被召回Document数量这三者之间的相互影响

langchain

图解 transformer——逐层介绍

嵌入层（Embedding） Transformer 的编码器和解码器各有一个嵌入层（Embedding ）。

Transformer 大模型图解

大语言模型应用中的文本分块策略

往向量数据库中索引的任何内容都需要首先向量化（称为嵌入，embedding）。

开源模型

Stable Diffusion

【Stable Diffusion操作升级】Stable Diffusion 常用模型下载与说明

常见文件模式: 尾缀ckpt、pt 存放路径: \sd-webui-aki-v4\ models\ VAE 模型的切换： Embedding/Textual lnversion/文本反转模型和

文生图 SD

LangChain: LLM 应用聚焦的两大方向，RAG 和 Agents

接入的方式也大同小异，首先检索外挂数据源中与用户给出的上下文相关的内容，合并之后做 embedding 给到所用的 llm ，最后由 llm 根据模型自己的认知，做出回答。

大模型

RAG检索增强技术在知识库智能检索场景下的应用实践

然后，利用编码模型为每个文本块生成Embedding。

知识库 RAG检索增强

Byzer-LLM 快速体验智谱 GLM-4

print(t[1].generated_tokens_count,flush=True) 你也可以选择使用 Zhipu的 embedding

Byzer-LLM GLM-4

大模型训练为什么用A100不用4090

而 Q、K、V 参数矩阵在每个 head 上的大小是 embedding size * embedding size / heads num = 8192 * 8192 / 64。

大模型

Deepseek-V2技术报告解读！全网最细！

DeepseekForCausalLM( (model): DeepseekModel( (embed_tokens): Embedding

Deepseek-V2 大模型

LLM应用架构之检索增强（RAG）的缘起与架构介绍

从架构图上可以看到，除了LLM，编排服务外，向量数据库十分重要，它不仅保存了从领域知识库中导入的被embedding的领域知识外，还存储着用户与大模型对话的信息，被称作memory。

LLM

<1 2 345 6 7 8 9 10 >

汇聚AI资讯，网罗AI文档，详解AI工具！

关于我们用户协议隐私条款商务合作：skillupvip

© 2023-2024 AI魔法学院

京ICP备20027199号-1