AI魔法学院客服
如何提高RAG 的效果
本文探讨了如何提高RAG(Retrieval-Augmented Generation)的效果,包括参考信息主题的唯一性、预设多个Prompt模板、query改写、多种检索方式以及rerank等策略。文章强调了落地过程中细节问题的重要性,并提供了一些实践经验和解决方案。这些方法旨在帮助模型更好地利用参考信息,提高生成质量。
 2024-04-28
收藏 复制地址分享海报

写在前面

LLM+RAG 构建很简单,使用开源项目langchain几行代码就搞定,但简单的构建过程不意味着很好的效果。落地过程中诸多的细节问题非常值得去一一探索和解决。下面笔者会根据实践的经验和收集到的信息进行汇总并记录下来。欢迎读者评论区讨论。

这篇文章不分析具体的细节实现,旨在从解决思路上进行探讨,当前环境下如何提高RAG 的效果。

正文

1. 参考信息中主题的唯一性

试想一下,当我们遇到问题时,会通过各种办法获取参考信息,比如检索,查阅,问询等方式,这些信息我们会自动做一遍过滤,以此来保证参考信息是围绕着问题的主题来进行描述。同理,检索到的信息中如果存在冲突,或者冗余的内容时会极大的影响LM 的生成效果。

这个问题在使用外部搜索引擎(bing, google)获取结果时比较明显,一种可能的解决办法是对候选文档生成主题描述(类似论文的摘要),先进行支持性判断,后续可选择性的深入文档细节进行部分内容提取或其他操作。

2. 预设多个Prompt 模板

这个笔者在前面的文章中也提到过,比如:检索的质量较高的情况下,可以使用完全根据参考信息来回答的Prompt模板,在检索不到内容或者检索的质量低的情况下,可以让模型根据自己的知识来回答。甚至还可以扩展到对问题类型的判断,比如:1. 询问模型自身的问题。类似:你是谁,你叫什么名字等等。2. 主观题:类似:说一下你对日本排放核废水到海洋的看法?等等....通过不同的问题类型走不同的预设Prompt模板。

3. query改写

这个策略在搜索引擎中也很常见,但在RAG中这个改写分成多种类型:1. query扩展:如果原始query没有检索到相关信息或者检索到的信息质量低的情况下,可对query进行扩展或者重写,以此来扩大召回。2. 拆分问题。这个办法有点类似于咒语“step by step”,通过对复杂问题拆分成多个简单的问题,用拆分后的多个子问题去检索获取参考信息。3. 一篇论文的做法先让模型生成一个较简单的回复,然后让回复去进行检索。

4. 多种检索方式

对闭域知识进行多种方式的召回策略。

关键字匹配:通常会用ES来实现。

 

Embedding匹配:当前中文场景下笔者用的比较多的是m3e的基座模型,而在垂类问答下,存在大量的专名,是非常有必要对向量模型进行微调的,而且收益很高,大概在6个点以上。在这里,还有一个比较细致的工作就是 chunk 切分,当前比较主流的做法是尽量将chunk值调低,但太碎的上下文会造成语义单元的缺失,实际使用中的值需要多次测试。

 

条件过滤:类似于高级搜索。这种方法在垂类问答下很常见,也由此衍生出了Text2SQL, Text2KG的探索工作,举个例子:我想查看公司2022年的营收情况。通过将文本转化为类SQL查询语句直接对数据库进行查询拿到结果。或者,我问腰痛可能的骨科疾病是什么?通过转化为neo4j的查询语句对KG(闭域KG)进行查询拿到结果。这一块研究的论文也较多,笔者后续会对这一方案进行分享。

 

5. rerank

模型在长下文的场景中更倾向于关注前后的信息,而会忽略中间的信息,将相关的信息放在前后两端,不相关的放在中间,详情可查阅之前笔者发的文章。

出自:https://mp.weixin.qq.com/s/iE2N-zwqYiCyOAMAM6qgHg

本文档由网友提供,仅限参考学习,如有不妥或产生版权问题,请联系我们及时删除。 客服请加微信:skillupvip
评论
1 评论
八字没一撇2024/4/28 9:35:51

这篇关于提高RAG效果的文章挺全面的,但有一点我觉得值得商榷。虽然多种检索方式和rerank策略能优化生成质量,但过度依赖这些技术手段是否可能导致模型本身的创造力受限?毕竟,生成式AI的核心应该是创新,而不仅仅是优化检索结果。当然,这只是我的一点看法,欢迎大家讨论。
20秒读懂全文
伴读
**文章摘要**:本文探讨了在使用LLM+RAG构建过程中,如何提高其效果的方法。文章主要从参考信息的主题唯一性、预设多个Prompt模板、query改写、多种检索方式以及rerank等五个方面进行了详细的分析和建议。

**关键词**:LLM+RAG, 参考信息主题唯一性, Prompt模板, query改写, 多种检索方式, rerank

**可能相关的关键词**
One More Thing
One More Thing again ...

找组织,加入AI魔法学院群