随着检索增强生成(RAG)应用程序不断发展，这些应用程序通常将Langchain/LlamaIndex与Weaviate/Pinecone和foundation Models结合在一起，它们遇到了各种障碍。让我们深入了解这些常见的挑战:

1.      重复向量的问题：当数据块在chunks中频繁重复时，数据质量可能会下降。这个问题经常出现在朴素的分块方法中，它涉及到按字符或token分割。

2.      数据格式和来源的多样性：将来自不同SaaS工具(如网站、pdf和音频文件)的数据转换为可用格式是很棘手的。将这些不同的数据转换为上下文相关的块，以使GPT的上下文窗口层更加复杂。

3.      产品化难题：将应用程序从原型扩展到生产有其自身的一系列挑战。这里的关键问题是处理故障、重试、确保可伸缩性和定期同步数据源。这些都需要可靠的规划和健壮的基础设施。

4.      处理Embeddings：将单词或句子Embeddings集成到数据管道中，并有效地存储和检索它们，是另一个常见的障碍。

5.      忽略长期维护：保持数据管道的有效性和相关性需要定期维护。但是这方面经常被遗忘，从而导致潜在的数据同步问题。

6.      市场压力：在AI和机器学习的快速世界中，速度至关重要。因此，耗时的ETL过程可能成为瓶颈。

7.      监控：为数据管道建立一个强大的监控系统，以快速识别和解决任何问题是至关重要的。

清理数据混乱

数据存储中的重复Embeddings会带来几个问题，有效地“毒害”数据并阻碍下游任务，如检索、推荐或分类。处理这种重复的Embeddings可能是一项艰巨的任务，因为会出现数据中的重复条目或Embedding空间中由相同向量表示的类似单词等情况。以下是一些策略:

·         源数据去重复: 在生成Embeddings之前，确保源数据没有重复是很重要的。根据数据类型和上下文，您可能必须使用特定的重复数据删除方法。对于文本数据，这些可以包括大小写规范化、词干提取、词序化以及删除标点和特殊字符。

·         向量相似阈值: 精确的重复向量在单词Embeddings中是罕见的，所以如果它们的余弦相似度高于某个阈值，则将向量视为重复更实用。如果两个或多个向量超过这个阈值，您可以保留一个并删除其他向量。

·         存储和散列: 处理重复Embeddings的另一种技术涉及存储或散列。在这里，相似的向量被分配到相同的“桶”或“哈希”，然后可以用单个向量表示。

结束

虽然这些步骤的具体实现可能会根据您的数据、您使用的Embeddings和您的项目需求而有所不同，但将它们合并到您的ETL过程中可以帮助确保您的Embeddings尽可能干净和可靠。这一切都是为了避免“数据混乱”，并为有效和高效的机器学习应用程序创造一条途径。

出自：https://mp.weixin.qq.com/s/tJ5cG0PCXjCfApRahV1Fzw