RAG Techniques 学习资料详细介绍

项目概述

RAG Techniques 是一个由 Nir Diamant 创建的GitHub开源项目，专注于展示各种先进的检索增强生成（Retrieval-Augmented Generation，RAG）系统技术。该项目旨在为研究人员和开发者提供一个全面的资源库，帮助他们构建更准确、更具上下文相关性的RAG系统。

项目特点

🌟 核心特色

• 前沿技术：涵盖最新的RAG系统增强技术
• 完整文档：每种技术都有详细的文档说明
• 实践指南：提供实际的实现指导
• 持续更新：定期更新最新的技术进展
• 社区驱动：拥有活跃的Discord社区（20,000+AI爱好者）

🎯 目标受众

• AI研究人员
• 机器学习工程师
• 开发者和从业者
• 对RAG技术感兴趣的学习者

技术分类与详细介绍

1. 基础技术（Foundational 🌱）

Simple RAG

• 描述：介绍基本的RAG技术，适合初学者
• 实现：支持 LangChain 和 LlamaIndex
• 功能：基本检索查询和增量学习机制

Simple RAG using CSV

• 描述：使用CSV文件的基本RAG实现
• 功能：利用CSV文件创建基本检索并与OpenAI集成

Corrective RAG

• 描述：增强简单RAG，添加验证和改进机制
• 功能：检查检索文档的相关性并高亮显示用于回答的文档片段

2. 分块技术（Chunking Techniques）

Choose Chunk Size

• 描述：选择适当的文本块大小以平衡上下文保留和检索效率
• 实现：

# 示例：不同分块大小的实验
chunk_sizes = [200, 500, 1000, 2000]
for size in chunk_sizes:
    # 测试不同大小的检索效果
    evaluate_chunk_performance(size)

Proposition Chunking

• 描述：将文本分解为简洁、完整、有意义的句子
• 特点：
  • 💪 命题生成：使用LLM生成文档块的事实陈述
  • ✅ 质量检查：评估准确性、清晰度、完整性和简洁性

Semantic Chunking

• 描述：基于语义连贯性而非固定大小来分割文档
• 优势：使用NLP技术识别主题边界，创建更有意义的检索单元

3. 查询处理技术（Query Processing）

Query Transformations

• 描述：修改和扩展查询以提高检索效果
• 技术包括：
  • ✍️ 查询重写：重新表述查询以改善检索
  • 🔙 回退提示：生成更广泛的查询以获得更好的上下文
  • 🧩 子查询分解：将复杂查询分解为简单的子查询

Hypothetical Questions (HyDE)

• 描述：生成假设性问题以改善查询与数据的匹配
• 功能：创建指向数据中相关位置的假设性问题

Hypothetical Prompt Embeddings (HyPE)

• 描述：HyDE的增强版本，在索引阶段预计算假设性提示
• 优势：
  • 📖 预计算问题：在索引时生成多个假设性查询
  • 🔍 问题-问题匹配：用户查询与存储的假设性问题匹配
  • ⚡ 无运行时开销：不需要在查询时调用LLM

4. 上下文处理技术（Context Processing）

Context Enrichment Techniques

• 描述：通过嵌入单个句子并扩展到邻近句子来增强检索准确性
• 实现：

# 示例：上下文窗口扩展
def get_context_window(sentence_index, window_size=2):
    start = max(0, sentence_index - window_size)
    end = min(len(sentences), sentence_index + window_size + 1)
    return sentences[start:end]

Contextual Compression

• 描述：压缩检索到的信息，同时保留与查询相关的内容
• 方法：使用LLM压缩或总结检索到的块

Contextual Chunk Headers (CCH)

• 描述：创建文档级别和章节级别的上下文，并将其添加到块头部
• 功能：改善检索准确性

5. 检索增强技术（Retrieval Enhancement）

Fusion Retrieval

• 描述：通过结合不同检索方法优化搜索结果
• 实现：结合基于关键词的搜索和基于向量的搜索

Intelligent Reranking

• 描述：应用先进的评分机制改善检索结果的相关性排名
• 技术：
  • 🧠 基于LLM的评分
  • 🔀 交叉编码器模型
  • 🏆 元数据增强排名

Multi-faceted Filtering

• 描述：应用各种过滤技术来改善检索结果质量
• 包括：
  • 🏷️ 元数据过滤
  • 📊 相似度阈值
  • 📄 内容过滤
  • 🌈 多样性过滤

6. 高级架构技术（Advanced Architecture）

Hierarchical Indices

• 描述：创建多层系统进行高效的信息导航和检索
• 实现：文档摘要和详细块的双层系统

Ensemble Retrieval

• 描述：结合多个检索模型或技术获得更稳健和准确的结果
• 方法：使用投票或权重机制确定最终检索文档集

RAPTOR

• 描述：递归抽象处理树形组织检索
• 特点：使用抽象总结递归处理检索文档，以树形结构组织信息

7. 自适应技术（Adaptive Techniques）

Adaptive Retrieval

• 描述：根据查询类型和用户上下文动态调整检索策略
• 功能：对不同类别的查询使用定制的检索策略

Self RAG

• 描述：结合检索和生成方法的动态方法
• 流程：检索决策 → 文档检索 → 相关性评估 → 响应生成

Corrective RAG (CRAG)

• 描述：动态评估和纠正检索过程的复杂RAG方法
• 组件：检索评估器、知识细化、网络搜索查询重写器

8. 多模态技术（Multi-modal）

Multi-modal Retrieval

• 描述：扩展RAG能力以处理多种数据类型
• 方法：
  • 多媒体标题：为所有多媒体数据生成标题
  • Colpali：将所有数据转换为图像并使用视觉LLM

9. 知识图谱集成

Knowledge Graph Integration (Graph RAG)

• 描述：整合知识图谱的结构化数据以丰富上下文
• 功能：检索与查询相关的实体和关系

GraphRAG (Microsoft)

• 描述：微软的开源GraphRAG系统
• 特点：从文本单元提取实体、关系，生成社区摘要

10. 评估技术（Evaluation）

DeepEval Evaluation

• 描述：全面的RAG系统评估
• 指标：正确性、忠实性、上下文相关性

GroUSE Evaluation

• 描述：基于上下文的LLM评估
• 功能：使用GroUSE框架的6个指标进行评估

实现指南

快速开始

# 克隆仓库
git clone https://github.com/NirDiamant/RAG_Techniques.git

# 导航到特定技术目录
cd all_rag_techniques/technique-name

# 按照各技术目录中的详细实现指南进行操作

技术栈支持

• LangChain：主要框架支持
• LlamaIndex：部分技术支持
• OpenAI API：生成模型集成
• 各种嵌入模型：支持多种向量化方法

学习路径建议

初学者路径

1. Simple RAG → 了解基本概念
2. Choose Chunk Size → 学习文本分块
3. Query Transformations → 理解查询优化
4. Context Enrichment → 掌握上下文处理

进阶路径

1. Semantic Chunking → 高级分块技术
2. Fusion Retrieval → 多方法结合
3. Intelligent Reranking → 结果优化
4. Hierarchical Indices → 复杂架构

专家路径

1. Self RAG → 自适应系统
2. Graph RAG → 知识图谱集成
3. RAPTOR → 递归处理
4. Multi-modal Retrieval → 多模态处理

---

这个学习资料提供了从基础到高级的完整RAG技术学习路径，适合不同水平的学习者，是当前最全面的RAG技术资源库之一。