第五阶段：AI应用场景探索

由 DeepLearning.AI 推出的 RAG 系统开发课程，学习使用向量数据库和 LLM 构建生产级检索增强生成应用，涵盖从架构设计到部署评估的完整流程

Start Learning AI →
RAGVectorDatabaseLLMApplicationWebSiteVideoFreeEnglish

Retrieval Augmented Generation (RAG) 课程详细介绍

课程概览

这是由 DeepLearning.AI 推出的一门全面的检索增强生成（RAG）系统课程，旨在帮助学习者掌握从架构设计到部署评估的生产级 RAG 应用开发知识。

课程平台：DeepLearning.AI / Coursera
讲师：Zain Hasan（Together AI 高级 AI/ML 工程师、多伦多大学讲师）
课程时长：5小时视频 + 20+小时编程实践
课程级别：中级
学习方式：自定进度学习

讲师介绍

Zain Hasan 是一位拥有近十年经验的 AI 工程师和教育者，曾在：

  • Together AI：担任 AI/ML 开发关系工程师
  • Weaviate：从事向量数据库和信息检索工作
  • 多伦多大学：担任讲师，教授机器学习系统
  • 在学术界、创业公司和科技行业都有丰富经验
  • 热衷于开源软件、教育和社区建设

他的教学风格更像是与一位经验丰富的团队成员学习，而不是传统的课堂讲座。

课程核心内容

三大学习重点

  1. 真实世界的 RAG 应用

    • 学习检索和生成如何协同工作
    • 设计每个组件以构建可靠、灵活的 RAG 系统

  2. 搜索技术与向量数据库

    • 关键词搜索（Keyword Search）
    • 语义搜索（Semantic Search）
    • 混合搜索（Hybrid Search）
    • 分块技术（Chunking）
    • 查询解析（Query Parsing）
    • 支持医疗保健和电子商务等多个领域的应用

  3. 提示设计、评估与部署

    • 充分利用检索上下文的提示工程
    • 评估 RAG 系统性能
    • 为生产环境准备管道

课程大纲（5个模块）

Module 1: Introduction to RAG

主题：

  • RAG 应用场景
  • RAG 架构概览
  • LLM 基础介绍
  • Python 简介
  • LLM 调用方法
  • 信息检索基础

实践项目：

  • 编写检索和提示增强函数
  • 构建第一个 RAG 系统
  • 将结构化输入传递给 LLM

Module 2: Information Retrieval and Search Foundations

主题：

  • 检索器架构概览
  • 元数据过滤（Metadata Filtering）
  • 关键词搜索（TF-IDF 和 BM25）
  • 语义搜索（Semantic Search）
  • RAG 中的向量嵌入
  • 混合搜索（Hybrid Search）
  • 检索评估与指标

实践项目：

  • 实现并比较语义搜索、BM25 和 Reciprocal Rank Fusion
  • 观察不同检索方法对 LLM 响应的影响

Module 3: Information Retrieval with Vector Databases

主题：

  • ANN（近似最近邻）算法
  • 向量数据库
  • Weaviate API 介绍
  • 分块技术（Chunking）
  • 查询解析（Query Parsing）
  • Cross-encoders 和 ColBERT
  • 重排序（Reranking）

实践项目：

  • 使用 Weaviate 和真实新闻数据集扩展 RAG 系统
  • 进行文档分块、索引和检索

Module 4: Large Language Models in RAG

主题：

  • Transformer 架构
  • LLM 采样策略
  • 探索 LLM 能力
  • 选择合适的 LLM
  • 提示工程（Prompt Engineering）
  • 处理幻觉问题
  • 评估 LLM 性能
  • Agentic RAG
  • RAG vs. 微调（Fine-tuning）

实践项目：

  • 为虚拟服装店开发领域特定聊天机器人
  • 基于自定义数据集回答常见问题并提供产品建议
  • 使用 Together AI 托管的开源 LLM

Module 5: Production, Evaluation, and Deployment

主题：

  • 生产环境的挑战
  • 实施 RAG 评估策略
  • 日志记录、监控和可观察性
  • RAG 系统追踪
  • 自定义评估
  • 量化技术（Quantization）
  • 成本 vs 响应质量权衡
  • 延迟 vs 响应质量权衡
  • 安全性
  • 多模态 RAG

实践项目：

  • 处理动态定价等现实挑战
  • 记录用户交互以进行监控和调试
  • 提高聊天机器人可靠性

技术栈与工具

核心工具

  • 向量数据库：Weaviate
  • LLM 平台：Together AI（开源 LLM）
  • 监控工具：Phoenix (Arize)
  • 开发语言：Python

涉及技术

- Vector Embeddings
- Semantic Search
- BM25 Keyword Search
- Hybrid Search (TF-IDF + Semantic)
- Reciprocal Rank Fusion
- Cross-encoders
- ColBERT
- Chunking Strategies
- Query Parsing
- Reranking
- Prompt Engineering
- Quantization

实际应用领域

课程使用来自以下领域的真实数据集：

  • 📰 媒体：新闻数据集
  • 🏥 医疗保健：医疗文档
  • 🛍️ 电子商务：产品数据、定价信息
  • 📊 金融：财务文档

学习成果

完成课程后，你将能够：

✅ 设计和实现完整的 RAG 系统各个部分
✅ 选择适合用例的正确架构
✅ 使用 Weaviate 等向量数据库
✅ 实验提示和检索策略
✅ 使用 Phoenix 等工具监控性能
✅ 理解关键权衡：

  • 何时使用混合检索
  • 如何管理上下文窗口限制
  • 如何平衡延迟和成本

✅ 评估和迭代改进 RAG 管道
✅ 适应新方法和生态系统演变
✅ 从概念验证转向实际部署

前置要求

  • 必需：中级 Python 技能
  • 推荐：生成式 AI 基础知识
  • 推荐：高中数学水平

课程特色

🎯 实践导向

  • 5个渐进式编程实验
  • 从简单原型到生产级组件
  • 真实世界数据集

📚 系统性学习

  • 涵盖组件级和系统级技术
  • 理解基本原理和实际权衡
  • 适应快速发展的 RAG 生态系统

🏆 获得认证

完成课程后将获得 DeepLearning.AI 颁发的证书，证明你在使用实际工具和技术构建和评估 RAG 系统方面的技能。

RAG 的重要性

为什么需要 RAG？

大型语言模型虽然强大，但在没有正确信息的情况下经常会犯错。RAG 通过以下方式解决这个问题：

  1. 接地响应：将模型响应建立在相关的、通常是私有或最新的数据上
  2. 访问外部知识：检索 LLM 训练时未包含的相关信息
  3. 提高准确性：使用领域特定、私有或最新的知识库

RAG 的应用场景

  • 🔧 内部工具：企业知识库查询
  • 💬 客户服务助手：基于产品文档的支持
  • 🎯 专业应用：医疗、法律、金融等领域的专业系统
  • 📱 个性化助手：基于用户数据的定制化服务

学习建议

根据 DeepLearning.AI 的建议：

  1. 创建专用学习空间：建立安静、有序、无干扰的工作区
  2. 制定一致的学习计划：设定固定学习时间，养成习惯
  3. 定期休息：使用番茄工作法（25分钟学习 + 5分钟休息）
  4. 参与社区：加入论坛、讨论组和社区活动
  5. 主动学习：做笔记、总结、教授他人或在实际项目中应用

课程访问

相关课程推荐

如果你对 RAG 感兴趣，还可以学习：

  • Building and Evaluating Advanced RAG Applications
  • Knowledge Graphs for RAG
  • LangChain: Chat with Your Data
  • Building Multimodal Search and RAG
  • Building Agentic RAG with LlamaIndex

总结

这是一门全面、深入的 RAG 课程，适合希望：

  • 从 POC 走向生产环境的工程师
  • 构建可靠、可扩展的 LLM 应用的开发者
  • 理解 RAG 系统设计权衡的 AI 从业者
  • 掌握最新 RAG 技术和工具的学习者

课程不仅教授技术实现，更注重培养系统思维和工程决策能力，帮助学习者在 RAG 生态系统不断演进的过程中保持竞争力。