Detaillierte Kursbeschreibung: Retrieval Augmented Generation (RAG)

Kursübersicht

Dies ist ein umfassender Kurs zu Retrieval Augmented Generation (RAG)-Systemen von DeepLearning.AI, der darauf abzielt, Lernenden das Wissen zur Entwicklung produktionsreifer RAG-Anwendungen zu vermitteln, von der Architekturplanung bis zur Bereitstellung und Evaluierung.

Kursplattform: DeepLearning.AI / Coursera
Dozent: Zain Hasan (Senior AI/ML Engineer bei Together AI, Dozent an der University of Toronto)
Kursdauer: 5 Stunden Video + über 20 Stunden Programmierpraxis
Kursniveau: Mittelstufe
Lernmethode: Selbstgesteuertes Lernen

Dozentenvorstellung

Zain Hasan ist ein KI-Ingenieur und Pädagoge mit fast einem Jahrzehnt Erfahrung, der unter anderem tätig war bei:

• Together AI: Als AI/ML Developer Relations Engineer
• Weaviate: Im Bereich Vektordatenbanken und Informationsabruf
• University of Toronto: Als Dozent für maschinelle Lernsysteme
• Verfügt über umfangreiche Erfahrung in Wissenschaft, Start-ups und der Technologiebranche
• Begeistert sich für Open-Source-Software, Bildung und Community-Building

Sein Lehrstil gleicht eher dem Lernen von einem erfahrenen Teammitglied als einer traditionellen Vorlesung.

Kerninhalte des Kurses

Drei Hauptlernziele

1. RAG-Anwendungen in der realen Welt

   • Verstehen, wie Retrieval und Generierung zusammenarbeiten
   • Entwerfen jeder Komponente, um zuverlässige, flexible RAG-Systeme zu bauen

2. Suchtechnologien und Vektordatenbanken

   • Stichwortsuche (Keyword Search)
   • Semantische Suche (Semantic Search)
   • Hybride Suche (Hybrid Search)
   • Chunking-Techniken
   • Abfrage-Parsing (Query Parsing)
   • Unterstützung von Anwendungen in verschiedenen Bereichen wie Gesundheitswesen und E-Commerce

3. Prompt-Design, Evaluierung und Bereitstellung

   • Prompt Engineering zur optimalen Nutzung des Retrieval-Kontextes
   • Evaluierung der RAG-Systemleistung
   • Vorbereitung der Pipeline für die Produktionsumgebung

Kursgliederung (5 Module)

Modul 1: Einführung in RAG

Themen:

• Anwendungsfälle von RAG
• Überblick über die RAG-Architektur
• Grundlagen von LLMs
• Einführung in Python
• Methoden zum Aufruf von LLMs
• Grundlagen des Informationsabrufs

Praktische Projekte:

• Schreiben von Retrieval- und Prompt-Augmentierungsfunktionen
• Aufbau des ersten RAG-Systems
• Übergeben strukturierter Eingaben an ein LLM

Modul 2: Grundlagen des Informationsabrufs und der Suche

Themen:

• Überblick über die Retriever-Architektur
• Metadatenfilterung (Metadata Filtering)
• Stichwortsuche (TF-IDF und BM25)
• Semantische Suche (Semantic Search)
• Vektor-Embeddings in RAG
• Hybride Suche (Hybrid Search)
• Retrieval-Evaluierung und Metriken

Praktische Projekte:

• Implementierung und Vergleich von semantischer Suche, BM25 und Reciprocal Rank Fusion
• Beobachtung des Einflusses verschiedener Retrieval-Methoden auf LLM-Antworten

Modul 3: Informationsabruf mit Vektordatenbanken

Themen:

• ANN (Approximate Nearest Neighbor)-Algorithmen
• Vektordatenbanken
• Einführung in die Weaviate API
• Chunking-Techniken
• Abfrage-Parsing (Query Parsing)
• Cross-Encoder und ColBERT
• Neuanordnung (Reranking)

Praktische Projekte:

• Erweiterung des RAG-Systems mit Weaviate und einem realen Nachrichtendatensatz
• Durchführung von Dokumenten-Chunking, Indizierung und Retrieval

Modul 4: Große Sprachmodelle (LLMs) in RAG

Themen:

• Transformer-Architektur
• LLM-Sampling-Strategien
• Erkundung der LLM-Fähigkeiten
• Auswahl des passenden LLM
• Prompt Engineering
• Umgang mit Halluzinationen
• Evaluierung der LLM-Leistung
• Agentisches RAG
• RAG vs. Fine-Tuning

Praktische Projekte:

• Entwicklung eines domänenspezifischen Chatbots für ein virtuelles Bekleidungsgeschäft
• Beantwortung häufig gestellter Fragen und Bereitstellung von Produktempfehlungen basierend auf einem benutzerdefinierten Datensatz
• Verwendung von Open-Source-LLMs, die von Together AI gehostet werden

Modul 5: Produktion, Evaluierung und Bereitstellung

Themen:

• Herausforderungen in der Produktionsumgebung
• Implementierung von RAG-Evaluierungsstrategien
• Logging, Monitoring und Observability
• RAG-System-Tracing
• Benutzerdefinierte Evaluierung
• Quantisierungstechniken (Quantization)
• Abwägung: Kosten vs. Antwortqualität
• Abwägung: Latenz vs. Antwortqualität
• Sicherheit
• Multimodales RAG

Praktische Projekte:

• Umgang mit realen Herausforderungen wie dynamischer Preisgestaltung
• Protokollierung von Benutzerinteraktionen für Monitoring und Debugging
• Verbesserung der Chatbot-Zuverlässigkeit

Technologiestack und Tools

Kern-Tools

• Vektordatenbank: Weaviate
• LLM-Plattform: Together AI (Open-Source LLMs)
• Monitoring-Tool: Phoenix (Arize)
• Entwicklungssprache: Python

Beteiligte Technologien

- Vektor-Embeddings
- Semantische Suche
- BM25 Stichwortsuche
- Hybride Suche (TF-IDF + Semantisch)
- Reciprocal Rank Fusion
- Cross-Encoder
- ColBERT
- Chunking-Strategien
- Abfrage-Parsing
- Neuanordnung (Reranking)
- Prompt Engineering
- Quantisierung

Praktische Anwendungsbereiche

Der Kurs verwendet reale Datensätze aus den folgenden Bereichen:

• 📰 Medien: Nachrichtendatensätze
• 🏥 Gesundheitswesen: Medizinische Dokumente
• 🛍️ E-Commerce: Produktdaten, Preisinformationen
• 📊 Finanzen: Finanzdokumente

Lernergebnisse

Nach Abschluss des Kurses werden Sie in der Lage sein:

✅ Die einzelnen Teile eines vollständigen RAG-Systems zu entwerfen und zu implementieren
✅ Die richtige Architektur für Ihren Anwendungsfall auszuwählen
✅ Vektordatenbanken wie Weaviate zu nutzen
✅ Mit Prompt- und Retrieval-Strategien zu experimentieren
✅ Die Leistung mit Tools wie Phoenix zu überwachen
✅ Wichtige Kompromisse zu verstehen:

• Wann hybrides Retrieval eingesetzt werden sollte
• Wie Kontextfensterbeschränkungen zu handhaben sind
• Wie Latenz und Kosten ausbalanciert werden können ✅ RAG-Pipelines zu evaluieren und iterativ zu verbessern
  ✅ Sich an neue Methoden und die Entwicklung des Ökosystems anzupassen
  ✅ Von Proof-of-Concept zu tatsächlicher Bereitstellung überzugehen

Voraussetzungen

• Erforderlich: Mittlere Python-Kenntnisse
• Empfohlen: Grundkenntnisse in generativer KI
• Empfohlen: Mathematikkenntnisse auf Gymnasialniveau

Kursmerkmale

🎯 Praxisorientiert

• 5 progressive Programmierübungen
• Vom einfachen Prototyp zum produktionsreifen Baustein
• Reale Datensätze

📚 Systematisches Lernen

• Umfasst Techniken auf Komponenten- und Systemebene
• Verständnis der Grundprinzipien und praktischen Kompromisse
• Anpassung an das sich schnell entwickelnde RAG-Ökosystem

🏆 Zertifizierung

Nach Abschluss des Kurses erhalten Sie ein Zertifikat von DeepLearning.AI, das Ihre Fähigkeiten im Aufbau und der Evaluierung von RAG-Systemen mit realen Tools und Technologien bestätigt.

Die Bedeutung von RAG

Warum ist RAG notwendig?

Große Sprachmodelle sind zwar leistungsstark, machen aber oft Fehler, wenn ihnen die richtigen Informationen fehlen. RAG löst dieses Problem auf folgende Weise:

1. Geerdete Antworten: Stützt Modellantworten auf relevante, oft private oder aktuelle Daten
2. Zugriff auf externes Wissen: Ruft relevante Informationen ab, die nicht im LLM-Training enthalten waren
3. Verbesserung der Genauigkeit: Nutzt domänenspezifische, private oder aktuelle Wissensdatenbanken

Anwendungsfälle von RAG

• 🔧 Interne Tools: Abfragen von Unternehmenswissensdatenbanken
• 💬 Kundenservice-Assistenten: Support basierend auf Produktdokumentation
• 🎯 Spezialisierte Anwendungen: Fachsysteme in Bereichen wie Medizin, Recht, Finanzen
• 📱 Personalisierte Assistenten: Maßgeschneiderte Dienste basierend auf Benutzerdaten

Lerntipps

Gemäß den Empfehlungen von DeepLearning.AI:

1. Schaffen Sie einen dedizierten Lernbereich: Richten Sie einen ruhigen, organisierten und störungsfreien Arbeitsplatz ein
2. Erstellen Sie einen konsistenten Lernplan: Legen Sie feste Lernzeiten fest und entwickeln Sie eine Routine
3. Machen Sie regelmäßige Pausen: Nutzen Sie die Pomodoro-Technik (25 Minuten Lernen + 5 Minuten Pause)
4. Engagieren Sie sich in der Community: Treten Sie Foren, Diskussionsgruppen und Community-Veranstaltungen bei
5. Lernen Sie aktiv: Machen Sie Notizen, fassen Sie zusammen, unterrichten Sie andere oder wenden Sie das Gelernte in realen Projekten an

Kurszugang

• Offizielle Website: https://www.deeplearning.ai/courses/retrieval-augmented-generation-rag/
• Coursera-Plattform: https://www.coursera.org/learn/retrieval-augmented-generation-rag
• Lernplattform: https://learn.deeplearning.ai/courses/retrieval-augmented-generation

Empfohlene verwandte Kurse

Wenn Sie sich für RAG interessieren, könnten Sie auch folgende Kurse belegen:

• Building and Evaluating Advanced RAG Applications
• Knowledge Graphs for RAG
• LangChain: Chat with Your Data
• Building Multimodal Search and RAG
• Building Agentic RAG with LlamaIndex

Zusammenfassung

Dies ist ein umfassender und tiefgehender RAG-Kurs, der sich an Personen richtet, die:

• Ingenieure, die von Proof-of-Concept zu Produktionsumgebungen übergehen möchten
• Entwickler, die zuverlässige, skalierbare LLM-Anwendungen erstellen möchten
• KI-Praktiker, die die Design-Kompromisse von RAG-Systemen verstehen möchten
• Lernende, die die neuesten RAG-Technologien und -Tools beherrschen möchten

Der Kurs vermittelt nicht nur die technische Implementierung, sondern fördert auch systemisches Denken und ingenieurtechnische Entscheidungsfähigkeiten, um Lernenden zu helfen, im sich ständig weiterentwickelnden RAG-Ökosystem wettbewerbsfähig zu bleiben.