Grundlagen großer Sprachmodelle (ZJU-LLMs)

Überblick

Grundlagen von LLMs ist ein umfassendes Lehrbuch und Lernmaterial, das vom Database and Big Data Analytics Laboratory (DAILY Lab) der Zhejiang University erstellt wurde. Dieses Open-Source-Projekt erklärt systematisch grundlegendes Wissen und stellt modernste Technologien im Zusammenhang mit großen Sprachmodellen (LLMs) für Leser vor, die an diesem sich schnell entwickelnden Gebiet interessiert sind.

Repository: https://github.com/ZJU-LLMs/Foundations-of-LLMs Sterne: 11.4k+ auf GitHub Format: PDF-Lehrbuch mit kapitelweisen Materialien und Papierlisten

Projektphilosophie

Das Autorenteam verpflichtet sich zu:

• Anregungen aus der Open-Source-Community und von Experten zu berücksichtigen
• Monatliche Aktualisierungen bereitzustellen, um die Inhalte aktuell zu halten
• Ein zugängliches, rigoroses und tiefgehendes Lehrbuch über große Modelle zu erstellen
• Die neuesten technologischen Entwicklungen durch kuratierte Papierlisten für jedes Kapitel zu verfolgen

Inhaltsstruktur

Die erste Ausgabe besteht aus sechs Hauptkapiteln, die jeweils ein anderes Tier als thematischen Hintergrund verwenden, um spezifische Technologien zu veranschaulichen:

Kapitel 1: Traditionelle Sprachmodelle

• Grundlegende Konzepte der Sprachmodellierung
• Historischer Kontext und Entwicklung von Sprachmodellen

Kapitel 2: Architektur großer Sprachmodelle

• Entwicklung von LLM-Architekturen
• Wichtige architektonische Innovationen und Designprinzipien
• Vergleichende Analyse verschiedener Modellstrukturen

Kapitel 3: Prompt Engineering

• Techniken für effektives Prompt-Design
• Strategien zur Prompt-Optimierung
• Anwendungen und Best Practices

Kapitel 4: Parameter-Effizientes Fine-Tuning (PEFT)

• Methoden zur effizienten Modellanpassung
• Low-Resource Fine-Tuning-Techniken
• LoRA, Prefix-Tuning und andere PEFT-Ansätze

Kapitel 5: Modellbearbeitung

• Techniken zur Modifizierung von Modellwissen
• Methoden zur Wissensaktualisierung und -korrektur
• Wahrung der Modellintegrität während der Bearbeitung

Kapitel 6: Retrieval-Augmented Generation (RAG)

• Integration von Retrieval-Systemen mit generativen Modellen
• Verbesserung der LLM-Ausgaben mit externem Wissen
• RAG-Architekturen und Implementierungsstrategien

Verfügbare Ressourcen

1. Vollständiges Lehrbuch

• Vollständige PDF-Version auf Chinesisch verfügbar
• Englische Version ebenfalls verfügbar
• Umfassende Abdeckung aller sechs Kapitel

2. Kapitelweise Inhalte

• Einzelne PDF-Dateien für jedes Kapitel
• Ermöglicht fokussiertes Lernen zu bestimmten Themen
• Einfache Navigation und Referenz

3. Papierlisten

• Kuratierte Sammlungen relevanter Forschungsarbeiten für jedes Kapitel
• Kontinuierlich mit den neuesten Forschungsergebnissen aktualisiert
• Verfolgt die neuesten Entwicklungen in jedem Bereich

Zukünftige Ausrichtungen

Das Autorenteam plant, das Lehrbuch um zusätzliche Kapitel zu erweitern, die Folgendes abdecken:

• LLM Inferenzbeschleunigung: Techniken für schnellere Modellinferenz
• LLM Agents: Autonome Agenten, die von großen Sprachmodellen angetrieben werden
• Zusätzliche aufkommende Themen in der LLM-Landschaft

Zielgruppe

Dieses Lernmaterial ist konzipiert für:

• Studenten und Forscher in KI und NLP
• Praktiker, die mit LLMs arbeiten
• Alle, die daran interessiert sind, die Grundlagen großer Sprachmodelle zu verstehen
• Entwickler, die LLM-basierte Anwendungen erstellen

Einzigartige Merkmale

1. Visuelles Lernen: Jedes Kapitel verfügt über ein einzigartiges Tiermotiv, um Konzepte einprägsamer und ansprechender zu gestalten
2. Community-Driven: Offen für Probleme und Feedback aus der Community
3. Regelmäßige Updates: Monatliche Aktualisierungen stellen sicher, dass die Inhalte aktuell bleiben
4. Umfassende Papierlisten: Jedes Kapitel enthält kuratierte Forschungsarbeiten
5. Kostenlos und offen: Völlig Open-Source und frei zugänglich
6. Bilinguale Unterstützung: Verfügbar auf Chinesisch und Englisch

Akademische Strenge

Der Inhalt basiert auf der Erkundung und dem Verständnis relevanter Forschungsrichtungen durch das Autorenteam. Das Team freut sich aktiv über Korrekturen und Vorschläge über GitHub-Issues, um eine kontinuierliche Verbesserung und Genauigkeit zu gewährleisten.

Kontaktinformationen

Für Fragen oder Anregungen zum Lehrbuch:

• E-Mail: xuwenyi@zju.edu.cn
• GitHub Issues: Senden Sie Feedback und Vorschläge direkt im Repository

Warum diese Ressource wichtig ist

Große Sprachmodelle haben sich zu einer der revolutionärsten technologischen Fortschritte in der künstlichen Intelligenz entwickelt. Dieses Lehrbuch bietet:

• Systematische Grundlage: Aufbau von Verständnis von traditionellen Modellen bis hin zu modernen LLMs
• Praktische Techniken: Erlernen Sie umsetzbare Methoden für die Arbeit mit LLMs
• Forschungsverbindungen: Bleiben Sie durch Papierlisten mit der neuesten Forschung verbunden
• Progressives Lernen: Wechseln Sie von grundlegenden Konzepten zu fortgeschrittenen Techniken

Anerkennung in der Community

Mit über 11.400 Sternen auf GitHub hat dieses Projekt in der KI/ML-Community große Anerkennung als wertvolle Bildungsressource für das Verständnis großer Sprachmodelle gefunden.