Detaillierte Einführung in den Hugging Face LLM Kurs

Kursübersicht

Dies ist ein Kurs über große Sprachmodelle (LLM) und natürliche Sprachverarbeitung (NLP), der von Hugging Face angeboten wird und sich auf das Lernen und die Praxis mit den Bibliotheken des Hugging Face Ökosystems konzentriert.

Kursmerkmale

• Völlig kostenlos: Keine Werbung, keine kostenpflichtigen Inhalte
• Praxisorientiert: Kombiniert Theorie und Praxis, bietet Codebeispiele
• Open-Source-Geist: Alle Inhalte werden unter der Apache 2 Lizenz veröffentlicht
• Mehrsprachige Unterstützung: Unterstützt Übersetzungen in mehreren Sprachversionen
• Community-gesteuert: Aktive Community-Unterstützung und Diskussion

Kursstruktur

Kapitel 1-4: Grundlagen der 🤗 Transformers Bibliothek

• Funktionsweise von Transformer-Modellen
• Wie man Modelle vom Hugging Face Hub verwendet
• Techniken zum Fine-Tuning von Modellen
• Ergebnisse auf dem Hub teilen

Kapitel 5-8: Datenverarbeitung und klassische NLP-Aufgaben

• Grundlagen von 🤗 Datasets und 🤗 Tokenizers
• Bearbeitung klassischer NLP-Aufgaben
• Vertiefung der LLM-Technologien
• Lösungen für häufige Herausforderungen in der Sprachverarbeitung

Kapitel 9: Modellbereitstellung und -präsentation

• Erstellen und Teilen von Modell-Demos
• Anwendungen auf dem 🤗 Hub präsentieren
• Techniken zur Modellvisualisierung

Kapitel 10-12: Fortgeschrittene LLM-Themen

• Fortgeschrittene Fine-Tuning-Techniken
• Kuratierung hochwertiger Datensätze
• Erstellung von Inferenzmodellen
• Aktuelle Entwicklungen bei LLMs

Kerntechnologie-Stack

Hauptbibliotheken

• 🤗 Transformers: Kernmodellbibliothek
• 🤗 Datasets: Datenverarbeitungsbibliothek
• 🤗 Tokenizers: Tokenizer-Bibliothek
• 🤗 Accelerate: Bibliothek zur Trainingsbeschleunigung
• Hugging Face Hub: Zentrum für Modelle und Datensätze

Unterstützte Frameworks

• PyTorch
• TensorFlow
• JAX

Einrichtung der Lernumgebung

Methode 1: Google Colab

# Basisversion installieren
!pip install transformers

# Vollversion installieren (empfohlen)
!pip install transformers[sentencepiece]

Methode 2: Python-virtuelle Umgebung

# Projektverzeichnis erstellen
mkdir ~/transformers-course
cd ~/transformers-course

# Virtuelle Umgebung erstellen
python -m venv .env

# Virtuelle Umgebung aktivieren
source .env/bin/activate

# Abhängigkeiten installieren
pip install "transformers[sentencepiece]"

Kursanforderungen

Technische Anforderungen

• Python-Grundlagen: Gute Python-Programmierkenntnisse sind erforderlich
• Grundlagen des Deep Learning: Es wird empfohlen, zuerst einen Einführungskurs in Deep Learning zu absolvieren
• Framework-Kenntnisse: PyTorch- oder TensorFlow-Erfahrung ist nicht zwingend erforderlich, aber ein gewisses Verständnis ist hilfreich

Empfohlene Vorkurse

• fast.ai's Practical Deep Learning for Coders
• DeepLearning.AI verwandte Kurse

Kursautorenteam

Hauptautoren

• Abubakar Abid: Gründer von Gradio, Stanford PhD
• Ben Burtenshaw: NLP PhD, Forschung zur Generierung von Kindergeschichten
• Matthew Carrigan: Postdoktorand am Trinity College Dublin
• Lysandre Debut: Kernentwickler von 🤗 Transformers
• Sylvain Gugger: Co-Autor von "Deep Learning for Coders"
• Lewis Tunstall: Co-Autor von "Natural Language Processing with Transformers"
• Leandro von Werra: Co-Autor von "Natural Language Processing with Transformers"

Zeitplan für das Lernen

• Dauer pro Kapitel: 1 Woche
• Wöchentliche Lernzeit: 6-8 Stunden
• Gesamtfortschritt: Kann an das individuelle Tempo angepasst werden

Ressourcen und Unterstützung

Lernressourcen

• Interaktive Notebooks: Google Colab und Amazon SageMaker Studio Lab
• Code-Repository: huggingface/notebooks
• Kursforum: Hugging Face forums

Mehrsprachige Unterstützung

Der Kurs ist in den folgenden Sprachversionen verfügbar:

• Chinesisch (vereinfacht)
• Französisch
• Deutsch
• Spanisch
• Japanisch
• Koreanisch
• Vietnamesisch
• und viele weitere Sprachen

Praktische Projekte

Projekttypen

• Textklassifizierung
• Textgenerierung
• Frage-Antwort-Systeme
• Sentimentanalyse
• Named Entity Recognition (NER)
• Maschinelle Übersetzung
• Textzusammenfassung

Praktische Plattformen

• Google Colab (empfohlen für Anfänger)
• Lokale Umgebung
• Hugging Face Spaces

Zertifikate und Zertifizierung

• Derzeit keine offizielle Zertifizierung
• Hugging Face entwickelt derzeit ein Zertifizierungsprogramm
• Nach Abschluss des Kurses kann ein Projektportfolio erworben werden

Empfehlungen für weiterführendes Lernen

Nach Abschluss dieses Kurses wird empfohlen, Folgendes weiter zu lernen:

• DeepLearning.AI's Natural Language Processing Specialization
• Traditionelle NLP-Modelle: Naive Bayes, LSTM usw.
• Forschung zu fortgeschritteneren Transformer-Architekturen

Kurswert

Dieser Kurs ist besonders geeignet für:

• Ingenieure, die in die LLM-Entwicklung einsteigen möchten
• Entwickler, die KI-Funktionen in ihre Produkte integrieren müssen
• Forscher, die sich über die neuesten NLP-Technologien informieren möchten
• Teams, die KI-Anwendungen mit Open-Source-Tools erstellen möchten

Durch diesen Kurs erwerben die Lernenden einen vollständigen LLM-Entwicklungs-Skillset, von den Grundlagen bis zu praktischen Anwendungen.