Fondements des Grands Modèles de Langue (ZJU-LLMs)

Aperçu

Fondements des LLMs est un manuel éducatif complet et une ressource d'apprentissage créée par le Laboratoire d'Analyse de Bases de Données et de Big Data (DAILY Lab) de l'Université de Zhejiang. Ce projet open-source explique systématiquement les connaissances fondamentales et présente les technologies de pointe liées aux Grands Modèles de Langue (LLMs) pour les lecteurs intéressés par ce domaine en évolution rapide.

Répertoire: https://github.com/ZJU-LLMs/Foundations-of-LLMs Étoiles: Plus de 11,4k sur GitHub Format: Manuel PDF avec des matériaux chapitre par chapitre et des listes d'articles

Philosophie du Projet

L'équipe d'auteurs s'engage à :

• Écouter les suggestions de la communauté open-source et des experts
• Fournir des mises à jour mensuelles pour maintenir le contenu à jour
• Créer un manuel accessible, rigoureux et approfondi sur les grands modèles
• Suivre les dernières avancées technologiques grâce à des listes d'articles organisées pour chaque chapitre

Structure du Contenu

La première édition se compose de six chapitres principaux, chacun utilisant un animal différent comme toile de fond thématique pour illustrer des technologies spécifiques :

Chapitre 1 : Modèles de Langue Traditionnels

• Concepts fondamentaux de la modélisation du langage
• Contexte historique et évolution des modèles de langage

Chapitre 2 : Architecture des Grands Modèles de Langue

• Évolution des architectures LLM
• Innovations architecturales clés et principes de conception
• Analyse comparative des différentes structures de modèles

Chapitre 3 : Ingénierie des Prompts

• Techniques pour une conception efficace des prompts
• Stratégies d'optimisation des prompts
• Applications et meilleures pratiques

Chapitre 4 : Fine-Tuning Efficace en Paramètres (PEFT)

• Méthodes pour une adaptation efficace des modèles
• Techniques de fine-tuning à faibles ressources
• LoRA, Prefix-tuning et autres approches PEFT

Chapitre 5 : Édition de Modèle

• Techniques pour modifier les connaissances du modèle
• Méthodes de mise à jour et de correction des connaissances
• Préservation de l'intégrité du modèle lors des modifications

Chapitre 6 : Génération Augmentée par Récupération (RAG)

• Intégration des systèmes de récupération avec les modèles génératifs
• Amélioration des sorties LLM avec des connaissances externes
• Architectures RAG et stratégies de mise en œuvre

Ressources Disponibles

1. Manuel Complet

• Version PDF complète disponible en chinois
• Version anglaise également disponible
• Couverture complète des six chapitres

2. Contenu Chapitre par Chapitre

• Fichiers PDF individuels pour chaque chapitre
• Permet une étude ciblée sur des sujets spécifiques
• Navigation et référence faciles

3. Listes d'Articles

• Collections organisées d'articles de recherche pertinents pour chaque chapitre
• Mise à jour continue avec les dernières recherches
• Suit les développements de pointe dans chaque domaine

Orientations Futures

L'équipe d'auteurs prévoit d'enrichir le manuel avec des chapitres supplémentaires couvrant :

• Accélération de l'Inférence LLM : Techniques pour une inférence de modèle plus rapide
• Agents LLM : Agents autonomes alimentés par de grands modèles de langage
• Autres sujets émergents dans le paysage LLM

Public Cible

Cette ressource d'apprentissage est conçue pour :

• Les étudiants et chercheurs en IA et TAL
• Les praticiens travaillant avec des LLMs
• Toute personne intéressée à comprendre les fondements des grands modèles de langage
• Les développeurs créant des applications basées sur LLM

Caractéristiques Uniques

1. Apprentissage Visuel : Chaque chapitre présente un thème animal unique pour rendre les concepts plus mémorables et attrayants
2. Piloté par la Communauté : Ouvert aux problèmes et aux commentaires de la communauté
3. Mises à Jour Régulières : Les mises à jour mensuelles garantissent que le contenu reste à jour
4. Listes d'Articles Complètes : Chaque chapitre comprend des articles de recherche organisés
5. Gratuit et Ouvert : Entièrement open-source et librement accessible
6. Support Bilingue : Disponible en chinois et en anglais

Rigueur Académique

Le contenu est basé sur l'exploration et la compréhension de l'équipe d'auteurs des orientations de recherche pertinentes. L'équipe accueille activement les corrections et suggestions via les problèmes GitHub, assurant une amélioration et une précision continues.

Coordonnées

Pour toute question ou suggestion concernant le manuel :

• Email: xuwenyi@zju.edu.cn
• Problèmes GitHub: Soumettez des commentaires et des suggestions directement sur le répertoire

Pourquoi Cette Ressource Est Importante

Les grands modèles de langage sont devenus l'une des avancées technologiques les plus révolutionnaires en intelligence artificielle. Ce manuel fournit :

• Fondation Systématique : Développez la compréhension des modèles traditionnels aux LLMs modernes
• Techniques Pratiques : Apprenez des méthodes exploitables pour travailler avec les LLMs
• Connexions de Recherche : Restez connecté aux dernières recherches grâce aux listes d'articles
• Apprentissage Progressif : Passez des concepts de base aux techniques avancées

Reconnaissance de la Communauté

Avec plus de 11 400 étoiles sur GitHub, ce projet a acquis une reconnaissance significative dans la communauté IA/ML en tant que ressource éducative précieuse pour comprendre les grands modèles de langage.