Collection efficace de noyaux Triton développée par LinkedIn, optimisée pour l'entraînement de grands modèles de langage, capable d'améliorer la vitesse d'entraînement de 20 % et de réduire l'utilisation de la mémoire de 60 %.
Modèle pré-entraîné BERT en chinois basé sur la technique de masquage de mots entiers, fournissant divers modèles pré-entraînés de traitement du langage naturel en chinois.
Boîte à outils de modèles de langage de grande taille haute performance, prenant en charge le pré-entraînement, le réglage fin et le déploiement de plus de 20 modèles.
Une boîte à outils extensible, pratique et efficace pour le réglage fin et l'inférence de grands modèles de base, conçue pour être conviviale, rapide et fiable, et ouverte à toute la communauté.
Utiliser la technique d'adaptation de faible rang LoRA pour affiner les modèles LLaMA sur du matériel grand public, afin de créer rapidement un assistant IA de suivi d'instructions similaire à ChatGPT.
Bibliothèque d'entraînement de grands modèles de langage basée sur l'apprentissage par renforcement, prenant en charge les techniques de post-entraînement avancées telles que SFT, PPO, DPO, etc.
Un framework de fine-tuning et de déploiement de grands modèles de langage (LLM) à code zéro et à faible code, prenant en charge le fine-tuning unifié et efficace de plus de 100 LLM/VLM.
Un outil open source pour le post-entraînement de modèles d'IA, prenant en charge diverses méthodes d'entraînement telles que le fine-tuning, LoRA, QLoRA, etc.
QLoRA : un framework de fine-tuning efficace et quantifié pour les grands modèles de langage, permettant de fine-tuner des modèles de 65 milliards de paramètres sur un seul GPU.
Bibliothèque LoRA open source de Microsoft, implémentant la technique d'adaptation de rang faible pour les grands modèles de langage, réduisant considérablement les paramètres d'entraînement lors du fine-tuning du modèle.
🤗 PEFT est une bibliothèque de fine-tuning efficace en termes de paramètres, développée par Hugging Face. Elle permet un fine-tuning à faible coût des grands modèles grâce à des techniques telles que LoRA et AdaLoRA.
Unsloth : outil de fine-tuning et d'apprentissage par renforcement efficace pour les grands modèles de langage - Vitesse d'entraînement multipliée par 2, utilisation de la mémoire réduite de 70 %