LitGPT - مجموعة أدوات نماذج اللغة الكبيرة عالية الأداء
نظرة عامة على المشروع
LitGPT هي مجموعة أدوات مفتوحة المصدر لنماذج اللغة الكبيرة تم تطويرها بواسطة Lightning AI، وتوفر أكثر من 20 حلاً عالي الأداء للتدريب المسبق، والضبط الدقيق، والنشر واسع النطاق لنماذج اللغة الكبيرة. يعتمد هذا المشروع على Lightning Fabric، ويوسع Lit-LLaMA و nanoGPT، ويركز على توفير قدرات تدريب ونشر LLM على مستوى المؤسسات.
الميزات الأساسية
✅ ميزات على مستوى المؤسسات
- رخصة Apache 2.0 - تدعم الاستخدام غير المحدود على مستوى المؤسسات
- صديقة للمطورين - تطبيق ملف واحد بدون طبقات تجريد، مما يسهل التصحيح
- تحسين الأداء - مصمم لتحقيق أقصى قدر من الأداء، وتقليل التكاليف، وتسريع التدريب
- وصفات تم التحقق منها - وصفات تدريب/ضبط دقيق مُحسَّنة للغاية تم اختبارها على نطاق واسع
✅ ميزات تقنية متقدمة
- التنفيذ من الصفر - جميع النماذج مكتوبة من البداية، بدون طبقات تجريد، وتحكم كامل
- Flash Attention v2 - أحدث تحسين لآلية الانتباه
- دعم متعدد لوحدات معالجة الرسومات (GPU) - يتم تحقيقه من خلال التوازي الكامل للبيانات المجزأة (FSDP)
- تحسين الذاكرة - دعم اختياري لتفريغ وحدة المعالجة المركزية (CPU) و TPU/XLA
- تقنيات التكميم - دعم الفاصلة العائمة 4 بت، والأعداد الصحيحة 8 بت، والتكميم المزدوج
- الضبط الدقيق الفعال للمعلمات - دعم LoRA و QLoRA و Adapter و Adapter v2
النماذج المدعومة
تدعم LitGPT أكثر من 20 نموذجًا سائدًا للغة الكبيرة، بما في ذلك:
سلسلة النماذج الرئيسية
- سلسلة Llama - Llama 3, 3.1, 3.2, 3.3 (1B-405B معلمات)
- CodeGemma - نموذج 7B مصمم خصيصًا لتوليد التعليمات البرمجية
- سلسلة Gemma - نماذج Google مفتوحة المصدر
- سلسلة Mistral - بما في ذلك Mistral 7B و Mixtral وما إلى ذلك
- سلسلة Phi - نماذج Microsoft الصغيرة والفعالة
- سلسلة Qwen - نماذج Alibaba متعددة اللغات
- DeepSeek R1 - أحدث نموذج استدلال
نماذج مميزة
- سلسلة Falcon - نماذج عالية الأداء تم تطويرها بواسطة TII
- StableLM - نموذج لغة مستقر من Stability AI
- TinyLlama - متغير Llama خفيف الوزن
- SmolLM - نموذج صغير من Hugging Face
الوظائف الأساسية
1. بداية سريعة
from litgpt import LLM
llm = LLM.load("microsoft/phi-2")
text = llm.generate("Fix the spelling: Every fall, the family goes to the mountains.")
print(text)
2. ضبط دقيق للنموذج
يدعم طرق الضبط الدقيق المتعددة:
- الضبط الدقيق الكامل - تدريب جميع المعلمات
- ضبط دقيق LoRA - ضبط دقيق للتكيف منخفض الرتبة
- QLoRA - ضبط دقيق LoRA الكمي
- ضبط دقيق Adapter - ضبط دقيق لطبقة المحول
مثال على الأمر:
litgpt finetune microsoft/phi-2 \
--data JSON \
--data.json_path my_custom_dataset.json \
--data.val_split_fraction 0.1 \
--out_dir out/custom-model
3. التدريب المسبق للنموذج
يدعم التدريب من الصفر ومواصلة التدريب المسبق:
litgpt pretrain EleutherAI/pythia-160m \
--tokenizer_dir EleutherAI/pythia-160m \
--data TextFiles \
--data.train_data_path "custom_texts/" \
--train.max_tokens 10_000_000 \
--out_dir out/custom-model
4. نشر النموذج
يدعم النشر بنقرة واحدة كخدمة ويب:
# نشر نموذج مُدرَّب مسبقًا
litgpt serve microsoft/phi-2
# نشر نموذج مخصص
litgpt serve out/custom-model/final
5. تقييم النموذج
يدعم معايير تقييم متعددة:
litgpt evaluate microsoft/phi-2 --tasks 'truthfulqa_mc2,mmlu'
6. دردشة تفاعلية
litgpt chat microsoft/phi-2
المزايا التقنية
تحسين الأداء
- سرعة استدلال مُحسَّنة - مُحسَّنة خصيصًا للاستدلال السريع
- دعم التكميم - يقلل من استخدام الذاكرة
- تشغيل GPU بذاكرة منخفضة - يدعم البيئات محدودة الموارد
- توسع على مستوى الإنتاج - يدعم 1-1000+ GPU/TPU
تحسين الذاكرة والحساب
- تدريب الدقة المختلطة - يدعم FP16 و BF16 و FP32 المختلطة
- نقطة تفتيش التدرج - يقلل من استخدام الذاكرة
- تفريغ وحدة المعالجة المركزية (CPU) - يعالج النماذج الكبيرة جدًا
- التدريب الموزع - دعم متعدد العقد ووحدات معالجة الرسومات (GPU)
التدريب القائم على التكوين
توفر LitGPT ملفات تكوين YAML تم التحقق منها، والتي تغطي سيناريوهات تدريب مختلفة:
litgpt finetune \
--config https://raw.githubusercontent.com/Lightning-AI/litgpt/main/config_hub/finetune/llama-2-7b/lora.yaml
سيناريوهات التطبيق
البحث والتطوير
- أبحاث النموذج - يوفر رمزًا قابلاً للقراءة وسهل التعديل
- تجربة الخوارزمية - يدعم التنفيذ السريع لأحدث الأفكار البحثية
- قياس الأداء - عملية تقييم نموذج موحدة
تطبيقات المؤسسات
- نماذج مخصصة - ضبط دقيق للنماذج لسيناريوهات عمل محددة
- نشر الإنتاج - نشر خدمة النموذج على مستوى المؤسسات
- تحسين التكلفة - تقليل تكاليف الحوسبة من خلال التكميم والتحسين
التعليم والتعلم
- صديق للمبتدئين - هيكل رمز واضح ووثائق مفصلة
- التدريس العملي - عملية كاملة من التدريب إلى النشر
- التدريب البحثي - يوفر أدوات أساسية موثوقة للباحثين
النظام البيئي للمجتمع
دعم المشاريع المعروفة
- مشروع SAMBA - نموذج فضاء الحالة المختلطة الذي طورته Microsoft استنادًا إلى LitGPT
- TinyLlama - نموذج صغير بمعلمات 300 مليون تم تدريبه باستخدام LitGPT
- تحدي NeurIPS 2023 - مجموعة أدوات تحدي كفاءة LLM المعينة رسميًا
مجتمع مفتوح المصدر نشط
- تحديثات مستمرة - إضافة نماذج وميزات جديدة بانتظام
- مساهمات المجتمع - نرحب بمشاركة المطورين من جميع المستويات
- وثائق مفصلة - دروس كاملة ووثائق API
التثبيت والاستخدام
التثبيت الأساسي
pip install 'litgpt[all]'
التثبيت من المصدر
git clone https://github.com/Lightning-AI/litgpt
cd litgpt
pip install -e '.[all]'
سير العمل الأساسي
- اختر نموذجًا - اختر من بين أكثر من 20 نموذجًا مدعومًا
- إعداد البيانات - استخدم مجموعة بيانات مدمجة أو بيانات مخصصة
- تكوين التدريب - استخدم تكوينًا مُعدًا مسبقًا أو معلمات مخصصة
- تنفيذ التدريب - التدريب المسبق أو الضبط الدقيق للنموذج
- نشر النموذج - النشر كخدمة إنتاج
- تقييم النموذج - استخدم معايير قياسية
الوثائق التقنية
توفر LitGPT وثائق تقنية كاملة، بما في ذلك:
- دليل البدء السريع - برنامج تعليمي كامل من 0 إلى LitGPT
- دروس الضبط الدقيق - بما في ذلك شرح مفصل لـ LoRA و QLoRA و Adapter
- دليل التدريب المسبق - عملية كاملة لتدريب النماذج من الصفر
- وثائق النشر - أفضل الممارسات للنشر في بيئات الإنتاج
- تحسين الأداء - معالجة أخطاء OOM وتقنيات تحسين الذاكرة
- النشر السحابي - دليل استخدام TPU والمنصات السحابية
ملخص
LitGPT هي مجموعة أدوات شاملة وعالية الأداء لنماذج اللغة الكبيرة، وهي مناسبة لمجموعة متنوعة من سيناريوهات التطبيق من البحث إلى الإنتاج. بفضل فلسفة التصميم الخاصة بها المتمثلة في التنفيذ من الصفر وبدون طبقات تجريد، فإنها توفر للمستخدمين أقصى قدر من المرونة والتحكم، بينما تضمن التشغيل الفعال في ظل ظروف الأجهزة المختلفة من خلال تقنيات التحسين الغنية وخيارات التكوين. سواء كانوا باحثين في مجال الذكاء الاصطناعي أو مطوري مؤسسات أو متعلمين، يمكن للجميع العثور على حلول تناسب احتياجاتهم في LitGPT.