إطار عمل لضبط وتوزيع نماذج اللغة الكبيرة بدون تعليمات برمجية أو بتعليمات برمجية منخفضة، يدعم الضبط الدقيق الموحد والفعال لأكثر من 100 نموذج لغة كبير/نموذج لغة مرئية.

💡 شرح مشروع LLaMA‑Factory

أولاً: نظرة عامة على المشروع

LLaMA‑Factory هو منصة مفتوحة المصدر تركز على الضبط الدقيق والتدريب والنشر للنماذج اللغوية الكبيرة (LLM/VLM). تم نشره بواسطة Yaowei Zheng وآخرون في ACL 2024، وتم تضمينه في arXiv ([gitee.com][1]). يبرز هذا المشروع الميزات التالية:

• يدعم أكثر من 100 نموذج: بما في ذلك LLaMA و LLaVA و Mistral و Qwen و ChatGLM و Phi والنماذج السائدة والناشئة الأخرى.
• واجهات بدون تعليمات برمجية + تعليمات برمجية منخفضة: أوضاع CLI و Web UI (LLaMABoard)، تغطي عمليات التدريب الشائعة، مع حد تقني منخفض للغاية.
• يدمج طرق الضبط الدقيق الفعالة المتعددة: يدعم LoRA و QLoRA (2/4/8 بت)، والتجميد، والمعلمات الكاملة 16 بت، و FlashAttention‑2، و Unsloth، و RoPE scaling، وما إلى ذلك.
• خوارزميات ضبط غنية: GaLore و BAdam و DoRA و LongLoRA و LLaMA Pro و Mixture‑of‑Depths و LoRA+ و LoftQ و PiSSA وما إلى ذلك.
• طرق تدريب متعددة: التدريب المسبق، والضبط الدقيق الخاضع للإشراف (SFT)، ونمذجة المكافآت (RM)، وطرق التعلم المعزز PPO/DPO/KTO/ORPO وما إلى ذلك.
• أدوات مراقبة تجريبية متعددة: يدعم LlamaBoard و TensorBoard و Wandb و MLflow و SwanLab وما إلى ذلك.
• توافق الاستدلال والنشر: يدعم نشر نمط OpenAI API، والاستدلال المتزامن vLLM، وواجهة مستخدم Gradio وخيارات استدلال غنية أخرى.

---

ثانيًا: أبرز الميزات الأساسية

1. نطاق دعم النموذج واسع

يغطي أكثر من مائة نموذج، بما في ذلك الأحجام والبنى المختلفة، من LLaMA و Phi إلى Qwen2-VL و Gemma و DeepSeek وما إلى ذلك.

2. تقنية الضبط الدقيق الفعالة

• LoRA / QLoRA: يدعم الضبط الدقيق التكيفي الكمي منخفض البت؛ 4-bit LoRA أسرع في الاستدلال ويتطلب ذاكرة GPU أقل من الطرق التقليدية.
• عوامل التحسين: FlashAttention-2 و Unsloth يحسنان سرعة التدريب واستخدام ذاكرة GPU.
• RoPE Scaling: توسيع القدرة على طول السياق.

3. التدريب والتعلم المعزز

يدمج عمليات التدريب الشائعة: من التدريب المسبق، و SFT، إلى تدريب نموذج المكافآت، ثم إلى التعلم المعزز PPO/DPO.

4. المراقبة المرئية

من خلال Web UI (LLaMABoard) و TensorBoard و Wandb وما إلى ذلك، يمكنك عرض تقدم التدريب والمقاييس والسجلات في الوقت الفعلي.

5. قدرات الاستدلال والنشر

يدعم تصدير النموذج المضبوط بدقة إلى تنسيق OpenAI API، وتنفيذ الاستدلال المتزامن (vLLM) أو إنشاء واجهة أمامية Gradio.

---

ثالثًا: عملية الاستخدام والبدء السريع

التثبيت / التشغيل

pip install llama-factory   # أو التثبيت من خلال استنساخ من GitHub

• طريقة CLI:

  llama-factory train \
    --model llama-13b \
    --dataset mydata \
    --finetuning_type lora \
    ## المزيد من المعلمات راجع الوثائق الرسمية
  

• طريقة Web UI:

  CUDA_VISIBLE_DEVICES=0 python src/train_web.py
  

  تشغيل LLaMABoard، إعداد المعلمات الفائقة للتدريب في مكان واحد

---

إعداد البيانات

يأتي المشروع مع أكثر من 60 مجموعة بيانات (دليل البيانات)، ويدعم أيضًا ملفات JSON المخصصة، وإدارة موحدة لـ dataset_info.json.

---

المراقبة والتقييم

يدعم التدريب تلقائيًا عرض TensorBoard و Wandb؛ ويمكن أيضًا الوصول إلى خلفيات المراقبة مثل MLflow و SwanLab.

---

الاستدلال والنشر

بعد الانتهاء من التدريب، قم بإنشاء حزمة نشر مباشرة من خلال CLI أو برنامج نصي للتصدير، ودعم الاستدلال المتزامن وعرض Gradio.

خامسًا: الخلاصة

LLaMA‑Factory هو إطار عمل كامل الميزات وسهل الاستخدام ومتقدم تقنيًا للضبط الدقيق لـ LLM. سواء كنت باحثًا أو مهندسًا، يمكنك تخصيص وتدريب ونشر عدد كبير من النماذج مفتوحة المصدر بسرعة، دون الحاجة إلى كتابة تعليمات برمجية معقدة، وهو أداة قوية للدخول إلى مجال الضبط الدقيق لـ LLM.