FastChat

FastChat هو مشروع مفتوح المصدر يهدف إلى توفير منصة سهلة الاستخدام وموزعة وقابلة للتطوير لتدريب وخدمة وتقييم نماذج اللغة الكبيرة (LLM)، وخاصة نماذج المحادثة. تم تطويره بواسطة LM-SYS في جامعة كاليفورنيا، بيركلي.

الوظائف والميزات الأساسية

• التدريب (Training):
  • يدعم استخدام أطر عمل متعددة (مثل PyTorch و Hugging Face Transformers) لضبط دقيق وتدريب نماذج اللغة الكبيرة (LLM).
  • يوفر نصوص تدريب وأمثلة تكوين لتسهيل البدء السريع للمستخدمين.
  • يدعم التدريب الموزع، مما يسمح باستخدام مجموعات متعددة من وحدات معالجة الرسومات (GPU) أو العقد لتسريع عملية التدريب.
• الخدمة (Serving):
  • يوفر خادم API يعتمد على FastAPI لنشر وتقديم خدمات الاستدلال الخاصة بنماذج اللغة الكبيرة (LLM).
  • يدعم طرق نشر نماذج متعددة، بما في ذلك وحدة معالجة رسومات واحدة (GPU)، ووحدات معالجة رسومات متعددة (GPU)، والتوازي النموذجي، وما إلى ذلك.
  • يوفر موازنة التحميل وآليات ترتيب الطلبات لضمان استقرار الخدمة وإنتاجية عالية.
  • يدعم الإخراج المتدفق، مما يسمح بإرجاع نتائج الإنشاء في الوقت الفعلي.
• التقييم (Evaluation):
  • يوفر مجموعة من أدوات التقييم لتقييم أداء نماذج اللغة الكبيرة (LLM)، بما في ذلك الدقة والطلاقة والاتساق، وما إلى ذلك.
  • يدعم مجموعات بيانات تقييم متعددة واختبارات معيارية.
  • يوفر واجهة مرئية لتسهيل تحليل نتائج التقييم للمستخدمين.
• واجهة المستخدم (User Interface):
  • يوفر واجهة مستخدم ويب مدعومة من Gradio لتسهيل التفاعل والاختبار مع نماذج اللغة الكبيرة (LLM).
  • يدعم المحادثات متعددة الأدوار وتبديل النماذج وتعديل المعلمات، وما إلى ذلك.
• دعم نماذج متعددة:
  • يدعم نماذج لغة كبيرة (LLM) مفتوحة المصدر ومغلقة المصدر متعددة، مثل Llama و Vicuna ونماذج OpenAI (GPT-3.5 و GPT-4) وما إلى ذلك.
  • سهل التوسيع، مما يسمح بإضافة نماذج جديدة بسهولة.
• هندسة موزعة:
  • يعتمد على هندسة موزعة، مما يسمح بالتوسع بسهولة إلى عمليات نشر واسعة النطاق.
  • يدعم منصات تنسيق الحاويات مثل Kubernetes.
• سهولة الاستخدام:
  • يوفر وثائق وأمثلة مفصلة لتسهيل البدء السريع للمستخدمين.
  • يوفر صور Docker لتسهيل النشر والاستخدام.

المكونات الرئيسية

• Controller: وحدة التحكم، مسؤولة عن إدارة وجدولة العديد من العمال (Worker).
• Worker: عقدة العمل، مسؤولة عن تحميل النموذج وتقديم خدمات الاستدلال.
• API Server: خادم API، يستقبل طلبات المستخدمين ويعيد توجيهها إلى العامل (Worker).
• Web UI: واجهة مستخدم الويب، لتسهيل تفاعل المستخدمين مع النموذج.

سيناريوهات الاستخدام

• البحث: يستخدم في البحث والتطوير لنماذج اللغة الكبيرة (LLM)، مثل الضبط الدقيق للنموذج والتقييم والمقارنة، وما إلى ذلك.
• التطبيقات: يستخدم لبناء تطبيقات تعتمد على نماذج اللغة الكبيرة (LLM)، مثل روبوتات الدردشة وأنظمة الأسئلة والأجوبة وإنشاء النصوص، وما إلى ذلك.
• التعليم: يستخدم في تدريس وتعلم نماذج اللغة الكبيرة (LLM)، مثل عرض مبادئ النموذج وتطبيق النموذج العملي، وما إلى ذلك.

المزايا

• مفتوح المصدر: يسمح للمستخدمين بحرية استخدام وتعديل وتوزيع الكود.
• سهولة الاستخدام: يوفر وثائق وأمثلة مفصلة لتسهيل البدء السريع للمستخدمين.
• قابل للتطوير: يعتمد على هندسة موزعة، مما يسمح بالتوسع بسهولة إلى عمليات نشر واسعة النطاق.
• دعم نماذج متعددة: يدعم نماذج لغة كبيرة (LLM) مفتوحة المصدر ومغلقة المصدر متعددة.
• مجتمع نشط: يمتلك مجتمعًا نشطًا، مما يسمح بالحصول على الدعم والمساعدة في الوقت المناسب.

كيف تبدأ

1. استنساخ الكود: git clone https://github.com/lm-sys/FastChat.git
2. تثبيت التبعيات: pip install -r requirements.txt
3. تكوين النموذج: قم بتكوين معلمات ومسارات النموذج حسب الحاجة.
4. بدء الخدمة: اتبع تعليمات الوثائق لبدء وحدة التحكم (Controller) والعامل (Worker) وخادم API.
5. الوصول إلى واجهة مستخدم الويب: قم بزيارة واجهة مستخدم الويب في المتصفح للتفاعل مع النموذج.

ملخص

lm-sys/FastChat هي منصة نماذج لغة كبيرة (LLM) قوية وسهلة الاستخدام، يمكن أن تساعد المستخدمين على تدريب وخدمة وتقييم نماذج اللغة الكبيرة (LLM) بسرعة. يتميز بمزايا مثل المصدر المفتوح وقابلية التوسع ودعم النماذج المتعددة، وهو مناسب لمجموعة متنوعة من السيناريوهات. آمل أن يكون هذا العرض التقديمي مفيدًا لك!

جميع التفاصيل، يرجى الرجوع إلى الموقع الرسمي (https://github.com/lm-sys/FastChat)