مجموعة أدوات سهلة الاستخدام وسريعة لنشر التعلم العميق ونماذج اللغة الكبيرة، تدعم النشر على السحابة والجوال والحافة. تتضمن أكثر من 20 مشهدًا رئيسيًا و 150+ نموذج SOTA في مجالات الصور والفيديو والنصوص والصوت، مع تحسين شامل ودعم متعدد المنصات والأطر.

نظرة عامة على مشروع FastDeploy

FastDeploy هي حزمة أدوات مفتوحة المصدر لنشر نماذج التعلم العميق، تم تطويرها بواسطة فريق PaddlePaddle التابع لشركة بايدو، وتركز على تزويد المطورين بحلول نشر نماذج الذكاء الاصطناعي سهلة الاستخدام وعالية الأداء. يهدف المشروع إلى تقليل الحواجز التقنية لنشر نماذج التعلم العميق من التدريب إلى بيئات الإنتاج، ويدعم العديد من المنصات وأنواع النماذج.

عنوان المشروع: https://github.com/PaddlePaddle/FastDeploy

الميزات الرئيسية

🚀 المزايا الأساسية

• سهولة الاستخدام: يوفر واجهات برمجة تطبيقات (APIs) موجزة، ويمكن تحقيق نشر النموذج بأمر واحد فقط.
• أداء عالي: تحسينات عميقة لمنصات الأجهزة المختلفة، مما يوفر أداء استنتاج فائق.
• دعم متعدد المنصات: يغطي سيناريوهات نشر متعددة مثل السحابة، والأجهزة المحمولة، والحافة.
• توافق متعدد الأطر: يدعم أطر التعلم العميق الرئيسية مثل PaddlePaddle و PyTorch و TensorFlow.

🎯 ميزات الإصدار

أبرز مميزات FastDeploy 2.0

• دعم نماذج اللغة الكبيرة: مُحسَّن خصيصًا لاستنتاج النماذج الكبيرة، ويدعم حاليًا نموذج Qwen2، ويتم تحديث المزيد من النماذج باستمرار.
• نشر الخدمة: تنفيذ سريع لنشر النموذج كخدمة بأمر واحد، ويدعم التوليد المتدفق.
• تقنية التوازي الموتري: استخدام التوازي الموتري لتسريع أداء استنتاج النماذج الكبيرة.
• ميزات متقدمة:
  • يدعم PagedAttention و continuous batching (معالجة الدفعات الديناميكية).
  • متوافق مع بروتوكول HTTP الخاص بـ OpenAI.
  • يوفر حلول ضغط غير فقدان Weight only int8/int4.
  • يدعم مراقبة مقاييس Prometheus Metrics.

سيناريوهات ونماذج الدعم

📱 سيناريوهات التطبيق

• معالجة الصور: تصنيف الصور، واكتشاف الكائنات، وتقسيم الصور، والتعرف الضوئي على الحروف (OCR)، إلخ.
• تحليل الفيديو: التعرف على الإجراءات، وفهم الفيديو، ومعالجة الفيديو في الوقت الفعلي، إلخ.
• معالجة اللغة الطبيعية: تصنيف النصوص، وتحليل المشاعر، وأنظمة الأسئلة والأجوبة، واستنتاج نماذج اللغة الكبيرة، إلخ.
• معالجة الصوت: التعرف على الكلام، وتوليف الكلام، وتحليل الصوت، إلخ.

🏆 نظام النماذج البيئي

• يدعم أكثر من 150 نموذج SOTA.
• يغطي أكثر من 20 سيناريو تطبيق رئيسي.
• عملية نشر نموذج مُحسَّنة من طرف إلى طرف.

البنية التقنية

🔧 متطلبات النظام

لنشر النماذج الكبيرة (الإصدار 2.0):

• متطلبات الأجهزة: A800/H800/H100 GPU
• بيئة البرمجيات:
  • Python >= 3.10
  • CUDA >= 12.3
  • CUDNN >= 9.5
  • نظام التشغيل Linux X64

🛠️ طرق النشر

1. نشر Docker: يوفر صور Docker مُنشأة مسبقًا.
2. تجميع من المصدر: يدعم التجميع والتثبيت من المصدر.
3. تثبيت حزمة Python: التثبيت مباشرة عبر pip.

بداية سريعة

طرق التثبيت

1. طريقة Docker

docker pull ccr-2vdh3abv-pub.cnc.bj.baidubce.com/paddlepaddle/fastdeploy:2.0.0.0-alpha

2. تجميع من المصدر

# تثبيت إصدار PaddlePaddle الليلي
python -m pip install --pre paddlepaddle-gpu -i https://www.paddlepaddle.org.cn/packages/nightly/cu126/

# تجميع FastDeploy
cd FastDeploy
bash build.sh

# تثبيت
pip install dist/fastdeploy-2.0.0a0-py3-none-any.whl

مثال على النشر السريع

نشر نموذج Qwen2

# تنزيل النموذج
wget https://fastdeploy.bj.bcebos.com/llm/models/Qwen2-7B-Instruct.tar.gz && tar xvf Qwen2-7B-Instruct.tar.gz

# بدء الخدمة
python -m fastdeploy.entrypoints.openai.api_server --model ./Qwen2-7B-Instruct --port 8188 --tensor-parallel-size 1

مثال على استدعاء API

curl -X POST "http://0.0.0.0:8188/v1/chat/completions" \
-H "Content-Type: application/json" \
-d '{
  "messages": [
    {"role": "user", "content": "你好，你的名字是什么？"}
  ]
}'

الميزات التقنية

🎛️ وظائف متقدمة

• التوازي الموتري: يدعم الاستنتاج الموزع للنماذج الكبيرة.
• معالجة الدفعات الديناميكية: تقنية continuous batching لتحسين الإنتاجية.
• تحسين الذاكرة: PagedAttention يقلل من استهلاك الذاكرة.
• ضغط النموذج: تقنية التكميم Weight only.

🔗 توافق البروتوكول

• توافق OpenAI: متوافق تمامًا مع بروتوكول OpenAI API.
• SDK متعدد اللغات: يدعم لغات البرمجة المتعددة مثل Python و C++.
• تكامل المراقبة: مراقبة مقاييس Prometheus مدمجة.

ملاحظات الإصدار

استراتيجية الإصدار الحالية

• FastDeploy 2.0: يركز على نشر نماذج اللغة الكبيرة.
• FastDeploy 1.1.0: يواصل دعم نماذج الرؤية الحاسوبية التقليدية (PaddleClas، PaddleOCR، إلخ.).

ملخص

تلتزم FastDeploy، باعتبارها جزءًا مهمًا من نظام PaddlePaddle البيئي التابع لشركة بايدو، ببناء حلول رائدة في الصناعة لنشر نماذج الذكاء الاصطناعي. من خلال الابتكار التكنولوجي المستمر وبناء المجتمع، فإنه يوفر للمطورين سلسلة أدوات كاملة من تدريب النموذج إلى النشر في الإنتاج، مما يعزز انتشار وتطبيق تقنيات الذكاء الاصطناعي.