إطار عمل موحد للتعلم الآلي موجه نحو نموذج كخدمة (MaaS)، يوفر حلاً شاملاً للاستدلال على النموذج والتدريب والتقييم.

ModelScope: نظرة عامة تفصيلية على المشروع

ملخص المشروع

ModelScope هو إطار عمل مفتوح المصدر وموحد للتعلم الآلي تم تطويره بواسطة أكاديمية دالي التابعة لمجموعة علي بابا، وهو مبني على مفهوم "النموذج كخدمة" (Model-as-a-Service, MaaS). يهدف هذا المشروع إلى دمج أحدث نماذج التعلم الآلي في مجتمع الذكاء الاصطناعي، وتبسيط عملية استخدام نماذج الذكاء الاصطناعي في التطبيقات العملية.

عنوان المشروع: https://github.com/modelscope/modelscope

المفاهيم الأساسية

يعتمد ModelScope على المفهوم الأساسي لـ "النموذج كخدمة" (MaaS)، ويهدف إلى:

• دمج أحدث نماذج التعلم الآلي في مجتمع الذكاء الاصطناعي
• تبسيط عملية استخدام نماذج الذكاء الاصطناعي في التطبيقات العملية
• توفير واجهة موحدة للوصول إلى النماذج
• تقليل الحواجز التي تعيق استخدام تقنيات الذكاء الاصطناعي

الخصائص الرئيسية

1. واجهة برمجة تطبيقات (API) موحدة

• توفير طبقات تجريد API غنية
• تجربة موحدة لاستكشاف أحدث النماذج عبر المجالات
• تغطية مجالات مثل رؤية الكمبيوتر (CV)، ومعالجة اللغة الطبيعية (NLP)، والصوت، والوسائط المتعددة، والحساب العلمي، إلخ.

2. سهل الاستخدام

• الاستدلال بالنموذج: يمكن تحقيق الاستدلال بالنموذج بثلاثة أسطر فقط من التعليمات البرمجية
• تدريب النموذج: يمكن تحقيق الضبط الدقيق للنموذج بعشرة أسطر فقط من التعليمات البرمجية
• تجربة جاهزة للاستخدام

3. تصميم معياري

• بنية تصميم معيارية
• تنفيذ وحدات وظيفية غنية
• تسهيل تخصيص المستخدم لعمليات الاستدلال والتدريب على النموذج

4. دعم التدريب الموزع

• دعم التوازي في البيانات
• دعم التوازي في النموذج
• دعم استراتيجيات التدريب المتعددة مثل التوازي المختلط
• مناسب بشكل خاص لتدريب النماذج الكبيرة

المجالات النموذجية المدعومة

نماذج اللغة الكبيرة (LLM)

• نماذج سلسلة GPT
• نماذج توليد الشعر الصيني
• نماذج توليد النصوص

نماذج الوسائط المتعددة

• فهم النص والصورة
• نماذج الرؤية واللغة

رؤية الكمبيوتر (CV)

• نماذج التعرف على النصوص
• نماذج إزالة الخلفية من الصور الشخصية
• نماذج الكشف عن الصور

معالجة الصوت (Audio)

• التعرف على الكلام Paraformer
• الكشف عن نقطة نهاية الصوت
• توقع الطابع الزمني الصوتي
• نماذج تركيب الكلام

الذكاء الاصطناعي للعلوم (AI for Science)

• نماذج الحساب العلمي
• تطبيقات الذكاء الاصطناعي الموجهة نحو البحث

البنية التقنية

أطر التعلم العميق المدعومة

• PyTorch (1.8+)
• TensorFlow (1.15+ أو 2.0+)
• ONNX

بيئة التشغيل

• إصدار Python: 3.7+
• نظام التشغيل: Linux, Windows, macOS
• دعم الأجهزة: CPU, GPU

دعم Docker

توفير صور Docker رسمية، بما في ذلك:

• صور إصدار CPU
• صور إصدار GPU
• دعم إصدارات Python المتعددة

طريقة التثبيت

التثبيت الأساسي

pip install modelscope

تثبيت المجال الاحترافي

# نماذج الوسائط المتعددة
pip install modelscope[multi-modal]

# معالجة اللغة الطبيعية
pip install modelscope[nlp]

# رؤية الكمبيوتر
pip install modelscope[cv]

# معالجة الصوت
pip install modelscope[audio]

# الحساب العلمي
pip install modelscope[science]

أمثلة الاستخدام

مثال على الاستدلال بالنموذج

# تجزئة الكلمات الصينية
from modelscope.pipelines import pipeline
word_segmentation = pipeline('word-segmentation',
                           model='damo/nlp_structbert_word-segmentation_chinese-base')
result = word_segmentation('اليوم الطقس جميل، مناسب للخروج في نزهة')
print(result)  # {'output': 'اليوم الطقس جميل ، مناسب للخروج في نزهة'}

# إزالة الخلفية من الصور الشخصية
import cv2
from modelscope.pipelines import pipeline
portrait_matting = pipeline('portrait-matting')
result = portrait_matting('image_url')
cv2.imwrite('result.png', result['output_img'])

مثال على تدريب النموذج

from modelscope.metainfo import Trainers
from modelscope.msdatasets import MsDataset
from modelscope.trainers import build_trainer

# تحميل مجموعة البيانات
train_dataset = MsDataset.load('chinese-poetry-collection', split='train')
eval_dataset = MsDataset.load('chinese-poetry-collection', split='test')

# تكوين معلمات التدريب
kwargs = dict(
    model='damo/nlp_gpt3_text-generation_1.3B',
    train_dataset=train_dataset,
    eval_dataset=eval_dataset,
    max_epochs=10,
    work_dir='./gpt3_poetry'
)

# بناء المدرب وبدء التدريب
trainer = build_trainer(name=Trainers.gpt3_trainer, default_args=kwargs)
trainer.train()

النظام البيئي للنماذج

عدد النماذج

• 700+ نموذج متاح للجمهور
• مكتبة نماذج متنامية باستمرار
• تغطية أحدث التطورات في مجالات الذكاء الاصطناعي المتعددة

جودة النموذج

• تمثل العديد من النماذج أحدث التقنيات في مجالاتها (SOTA)
• تم إصدار العديد من النماذج مفتوحة المصدر لأول مرة على ModelScope
• تم اختبارها والتحقق منها بدقة

تجربة عبر الإنترنت

• يمكن تجربة تأثيرات النموذج عبر الإنترنت من خلال موقع ModelScope
• توفير بيئة تطوير ModelScope Notebook السحابية
• بيئة تطوير CPU/GPU بنقرة واحدة

تكامل خدمات الواجهة الخلفية

تكامل Model-Hub

• البحث عن النماذج واكتشافها
• التحكم في الإصدار
• إدارة التخزين المؤقت

تكامل Dataset-Hub

• إدارة مجموعة البيانات
• التحكم في إصدار البيانات
• عملية معالجة بيانات سلسة

مزايا التطوير

1. تقليل الحواجز التي تعيق الاستخدام

• تصميم واجهة موحدة
• تبسيط استدعاءات API
• وثائق وأمثلة غنية

2. تحسين كفاءة التطوير

• نماذج جاهزة للاستخدام
• عمليات تدريب موحدة
• تكوين بيئة تلقائي

3. دعم التخصيص

• تصميم معياري مرن
• دعم المكونات المخصصة
• بنية قابلة للتطوير

4. ميزات على مستوى المؤسسات

• دعم MLOps الكامل
• قدرات التدريب الموزع
• دعم نشر بيئة الإنتاج

ملخص

ModelScope هو إطار عمل موحد للتعلم الآلي قوي وسهل الاستخدام، يوفر للمطورين نظامًا بيئيًا كاملاً لنموذج الذكاء الاصطناعي من خلال مفهوم "النموذج كخدمة". سواء كنت مبتدئًا أو مطورًا محترفًا، يمكنك إنشاء تطبيقات الذكاء الاصطناعي ونشرها بسرعة من خلال ModelScope، وتعزيز تعميم وتطبيق تقنيات الذكاء الاصطناعي.