نظرة عامة على مشروع BentoML

ملخص

BentoML هي مكتبة Python قوية مصممة خصيصًا لبناء تطبيقات الذكاء الاصطناعي عبر الإنترنت وأنظمة خدمة استنتاج النماذج. يُعرف باسم "أسهل طريقة لخدمة تطبيقات ونماذج الذكاء الاصطناعي"، وهو يساعد المطورين على بناء واجهات برمجة تطبيقات (APIs) لاستنتاج النماذج، وقوائم انتظار المهام، وتطبيقات نماذج اللغة الكبيرة، وخطوط أنابيب النماذج المتعددة، وأنظمة خدمة الذكاء الاصطناعي المعقدة الأخرى بسهولة.

تتمثل الفكرة الأساسية لـ BentoML في جعل نشر نماذج الذكاء الاصطناعي من بيئة التطوير إلى بيئة الإنتاج أمرًا بسيطًا وفعالًا وموثوقًا. من خلال سير العمل الموحد ووظائف التحسين القوية، يقلل BentoML بشكل كبير من الحواجز التقنية لنشر نماذج الذكاء الاصطناعي، مما يسمح للمطورين بالتركيز على النموذج نفسه بدلاً من تعقيدات النشر.

الوظائف والميزات الأساسية

🍱 تبسيط بناء واجهات برمجة التطبيقات (APIs)

• بسيط وسريع: ما عليك سوى بضعة أسطر من التعليمات البرمجية وتلميحات أنواع Python القياسية لتحويل أي برنامج نصي لاستنتاج النماذج إلى خادم REST API.
• غير مرتبط بإطار عمل: يدعم أي إطار عمل للتعلم الآلي، بما في ذلك PyTorch و TensorFlow و Scikit-learn وما إلى ذلك.
• دعم شامل للأنماط: يدعم أنماط البيانات المتعددة مثل النصوص والصور والصوت والفيديو.

🐳 تبسيط حاويات Docker

• إدارة التبعيات: وداعًا لجحيم التبعيات! إدارة البيئات والتبعيات وإصدارات النماذج من خلال ملفات تكوين بسيطة.
• إنشاء تلقائي: يقوم BentoML تلقائيًا بإنشاء صور Docker، مما يضمن إمكانية التكرار.
• اتساق البيئة: يبسط عملية النشر في بيئات مختلفة، مما يضمن الاتساق بين بيئات التطوير والإنتاج.

🧭 تحسين الأداء

• زيادة استخدام وحدة المعالجة المركزية/وحدة معالجة الرسومات إلى أقصى حد: قم ببناء واجهات برمجة تطبيقات استنتاج عالية الأداء من خلال وظائف تحسين الخدمة المضمنة.
• معالجة الدفعات الديناميكية: معالجة الطلبات تلقائيًا على دفعات لتحسين الإنتاجية.
• توازي النماذج: يدعم المعالجة المتوازية للنماذج لتسريع الاستنتاج.
• خطوط الأنابيب متعددة المراحل: يدعم خطوط أنابيب الاستنتاج المعقدة متعددة المراحل.
• تنظيم النماذج المتعددة: تنظيم ذكي لمخطط استنتاج النماذج المتعددة.

👩💻 قابل للتخصيص بالكامل

• تصميم مرن لواجهة برمجة التطبيقات: يمكنك بسهولة تنفيذ واجهات برمجة تطبيقات مخصصة أو قوائم انتظار المهام.
• تكامل منطق الأعمال: يدعم منطق الأعمال المخصص واستنتاج النماذج وتركيبات النماذج المتعددة.
• دعم وقت التشغيل: يدعم أي وقت تشغيل للاستنتاج وبيئة نشر.

🚀 جاهز للإنتاج

• تطوير محلي: التطوير والتشغيل والتصحيح في البيئة المحلية.
• نشر سلس: النشر السلس في بيئة الإنتاج عبر حاويات Docker أو BentoCloud.
• دعم أصيل للسحابة: حلول نشر سحابية أصلية كاملة.

مثال البدء السريع

التثبيت

# يتطلب Python ≥ 3.9
pip install -U bentoml

تعريف الخدمة

import bentoml

@bentoml.service(
    image=bentoml.images.Image(python_version="3.11").python_packages("torch", "transformers"),
)
class Summarization:
    def __init__(self) -> None:
        import torch
        from transformers import pipeline
        device = "cuda" if torch.cuda.is_available() else "cpu"
        self.pipeline = pipeline('summarization', device=device)

    @bentoml.api(batchable=True)
    def summarize(self, texts: list[str]) -> list[str]:
        results = self.pipeline(texts)
        return [item['summary_text'] for item in results]

التشغيل المحلي

bentoml serve

البناء والتعبئة

bentoml build
bentoml containerize summarization:latest
docker run --rm -p 3000:3000 summarization:latest

نظام بيئي غني

نماذج اللغة الكبيرة (LLMs)

• Llama 3.2: يدعم نموذج التعليمات المرئية 11B
• Mistral: نموذج تعليمات Ministral-8B
• DeepSeek Distil: نموذج مُحسَّن لاستدعاء الأدوات

توليد الصور

• Stable Diffusion 3 Medium: توليد صور عالية الجودة
• Stable Video Diffusion: قدرة توليد الفيديو
• SDXL Turbo: توليد صور سريع
• ControlNet: توليد صور يمكن التحكم فيه
• LCM LoRAs: تكييف نموذج منخفض التكلفة

نماذج التضمين

• SentenceTransformers: تضمين النص
• ColPali: استرجاع متعدد الوسائط

معالجة الصوت

• ChatTTS: تحويل النص إلى كلام حواري
• XTTS: تركيب الكلام عبر اللغات
• WhisperX: التعرف على الكلام
• Bark: توليد الصوت

رؤية الكمبيوتر

• YOLO: اكتشاف الكائنات
• ResNet: تصنيف الصور

تطبيقات متقدمة

• Function Calling: قدرة استدعاء الوظائف
• LangGraph: تكامل الرسم البياني اللغوي
• CrewAI: نظام متعدد الوكلاء

ميزات متقدمة

تركيب النماذج وتنظيمها

• تركيب النماذج: يدعم استخدام تركيبات متعددة من النماذج
• المعالجة المتوازية: دعم العامل وتوازي النماذج
• معالجة الدفعات التكيفية: يضبط حجم الدفعة تلقائيًا بناءً على الحمل

تحسين الأداء

• استنتاج وحدة معالجة الرسومات: دعم كامل لتسريع وحدة معالجة الرسومات
• الخدمات الموزعة: بناء أنظمة استنتاج موزعة
• التزامن والتحجيم التلقائي: إدارة ذكية للموارد

دعم العمليات

• تحميل النماذج وإدارتها: تخزين وإدارة موحدان للنماذج
• إمكانية الملاحظة: مراقبة وتسجيل كاملان
• النشر السحابي: نشر بنقرة واحدة على BentoCloud

تكامل BentoCloud

يوفر BentoCloud بنية تحتية حاسوبية لتبني GenAI بسرعة وموثوقية، مما يساعد على تسريع عملية تطوير BentoML، وتبسيط نشر BentoML وتوسيع نطاقه وتشغيله في بيئات الإنتاج.

المزايا الرئيسية

• نشر سريع: نشر بنقرة واحدة على السحابة
• تحجيم تلقائي: يضبط الموارد تلقائيًا بناءً على الحمل
• دعم على مستوى المؤسسات: يوفر خدمات أمان ودعم على مستوى المؤسسات

المجتمع والنظام البيئي

مجتمع نشط

• مجتمع Slack: يساعد الآلاف من مهندسي الذكاء الاصطناعي/التعلم الآلي بعضهم البعض، ويساهمون في المشاريع، ويناقشون بناء منتجات الذكاء الاصطناعي
• دعم GitHub: مجتمع مفتوح المصدر نشط، وتحديثات مستمرة للميزات وإصلاحات الأخطاء
• وثائق كاملة: وثائق مفصلة وأدلة تعليمية

الخصوصية وأمن البيانات

يجمع إطار عمل BentoML بيانات استخدام مجهولة المصدر لمساعدة المجتمع على تحسين المنتج، ولكنه يحمي خصوصية المستخدم بشكل صارم:

• استدعاءات API داخلية فقط: يتم الإبلاغ عن استدعاءات API الداخلية لـ BentoML فقط
• استبعاد المعلومات الحساسة: لا يتضمن كود المستخدم أو بيانات النموذج أو أسماء النماذج أو تتبعات المكدس
• إلغاء الاشتراك الاختياري: يمكن للمستخدمين اختيار إلغاء الاشتراك في التتبع عبر خيارات CLI أو متغيرات البيئة

ملخص

BentoML هي منصة ثورية لنشر نماذج الذكاء الاصطناعي، وقد نجحت في حل مشكلة "الميل الأخير" لنشر الذكاء الاصطناعي من المختبر إلى بيئة الإنتاج. من خلال تصميم واجهة برمجة التطبيقات البسيط، وتحسين الأداء القوي، ودعم الحاويات الكامل، والنظام البيئي الغني، يوفر BentoML للمطورين حلاً موحدًا وفعالًا وقابلاً للتطوير لخدمة النماذج.

سواء كان مطورًا فرديًا أو فريقًا مؤسسيًا، سواء كان استنتاج نموذج بسيط أو نظام نماذج متعددة معقد، يمكن لـ BentoML توفير الحلول المناسبة. إن فلسفة التصميم السحابي الأصيل ودعم BentoCloud على مستوى المؤسسات تجعل BentoML الأداة المفضلة لتطوير ونشر تطبيقات الذكاء الاصطناعي الحديثة.

مع التطور السريع لتقنيات الذكاء الاصطناعي، يتطور BentoML باستمرار، ويقوم بدمج أحدث نماذج وتقنيات الذكاء الاصطناعي، لتوفير دعم قوي لمطوري الذكاء الاصطناعي لبناء الجيل التالي من التطبيقات الذكية.