exo-explore/exo

exo هو مشروع مفتوح المصدر مبتكر، هدفه الرئيسي هو تمكينك من تشغيل مجموعة الذكاء الاصطناعي الخاصة بك في المنزل. فيما يلي ميزاته الرئيسية:

1. تكامل الأجهزة:

   • يمكنه دمج أجهزتك المختلفة الموجودة (iPhone، iPad، Android، Mac، NVIDIA GPU، Raspberry Pi، إلخ) في مجموعة GPU قوية واحدة.

2. الوظائف الأساسية:

   • دعم واسع النطاق للنماذج: يدعم مجموعة متنوعة من النماذج، بما في ذلك LLaMA (MLX و tinygrad)، و Mistral، و LlaVA، و Qwen، و Deepseek.
   • تقسيم النماذج الديناميكي: يقوم تلقائيًا بتحسين توزيع النماذج بناءً على طوبولوجيا الشبكة الحالية وموارد الأجهزة المتاحة، مما يتيح لك تشغيل نماذج أكبر من قدرة جهاز واحد.
   • الاكتشاف التلقائي للأجهزة: يكتشف تلقائيًا الأجهزة الأخرى في الشبكة، دون الحاجة إلى تكوين يدوي.
   • واجهة برمجة تطبيقات متوافقة مع ChatGPT: يوفر واجهة برمجة تطبيقات متوافقة مع ChatGPT، مما يسمح لك بتشغيل النماذج على أجهزتك الخاصة بتغيير سطر واحد من التعليمات البرمجية.

3. مساواة الأجهزة:

   • يعتمد على بنية P2P بدلاً من بنية رئيسي-تابع.
   • طالما أن الجهاز متصل بالشبكة في مكان ما، فيمكن استخدامه لتشغيل النماذج.

4. متطلبات الأجهزة:

   • المتطلب الوحيد هو أن يكون إجمالي ذاكرة جميع الأجهزة كافيًا لاستيعاب النموذج بأكمله.
   • على سبيل المثال، يتطلب تشغيل llama 3.1 8B (fp16) ذاكرة إجمالية تبلغ 16 جيجابايت، ويمكن تحقيق ذلك من خلال التكوينات التالية:
     • جهازي MacBook Air M3 بسعة 8 جيجابايت.
     • جهاز كمبيوتر محمول NVIDIA RTX 4070 Ti بسعة 16 جيجابايت.
     • جهازي Raspberry Pi بذاكرة وصول عشوائي (RAM) بسعة 4 جيجابايت + جهاز Mac Mini بسعة 8 جيجابايت.

5. متطلبات التثبيت:

   • يتطلب Python >= 3.12.0
   • إذا كنت تستخدم NVIDIA GPU على Linux، فأنت تحتاج أيضًا إلى:
     • برنامج تشغيل NVIDIA
     • مجموعة أدوات CUDA
     • CUDNN

يكمن الابتكار في هذا المشروع في قدرته على تمكين المستخدمين العاديين من تجميع مجموعة حوسبة الذكاء الاصطناعي باستخدام الأجهزة الموجودة في المنزل، مما يقلل بشكل كبير من حاجز الأجهزة لتشغيل نماذج الذكاء الاصطناعي الكبيرة. وهو يدعم التشغيل التعاوني للأجهزة غير المتجانسة، وحتى إضافة أجهزة ذات أداء أضعف يمكن أن يحسن الإنتاجية الإجمالية للمجموعة.

للحصول على جميع التفاصيل، يرجى الرجوع إلى الموقع الرسمي (https://github.com/exo-explore/exo)