exo-explore/exo

exo est un projet open source innovant dont l'objectif principal est de vous permettre de faire fonctionner votre propre cluster d'IA à domicile. Voici ses principales caractéristiques :

1. Intégration des appareils

• Intègre vos différents appareils existants (iPhone, iPad, Android, Mac, GPU NVIDIA, Raspberry Pi, etc.) en un puissant cluster GPU unifié.

2. Fonctionnalités principales :

• Large support de modèles : Prend en charge une variété de modèles, notamment LLaMA (MLX et tinygrad), Mistral, LlaVA, Qwen et Deepseek.
• Partitionnement dynamique des modèles : Optimise automatiquement l'allocation des modèles en fonction de la topologie du réseau actuel et des ressources disponibles des appareils, vous permettant d'exécuter des modèles plus grands que ce qu'un seul appareil pourrait gérer.
• Découverte automatique des appareils : Découvre automatiquement les autres appareils sur le réseau, sans configuration manuelle.
• API compatible ChatGPT : Fournit une interface API compatible ChatGPT, permettant d'exécuter des modèles sur votre propre matériel avec une simple modification de code.

3. Égalité des appareils :

• Adopte une architecture P2P plutôt qu'une architecture maître-esclave.
• Tant qu'un appareil est connecté au réseau, il peut être utilisé pour exécuter des modèles.

4. Exigences matérielles :

• La seule exigence est que la mémoire totale de tous les appareils soit suffisante pour contenir l'ensemble du modèle.
• Par exemple, pour exécuter llama 3.1 8B (fp16), il faut 16 Go de mémoire totale, ce qui peut être réalisé avec la configuration suivante :
  • 2 MacBook Air M3 de 8 Go
  • 1 ordinateur portable NVIDIA RTX 4070 Ti de 16 Go
  • 2 Raspberry Pi avec 4 Go de RAM + 1 Mac Mini de 8 Go

5. Exigences d'installation :

• Nécessite Python >= 3.12.0
• Si vous utilisez un GPU NVIDIA sous Linux, vous aurez également besoin de :
  • Pilotes NVIDIA
  • Toolkit CUDA
  • CUDNN

L'innovation de ce projet réside dans sa capacité à permettre aux utilisateurs ordinaires de créer des clusters de calcul d'IA en utilisant les appareils existants à la maison, réduisant considérablement les barrières matérielles à l'exécution de grands modèles d'IA. Il prend en charge le travail collaboratif d'appareils hétérogènes, et même l'ajout d'appareils moins performants peut améliorer le débit global du cluster.

Pour tous les détails, veuillez vous référer au site officiel (https://github.com/exo-explore/exo)