exo-explore/exo

exo ist ein innovatives Open-Source-Projekt mit dem Hauptziel, Ihnen die Möglichkeit zu geben, Ihren eigenen KI-Cluster zu Hause zu betreiben. Hier sind die Hauptmerkmale:

1. Geräteintegration

• Kann Ihre vorhandenen Geräte (iPhone, iPad, Android, Mac, NVIDIA GPU, Raspberry Pi usw.) zu einem leistungsstarken GPU-Cluster zusammenführen.

2. Kernfunktionen:

• Breite Modellunterstützung: Unterstützt eine Vielzahl von Modellen, darunter LLaMA (MLX und tinygrad), Mistral, LlaVA, Qwen und Deepseek.
• Dynamische Modellpartitionierung: Optimiert die Modellzuweisung automatisch basierend auf der aktuellen Netzwerktopologie und den verfügbaren Geräteressourcen, sodass Sie größere Modelle als auf einem einzelnen Gerät ausführen können.
• Automatische Geräteerkennung: Erkennt automatisch andere Geräte im Netzwerk, ohne dass eine manuelle Konfiguration erforderlich ist.
• ChatGPT-kompatible API: Bietet eine ChatGPT-kompatible API-Schnittstelle, mit der Sie Modelle mit nur einer Codezeilenänderung auf Ihrer eigenen Hardware ausführen können.

3. Gerätegleichheit:

• Verwendet eine P2P-Architektur anstelle einer Master-Slave-Architektur.
• Solange ein Gerät mit dem Netzwerk verbunden ist, kann es zum Ausführen von Modellen verwendet werden.

4. Hardwareanforderungen:

• Die einzige Voraussetzung ist, dass der Gesamtspeicher aller Geräte ausreicht, um das gesamte Modell aufzunehmen.
• Zum Beispiel benötigt das Ausführen von Llama 3.1 8B (fp16) 16 GB Gesamtspeicher, was durch folgende Konfigurationen erreicht werden kann:
  • 2 x 8 GB M3 MacBook Air
  • 1 x 16 GB NVIDIA RTX 4070 Ti Laptop
  • 2 x Raspberry Pi mit 4 GB RAM + 1 x Mac Mini mit 8 GB

5. Installationsanforderungen:

• Benötigt Python >= 3.12.0
• Wenn Sie NVIDIA GPUs unter Linux verwenden, benötigen Sie außerdem:
  • NVIDIA Treiber
  • CUDA Toolkit
  • CUDNN

Die Innovation dieses Projekts liegt darin, dass es normalen Benutzern ermöglicht, mit ihren vorhandenen Geräten zu Hause einen KI-Rechencluster aufzubauen, wodurch die Hardwareanforderungen für das Ausführen großer KI-Modelle erheblich gesenkt werden. Es unterstützt die Zusammenarbeit heterogener Geräte, und selbst das Hinzufügen leistungsschwächerer Geräte kann den Gesamtdurchsatz des Clusters verbessern.

Alle Details entnehmen Sie bitte der offiziellen Website (https://github.com/exo-explore/exo)