exo-explore/exoView GitHub Homepage for Latest Official Releases
Exo: Betreiben Sie Ihren eigenen KI-Cluster zu Hause mit Alltagsgeräten
GPL-3.0Pythonexoexo-explore 31.3k Last Updated: March 21, 2025
exo-explore/exo
exo ist ein innovatives Open-Source-Projekt mit dem Hauptziel, Ihnen die Möglichkeit zu geben, Ihren eigenen KI-Cluster zu Hause zu betreiben. Hier sind die Hauptmerkmale:
- Geräteintegration
- Kann Ihre vorhandenen Geräte (iPhone, iPad, Android, Mac, NVIDIA GPU, Raspberry Pi usw.) zu einem leistungsstarken GPU-Cluster zusammenführen.
- Kernfunktionen:
- Breite Modellunterstützung: Unterstützt eine Vielzahl von Modellen, darunter LLaMA (MLX und tinygrad), Mistral, LlaVA, Qwen und Deepseek.
- Dynamische Modellpartitionierung: Optimiert die Modellzuweisung automatisch basierend auf der aktuellen Netzwerktopologie und den verfügbaren Geräteressourcen, sodass Sie größere Modelle als auf einem einzelnen Gerät ausführen können.
- Automatische Geräteerkennung: Erkennt automatisch andere Geräte im Netzwerk, ohne dass eine manuelle Konfiguration erforderlich ist.
- ChatGPT-kompatible API: Bietet eine ChatGPT-kompatible API-Schnittstelle, mit der Sie Modelle mit nur einer Codezeilenänderung auf Ihrer eigenen Hardware ausführen können.
- Gerätegleichheit:
- Verwendet eine P2P-Architektur anstelle einer Master-Slave-Architektur.
- Solange ein Gerät mit dem Netzwerk verbunden ist, kann es zum Ausführen von Modellen verwendet werden.
- Hardwareanforderungen:
- Die einzige Voraussetzung ist, dass der Gesamtspeicher aller Geräte ausreicht, um das gesamte Modell aufzunehmen.
- Zum Beispiel benötigt das Ausführen von Llama 3.1 8B (fp16) 16 GB Gesamtspeicher, was durch folgende Konfigurationen erreicht werden kann:
- 2 x 8 GB M3 MacBook Air
- 1 x 16 GB NVIDIA RTX 4070 Ti Laptop
- 2 x Raspberry Pi mit 4 GB RAM + 1 x Mac Mini mit 8 GB
- Installationsanforderungen:
- Benötigt Python >= 3.12.0
- Wenn Sie NVIDIA GPUs unter Linux verwenden, benötigen Sie außerdem:
- NVIDIA Treiber
- CUDA Toolkit
- CUDNN
Die Innovation dieses Projekts liegt darin, dass es normalen Benutzern ermöglicht, mit ihren vorhandenen Geräten zu Hause einen KI-Rechencluster aufzubauen, wodurch die Hardwareanforderungen für das Ausführen großer KI-Modelle erheblich gesenkt werden. Es unterstützt die Zusammenarbeit heterogener Geräte, und selbst das Hinzufügen leistungsschwächerer Geräte kann den Gesamtdurchsatz des Clusters verbessern.