exo-explore/exo

exo es un innovador proyecto de código abierto cuyo objetivo principal es permitirte ejecutar tu propio clúster de IA en casa. Estas son sus principales características:

1. Integración de Dispositivos

• Integra tus diversos dispositivos existentes (iPhone, iPad, Android, Mac, NVIDIA GPU, Raspberry Pi, etc.) en un potente clúster de GPU unificado.

2. Funciones Principales:

• Amplio Soporte de Modelos: Soporta una variedad de modelos, incluyendo LLaMA (MLX y tinygrad), Mistral, LlaVA, Qwen y Deepseek.
• Particionamiento Dinámico de Modelos: Optimiza automáticamente la asignación de modelos basándose en la topología de red actual y los recursos de dispositivos disponibles, permitiéndote ejecutar modelos más grandes que la capacidad de un solo dispositivo.
• Descubrimiento Automático de Dispositivos: Descubre automáticamente otros dispositivos en la red, sin necesidad de configuración manual.
• API Compatible con ChatGPT: Proporciona una interfaz API compatible con ChatGPT, permitiéndote ejecutar modelos en tu propio hardware con un simple cambio de código.

3. Igualdad de Dispositivos:

• Adopta una arquitectura P2P en lugar de una arquitectura maestro-esclavo.
• Cualquier dispositivo, siempre que esté conectado a la red en algún lugar, puede utilizarse para ejecutar modelos.

4. Requisitos de Hardware:

• El único requisito es que la memoria total de todos los dispositivos sea suficiente para contener todo el modelo.
• Por ejemplo, ejecutar llama 3.1 8B (fp16) requiere 16GB de memoria total, lo cual se puede lograr con la siguiente configuración:
  • 2 MacBook Air M3 de 8GB
  • 1 portátil NVIDIA RTX 4070 Ti de 16GB
  • 2 Raspberry Pi con 4GB de RAM + 1 Mac Mini de 8GB

5. Requisitos de Instalación:

• Requiere Python >= 3.12.0
• Si utilizas una GPU NVIDIA en Linux, también necesitas:
  • Drivers de NVIDIA
  • CUDA Toolkit
  • CUDNN

La innovación de este proyecto radica en su capacidad para permitir a los usuarios comunes construir clústeres de computación de IA utilizando los dispositivos existentes en sus hogares, reduciendo significativamente la barrera de hardware para ejecutar modelos de IA grandes. Soporta el trabajo colaborativo de dispositivos heterogéneos, e incluso la adición de dispositivos de menor rendimiento puede mejorar el rendimiento general del clúster.

Para obtener todos los detalles, consulta la página web oficial (https://github.com/exo-explore/exo)