exo-explore/exo

exo é um projeto inovador de código aberto cujo principal objetivo é permitir que você execute seu próprio cluster de IA em casa. Aqui estão suas principais características:

1. Integração de Dispositivos

• Unifica seus diversos dispositivos existentes (iPhone, iPad, Android, Mac, NVIDIA GPU, Raspberry Pi, etc.) em um poderoso cluster de GPU.

2. Funcionalidades Principais:

• Amplo Suporte a Modelos: Suporta uma variedade de modelos, incluindo LLaMA (MLX e tinygrad), Mistral, LlaVA, Qwen e Deepseek.
• Particionamento Dinâmico de Modelos: Otimiza automaticamente a alocação de modelos com base na topologia de rede atual e nos recursos de dispositivos disponíveis, permitindo que você execute modelos maiores do que um único dispositivo pode suportar.
• Descoberta Automática de Dispositivos: Descobre automaticamente outros dispositivos na rede, eliminando a necessidade de configuração manual.
• API Compatível com ChatGPT: Fornece uma interface de API compatível com ChatGPT, permitindo que você execute modelos em seu próprio hardware com apenas uma linha de código alterada.

3. Igualdade de Dispositivos:

• Adota uma arquitetura P2P em vez de uma arquitetura mestre-escravo.
• Qualquer dispositivo, desde que esteja conectado em algum lugar da rede, pode ser usado para executar modelos.

4. Requisitos de Hardware:

• O único requisito é que a memória total de todos os dispositivos seja suficiente para acomodar todo o modelo.
• Por exemplo, executar o Llama 3.1 8B (fp16) requer 16 GB de memória total, o que pode ser alcançado com a seguinte configuração:
  • 2 MacBook Air M3 de 8 GB
  • 1 Laptop NVIDIA RTX 4070 Ti de 16 GB
  • 2 Raspberry Pi com 4 GB de RAM + 1 Mac Mini de 8 GB

5. Requisitos de Instalação:

• Requer Python >= 3.12.0
• Se estiver usando uma GPU NVIDIA no Linux, você também precisará de:
  • Driver NVIDIA
  • Kit de Ferramentas CUDA
  • CUDNN

A inovação deste projeto reside na sua capacidade de permitir que usuários comuns construam clusters de computação de IA utilizando os dispositivos existentes em casa, reduzindo significativamente a barreira de hardware para executar modelos de IA grandes. Ele suporta o trabalho colaborativo de dispositivos heterogêneos, e mesmo a adição de dispositivos com desempenho mais fraco pode aumentar a taxa de transferência geral do cluster.

Para todos os detalhes, consulte o site oficial (https://github.com/exo-explore/exo)