exo-explore/exo

exo 是一个创新的开源项目，它的主要目标是让你能够在家里运行自己的 AI 集群。以下是它的主要特点：

1. 设备整合

• 可以将你现有的各种设备（iPhone、iPad、Android、Mac、NVIDIA GPU、树莓派等）统一整合成一个强大的 GPU 集群

2. 核心功能：

• 广泛的模型支持：支持多种模型，包括 LLaMA（MLX 和 tinygrad）、Mistral、LlaVA、Qwen 和 Deepseek
• 动态模型分区：根据当前网络拓扑和可用设备资源自动优化分配模型，使你能够运行比单个设备更大的模型
• 自动设备发现：自动发现网络中的其他设备，无需手动配置
• ChatGPT 兼容 API：提供 ChatGPT 兼容的 API 接口，只需一行代码更改就可以在自己的硬件上运行模型

3. 设备平等性：

• 采用 P2P 架构而不是主从架构
• 只要设备连接在网络中的某个位置，就可以用于运行模型

4. 硬件要求：

• 唯一要求是所有设备的总内存要足够容纳整个模型
• 例如，运行 llama 3.1 8B (fp16) 需要 16GB 总内存，可以通过以下配置实现：
  • 2 台 8GB M3 MacBook Air
  • 1 台 16GB NVIDIA RTX 4070 Ti 笔记本
  • 2 台 4GB RAM 的树莓派 + 1 台 8GB Mac Mini

5. 安装要求：

• 需要 Python >= 3.12.0
• 如果在 Linux 上使用 NVIDIA GPU，还需要：
  • NVIDIA 驱动
  • CUDA 工具包
  • CUDNN

这个项目的创新之处在于它能够让普通用户利用家中现有的设备组建 AI 运算集群，大大降低了运行大型 AI 模型的硬件门槛。它支持异构设备协同工作，即使添加性能较弱的设备也能提高集群的整体吞吐量。

所有详细信息，请以官方网站公布为准 (https://github.com/exo-explore/exo)