exo-explore/exo

exo 是一個創新的開源專案，它的主要目標是讓你能夠在家裡運行自己的 AI 集群。以下是它的主要特點：

1. 設備整合

• 可以將你現有的各種設備（iPhone、iPad、Android、Mac、NVIDIA GPU、樹莓派等）統一整合成一個強大的 GPU 集群

2. 核心功能：

• 廣泛的模型支持：支持多種模型，包括 LLaMA（MLX 和 tinygrad）、Mistral、LlaVA、Qwen 和 Deepseek
• 動態模型分區：根據當前網路拓撲和可用設備資源自動優化分配模型，使你能夠運行比單個設備更大的模型
• 自動設備發現：自動發現網路中的其他設備，無需手動配置
• ChatGPT 兼容 API：提供 ChatGPT 兼容的 API 接口，只需一行代碼更改就可以在自己的硬體上運行模型

3. 設備平等性：

• 採用 P2P 架構而不是主從架構
• 只要設備連接在網路中的某個位置，就可以用於運行模型

4. 硬體要求：

• 唯一要求是所有設備的總記憶體要足夠容納整個模型
• 例如，運行 llama 3.1 8B (fp16) 需要 16GB 總記憶體，可以通過以下配置實現：
  • 2 台 8GB M3 MacBook Air
  • 1 台 16GB NVIDIA RTX 4070 Ti 筆記本
  • 2 台 4GB RAM 的樹莓派 + 1 台 8GB Mac Mini

5. 安裝要求：

• 需要 Python >= 3.12.0
• 如果在 Linux 上使用 NVIDIA GPU，還需要：
  • NVIDIA 驅動
  • CUDA 工具包
  • CUDNN

這個專案的創新之處在於它能夠讓普通用戶利用家中現有的設備組建 AI 運算集群，大大降低了運行大型 AI 模型的硬體門檻。它支持異構設備協同工作，即使添加性能較弱的設備也能提高集群的整體吞吐量。

所有詳細信息，請以官方網站公布為準 (https://github.com/exo-explore/exo)