exo-explore/exo

exo는 혁신적인 오픈 소스 프로젝트로, 주요 목표는 집에서 자신만의 AI 클러스터를 실행할 수 있도록 하는 것입니다. 주요 특징은 다음과 같습니다.

1. 장치 통합

• 기존의 다양한 장치(iPhone, iPad, Android, Mac, NVIDIA GPU, 라즈베리 파이 등)를 통합하여 강력한 GPU 클러스터로 만들 수 있습니다.

2. 핵심 기능:

• 광범위한 모델 지원: LLaMA (MLX 및 tinygrad), Mistral, LlaVA, Qwen 및 Deepseek을 포함한 다양한 모델을 지원합니다.
• 동적 모델 파티셔닝: 현재 네트워크 토폴로지 및 사용 가능한 장치 리소스에 따라 모델 할당을 자동으로 최적화하여 단일 장치보다 큰 모델을 실행할 수 있습니다.
• 자동 장치 검색: 네트워크에서 다른 장치를 자동으로 검색하여 수동 구성이 필요하지 않습니다.
• ChatGPT 호환 API: ChatGPT 호환 API 인터페이스를 제공하여 단 한 줄의 코드 변경으로 자신의 하드웨어에서 모델을 실행할 수 있습니다.

3. 장치 평등성:

• 주종 아키텍처가 아닌 P2P 아키텍처를 채택합니다.
• 장치가 네트워크의 어느 위치에 연결되어 있든 모델을 실행하는 데 사용할 수 있습니다.

4. 하드웨어 요구 사항:

• 유일한 요구 사항은 모든 장치의 총 메모리가 전체 모델을 수용할 수 있을 만큼 충분해야 한다는 것입니다.
• 예를 들어, llama 3.1 8B (fp16)를 실행하려면 16GB의 총 메모리가 필요하며, 다음 구성을 통해 달성할 수 있습니다.
  • 8GB M3 MacBook Air 2대
  • 16GB NVIDIA RTX 4070 Ti 노트북 1대
  • 4GB RAM 라즈베리 파이 2대 + 8GB Mac Mini 1대

5. 설치 요구 사항:

• Python >= 3.12.0이 필요합니다.
• Linux에서 NVIDIA GPU를 사용하는 경우 다음도 필요합니다.
  • NVIDIA 드라이버
  • CUDA 툴킷
  • CUDNN

이 프로젝트의 혁신적인 점은 일반 사용자가 집에서 기존 장치를 활용하여 AI 연산 클러스터를 구성할 수 있도록 하여 대규모 AI 모델 실행에 대한 하드웨어 장벽을 크게 낮춘다는 것입니다. 이기종 장치의 협업을 지원하며, 성능이 낮은 장치를 추가하더라도 클러스터의 전체 처리량을 향상시킬 수 있습니다.

모든 자세한 내용은 공식 웹사이트를 참고하십시오 (https://github.com/exo-explore/exo)