Home
Login
Lightning-AI/litgptPlease refer to the latest official releases for information GitHub Homepage

高效能大型語言模型工具箱，支援 20+ 模型的預訓練、微調和部署

Apache-2.0Python 12.3kLightning-AI Last Updated: 2025-06-18

LitGPT - 高性能大語言模型工具箱

項目概述

LitGPT 是由 Lightning AI 開發的開源大語言模型工具箱，提供20+高性能大語言模型的預訓練、微調和規模化部署解決方案。該項目基於 Lightning Fabric 構建，擴展了 Lit-LLaMA 和 nanoGPT，專注於提供企業級的 LLM 訓練和部署能力。

核心特性

✅ 企業級特性

  • Apache 2.0 許可證 - 支持無限制的企業級使用
  • 開發者友好 - 無抽象層的單文件實現，便於調試
  • 性能優化 - 專為最大性能、降低成本和加速訓練而設計
  • 經過驗證的配方 - 在企業規模下測試的高度優化訓練/微調配方

✅ 先進的技術特性

  • 從零實現 - 所有模型都是從頭編寫，無抽象層，完全控制
  • Flash Attention v2 - 最新的注意力機制優化
  • 多GPU支持 - 通過完全分片數據並行(FSDP)實現
  • 內存優化 - 可選的CPU卸載和TPU/XLA支持
  • 量化技術 - 支持4位浮點、8位整數和雙重量化
  • 參數高效微調 - 支持LoRA、QLoRA、Adapter和Adapter v2

支持的模型

LitGPT 支持20+主流大語言模型，包括：

主要模型系列

  • Llama 系列 - Llama 3, 3.1, 3.2, 3.3 (1B-405B參數)
  • CodeGemma - 專門用於代碼生成的7B模型
  • Gemma 系列 - Google的開源模型
  • Mistral 系列 - 包括Mistral 7B和Mixtral等
  • Phi 系列 - Microsoft的小型高效模型
  • Qwen 系列 - 阿里巴巴的多語言模型
  • DeepSeek R1 - 最新的推理模型

特色模型

  • Falcon 系列 - TII開發的高性能模型
  • StableLM - Stability AI的穩定語言模型
  • TinyLlama - 輕量級的Llama變體
  • SmolLM - Hugging Face的小型模型

核心功能

1. 快速開始

from litgpt import LLM
llm = LLM.load("microsoft/phi-2")
text = llm.generate("Fix the spelling: Every fall, the family goes to the mountains.")
print(text)

2. 模型微調

支持多種微調方式：

  • 完整微調 - 訓練所有參數
  • LoRA微調 - 低秩適應微調
  • QLoRA - 量化LoRA微調
  • Adapter微調 - 適配器層微調

示例命令：

litgpt finetune microsoft/phi-2 \
  --data JSON \
  --data.json_path my_custom_dataset.json \
  --data.val_split_fraction 0.1 \
  --out_dir out/custom-model

3. 模型預訓練

支持從零開始訓練和繼續預訓練：

litgpt pretrain EleutherAI/pythia-160m \
  --tokenizer_dir EleutherAI/pythia-160m \
  --data TextFiles \
  --data.train_data_path "custom_texts/" \
  --train.max_tokens 10_000_000 \
  --out_dir out/custom-model

4. 模型部署

支持一鍵部署為Web服務：

# 部署預訓練模型
litgpt serve microsoft/phi-2

# 部署自定義模型
litgpt serve out/custom-model/final

5. 模型評估

支持多種評估基準：

litgpt evaluate microsoft/phi-2 --tasks 'truthfulqa_mc2,mmlu'

6. 交互式聊天

litgpt chat microsoft/phi-2

技術優勢

性能優化

  • 優化的推理速度 - 專門針對快速推理優化
  • 量化支持 - 減少內存佔用
  • 低內存GPU運行 - 支持資源受限環境
  • 生產級擴展 - 支持1-1000+ GPU/TPU

內存和計算優化

  • 混合精度訓練 - 支持FP16、BF16、FP32混合
  • 梯度檢查點 - 減少內存使用
  • CPU卸載 - 處理超大模型
  • 分布式訓練 - 多節點多GPU支持

配置化訓練

LitGPT 提供經過驗證的YAML配置文件，涵蓋不同訓練場景：

litgpt finetune \
  --config https://raw.githubusercontent.com/Lightning-AI/litgpt/main/config_hub/finetune/llama-2-7b/lora.yaml

應用場景

研究和開發

  • 模型研究 - 提供可讀性強、易修改的代碼
  • 算法實驗 - 支持最新研究想法的快速實現
  • 基準測試 - 標準化的模型評估流程

企業應用

  • 定制化模型 - 針對特定業務場景的模型微調
  • 生產部署 - 企業級的模型服務部署
  • 成本優化 - 通過量化和優化減少計算成本

教育和學習

  • 初學者友好 - 清晰的代碼結構和詳細文檔
  • 實踐教學 - 完整的從訓練到部署流程
  • 研究訓練 - 為研究人員提供可靠的基礎工具

社區生態

知名項目支持

  • SAMBA項目 - Microsoft基於LitGPT開發的混合狀態空間模型
  • TinyLlama - 使用LitGPT訓練的300M參數小型模型
  • NeurIPS 2023挑戰賽 - 官方指定的LLM效率挑戰賽工具包

活躍的開源社區

  • 持續更新 - 定期添加新模型和功能
  • 社區貢獻 - 歡迎各級別開發者參與
  • 詳細文檔 - 完善的教程和API文檔

安裝和使用

基礎安裝

pip install 'litgpt[all]'

從源碼安裝

git clone https://github.com/Lightning-AI/litgpt
cd litgpt
pip install -e '.[all]'

基本使用流程

  1. 選擇模型 - 從20+支持的模型中選擇
  2. 準備數據 - 使用內置數據集或自定義數據
  3. 配置訓練 - 使用預設配置或自定義參數
  4. 執行訓練 - 預訓練或微調模型
  5. 模型部署 - 部署為生產服務
  6. 模型評估 - 使用標準基準測試

技術文檔

LitGPT 提供完整的技術文檔，包括：

  • 快速入門指南 - 0到LitGPT的完整教程
  • 微調教程 - 包括LoRA、QLoRA和Adapter的詳細說明
  • 預訓練指南 - 從零開始訓練模型的完整流程
  • 部署文檔 - 生產環境部署的最佳實踐
  • 性能優化 - OOM錯誤處理和內存優化技巧
  • 雲端部署 - TPU和雲平台使用指南

總結

LitGPT 是一個功能全面、性能優異的大語言模型工具箱，適合從研究到生產的各種應用場景。它以其從零實現、無抽象層的設計理念，為用戶提供了最大的靈活性和控制力，同時通過豐富的優化技術和配置選項，確保了在各種硬件條件下的高效運行。無論是AI研究人員、企業開發者還是學習者，都能從LitGPT中找到適合自己需求的解決方案。