PaddlePaddle/FastDeployPlease refer to the latest official releases for information GitHub Homepage

クラウド、モバイル、エッジでの展開をサポートする、使いやすい高速な深層学習および大規模言語モデルのデプロイメントツールキットです。画像、ビデオ、テキスト、オーディオの20以上の主要なシーンと150以上のSOTAモデルが含まれており、エンドツーエンドの最適化、マルチプラットフォームおよびマルチフレームワークのサポートを備えています。

Apache-2.0Cuda 3.2kPaddlePaddle Last Updated: 2025-06-16

FastDeploy プロジェクト詳細紹介

プロジェクト概要

FastDeploy は、百度飛槳（PaddlePaddle）チームがオープンソースで公開している深層学習モデルのデプロイメントツールキットで、開発者向けに使いやすく高性能な AI モデルのデプロイメントソリューションを提供することに重点を置いています。このプロジェクトは、深層学習モデルのトレーニングから本番環境へのデプロイメントにおける技術的なハードルを下げ、多様なプラットフォームと多様なモデルタイプをサポートすることを目的としています。

プロジェクトアドレス： https://github.com/PaddlePaddle/FastDeploy

主な特徴

🚀 コアな強み

使いやすさ：簡潔な API インターフェースを提供し、一行のコマンドでモデルのデプロイメントを実現
高性能：異なるハードウェアプラットフォーム向けに徹底的な最適化を行い、究極の推論性能を提供
マルチプラットフォームサポート：クラウド、モバイル、エッジなど、多様なデプロイメントシーンをカバー
マルチフレームワーク互換：PaddlePaddle、PyTorch、TensorFlow などの主要な深層学習フレームワークをサポート

🎯 バージョンの特徴

FastDeploy 2.0 バージョンのハイライト

大規模言語モデルのサポート：大規模モデルの推論に特化した最適化、現在 Qwen2 モデルをサポート、より多くのモデルを継続的に更新
サービス化デプロイメント：一行のコマンドでモデルのサービス化デプロイメントを迅速に実現、ストリーミング生成をサポート
テンソル並列技術：テンソル並列を利用して大規模モデルの推論性能を加速
高度な機能：
- PagedAttention と continuous batching（動的バッチ処理）をサポート
- OpenAI の HTTP プロトコルと互換性あり
- Weight only int8/int4 可逆圧縮ソリューションを提供
- Prometheus Metrics 指標監視をサポート

サポートシーンとモデル

📱 アプリケーションシーン

画像処理：画像分類、物体検出、画像セグメンテーション、OCR 認識など
動画分析：動作認識、動画理解、リアルタイム動画処理など
自然言語処理：テキスト分類、感情分析、質問応答システム、大規模言語モデル推論など
音声処理：音声認識、音声合成、音声分析など

🏆 モデルエコシステム

150 以上の SOTA モデルをサポート
20 以上の主要なアプリケーションシーンをカバー
エンドツーエンドで最適化されたモデルデプロイメントプロセス

技術アーキテクチャ

🔧 システム要件

大規模モデルデプロイメント（2.0 バージョン）の場合：

ハードウェア要件：A800/H800/H100 GPU
ソフトウェア環境：
- Python >= 3.10
- CUDA >= 12.3
- CUDNN >= 9.5
- Linux X64 オペレーティングシステム

🛠️ デプロイメント方式

Docker デプロイメント：事前に構築された Docker イメージを提供
ソースコードコンパイル：ソースコードからのコンパイルとインストールをサポート
Python パッケージインストール：pip を介して直接インストール

クイックスタート

インストール方法

1. Docker 方式

docker pull ccr-2vdh3abv-pub.cnc.bj.baidubce.com/paddlepaddle/fastdeploy:2.0.0.0-alpha

2. ソースコードコンパイル

# PaddlePaddle nightly バージョンをインストール
python -m pip install --pre paddlepaddle-gpu -i https://www.paddlepaddle.org.cn/packages/nightly/cu126/

# FastDeploy をコンパイル
cd FastDeploy
bash build.sh

# インストール
pip install dist/fastdeploy-2.0.0a0-py3-none-any.whl

迅速なデプロイメントの例

Qwen2 モデルのデプロイメント

# モデルをダウンロード
wget https://fastdeploy.bj.bcebos.com/llm/models/Qwen2-7B-Instruct.tar.gz && tar xvf Qwen2-7B-Instruct.tar.gz

# サービスを開始
python -m fastdeploy.entrypoints.openai.api_server --model ./Qwen2-7B-Instruct --port 8188 --tensor-parallel-size 1

API 呼び出しの例

curl -X POST "http://0.0.0.0:8188/v1/chat/completions" \
-H "Content-Type: application/json" \
-d '{
  "messages": [
    {"role": "user", "content": "こんにちは、あなたの名前は何ですか？"}
  ]
}'

技術的な特徴

🎛️ 高度な機能

テンソル並列：大規模モデルの分散推論をサポート
動的バッチ処理：continuous batching 技術でスループットを向上
メモリ最適化：PagedAttention でメモリ使用量を削減
モデル圧縮：Weight only 量子化技術

🔗 プロトコル互換性

OpenAI 互換：OpenAI API プロトコルと完全に互換性あり
多言語 SDK：Python、C++ などの多様なプログラミング言語をサポート
監視統合：Prometheus 指標監視を内蔵

バージョン説明

現在のバージョンポリシー

FastDeploy 2.0：大規模言語モデルのデプロイメントに注力
FastDeploy 1.1.0：従来の CV モデル（PaddleClas、PaddleOCR など）のサポートを継続

まとめ

FastDeploy は、百度飛槳エコシステムの重要な構成要素として、業界をリードする AI モデルのデプロイメントソリューションの構築に取り組んでいます。継続的な技術革新とコミュニティ構築を通じて、モデルトレーニングから本番デプロイメントまでの完全なツールチェーンを開発者に提供し、AI 技術の普及と応用を推進します。