mistral-inference は、Mistral AI が公式に開発した Mistral モデル推論ライブラリで、様々な Mistral モデルを実行するための最小限のコード実装を提供します。このプロジェクトは、ユーザーに Mistral シリーズの大規模言語モデルを効率的かつ簡潔な方法でデプロイおよび使用できるようにします。
mistral-demo および mistral-chat コマンドによる迅速なテストとインタラクションtorchrun による大規模モデルの分散推論をサポートfrom mistral_inference.transformer import Transformer
from mistral_inference.generate import generate
from mistral_common.tokens.tokenizers.mistral import MistralTokenizer
from mistral_common.protocol.instruct.messages import UserMessage
from mistral_common.protocol.instruct.request import ChatCompletionRequest
# モデルとトークナイザーをロード
tokenizer = MistralTokenizer.from_file("./mistral-nemo-instruct-v0.1/tekken.json")
model = Transformer.from_folder("./mistral-nemo-instruct-v0.1")
# 応答を生成
prompt = "How expensive would it be to ask a window cleaner to clean all windows in Paris?"
completion_request = ChatCompletionRequest(messages=[UserMessage(content=prompt)])
tokens = tokenizer.encode_chat_completion(completion_request).tokens
out_tokens, _ = generate([tokens], model, max_tokens=1024, temperature=0.35)
画像とテキストの連携推論をサポートし、画像の内容を分析して関連する質問に回答できます。
# マルチモーダルコンテンツ処理
user_content = [ImageURLChunk(image_url=url), TextChunk(text=prompt)]
tokens, images = tokenizer.instruct_tokenizer.encode_user_content(user_content, False)
out_tokens, _ = generate([tokens], model, images=[images], max_tokens=256)
すべてのモデルが関数呼び出し機能をサポートし、外部ツールや API と統合できます。
# ツール関数を定義
tools=[Tool(function=Function(
name="get_current_weather",
description="Get the current weather",
parameters={...}
))]
# 関数呼び出しを実行
completion_request = ChatCompletionRequest(tools=tools, messages=[...])
コード編集シーン専用に、中間埋め込み式コード生成をサポートします。
prefix = "def add("
suffix = " return sum"
request = FIMRequest(prompt=prefix, suffix=suffix)
tokens = tokenizer.encode_fim(request).tokens
pip install mistral-inference
cd $HOME && git clone https://github.com/mistralai/mistral-inference
cd $HOME/mistral-inference && poetry install .
# モデルストレージディレクトリを作成
export MISTRAL_MODEL=$HOME/mistral_models
mkdir -p $MISTRAL_MODEL
# モデルをダウンロード（Mistral Nemo を例として）
export 12B_DIR=$MISTRAL_MODEL/12B_Nemo
wget https://models.mistralcdn.com/mistral-nemo-2407/mistral-nemo-instruct-2407.tar
mkdir -p $12B_DIR
tar -xf mistral-nemo-instruct-2407.tar -C $12B_DIR
# シングルGPUモデル
mistral-chat $12B_DIR --instruct --max_tokens 1024 --temperature 0.35
# マルチGPU大規模モデル
torchrun --nproc-per-node 2 --no-python mistral-chat $M8x7B_DIR --instruct
mistral-chat $M22B_CODESTRAL --instruct --max_tokens 256
"Write me a function that computes fibonacci in Rust" のようなプログラミングリクエストを処理できます。
mistral-chat $7B_MATHSTRAL --instruct --max_tokens 256
複雑な数学計算問題を解決できます。
商用環境で使用する場合は、該当するモデルのライセンス条項を注意深く確認し、コンプライアンスを確保してください。
Mistral 推論ライブラリは、強力で使いやすい大規模言語モデル推論フレームワークです。完全な Mistral モデルシリーズのサポートを提供するだけでなく、基本的なテキスト生成から高度なマルチモーダル推論や関数呼び出しまで、豊富な機能特性が含まれています。エンタープライズレベルのデプロイメントでも、個人の研究利用でも、このライブラリは効率的で信頼性の高いソリューションを提供できます。