Alpaca-LoRA は、tloen によって開発されたオープンソースプロジェクトで、低ランク適応 (LoRA) 技術を使用して、コンシューマーグレードのハードウェア上でスタンフォード大学の Alpaca モデルの効果を再現することを目的としています。このプロジェクトは、text-davinci-003 と同等の品質の指示追従モデルを提供し、Raspberry Pi 上でも実行できます (研究目的)。コードは、13B、30B、65B モデルに簡単に拡張できます。
# プロジェクトのクローン
git clone https://github.com/tloen/alpaca-lora.git
cd alpaca-lora
# 依存関係のインストール
pip install -r requirements.txt
# 基本的なトレーニングコマンド
python finetune.py \
--base_model 'decapoda-research/llama-7b-hf' \
--data_path 'yahma/alpaca-cleaned' \
--output_dir './lora-alpaca'
# カスタムハイパーパラメータトレーニング
python finetune.py \
--base_model 'decapoda-research/llama-7b-hf' \
--data_path 'yahma/alpaca-cleaned' \
--output_dir './lora-alpaca' \
--batch_size 128 \
--micro_batch_size 4 \
--num_epochs 3 \
--learning_rate 1e-4 \
--cutoff_len 512 \
--val_set_size 2000 \
--lora_r 8 \
--lora_alpha 16 \
--lora_dropout 0.05 \
--lora_target_modules '[q_proj,v_proj]' \
--train_on_inputs \
--group_by_length
# 推論サービスの起動
python generate.py \
--load_8bit \
--base_model 'decapoda-research/llama-7b-hf' \
--lora_weights 'tloen/alpaca-lora-7b'
# イメージの構築
docker build -t alpaca-lora .
# コンテナの実行
docker run --gpus=all --shm-size 64g -p 7860:7860 \
-v ${HOME}/.cache:/root/.cache --rm alpaca-lora generate.py \
--load_8bit \
--base_model 'decapoda-research/llama-7b-hf' \
--lora_weights 'tloen/alpaca-lora-7b'
プロジェクトは、Stanford Alpaca および text-davinci-003 との詳細な比較結果を提供します。
指示の例: アルパカについて教えてください
技術タスクテスト:
Alpaca-LoRA プロジェクトは、AI の民主化における重要な一歩であり、高品質の大規模言語モデルの微調整を手頃な価格で実現します。LoRA 技術を通じて、このプロジェクトは、企業レベルの AI 機能を個人の開発者や研究者の手に届けることに成功しました。