🤗 PEFT는 Hugging Face에서 개발한 고급 파라미터 효율적 미세 조정 라이브러리로, LoRA, AdaLoRA 등의 기술을 통해 대규모 모델의 저비용 미세 조정을 구현합니다.

🤗 PEFT - 파라미터 효율적인 미세 조정 라이브러리 상세 소개

프로젝트 개요

**PEFT (Parameter-Efficient Fine-Tuning)**는 Hugging Face에서 개발한 최첨단 파라미터 효율적인 미세 조정 라이브러리입니다. 이 프로젝트는 대규모 사전 훈련 모델의 미세 조정 과정에서 발생하는 높은 계산 비용과 막대한 저장 공간 요구 사항 문제를 해결하는 것을 목표로 합니다.

GitHub 주소: https://github.com/huggingface/peft

핵심 가치 및 장점

1. 비용 효율성

• 계산 비용 대폭 절감: 기존의 전체 파라미터 미세 조정에 비해 PEFT 방법은 모델 파라미터의 아주 작은 부분만 훈련합니다.
• 저장 공간 요구 사항 현저히 감소: 미세 조정된 모델 체크포인트 파일은 일반적으로 몇 GB가 아닌 몇 MB에 불과합니다.
• 메모리 사용 최적화: 동일한 하드웨어 조건에서 더 큰 모델을 처리할 수 있습니다.

2. 성능 유지

• 전체 파라미터 미세 조정에 필적: 대부분의 작업에서 완전한 미세 조정과 거의 동일한 성능을 달성합니다.
• 재앙적 망각 방지: 기본 모델의 기존 지식을 보호하고 과적합 위험을 줄입니다.

3. 유연성 및 편의성

• 다중 작업 적응: 다양한 작업에 대해 여러 개의 경량 어댑터를 훈련할 수 있습니다.
• 원활한 통합: Transformers, Diffusers, Accelerate 등 생태계와 완벽하게 통합됩니다.

지원되는 미세 조정 방법

주요 PEFT 기술

1. LoRA (Low-Rank Adaptation)

• 가장 인기 있는 파라미터 효율적인 미세 조정 방법
• 저랭크 행렬 분해를 통해 훈련 가능한 파라미터 대폭 감소
• 일반적인 시나리오에서 원본 파라미터의 0.1%-1%만 훈련

2. AdaLoRA

• LoRA의 개선 버전
• 적응적으로 랭크 크기를 조정하여 효율성 더욱 최적화

3. Prefix Tuning

• 입력 시퀀스 앞에 학습 가능한 접두사 추가
• 생성 작업에 적합

4. P-Tuning v2

• 개선된 프롬프트 튜닝 방법
• 여러 레이어에 학습 가능한 파라미터 추가

5. IA³ (Infused Adapter by Inhibiting and Amplifying Inner Activations)

• 내부 활성화를 억제하고 증폭하여 모델에 적응

실제 적용 효과

메모리 사용량 비교 (A100 80GB GPU)

모델	전체 파라미터 미세 조정	PEFT-LoRA	PEFT-LoRA + DeepSpeed CPU 오프로드
T0_3B (30억 파라미터)	47.14GB GPU / 2.96GB CPU	14.4GB GPU / 2.96GB CPU	9.8GB GPU / 17.8GB CPU
mt0-xxl (120억 파라미터)	메모리 부족	56GB GPU / 3GB CPU	22GB GPU / 52GB CPU
bloomz-7b1 (70억 파라미터)	메모리 부족	32GB GPU / 3.8GB CPU	18.1GB GPU / 35GB CPU

성능

Twitter 불만 분류 작업의 정확도 비교:

• 인간 기준선: 89.7%
• Flan-T5: 89.2%
• LoRA-T0-3B: 86.3%

설치 및 빠른 시작

설치

pip install peft

기본 사용 예시

from transformers import AutoModelForSeq2SeqLM
from peft import get_peft_config, get_peft_model, LoraConfig, TaskType

# PEFT 구성
model_name_or_path = "bigscience/mt0-large"
peft_config = LoraConfig(
    task_type=TaskType.SEQ_2_SEQ_LM, 
    inference_mode=False, 
    r=8, 
    lora_alpha=32, 
    lora_dropout=0.1
)

# 모델 로드 및 래핑
model = AutoModelForSeq2SeqLM.from_pretrained(model_name_or_path)
model = get_peft_model(model, peft_config)

# 훈련 가능한 파라미터 확인
model.print_trainable_parameters()
# 출력: trainable params: 2359296 || all params: 1231940608 || trainable%: 0.19

추론 사용

from peft import AutoPeftModelForCausalLM
from transformers import AutoTokenizer

# 미세 조정된 모델 로드
model = AutoPeftModelForCausalLM.from_pretrained("ybelkada/opt-350m-lora").to("cuda")
tokenizer = AutoTokenizer.from_pretrained("facebook/opt-350m")

# 추론 수행
model.eval()
inputs = tokenizer("당신의 입력 텍스트", return_tensors="pt")
outputs = model.generate(input_ids=inputs["input_ids"].to("cuda"), max_new_tokens=50)

생태계 통합

1. Transformers 통합

• 다양한 사전 훈련 모델 아키텍처 지원
• 원활한 훈련 및 추론 프로세스
• 자동 모델 구성 및 최적화

2. Diffusers 통합

• 확산 모델의 효율적인 미세 조정 지원
• 이미지 생성, 편집 등 작업에 적합
• 훈련 메모리 요구 사항 현저히 감소

3. Accelerate 통합

• 분산 훈련 지원
• 다중 GPU, TPU 훈련 최적화
• 소비자 등급 하드웨어 친화적

4. TRL (Transformer Reinforcement Learning) 통합

• RLHF (인간 피드백 강화 학습) 지원
• DPO (직접 선호도 최적화)
• 대규모 모델 정렬 훈련

응용 분야

1. 대규모 언어 모델 미세 조정

• 명령어 미세 조정
• 대화 시스템 최적화
• 특정 도메인 적응

2. 멀티모달 모델

• 시각-언어 모델 미세 조정
• 오디오 처리 모델 적응

3. 확산 모델

• Stable Diffusion 개인화
• DreamBooth 훈련
• 스타일 변환

4. 강화 학습

• 정책 모델 미세 조정
• 보상 모델 훈련
• 인간 선호도 정렬

기술적 장점 및 혁신 포인트

1. 파라미터 효율성

• 원본 파라미터의 0.1%-1%만 훈련
• 95% 이상의 성능 유지
• 체크포인트 파일 크기를 원래 크기의 1/100로 축소

2. 메모리 최적화

• GPU 메모리 요구 사항 대폭 감소
• 소비자 등급 하드웨어에서 대규모 모델 훈련 지원
• 그라디언트 체크포인트로 메모리 더욱 최적화

3. 양자화 호환성

• 8bit, 4bit 양자화와 완벽하게 결합
• QLoRA 기술 지원
• 하드웨어 장벽 더욱 낮춤

4. 모듈식 설계

• 다양한 PEFT 방법 지원
• 유연한 구성 옵션
• 새로운 방법으로 쉽게 확장 가능

커뮤니티 및 생태계

공식 자료

• 문서: https://huggingface.co/docs/peft
• 모델 라이브러리: https://huggingface.co/PEFT
• 예제 노트북: 다양한 응용 분야 포함
• 블로그 튜토리얼: 자세한 기술 설명 및 모범 사례

요약

🤗 PEFT는 혁신적인 파라미터 효율적인 미세 조정 라이브러리로서, 대규모 모델 미세 조정의 비용 문제를 해결했을 뿐만 아니라 뛰어난 성능을 유지합니다. 연구자든 산업계 개발자든 PEFT는 경제적이고 효율적인 대규모 모델 맞춤화 솔루션을 제공하여 AI 기술의 민주화를 추진합니다.