LiteLLM은 오픈 소스 Python SDK 및 프록시 서버(LLM 게이트웨이)로, Bedrock, Azure, OpenAI, VertexAI, Cohere, Anthropic, Sagemaker, HuggingFace, Replicate, Groq 등 주요 제공업체를 포함한 100개 이상의 대규모 언어 모델 API를 OpenAI 형식으로 호출할 수 있습니다.
GitHub 주소: https://github.com/BerriAI/litellm
['choices'][0]['message']['content']에서 획득 가능from litellm import completion
import os
os.environ["OPENAI_API_KEY"] = "your-openai-key"
os.environ["ANTHROPIC_API_KEY"] = "your-anthropic-key"
messages = [{"content": "Hello, how are you?", "role": "user"}]
# OpenAI
response = completion(model="openai/gpt-4o", messages=messages)
# Anthropic
response = completion(model="anthropic/claude-3-sonnet-20240229", messages=messages)
from litellm import acompletion
import asyncio
async def test_get_response():
user_message = "Hello, how are you?"
messages = [{"content": user_message, "role": "user"}]
response = await acompletion(model="openai/gpt-4o", messages=messages)
return response
response = asyncio.run(test_get_response())
from litellm import completion
response = completion(model="openai/gpt-4o", messages=messages, stream=True)
for part in response:
print(part.choices[0].delta.content or "")
pip install 'litellm[proxy]'
litellm --model huggingface/bigcode/starcoder
# INFO: Proxy running on http://0.0.0.0:4000
import openai
client = openai.OpenAI(
api_key="anything",
base_url="http://0.0.0.0:4000"
)
response = client.chat.completions.create(
model="gpt-3.5-turbo",
messages=[{
"role": "user",
"content": "this is a test request, write a short poem"
}]
)
LiteLLM은 다음을 포함하여 30개 이상의 주요 LLM 제공업체를 지원합니다.
LiteLLM은 다양한 모니터링 및 로그 플랫폼을 기본적으로 지원합니다.
import litellm
import os
os.environ["LUNARY_PUBLIC_KEY"] = "your-lunary-public-key"
os.environ["HELICONE_API_KEY"] = "your-helicone-auth-key"
os.environ["LANGFUSE_PUBLIC_KEY"] = "your-langfuse-public-key"
litellm.success_callback = [
"lunary", "mlflow", "langfuse",
"athina", "helicone"
]
response = completion(
model="openai/gpt-4o",
messages=[{"role": "user", "content": "Hi 👋"}]
)
지원되는 모니터링 플랫폼:
curl 'http://0.0.0.0:4000/key/generate' \
--header 'Authorization: Bearer sk-1234' \
--header 'Content-Type: application/json' \
--data-raw '{
"models": ["gpt-3.5-turbo", "gpt-4", "claude-2"],
"duration": "20m",
"metadata": {
"user": "user@company.com",
"team": "core-infra"
}
}'
git clone https://github.com/BerriAI/litellm
cd litellm
echo 'LITELLM_MASTER_KEY="sk-1234"' > .env
echo 'LITELLM_SALT_KEY="your-salt-key"' > .env
docker-compose up
/ui에 접속하여 시각적 관리 인터페이스 획득openai>=1.0.0 (v1.0.0+ 필수)pydantic>=2.0.0 (v1.40.14+ 필수)-stable 태그가 있는 Docker 이미지 사용pip install litellm
pip install 'litellm[proxy]'
git clone https://github.com/BerriAI/litellm
cd litellm
python -m venv .venv
source .venv/bin/activate
pip install -e ".[all]"
uvicorn litellm.proxy.proxy_server:app --host localhost --port 4000 --reload
LiteLLM은 Rocket Money, Samsara, Lemonade 및 Adobe와 같은 유명 기업에서 채택되었습니다. 통합 API 인터페이스, 강력한 라우팅 기능 및 엔터프라이즈급 관리 기능을 제공하여 다중 LLM 환경의 관리 복잡성을 크게 단순화하여 현대 AI 애플리케이션 개발에 이상적인 선택입니다.