본문으로 건너뛰기

LiteLLM

LiteLLM은 여러 LLM 제공사를 하나의 인터페이스로 통합하는 프록시 프레임워크입니다.
모델 간 자동 폴백, 비용 추적, 로드밸런싱을 손쉽게 구성할 수 있습니다.

설치​

pip install litellm

기본 설정​

import litellm
import os

# iwinv API 설정
litellm.api_key = os.environ["IWINV_API_KEY"]
litellm.api_base = "https://ai-api.iwinv.kr/v1"

기본 호출​

response = litellm.completion(
    model="openai/gemma4-26b",  # provider/model-id 형식
    messages=[{"role": "user", "content": "안녕하세요!"}]
)
print(response.choices[0].message.content)

모델 폴백​

특정 모델 호출 실패 시 자동으로 다른 모델로 전환합니다.

response = litellm.completion(
    model="openai/gemma4-26b",
    messages=[{"role": "user", "content": "안녕하세요!"}],
    fallbacks=["openai/gemma4-e2b", "openai/gpt-4.1"],
    api_base="https://ai-api.iwinv.kr/v1",
    api_key=os.environ["IWINV_API_KEY"]
)

LiteLLM 프록시 서버 연동​

LiteLLM 프록시 서버를 iwinv API와 연결하는 설정입니다.

# config.yaml
model_list:
  - model_name: gemma4-26b
    litellm_params:
      model: openai/gemma4-26b
      api_base: https://ai-api.iwinv.kr/v1
      api_key: os.environ/IWINV_API_KEY

  - model_name: claude-sonnet
    litellm_params:
      model: openai/claude-sonnet-4-6
      api_base: https://ai-api.iwinv.kr/v1
      api_key: os.environ/IWINV_API_KEY
# 프록시 서버 실행
litellm --config config.yaml --port 4000