LLM API & 플랫폼

​

왜 중요한가

1. 성능 격차 축소: GPT-4가 독보적이던 시대에서, Claude, Gemini, Llama 등이 동등하거나 특정 영역에서 우위를 보이는 다극화 시대 로 전환
2. 가격 급락: 동일 성능 대비 API 비용이 2024년 한 해 동안 10~100배 하락
3. 추론 모델 등장: 단순 생성이 아닌 “생각하는” 모델 (o1, o3, DeepSeek R1)이 새로운 카테고리 형성

​

주요 LLM API 비교

​

제공업체별 상세 분석

​

OpenAI

• GPT-4.1: 코딩과 지시 따르기(instruction following) 에 특화된 모델입니다. OpenAI는 이 모델에서 “시스템 프롬프트를 더 충실히 따르는” 것을 핵심 개선점으로 내세웠습니다. 실무적으로 이는 복잡한 출력 포맷 지정, JSON 스키마 준수, 다단계 지시사항에서의 정확도를 의미합니다. 1M 토큰 컨텍스트를 지원하지만, 긴 컨텍스트에서의 “Lost in the Middle” 현상(중간 부분 정보를 놓치는 문제)은 여전히 주의가 필요합니다.
• o3 / o3-mini: 추론 모델(Reasoning Model) 로, 답변 생성 전에 내부적으로 “사고 토큰(thinking tokens)“을 생성하여 단계별 추론을 수행합니다. 수학 올림피아드(AIME 2024) 정답률 96.7%, 코딩 경진대회(Codeforces) ELO 2727을 달성했습니다. 그러나 사고 토큰이 과금되므로 단순 작업에 사용하면 비용이 5~10배 증가 할 수 있습니다.
• GPT-4o-mini: 비용 효율적 범용 모델. 입력 $0.15/1M으로 대부분의 분류, 요약, 간단한 생성 작업에 충분하며, 대량 배치 처리의 핵심 워크호스(workhorse)입니다.

​

Anthropic

• Claude 4 Opus: 최고 성능 모델. Extended Thinking(확장 사고) 이 핵심 차별점입니다. OpenAI의 o3와 유사하게 사고 과정을 거치되, 사고 토큰을 사용자에게 노출하지 않고 내부적으로 처리합니다. 복잡한 코딩, 수학, 긴 문서 분석에서 GPT-4.1과 o3를 교차적으로 능가합니다. 가격이 높지만($15/1M 입력), 한 번의 호출로 정확한 결과를 얻으면 반복 호출보다 총 비용이 낮을 수 있습니다.
• Claude 4 Sonnet: 성능-비용 최적 밸런스 로, AI 코딩 어시스턴트(Cursor, Claude Code)의 기본 모델로 가장 많이 선택됩니다. Agent 워크로드에서 “도구 호출 정확도”가 특히 높아, 복잡한 multi-step 작업에서 실패율이 낮습니다.
• Claude 3.5 Haiku: 빠른 응답이 필요한 실시간 애플리케이션용. 분류, 추출, 간단한 변환 작업에서 GPT-4o-mini와 경쟁합니다.

​

Google

• Gemini 2.5 Pro: 1M+ 컨텍스트를 실용적 수준에서 최초로 구현한 모델입니다. 100만 토큰 컨텍스트의 기술적 의미는, 약 70만 단어(영문 책 8~10권, 코드 약 3만 줄)를 한 번에 처리할 수 있다는 것입니다. Google은 이를 위해 Ring Attention 과 같은 분산 어텐션 기법을 사용하여, 긴 시퀀스를 여러 TPU/GPU에 분산 처리합니다. 추론 모드(thinking)도 지원하여 o3, Claude Extended Thinking과 경쟁합니다.
• Gemini 2.0 Flash: $0.10/1M 입력이라는 파격적 가격. 이는 GPT-4o-mini보다도 저렴하면서 성능은 GPT-4o에 근접합니다. 대량 텍스트 분류, 데이터 추출, 번역 등 배치 작업의 가격 혁신입니다.

​

Meta (Llama)

• Llama 4 Maverick: 400B 파라미터 MoE(Mixture of Experts, 여러 전문가 모델을 혼합하여 효율적으로 추론하는 아키텍처). 128개 전문가 중 활성 17개로 효율적
• Llama 4 Scout: 10M 토큰 컨텍스트. 109B 파라미터의 경량 MoE

​

Mistral

• Mistral Large: 다국어 지원, 128K 컨텍스트, Function Calling 강점
• Codestral: 코딩 전용 모델. 80개 이상 프로그래밍 언어 지원, 256K 컨텍스트

​

DeepSeek

• DeepSeek V3: 671B MoE 모델. 범용 성능이 GPT-4 Turbo에 근접
• DeepSeek R1: 추론 특화 모델. o1 대비 4분의 1 가격으로 유사 성능

주의 DeepSeek는 중국 기반 회사로, 일부 기업에서는 데이터 규제/보안 정책상 사용이 제한될 수 있습니다. 민감한 데이터를 다루는 경우 반드시 조직의 보안 정책을 확인하세요. 오픈소스 모델(DeepSeek R1)을 자체 인프라에서 호스팅하는 방식으로 이 문제를 우회할 수 있습니다.

​

모델 선택 기준: 작업 유형별 추천

​

모델 라우팅 전략: 프로덕션의 핵심 아키텍처

​

라우팅이 필요한 이유

​

실전 라우팅 패턴

참고 Databricks Foundation Model APIs를 사용하면 하나의 엔드포인트에서 여러 모델을 호출할 수 있으므로, AI Gateway 패턴으로 모델 라우팅을 구현하기 용이합니다. Unity Catalog의 접근 제어와 결합하면 모델별 사용 권한도 세밀하게 관리할 수 있습니다.

​

Databricks Foundation Model APIs

​

핵심 장점

1. 통합 API: 하나의 엔드포인트로 GPT, Claude, Llama, Mistral, DBRX 등 다양한 모델 호출
2. 거버넌스 통합: Unity Catalog를 통한 접근 제어, 사용량 추적, 비용 관리
3. 네트워크 보안: VPC/VNet 내에서 API 호출, 데이터가 외부로 나가지 않음
4. 이중 과금 모드: 워크로드 특성에 따라 최적의 과금 방식 선택 가능

​

Pay-per-token vs Provisioned Throughput

​

사용 예시

from openai import OpenAI

# Databricks Foundation Model API (OpenAI 호환)
client = OpenAI(
    base_url="https://<workspace>.databricks.com/serving-endpoints",
    api_key="<databricks-token>"
)

response = client.chat.completions.create(
    model="databricks-claude-sonnet-4",  # Databricks에서 호스팅하는 모델
    messages=[
        {"role": "user", "content": "PySpark로 윈도우 함수를 사용하는 예시를 보여줘"}
    ]
)

​

지원 모델 (2025년 4월 기준)

참고 Foundation Model APIs 외에도, Model Serving 을 통해 커스텀 파인튜닝된 모델이나 Hugging Face 모델을 직접 배포할 수 있습니다. 자세한 내용은 오픈소스 LLM 생태계 페이지를 참조하세요.