AI Gateway — AI 도구 비용 관리

핵심 메시지: AI 도구(Genie Code, Claude Code 등)를 도입할 때 가장 큰 우려는 비용입니다. Databricks AI Gateway를 통해 사용자별 Rate Limit, 비용 상한, 사용량 모니터링을 걸 수 있어 제한적이고 안전하게 AI 도구를 도입할 수 있습니다.

​

AI Gateway란?

💡 DBU(Databricks Unit)란? Databricks의 컴퓨트 과금 단위입니다. Foundation Model API를 통해 AI 모델을 호출하면 사용한 토큰 수에 비례하여 DBU가 과금됩니다. 외부에서 각 AI 모델을 별도로 구독할 필요 없이, Databricks 청구서 하나로 통합 관리됩니다.

​

왜 중요한가?

​

Databricks에서 제공하는 AI 도구 라이선스

💡 핵심: 외부 AI 모델을 직접 구독하지 않아도, Databricks Foundation Model API를 통해 AI Gateway에서 중앙 관리하면서 사용할 수 있습니다. 비용은 DBU(Databricks Unit)로 통합 과금됩니다.

​

AI Gateway 주요 기능

​

1. 사용자별 Rate Limit

예시: 
- 개발자: 분당 60 요청, 일 10,000 토큰
- 관리자: 제한 없음
- 인턴/실습생: 분당 10 요청, 일 1,000 토큰

💡 화면 참고: Model Serving → Endpoint → Rate Limits 설정 화면

​

2. 사용량 모니터링 (System Tables)

-- 사용자별 AI 모델 사용량 조회
SELECT
  user_identity.email,
  DATE(request_time) AS date,
  COUNT(*) AS request_count,
  SUM(usage.total_tokens) AS total_tokens,
  ROUND(SUM(usage.total_tokens) * 0.00001, 2) AS estimated_cost_usd
FROM system.serving.served_entities_usage
WHERE served_entity_name = 'databricks-claude-sonnet-4'
  AND request_time >= CURRENT_DATE - INTERVAL 7 DAYS
GROUP BY user_identity.email, DATE(request_time)
ORDER BY total_tokens DESC

💡 화면 참고: System Tables 쿼리 결과 — 사용자별 토큰 사용량

​

3. Guardrails (안전 장치)

​

4. 비용 귀속 (Cost Attribution)

팀A (데이터 엔지니어링) → 월 $500 상한
팀B (데이터 분석)       → 월 $300 상한
팀C (ML/AI)            → 월 $1,000 상한

​

도입 시나리오 예시

​

Phase 1: 파일럿 (1개월)

​

Phase 2: 확대 (3개월)

​

AI Gateway 설정 방법 (Genie Code 프롬프트)

​

Foundation Model API 엔드포인트 생성

Foundation Model API로 Claude Sonnet 엔드포인트를 만들어줘.

설정:
- 엔드포인트 이름: workshop-claude-sonnet
- 모델: claude-sonnet-4
- Rate Limit: 분당 60 요청
- Scale to Zero: 활성화 (비사용 시 비용 0)

​

사용량 모니터링 대시보드

system.serving.served_entities_usage 테이블을 활용하여
"AI 사용량 모니터링" 대시보드를 만들어줘.

위젯:
1. 일별 총 요청 수 추이 (꺾은선)
2. 사용자별 토큰 사용량 Top 10 (막대)
3. 모델별 비용 비중 (도넛)
4. 시간대별 요청 패턴 (히트맵)

필터: 날짜 범위, 사용자, 모델

​

주요 문서 링크

​

핵심 정리

AI 도구 도입의 가장 큰 장벽은 “비용 통제 불가” 우려입니다. Databricks AI Gateway는:

1. 사용자별 Rate Limit으로 과사용 방지
2. System Tables로 사용량/비용 실시간 모니터링
3. Guardrails로 데이터 보안 확보
4. DBU 통합 과금으로 별도 AI 구독 불필요

→ 제한적이고 안전하게 AI 도구를 도입할 수 있습니다.

​

다음 단계

• Claude Code 사용하기 — AI Gateway 환경에서 Claude Code를 설치하고 연결합니다.