ML/AI 비교

이 문서는 플랫폼 비교 섹션의 일부입니다.

​

ML 플랫폼

​

GenAI / LLM / Agent

성공 Databricks AI 핵심 차별화: 데이터가 있는 곳에서 바로 ML 학습, 모델 서빙, GenAI Agent 구축, 평가까지 수행합니다. MLflow(업계 표준 OSS)로 전 과정을 추적하고, Agent Evaluation으로 체계적 품질 측정이 가능합니다. 데이터 복사나 서비스 전환 없이 End-to-End AI를 구현하는 유일한 플랫폼 입니다.

주의 경쟁사 장점: AWS Bedrock은 가장 다양한 외부 LLM 모델(Anthropic Claude, Meta Llama, Cohere 등)을 지원합니다. GCP Vertex AI는 Gemini 모델과의 긴밀한 통합, 멀티모달 AI에서 강점이 있습니다. MS Fabric은 Azure OpenAI와 네이티브 연동되어 GPT-4 계열 모델을 쉽게 활용할 수 있습니다.

​

MLflow — 업계 표준 ML 라이프사이클 관리

​

MLflow 상세 비교

​

MLflow와 Unity Catalog 통합의 가치

[데이터-ML 통합 거버넌스 — Databricks만 가능]

Unity Catalog
  ├─ 학습 데이터 (catalog.schema.training_data)
  │   └─ 접근 제어: GRANT SELECT ON TABLE ...
  │
  ├─ Feature Table (catalog.schema.features)
  │   └─ 온라인/오프라인 Feature Store 통합
  │
  ├─ ML 모델 (catalog.schema.model_name)
  │   ├─ 버전 관리 (v1, v2, ...)
  │   ├─ 스테이지 (Staging → Production)
  │   ├─ 리니지: 어떤 데이터로 학습했는지 자동 추적
  │   └─ 접근 제어: GRANT EXECUTE ON MODEL ...
  │
  └─ Serving Endpoint
      ├─ 모델 v2를 서빙 중
      ├─ 트래픽 분할 (A/B 테스트)
      └─ 사용 로그 → System Tables에 자동 기록

참고 경쟁사와의 핵심 차이: SageMaker에서는 학습 데이터(S3) → 모델(SageMaker Registry) → 서빙(SageMaker Endpoint)이 각각 다른 거버넌스 를 가집니다. Lake Formation은 데이터만, SageMaker는 모델만 관리하며, 둘 사이의 리니지는 수동으로 추적해야 합니다.

​

Feature Engineering 비교

​

Feature Store 상세 비교

​

Feature Engineering 워크플로

성공 Feature Store의 핵심 가치: Databricks Feature Store는 Unity Catalog에 통합 되어 있으므로, Feature 테이블도 일반 테이블과 동일한 접근 제어, 리니지, 감사가 적용됩니다. SageMaker/Vertex AI의 Feature Store는 데이터 카탈로그와 분리 되어 있어, Feature에 대한 거버넌스가 별도로 필요합니다.

​

Foundation Model APIs 상세

​

모델 제공 방식 비교

​

Databricks의 모델 호스팅 유연성

​

Agent Framework 심층 비교

​

AI Agent 구축 프레임워크 비교

​

Agent Evaluation — Databricks만의 고유 기능

# Agent Evaluation 코드 예시
import mlflow

results = mlflow.evaluate(
    model="models:/my-agent/production",
    data=eval_dataset,  # 질문 + 기대 답변
    model_type="databricks-agent",
    evaluators="default"  # 정확성, 근거, 관련성, 안전성 자동 평가
)

# 결과 확인
print(results.metrics)
# {'correctness': 0.85, 'groundedness': 0.92, 'relevance': 0.88, 'safety': 1.0}

성공 Agent Evaluation은 프로덕션 AI Agent의 필수 요소 입니다. Agent를 배포한 후에도 지속적으로 품질을 모니터링하고, 모델/프롬프트 변경 시 성능 저하를 조기 감지해야 합니다. 경쟁사에서는 이를 수동으로 구축해야 하며, Databricks는 MLflow 한 줄로 자동화 합니다.

​

RAG (Retrieval-Augmented Generation) 구축 비교

​

RAG 파이프라인 구성 요소

​

Databricks RAG의 핵심 차별점: Delta Sync

소스 Delta 테이블 (문서/텍스트)
  │
  │  [Delta Sync - 자동]
  │  ├─ 새 레코드 추가 → 자동 임베딩 + 인덱스 추가
  │  ├─ 레코드 업데이트 → 자동 재임베딩 + 인덱스 갱신
  │  └─ 레코드 삭제 → 자동 인덱스에서 제거
  │
  ▼
Vector Search 인덱스 (항상 최신 상태)

​

AutoML 비교

​

AutoML 접근 방식 차이

참고 Glass-box AutoML의 가치: Databricks AutoML은 모델뿐 아니라 전체 코드를 생성 합니다. 데이터 사이언티스트는 이 코드를 기반으로 커스터마이징할 수 있으며, 블랙박스 모델에 대한 우려 없이 모든 과정이 투명 합니다. 규제 산업(금융, 의료)에서는 이 투명성이 필수 요구사항입니다.

​

모델 서빙 비교

​

모델 서빙 아키텍처

​

엔드포인트 유형별 비교 (Databricks)

성공 SA/SE 핵심 메시지: Databricks Model Serving은 데이터가 있는 곳에서 바로 모델을 서빙 합니다. Feature Store 자동 조회, Unity Catalog 거버넌스, System Tables 모니터링이 통합되어 있어, SageMaker Endpoint처럼 데이터를 복사하거나 별도 거버넌스를 구축할 필요가 없습니다.