최종 업데이트: 2026-03-27 | 대상: Databricks Lakehouse 기반 MLOps 구축을 위한 실전 가이드
전체 노트북 코드: GitHub — notebooks/
MLOps 개요
MLOps란?
MLOps(Machine Learning Operations)는 ML 모델의 개발 → 배포 → 운영 → 모니터링 을 자동화하는 엔지니어링 프랙티스입니다. 데이터 사이언스와 운영(Ops)을 연결하여, 모델이 실험실을 벗어나 실제 비즈니스 가치를 창출하도록 합니다.왜 MLOps가 필요한가?
- 재현성: 동일한 데이터와 코드로 동일한 결과를 보장
- 자동화: 수동 작업을 줄이고 반복 가능한 파이프라인 구축
- 거버넌스: 모델의 계보(Lineage), 버전, 접근 권한을 중앙에서 관리
- 모니터링: 운영 중 모델 성능 저하(Data Drift, Concept Drift)를 자동 탐지
Databricks MLOps 아키텍처
1
데이터 수집
정형 데이터 (AI4I 2020 센서 데이터) + 비정형 데이터 (MVTec AD 이미지)를 Unity Catalog에 적재
2
Feature Engineering
정형: Spark/Pandas로 피처 생성 → 비정형: Anomalib으로 이미지 전처리
3
모델 학습
정형: XGBoost + SHAP 해석 → 비정형: PatchCore 이상탐지. MLflow가 실험/메트릭 자동 추적
4
모델 등록
UC Model Registry에 등록 → Champion/Challenger 에일리어스로 버전 관리
5
배포 & 서빙
Batch Predict (일 4회) + Model Serving (실시간) 동시 운영
6
모니터링 & 재학습
Lakehouse Monitor가 드리프트 탐지 → MLOps Agent + Workflows가 주 1회 자동 재학습
MLflow Tracking이 전 과정의 실험/메트릭/모델을 자동 기록하며, Unity Catalog가 데이터 거버넌스와 계보를 관리합니다.
핵심 Databricks 기능 매핑
전체 파이프라인 흐름
End-to-End 데이터 흐름
1
00. 팀 협업 가이드
워크스페이스/클러스터/데이터 충돌 방지 — MLflow 실험 관리, Git 협업
2
01. 데이터 수집
정형 데이터(AI4I 2020 센서) + 비정형 데이터(MVTec AD 이미지)를 Unity Catalog에 적재
3
02. 피처 엔지니어링
Delta Lake 테이블 저장 — Unity Catalog 계보 추적
4
03. 모델 학습
XGBoost / LightGBM / CatBoost / Stacking — MLflow 실험 추적 (Autolog, SHAP, HPO)
5
04. 모델 등록
UC Model Registry에 등록 — Challenger 에일리어스 부여
6
05. 챌린저 검증
4단계 검증 (문서화/추론/성능/KPI) — 통과 시 Champion 승급
7
06. 배치 추론
PySpark UDF 분산 추론 (일 4회 자동 실행) — 결과 Delta Lake 저장
8
08. 모니터링
Lakehouse Monitoring — PSI 드리프트 탐지, 성능 저하 시 알림
9
09. MLOps Agent
자동 오케스트레이션 — 드리프트 탐지 → 재학습 트리거
10
10. Job 스케줄링
Databricks Workflows — 운영/개발 환경 분리
ML 심화 가이드
핸즈온 파이프라인과 별도로, ML 알고리즘의 원리와 최신 기법을 깊이 있게 다루는 심화 가이드를 제공합니다.비정형 데이터 흐름 (병렬)
1
이미지 데이터 적재
UC Volumes에 이미지 데이터 저장
2
07. Anomalib PatchCore 학습
GPU Cluster에서 학습 — MLflow 아티팩트 추적
3
UC Model Registry 등록
정형 모델과 동일한 거버넌스 체계로 관리
참고 정형 모델과 비정형 모델이 동일한 Unity Catalog 내에서 관리되므로, 향후 두 모델의 예측을 결합한 복합 판단 시스템(Compound AI System) 으로 확장할 수 있습니다.