개념: Medallion · Lakeflow SDP · Jobs

모듈 3에서 만나는 아키텍처와 Databricks 기능을 한눈에 정리합니다. 각 항목의 상세 사용법은 모듈 본문의 해당 시점에서 다룹니다.

개념 / 기능	한 줄 요지
Medallion Architecture	Bronze(원본)→Silver(정제)→Gold(집계) 신뢰도 3계층. Raw 로그를 단계적으로 정제·집계
Lakeflow SDP	선언하면 실행 순서·증분·복구를 자동 관리하는 파이프라인 엔진(구 DLT). 수동 CTAS를 선언적으로 전환
Expectations	파이프라인 내 품질 규칙 선언(`expect` / `expect_or_drop` / `expect_or_fail`). 위반 자동 감지·격리·중단
Quarantine 패턴	위반 레코드를 삭제 대신 `quarantine` 스키마로 분리 보관. 조인 손실·왜곡 방지 + 추적 가능
Lakeflow Jobs	노트북·파이프라인을 스케줄·트리거·재시도로 자동 실행. 매일 새벽 무인 리프레시
Triggered vs Continuous	단발 배치(요청 시 종료) vs 상시 실시간 처리. 비용·최신성 트레이드오프 선택
Serverless vs 클래식 컴퓨트	자동 관리 vs 노드·오토스케일·Photon 직접 튜닝. 편의성 vs 세밀한 비용/성능 제어