핵심 메시지: “Raw 로그를 신뢰할 수 있는 수율·품질·설비 데이터로 바꾸는 과정을, 자연어 한 줄로 선언하고 자동화한다.”
목적 & 다루는 테이블
- 목적 — Bronze 원천을 신뢰할 수 있는 Silver(정제)·Gold(집계)로 바꾸고, SDP·Job으로 자동화합니다.
- 입력 — Bronze 17개 테이블 (모듈 2에서 적재·품질 확인 완료)
- 생성 — Silver 11개(정제·표준화) + Gold 10개(비즈니스 집계)
- 테이블 이름은 아래 Silver 테이블 목록과 Gold 컬럼 표준 표를 그대로 따릅니다.
이 모듈에서 사용하는 Databricks 기능
개요
17개 Bronze 테이블의 Raw 로그에는 결측·중복·이상치·단위불일치·참조 깨짐 등 현실의 품질 문제가 있습니다(모듈 2에서 확인). 이 모듈에서는:- 수동 CTAS로 Bronze→Silver→Gold 변환 로직을 이해한 뒤
- SDP로 동일 로직을 선언적으로 자동화하고
- Job으로 매일 자동 리프레시합니다.
17개 중 11개만 Silver로 정제합니다.
- Bronze 17개 가운데 이벤트성 데이터 11개를 Silver로 정제합니다.
- 마스터 3개(equipment/product/material_lot)·
work_orders·reflow_profiles·field_returns는 정제 대상이 아니라 조인 참조용 또는 타 모듈용으로 원본 그대로 둡니다(“17개를 다 정제하나?” 혼동 방지).
두 트랙, 같은 결과.
- Part B·C의 수동 CTAS와 Part D의 SDP는 같은 Silver/Gold 변환을 각각 수동·선언적으로 수행합니다.
- 먼저 CTAS로 로직을 눈으로 이해하고, 같은 로직을 SDP로 옮겨 자동화하는 흐름입니다.
Vibe 코딩 안내.
- 아래 단계별 프롬프트는 예시입니다.
- 핵심 의도와 (특히 Gold) 컬럼 이름만 지키면 표현은 자유롭게 바꿔도 됩니다 — 산식·SQL 디테일은 Genie Code가 채웁니다.
품질 위반 레코드를 격리하는 quarantine 스키마는 모듈 0에서 이미 생성했습니다.
작업 흐름(전 모듈 공통)
- Genie Code가 코드를 생성하면 Plan 확인 → “Allow in this thread”(절대 Always Allow 아님) → Accept all → Run.
- 기존 테이블은 DROP하지 말고
CREATE OR REPLACE.- 무거운 변환도 SQL로 처리할 수 있으면 노트북 코드보다 SQL을 우선하세요(클러스터 대기·타임아웃 회피).
📓 작업 노트북
- 이 모듈의 코드는 새 노트북
03_CCM_Transform_<본인ID>(사이드바 New → Notebook, 언어 Python, 컴퓨트 Serverless)를 만들어 그 안에서 작성합니다.- Part A~C의 Silver·Gold CTAS SQL 셀이 여기 쌓이고, Part D는 이 노트북의 CTAS SQL을 참고해 별도 SDP 소스 노트북
03_CCM_SDP_<본인ID>을 만듭니다.