SDP 파이프라인 & Job 스케줄

03_CCM_Transform_<본인ID> 노트북의 Silver/Gold 변환 SQL(CTAS)을 참조해서, Bronze → Silver → Gold 변환 로직을 SDP(Spark Declarative Pipeline)로 전환하려고 해. 파이프라인 이름은 ccm_factory_pipeline, 타겟 카탈로그는 ccm_factory, 타겟 스키마는 silver, gold야. 먼저 전환 구조를 제안해줘.

Bronze → Silver는 Streaming Table로(증분 처리), Silver → Gold는 Materialized View로(자동 리프레시) 구성해줘.

Expectations를 추가해줘:
- aa_measurements: expect_or_drop("valid_mtf", "mtf_center_pct BETWEEN 0 AND 100")
- aa_measurements: expect("valid_tilt", "tilt_abs_max <= 8")
- sensor_metrics_5min: expect_or_drop("valid_temp", "max_temperature_c <= 120")
- production_flow: expect_or_drop("valid_dwell", "dwell_time_sec > 0")
- aoi_defects: expect_or_drop("aoi_rule", "NOT (defect_flag = false AND defect_type IS NOT NULL)")
- final_test_clean: expect("valid_result", "test_result IN ('PASS','FAIL')")

참조 무결성/규칙 위반 레코드는 ccm_factory.quarantine 스키마로 분리하고, 품질 위반 처리는 Silver는 expect_or_drop(위반 시 제거·격리), Gold는 expect_or_fail(위반 시 파이프라인 중단)로 해줘.

위 1~4단계 설계를 담아, 파이프라인 전용 새 노트북 03_CCM_SDP_<본인ID>에 SDP 코드를 생성해줘 (Python + SQL 혼합 가능).

방금 만든 03_CCM_SDP_<본인ID> 노트북으로 ccm_factory_pipeline 이름의 파이프라인을 생성해줘. 서버리스 컴퓨트, Continuous 대신 Triggered 모드로.

파이프라인을 실행하고 각 테이블 row count와 Expectations 통과율을 보여줘.

ccm_factory_pipeline의 최근 실행 결과를 보여줘.
각 테이블 row count, Expectations 통과율, 실패한 테이블이 있으면 에러 메시지를 알려줘.

ccm_factory_pipeline의 현재 설정(트리거 모드, 컴퓨트, 채널, 타깃 스키마)을 보여줘.

이 파이프라인을 Continuous(연속) 모드로 바꾸면 어떤 차이가 있는지 설명해주고,
실습에서는 다시 Triggered로 두되 Continuous로 바꾸는 설정 위치를 알려줘.

파이프라인 컴퓨트를 조정하고 싶어. 서버리스가 기본인데, 클래식 컴퓨트로 바꿀 때의
워커 오토스케일(min/max) 설정과 Photon 사용 여부를 어디서 바꾸는지 알려줘.
서버리스에서는 어떤 옵션이 자동으로 처리되는지도 정리해줘.

Development 모드와 Production 모드의 차이(클러스터 재사용·재시도)를 설명해주고,
지금은 Development로 두자. 릴리스 채널(Current/Preview)도 확인해줘.

파이프라인 실행 실패 시 이메일 알림을 추가해줘.
그리고 스키마를 바꿨을 때 쓰는 "전체 새로고침(full refresh)"과 증분 실행의 차이도 알려줘.

ccm_factory_pipeline을 매일 자동 실행하는 Job을 만들려고 해. Job 이름은 ccm_factory_daily_refresh, 클러스터는 서버리스야.

스케줄은 매일 오전 6시 KST(cron: 0 21 * * * UTC)로 설정해줘.

재시도는 최대 2회·간격 10분, 실패 시 이메일 알림, 타임아웃은 2시간으로 추가해줘.

이 Job의 컴퓨트를 서버리스로 두되, 클래식 Job 클러스터로 바꿀 경우의
노드 타입·워커 수·오토스케일 설정을 어디서 지정하는지 알려줘. 서버리스와의 비용/기동시간 차이도 짧게.

스케줄(cron) 외에 이 Job을 트리거하는 다른 방법(연속 실행, 파일 도착 트리거, 수동 트리거)을
설명해주고, 각각 어떤 상황에 쓰는지 알려줘. 지금은 매일 6시 cron 유지.

방금 만든 ccm_factory_daily_refresh Job의 설정과 다음 실행 예정 시각을 확인해줘.
지금 한 번 수동 실행(trigger)해서 정상 동작하는지도 확인해줘.