이 모듈의 목적과 다루는 테이블
- 목적 — 카메라 모듈 공장에서 실제로 있을 법한 Bronze 원천 17테이블을 확보합니다(강사 배포본 임포트 또는 Genie Code 생성).
- 다루는 테이블 — Bronze 17개: 마스터 3(설비·제품·자재로트) + 생산 3(작업지시·통과이벤트·추적성) + 공정 4(SMT·디스펜싱·리플로우·AA) + 설비 2(센서로그·비가동) + 검사 3(AOI·최종화질·불량이벤트) + 환경/필드 2(클린룸·필드리턴).
핵심 메시지: “있을 법한 원천 로그를, 자연어 프롬프트만으로 대규모로 만든다.”
이 모듈에서 사용하는 Databricks 기능
개요
스마트팩토리(카메라 모듈 조립 라인) 시나리오에서 실제로 발생할 법한 10개 카테고리, 17개 테이블, 약 290만 건의 Bronze 데이터를 생성합니다. 공정 흐름을 그대로 반영합니다:Tip
Cmd+I로 Genie Code 패널을 열고 프롬프트 입력.- 코드 생성 시 Plan 확인 → “Allow in this thread” → Accept all → Run.
- “Always Allow”는 누르지 마세요.
📓 작업 노트북: 이 모듈의 코드는 새 노트북 01_CCM_Data_<본인ID>(사이드바 New → Notebook, 언어 Python, 컴퓨트 Serverless)를 만들어 그 안에서 작성합니다.
이 모듈의 두 가지 진행 방식 ★
같은 데이터를 얻는 두 경로가 있습니다. 실제 교육은 (A) 임포트를 기본으로 하고, (B) 생성은 “Genie Code로 이런 데이터를 만들 수 있다”는 이해·시연용으로 함께 다룹니다.
💡 강사는 사전에 Part B 프롬프트로 데이터셋을 1회 생성하고 parquet로 공유 볼륨(또는 Delta Sharing/Marketplace)에 올려둡니다. 참가자는 Part A로 임포트만 하면 됩니다.
Part A: 샘플 데이터셋 임포트 (실제 교육 기본)
사전 조건: 시드 데이터를 확보하는 방법은 세 가지입니다.가장 간단한 방식 0을 권장합니다.
- (방식 0) 아래 다운로드 링크의 zip
- (방식 1) 강사가 공유한 볼륨의 parquet
- (방식 2) Delta Sharing/Marketplace
방식 0 — 시드 데이터 zip 다운로드 후 임포트 (가장 간단·자립형) ★
별도 공유 볼륨이나 Delta Share 없이, 아래 압축 파일 하나만 받으면 됩니다.ℹ️ 모듈 0에서 이미 적재했다면 이 단계는 건너뛰고 임포트 검증만 확인하세요. 방식 0은 00. Genie Code 설정의 ‘시드 데이터 다운로드 & 적재’와 동일한 작업입니다 (중복 실행 방지).
Unity Catalog Volume은 zip·PDF 같은 파일을 카탈로그 거버넌스 아래 두는 파일 저장 공간입니다. 시드 zip을 여기 올려 두면 참가자 모두 동일한 경로로 접근할 수 있어, 이번 임포트의 시작점으로 씁니다.
📦 다운로드: ccm_factory_seed.zip — Bronze 17테이블 parquet, 약 60MB (압축 내부 구조: ccm_factory/<table>/part.parquet). 고정 시드로 생성돼 모든 참가자가 동일한 데이터로 시작합니다.
1단계 — zip을 워크스페이스 볼륨에 바로 내려받기 (권장). 로컬 다운로드→업로드는 브라우저·용량 제약이 있으니, Genie Code가 URL에서 볼륨으로 직접 받게 합니다.
대안(직접 다운로드가 막히면): 위 링크를 로컬에 받은 뒤 Catalog Explorer → bronze.raw_files 볼륨 → Upload 로 올립니다.
2단계 — 압축을 풀고 구조 확인.
💡 이 시드에는 결측·중복·이상치·참조무결성 위반 등 의도적 데이터 품질 이슈가 심어져 있습니다 (02. EDA·03. 파이프라인에서 찾아내고 정제하는 실습 소재). 정상입니다.
방식 1 — 공유 볼륨의 parquet 로드
1단계 — 소스와 타겟만 알려주고 시작.방식 2 — Delta Sharing / Marketplace 공유 카탈로그에서 복제
1단계 — 복제 대상을 지정.임포트 검증
임포트가 끝났으면 데이터 생성 후 종합 검증으로 건너뛰거나, 바로 02. EDA로 진행할 수 있습니다. Genie Code의 데이터 생성 능력을 직접 보고 싶으면 아래 Part B를 진행하세요.
Part B: Genie Code로 직접 생성 (시연/이해용)
아래는 강사가 시드 데이터를 만들 때 사용한 실제 프롬프트이자, 참가자가 “Genie Code로 이렇게 만들 수 있다”를 체감하는 자료입니다. 마스터 1~2개(equipment_master 등)만 실제로 실행해 보고, 나머지는 프롬프트를 읽으며 원리를 이해하는 것을 권장합니다. 각 테이블 프롬프트를 그대로 복사·붙여넣으면 PySpark 기반 생성 코드가 자동으로 만들어집니다.데이터 아키텍처 전체 구조
Part B 생성 순서
17개를 한 번에 만들 필요 없습니다.
- 마스터 3개(equipment_master → product_master → material_lot_master)를 먼저 만들고, 나머지는 카테고리별로 진행하세요.
- 모든 로그가 이 마스터들을 참조합니다.
- 시연에서는 마스터 1~2개만 실제 실행하고 나머지 프롬프트는 읽으며 이해하는 것으로 충분합니다.