개념: EDA & 데이터 프로파일링

모듈 2에서 만나는 개념과 Databricks 도구를 한눈에 정리합니다. 각 항목의 상세 사용법은 모듈 본문의 해당 시점에서 다룹니다.

개념 / 기능	한 줄 요지
EDA	정제·모델링 전에 데이터의 규모·분포·품질·관계를 탐색하는 단계. Silver 정제 규칙의 근거 발굴
DataFrame 프로파일링	`describe()`·`summary()`로 컬럼 통계를 일괄 계산. 값 범위·이상치 1차 점검
Data Profile / 노트북 시각화	셀 결과의 분포·결측 자동 요약과 클릭 기반 차트. 수율·MTF 현황을 한눈에
데이터 품질 차원	결측·중복·이상치·참조 무결성·규칙 위반·시간 정합성의 관점. 품질 스코어카드로 규모 정량화
상관 vs 인과	함께 움직임 ≠ 원인 관계. 교란 요인(모델·라인)을 통제해 재검증, AI 결론에도 도전
SPC · Cpk	공정이 규격 안에 드는 안정성 지수. `Cpk < 1.33`이면 개선 필요 신호
파레토 분석 (80/20)	소수 항목이 전체 대부분을 차지. 개선 우선순위 결정