> ## Documentation Index
> Fetch the complete documentation index at: https://docs.sifi.life/llms.txt
> Use this file to discover all available pages before exploring further.

# 개념: EDA & 데이터 프로파일링

모듈 2에서 만나는 개념과 Databricks 도구를 한눈에 정리합니다. 각 항목의 상세 사용법은 모듈 본문의 해당 시점에서 다룹니다.

| 개념 / 기능 | 한 줄 요지 |
| - | - |
| **EDA** | 정제·모델링 전에 데이터의 규모·분포·품질·관계를 탐색하는 단계. Silver 정제 규칙의 근거 발굴 |
| **DataFrame 프로파일링** | `describe()`·`summary()`로 컬럼 통계를 일괄 계산. 값 범위·이상치 1차 점검 |
| **Data Profile / 노트북 시각화** | 셀 결과의 분포·결측 자동 요약과 클릭 기반 차트. 수율·MTF 현황을 한눈에 |
| **데이터 품질 차원** | 결측·중복·이상치·참조 무결성·규칙 위반·시간 정합성의 관점. 품질 스코어카드로 규모 정량화 |
| **상관 vs 인과** | 함께 움직임 ≠ 원인 관계. 교란 요인(모델·라인)을 통제해 재검증, AI 결론에도 도전 |
| **SPC · Cpk** | 공정이 규격 안에 드는 안정성 지수. `Cpk < 1.33`이면 개선 필요 신호 |
| **파레토 분석 (80/20)** | 소수 항목이 전체 대부분을 차지. 개선 우선순위 결정 |

공식 문서: [PySpark / DataFrame API](https://docs.databricks.com/en/pyspark/index.html) · [노트북 시각화](https://docs.databricks.com/en/visualizations/index.html) · [Data Profiles](https://docs.databricks.com/en/notebooks/visualizations/index.html)


This documentation is built and hosted on [Mintlify](https://mintlify.com), a developer documentation platform.