이 문서는 머신러닝 섹션의 일부입니다.
TPE(Tree-structured Parzen Estimator) 알고리즘 원리
Hyperopt의 기본 알고리즘인 TPE 는 Bayesian Optimization의 일종으로, 일반적인 Gaussian Process 기반 방법보다 고차원 공간에서 더 효율적입니다.TPE의 핵심 아이디어
일반적인 Bayesian Optimization은P(y|x) (파라미터 x가 주어졌을 때 성능 y의 확률)를 모델링하지만, TPE는 역방향 으로 P(x|y) (성능 y가 주어졌을 때 파라미터 x의 확률)를 모델링합니다.
왜 TPE가 효과적인가
TPE의 한계
SparkTrials 분산 동작 구조
SparkTrials는 Spark 클러스터의 Worker 노드를 활용하여 여러 하이퍼파라미터 조합을 동시에 평가합니다.내부 아키텍처
parallelism과 Bayesian Optimization의 트레이드오프
💡 실무 권장:parallelism은 Worker 노드 수 와 max_evals의 제곱근 중 작은 값을 선택합니다. 예를 들어 Worker 8대, max_evals=100이면parallelism=8이 적절합니다.