평가 데이터셋과 MLflow

1단계: 50~100개 초기 질문 생성
2단계: SME가 부자연스러운 질문 삭제 (~20~30%)
3단계: 누락된 카테고리 수동 추가
4단계: 각 질문에 Guidelines 추가
5단계: UC 테이블로 Export하여 버전 관리

import mlflow

eval_df = spark.table("ml.evaluation.agent_eval_dataset").toPandas()
eval_df["predictions"] = eval_df["request"].apply(get_agent_response)

with mlflow.start_run(run_name="agent-eval-v2.1"):
    results = mlflow.evaluate(
        data=eval_df, predictions="predictions", targets="expected_response",
        model_type="question-answering",
        extra_metrics=[mlflow.metrics.genai.relevance(), mlflow.metrics.genai.faithfulness()],
    )

에이전트 설정 변경 → 자동 MLflow Evaluate 실행 (50개+ 테스트)
→ 모든 메트릭 임계값 이상 → 배포
→ 하나라도 미만 → 알림 + 배포 차단

AI Judge 평가 결과 확인
→ 점수가 낮은 질문 식별
→ Groundedness 낮음 → Trace에서 Retrieval 확인
→ Correctness 낮음 → 기대 답변과 비교
→ Chunk Relevance 낮음 → 문서 구조/동의어 문제 확인