평가 & 배포 — MLflow 평가·배포·모니터링

​

MLflow 기반 평가

​

MLflow Tracing으로 에이전트 동작 추적

1. Production Monitoring for MLflow 활성화
2. Build 탭에서 질문 입력 후 View Trace 클릭

​

AI Judge (LLM-as-Judge) 설정

​

Synthetic Task Generation

주의 Synthetic Task는 출발점일 뿐입니다. 반드시 SME가 검토하고 보완해야 합니다.

​

평가 워크플로우

수동 테스트 (5~10개) → View Trace → 라벨링 (20개+) → Synthetic Task (50개+)
→ AI Judge 평가 → SME 피드백 → 조정/재테스트 → 목표 점수 달성 시 배포

​

프로덕션 모니터링 포인트

​

배포 절차: Review App → Model Serving → REST API

​

Step 1: Review App으로 SME 검증

​

Step 2: Model Serving 엔드포인트 배포

​

Step 3: REST API로 연동

from databricks.sdk import WorkspaceClient
w = WorkspaceClient()
response = w.serving_endpoints.query(
    name="<endpoint-name>",
    messages=[{"role": "user", "content": "이번 달 매출 현황 알려줘"}]
)

​

워크스페이스 간 마이그레이션

1. 타겟 워크스페이스에 리소스 생성
2. 소스에서 SDK로 설정 조회
3. 타겟에서 API로 재생성
4. Instructions, Examples 데이터 Export/Import
5. AI Judge로 품질 검증

​

평가가 Agent Bricks에서 특히 중요한 이유

위험 평가 없이 배포하는 것은 테스트 없이 코드를 프로덕션에 배포하는 것과 같습니다. 최소 50개 이상의 테스트 케이스로 평가한 후 배포하세요.