베스트 프랙티스

-- 예시: 월별 매출 합계 표현식
SELECT DATE_TRUNC('month', order_date) AS month,
       SUM(order_amount) AS total_revenue
FROM sales.orders
GROUP BY 1
ORDER BY 1

[배포 직후 (1~2주): 집중 모니터링]
    - 모든 사용자 질문을 Monitoring 탭에서 확인
    - 부정 피드백(싫어요)이 달린 응답을 우선 분석
    - 라우팅 오류, 검색 실패 패턴 파악
    - 긴급 수정이 필요한 Instructions/Description 조정
    ↓
[안정화 (3~4주): 품질 개선]
    - 프로덕션 로그에서 실패 케이스 수집 → Examples 탭에 추가
    - AI Judge로 정기 평가 시작 (주 1회)
    - 사용 패턴 분석 → 자주 묻는 질문 유형에 대한 최적화
    - Genie의 경우: 비용이 높은 SQL을 Instructions에 최적화된 예시로 교체
    ↓
[성숙 운영 (1개월+): 자동화]
    - 평가 자동화 파이프라인 구축
    - 알림 설정 (오류율 급증, 응답 지연 증가 시)
    - 정기 SME 리뷰 프로세스 확립
    - 비용 최적화 (불필요한 엔드포인트 정리, 모델 크기 조정)

-- 에이전트 오류율 모니터링 쿼리 예시
SELECT
    DATE(timestamp) AS date,
    endpoint_name,
    COUNT(*) AS total_requests,
    SUM(CASE WHEN status_code >= 500 THEN 1 ELSE 0 END) AS error_count,
    ROUND(SUM(CASE WHEN status_code >= 500 THEN 1 ELSE 0 END) * 100.0
          / COUNT(*), 2) AS error_rate_pct
FROM system.serving.endpoint_logs
WHERE endpoint_name = 'customer-support-supervisor'
    AND DATE(timestamp) = CURRENT_DATE
GROUP BY 1, 2
HAVING error_rate_pct > 5.0

[1단계: 감지]
    - 알림 수신 (Slack, PagerDuty 등)
    - 영향 범위 파악: 전체 에이전트? 특정 서브 에이전트?
    ↓
[2단계: 1차 진단 (5분)]
    - Serving Endpoint 상태 확인
    - 최근 변경 사항 확인 (Instructions, Knowledge Source, 권한)
    - MLflow Trace에서 에러 패턴 확인
    ↓
[3단계: 임시 조치 (10분)]
    - 원인이 Knowledge Source 변경이면 → Sync 재실행 또는 이전 버전 복원
    - 원인이 권한 변경이면 → UC 권한 복원
    - 원인이 과부하이면 → Budget Policy 조정, 트래픽 제한
    ↓
[4단계: 근본 원인 분석 (1시간)]
    - 장애 발생 시점의 Trace 상세 분석
    - 유사 패턴의 과거 장애 사례 확인
    - 근본 원인 특정
    ↓
[5단계: 영구 수정 + 재발 방지]
    - 근본 원인 수정
    - AI Judge로 수정 후 품질 검증
    - 해당 장애 유형에 대한 자동 알림 추가
    - 장애 보고서 작성 (원인, 영향, 대응, 재발 방지)