이 문서는 Genie Space 섹션의 일부입니다.
개요
Genie Space는 배포 후에도 지속적인 모니터링과 개선이 필요합니다. 사용자들이 어떤 질문을 하고, 어떤 응답에 만족하거나 불만을 느끼는지 추적하여 Space의 품질을 점진적으로 향상시킬 수 있습니다.왜 모니터링이 필수인가
Genie Space는 “한 번 만들면 끝나는 대시보드”가 아닙니다. LLM 기반 시스템은 사용자의 질문 패턴에 따라 예상치 못한 오답을 생성할 수 있으며, 비즈니스 환경 변화(신규 제품, 조직 변경, 데이터 스키마 변경)에 맞춰 지속적으로 업데이트해야 합니다. 모니터링이 제공하는 세 가지 핵심 가치:참고 실전 경험칙: Space 배포 후 첫 2주가 가장 중요합니다. 이 기간에 사용자들이 다양한 질문을 시도하고, 이 질문들 중 오답이 되는 패턴을 빠르게 수정하면 사용자 신뢰가 확립됩니다. 반대로, 첫 2주 동안 오답을 방치하면 사용자들이 Space를 포기하고 다시 데이터팀에 요청하는 패턴으로 돌아갑니다.
모니터링 탭 상세
CAN MANAGE 권한을 가진 사용자는 Monitoring 탭에서 모든 사용자 활동을 확인할 수 있습니다.모니터링 탭 구성
필터링 옵션
화면 설명: 모니터링 탭 상단에 필터 바가 있으며, 아래 기준으로 질문을 필터링할 수 있습니다.피드백 메커니즘
피드백이 중요한 이유
피드백은 단순한 “만족도 조사”가 아닙니다. 피드백 데이터는 Genie Space 개선의 가장 직접적인 입력 입니다. 긍정 피드백은 “잘 되고 있는 질문 패턴”을 확인하고 벤치마크로 등록할 수 있게 해주며, 부정 피드백은 “수정이 필요한 영역”을 정확히 지목합니다. 사용자들에게 피드백의 중요성을 사전에 안내하세요. “여러분의 피드백이 이 Space를 더 똑똑하게 만듭니다”라는 메시지를 Space Description이나 온보딩 안내에 포함하면 피드백 참여율이 높아집니다.사용자 피드백 흐름
모든 Genie 응답 하단에는 “Is this correct?” 프롬프트가 표시됩니다:참고 Request review 를 받으면 모니터링 탭에 해당 질문이 Pending Review 상태로 표시됩니다. 관리자는 이를 확인하고 적절한 조치를 취해야 합니다.
피드백의 중요성
관리자 응답 액션
모니터링 탭에서 각 질문에 대해 관리자가 취할 수 있는 액션:1. Correct SQL 제공
사용자의 질문에 대해 올바른 SQL을 직접 작성하여 제공합니다.- 화면 설명: 질문 상세 화면에서 “Provide correct SQL” 버튼을 클릭하면 SQL 에디터가 열립니다.
- 작성한 SQL은 해당 질문의 정답으로 기록됩니다.
- 향후 유사한 질문에 대해 Genie가 이 SQL을 참고합니다.
2. 인스트럭션 추가
오답의 원인을 분석하고, 재발 방지를 위한 인스트럭션을 추가합니다.3. 벤치마크로 등록
검증된 질문-응답 쌍을 벤치마크에 추가하여 향후 회귀 테스트에 활용합니다.4. 응답 재생성
인스트럭션 수정 후 Regenerate response 를 클릭하여 개선된 응답을 확인합니다.응답 활용 기능
각 응답에서 사용할 수 있는 기능:주요 메트릭 해석법
모니터링 탭에서 확인할 수 있는 데이터를 통해 Space의 건강 상태를 진단할 수 있습니다:품질 저하 감지와 대응
다음 신호 중 2개 이상이 동시에 나타나면 즉각적인 조치 가 필요합니다:- 부정적 피드백 급증: 특정 날짜 이후 Fix it/Request review가 급증 → 최근 변경사항(테이블 스키마 변경, 인스트럭션 수정) 확인
- 사용량 급감: 활성 사용자 수가 전주 대비 50% 이상 감소 → 사용자에게 직접 피드백 요청
- 동일 질문 반복: 같은 사용자가 같은 유형의 질문을 3회 이상 반복 → 해당 질문에 대한 예제 쿼리 또는 SQL Expression 추가
주의 데이터 스키마 변경은 가장 흔한 품질 저하 원인입니다. 소스 테이블의 컬럼이 추가/삭제/이름 변경되면 Genie의 SQL이 깨질 수 있습니다. 데이터 엔지니어링팀과 협업하여 스키마 변경 시 Space 관리자에게 알림이 가도록 프로세스를 만드세요.
Audit Logging
Genie Space의 주요 활동은 Databricks Audit Log에 기록됩니다. 이는 보안 감사뿐 아니라 Space 사용 현황 분석 에도 활용할 수 있습니다.참고 Audit Log는 워크스페이스 관리자 가 System Tables 또는 Log Delivery를 통해 접근할 수 있습니다. 컴플라이언스 요구사항이 있는 경우, 정기적으로 Genie 관련 로그를 검토하세요.
팁 ROI 측정 팁: Audit Log의 사용자 질문 데이터를 분석하면, “Genie Space가 없었다면 데이터팀에 요청했을 분석 건수”를 추정할 수 있습니다. 이를 통해 Space 도입의 비용 절감 효과를 정량화할 수 있습니다.
월간 운영 체크리스트
Space를 안정적으로 운영하기 위해 매월 아래 항목을 점검하세요:일일 점검 (5분)
- 모니터링 탭에서 Pending Review 항목 확인 (배포 후 첫 2주는 매일 필수)
주간 점검 (15분)
- 모니터링 탭에서 Pending Review 항목 처리 완료
- 부정적 피드백(Fix it, Request review)이 있는 질문 검토 및 대응
- 자주 묻는 새로운 질문 패턴 파악 → 필요시 벤치마크에 추가
- 반복 실패하는 질문 유형 식별 → 인스트럭션/SQL Expression 보강
월간 점검 (1시간)
- 벤치마크 전체 실행 → 정확도 80% 이상 유지 확인
- 신규 벤치마크 추가 (모니터링에서 발견한 중요 질문 5개+)
- 사용량 추이 확인 (활성 사용자 수, 질문 수, 피드백 비율)
- 인스트럭션 정리 (중복 제거, 오래된 내용 업데이트, 모순 체크)
- 데이터 소스 변경 사항 확인 (스키마 변경, 신규 테이블, 데이터 품질 이슈)
분기 점검
- SME와 함께 Space 전체 리뷰
- 사용자 만족도 조사 (설문 또는 인터뷰)
- 새로운 비즈니스 요구사항 반영
- Warehouse 비용 검토 및 최적화
반복 개선 프로세스
팁 모니터링은 “설정 후 잊기”가 아니라 지속적인 운영 활동 입니다. 정기적인 모니터링을 통해 사용자 신뢰를 유지하고, Space의 가치를 극대화하세요.