Skip to main content

​
개요

Genie Space는 배포 후에도 지속적인 모니터링과 개선이 필요합니다. 사용자들이 어떤 질문을 하고, 어떤 응답에 만족하거나 불만을 느끼는지 추적하여 Space의 품질을 점진적으로 향상시킬 수 있습니다.

​
왜 모니터링이 필수인가

Genie Space는 “한 번 만들면 끝나는 대시보드”가 아닙니다. LLM 기반 시스템은 사용자의 질문 패턴에 따라 예상치 못한 오답을 생성할 수 있으며, 비즈니스 환경 변화(신규 제품, 조직 변경, 데이터 스키마 변경)에 맞춰 지속적으로 업데이트해야 합니다. 모니터링이 제공하는 세 가지 핵심 가치:
가치설명모니터링 없이 발생하는 문제
품질 유지오답과 부정확한 응답을 조기에 발견사용자가 잘못된 데이터로 의사결정
신뢰 구축사용자 피드백에 빠르게 대응하여 신뢰 유지”부정확해서 안 쓴다”는 인식 확산
진화실제 사용 패턴을 분석하여 Space를 발전시킴사용자 니즈와 Space 기능의 괴리 발생
참고 실전 경험칙: Space 배포 후 첫 2주가 가장 중요합니다. 이 기간에 사용자들이 다양한 질문을 시도하고, 이 질문들 중 오답이 되는 패턴을 빠르게 수정하면 사용자 신뢰가 확립됩니다. 반대로, 첫 2주 동안 오답을 방치하면 사용자들이 Space를 포기하고 다시 데이터팀에 요청하는 패턴으로 돌아갑니다.

​
모니터링 탭 상세

CAN MANAGE 권한을 가진 사용자는 Monitoring 탭에서 모든 사용자 활동을 확인할 수 있습니다.

​
모니터링 탭 구성

영역표시 정보활용 방법
질문 목록사용자가 입력한 모든 질문과 타임스탬프자주 묻는 질문 패턴 파악
응답 내용생성된 SQL과 결과 테이블SQL 정확성 검토
사용자 피드백좋아요/싫어요 및 텍스트 코멘트불만족 응답 우선 개선
상태 표시Correct, Incorrect, Pending Review검토 필요 항목 식별

​
필터링 옵션

화면 설명: 모니터링 탭 상단에 필터 바가 있으며, 아래 기준으로 질문을 필터링할 수 있습니다.
필터설명사용 예
기간날짜 범위로 필터링지난 7일간의 질문만 보기
사용자특정 사용자의 질문만 보기신규 사용자의 질문 패턴 분석
평점피드백 상태별 필터링부정적 피드백만 보기
상태Correct/Incorrect/Pending미검토 항목만 보기

​
피드백 메커니즘

​
피드백이 중요한 이유

피드백은 단순한 “만족도 조사”가 아닙니다. 피드백 데이터는 Genie Space 개선의 가장 직접적인 입력 입니다. 긍정 피드백은 “잘 되고 있는 질문 패턴”을 확인하고 벤치마크로 등록할 수 있게 해주며, 부정 피드백은 “수정이 필요한 영역”을 정확히 지목합니다. 사용자들에게 피드백의 중요성을 사전에 안내하세요. “여러분의 피드백이 이 Space를 더 똑똑하게 만듭니다”라는 메시지를 Space Description이나 온보딩 안내에 포함하면 피드백 참여율이 높아집니다.

​
사용자 피드백 흐름

모든 Genie 응답 하단에는 “Is this correct?” 프롬프트가 표시됩니다:
옵션동작모니터링 탭에서의 표시
Yes응답이 정확함을 확인. 해당 질문-SQL 쌍이 긍정 사례로 기록됨녹색 체크 아이콘
Fix it오류를 설명하고 Genie에게 재시도 요청. 대화 내에서 수정 시도노란색 경고 아이콘
Request reviewSpace 관리자에게 검토 요청. 선택적으로 텍스트 코멘트 추가 가능빨간색 리뷰 아이콘
참고 Request review 를 받으면 모니터링 탭에 해당 질문이 Pending Review 상태로 표시됩니다. 관리자는 이를 확인하고 적절한 조치를 취해야 합니다.

​
피드백의 중요성

피드백 유형관리자 활용 방법
긍정(Yes) 피드백이 많은 질문벤치마크로 등록하여 품질 유지
부정(Fix it) 피드백이 많은 질문인스트럭션 또는 SQL Expression 추가로 개선
Review 요청우선적으로 검토하고, 올바른 SQL을 인스트럭션에 반영

​
관리자 응답 액션

모니터링 탭에서 각 질문에 대해 관리자가 취할 수 있는 액션:

​
1. Correct SQL 제공

사용자의 질문에 대해 올바른 SQL을 직접 작성하여 제공합니다.
  • 화면 설명: 질문 상세 화면에서 “Provide correct SQL” 버튼을 클릭하면 SQL 에디터가 열립니다.
  • 작성한 SQL은 해당 질문의 정답으로 기록됩니다.
  • 향후 유사한 질문에 대해 Genie가 이 SQL을 참고합니다.

​
2. 인스트럭션 추가

오답의 원인을 분석하고, 재발 방지를 위한 인스트럭션을 추가합니다.
오답 유형추가할 인스트럭션 유형예시
비즈니스 용어 미인식텍스트 인스트럭션“‘활성 고객’은 최근 90일 내 구매 이력이 있는 고객입니다”
잘못된 집계 로직SQL Expression (Measure)SUM(amount) WHERE status != 'cancelled' AS net_revenue
필터 조건 누락SQL Expression (Filter)is_deleted = false
특정 질문 패턴 오답Example Query (인스트럭션)질문-SQL 쌍을 예제 쿼리로 등록

​
3. 벤치마크로 등록

검증된 질문-응답 쌍을 벤치마크에 추가하여 향후 회귀 테스트에 활용합니다.

​
4. 응답 재생성

인스트럭션 수정 후 Regenerate response 를 클릭하여 개선된 응답을 확인합니다.

​
응답 활용 기능

각 응답에서 사용할 수 있는 기능:
기능설명사용 사례
Show code생성된 SQL 쿼리 확인SQL 정확성 검토
CSV 다운로드최대 약 1GB의 결과 데이터를 CSV로 다운로드외부 도구에서 추가 분석
Copy CSV클립보드에 CSV 데이터 복사스프레드시트에 붙여넣기
Add as instruction검증된 응답을 인스트럭션(예제 쿼리)으로 추가유사 질문의 정확도 향상
Add as benchmark벤치마크로 등록회귀 테스트에 활용
Refresh data데이터 새로고침 (동일 SQL 재실행)최신 데이터 확인
Regenerate response응답 재생성 (SQL 다시 생성)인스트럭션 수정 후 효과 확인

​
주요 메트릭 해석법

모니터링 탭에서 확인할 수 있는 데이터를 통해 Space의 건강 상태를 진단할 수 있습니다:
메트릭건강한 상태주의 필요해석 및 대응
일일 질문 수꾸준히 증가하거나 안정급감사용자가 Space를 신뢰하지 않거나, 오답이 많아 포기한 신호
긍정 피드백 비율70% 이상50% 미만50% 미만이면 인스트럭션/메타데이터 대폭 보강 필요
Pending Review 수주 5건 이하10건 이상 누적즉시 처리하지 않으면 사용자 불만 증가
반복 질문 패턴다양한 질문 유형동일 질문 반복사용자가 원하는 답을 못 받아 재시도하는 것. 해당 질문 유형 우선 개선
범위 이탈 질문10% 미만30% 이상Space의 범위가 사용자 기대와 불일치. Description과 Sample Questions 보강

​
품질 저하 감지와 대응

다음 신호 중 2개 이상이 동시에 나타나면 즉각적인 조치 가 필요합니다:
  1. 부정적 피드백 급증: 특정 날짜 이후 Fix it/Request review가 급증 → 최근 변경사항(테이블 스키마 변경, 인스트럭션 수정) 확인
  2. 사용량 급감: 활성 사용자 수가 전주 대비 50% 이상 감소 → 사용자에게 직접 피드백 요청
  3. 동일 질문 반복: 같은 사용자가 같은 유형의 질문을 3회 이상 반복 → 해당 질문에 대한 예제 쿼리 또는 SQL Expression 추가
주의 데이터 스키마 변경은 가장 흔한 품질 저하 원인입니다. 소스 테이블의 컬럼이 추가/삭제/이름 변경되면 Genie의 SQL이 깨질 수 있습니다. 데이터 엔지니어링팀과 협업하여 스키마 변경 시 Space 관리자에게 알림이 가도록 프로세스를 만드세요.

​
Audit Logging

Genie Space의 주요 활동은 Databricks Audit Log에 기록됩니다. 이는 보안 감사뿐 아니라 Space 사용 현황 분석 에도 활용할 수 있습니다.
로그 이벤트기록 내용활용 목적
Space 생성/수정/삭제누가 언제 Space를 변경했는지변경 추적, 감사
권한 변경공유 설정 변경 이력보안 감사
사용자 질문질문 텍스트, 생성된 SQL, 실행 결과 메타데이터사용 패턴 분석, 인기 질문 파악
피드백사용자 피드백 내용만족도 추적
데이터 다운로드CSV 다운로드 이력데이터 유출 모니터링
참고 Audit Log는 워크스페이스 관리자 가 System Tables 또는 Log Delivery를 통해 접근할 수 있습니다. 컴플라이언스 요구사항이 있는 경우, 정기적으로 Genie 관련 로그를 검토하세요.
팁 ROI 측정 팁: Audit Log의 사용자 질문 데이터를 분석하면, “Genie Space가 없었다면 데이터팀에 요청했을 분석 건수”를 추정할 수 있습니다. 이를 통해 Space 도입의 비용 절감 효과를 정량화할 수 있습니다.

​
월간 운영 체크리스트

Space를 안정적으로 운영하기 위해 매월 아래 항목을 점검하세요:

​
일일 점검 (5분)

  • 모니터링 탭에서 Pending Review 항목 확인 (배포 후 첫 2주는 매일 필수)

​
주간 점검 (15분)

  • 모니터링 탭에서 Pending Review 항목 처리 완료
  • 부정적 피드백(Fix it, Request review)이 있는 질문 검토 및 대응
  • 자주 묻는 새로운 질문 패턴 파악 → 필요시 벤치마크에 추가
  • 반복 실패하는 질문 유형 식별 → 인스트럭션/SQL Expression 보강

​
월간 점검 (1시간)

  • 벤치마크 전체 실행 → 정확도 80% 이상 유지 확인
  • 신규 벤치마크 추가 (모니터링에서 발견한 중요 질문 5개+)
  • 사용량 추이 확인 (활성 사용자 수, 질문 수, 피드백 비율)
  • 인스트럭션 정리 (중복 제거, 오래된 내용 업데이트, 모순 체크)
  • 데이터 소스 변경 사항 확인 (스키마 변경, 신규 테이블, 데이터 품질 이슈)

​
분기 점검

  • SME와 함께 Space 전체 리뷰
  • 사용자 만족도 조사 (설문 또는 인터뷰)
  • 새로운 비즈니스 요구사항 반영
  • Warehouse 비용 검토 및 최적화

​
반복 개선 프로세스

1. 모니터링 탭에서 사용자 질문 패턴 분석
   ↓
2. 오답이나 부정확한 응답 식별
   ↓
3. 오답 원인 분석 (테이블? 컬럼? 용어? 로직?)
   ↓
4. 해당 원인에 맞는 수정 적용
   (인스트럭션, SQL Expression, 컬럼 설명 등)
   ↓
5. 벤치마크로 등록하여 정확도 추적
   ↓
6. 벤치마크 전체 실행으로 회귀 확인
   ↓
7. 반복
팁 모니터링은 “설정 후 잊기”가 아니라 지속적인 운영 활동 입니다. 정기적인 모니터링을 통해 사용자 신뢰를 유지하고, Space의 가치를 극대화하세요.

​
운영 베스트 프랙티스

​
RACI 모델 — 누가 무엇을 하는가

Space를 안정적으로 운영하려면 역할과 책임을 명확히 정의해야 합니다:
활동Space 관리자SME (도메인 전문가)데이터 엔지니어최종 사용자
모니터링 탭 일일 점검담당(R)
오답 원인 분석담당(R)자문(C)
인스트럭션 수정담당(R)검증(A)
테이블 스키마 변경 알림수신(I)담당(R)
피드백 제출담당(R)
벤치마크 정기 실행담당(R)
분기 리뷰담당(R)참여(C)참여(C)참여(I)

​
운영 자동화 팁

자동화 항목방법효과
Pending Review 알림Databricks Workflows + Slack/Teams Webhook으로 일일 알림미처리 리뷰 방지
벤치마크 정기 실행주간 Workflow Job으로 벤치마크 자동 실행스키마 변경으로 인한 품질 저하 조기 발견
사용량 리포트System Tables에서 Genie 사용 데이터 추출 → 대시보드경영진 보고, ROI 측정