> ## Documentation Index
> Fetch the complete documentation index at: https://docs.sifi.life/llms.txt
> Use this file to discover all available pages before exploring further.

# 모니터링 및 피드백

> 이 문서는 **[Genie Space](/blog/guides/genie-space/overview)** 섹션의 일부입니다.

***

## 개요

Genie Space는 배포 후에도 지속적인 모니터링과 개선이 필요합니다. 사용자들이 어떤 질문을 하고, 어떤 응답에 만족하거나 불만을 느끼는지 추적하여 Space의 품질을 점진적으로 향상시킬 수 있습니다.

### 왜 모니터링이 필수인가

Genie Space는 "한 번 만들면 끝나는 대시보드"가 아닙니다. LLM 기반 시스템은 사용자의 질문 패턴에 따라 예상치 못한 오답을 생성할 수 있으며, 비즈니스 환경 변화(신규 제품, 조직 변경, 데이터 스키마 변경)에 맞춰 지속적으로 업데이트해야 합니다.

모니터링이 제공하는 세 가지 핵심 가치:

| 가치        | 설명                         | 모니터링 없이 발생하는 문제         |
| --------- | -------------------------- | ----------------------- |
| **품질 유지** | 오답과 부정확한 응답을 조기에 발견        | 사용자가 잘못된 데이터로 의사결정      |
| **신뢰 구축** | 사용자 피드백에 빠르게 대응하여 신뢰 유지    | "부정확해서 안 쓴다"는 인식 확산     |
| **진화**    | 실제 사용 패턴을 분석하여 Space를 발전시킴 | 사용자 니즈와 Space 기능의 괴리 발생 |

> **참고**
> **실전 경험칙**: Space 배포 후 첫 2주가 가장 중요합니다. 이 기간에 사용자들이 다양한 질문을 시도하고, 이 질문들 중 오답이 되는 패턴을 빠르게 수정하면 사용자 신뢰가 확립됩니다. 반대로, 첫 2주 동안 오답을 방치하면 사용자들이 Space를 포기하고 다시 데이터팀에 요청하는 패턴으로 돌아갑니다.

***

## 모니터링 탭 상세

CAN MANAGE 권한을 가진 사용자는 **Monitoring** 탭에서 모든 사용자 활동을 확인할 수 있습니다.

### 모니터링 탭 구성

| 영역          | 표시 정보                              | 활용 방법          |
| ----------- | ---------------------------------- | -------------- |
| **질문 목록**   | 사용자가 입력한 모든 질문과 타임스탬프              | 자주 묻는 질문 패턴 파악 |
| **응답 내용**   | 생성된 SQL과 결과 테이블                    | SQL 정확성 검토     |
| **사용자 피드백** | 좋아요/싫어요 및 텍스트 코멘트                  | 불만족 응답 우선 개선   |
| **상태 표시**   | Correct, Incorrect, Pending Review | 검토 필요 항목 식별    |

### 필터링 옵션

*화면 설명: 모니터링 탭 상단에 필터 바가 있으며, 아래 기준으로 질문을 필터링할 수 있습니다.*

| 필터      | 설명                        | 사용 예             |
| ------- | ------------------------- | ---------------- |
| **기간**  | 날짜 범위로 필터링                | 지난 7일간의 질문만 보기   |
| **사용자** | 특정 사용자의 질문만 보기            | 신규 사용자의 질문 패턴 분석 |
| **평점**  | 피드백 상태별 필터링               | 부정적 피드백만 보기      |
| **상태**  | Correct/Incorrect/Pending | 미검토 항목만 보기       |

***

## 피드백 메커니즘

### 피드백이 중요한 이유

피드백은 단순한 "만족도 조사"가 아닙니다. 피드백 데이터는 Genie Space 개선의 **가장 직접적인 입력** 입니다. 긍정 피드백은 "잘 되고 있는 질문 패턴"을 확인하고 벤치마크로 등록할 수 있게 해주며, 부정 피드백은 "수정이 필요한 영역"을 정확히 지목합니다.

사용자들에게 피드백의 중요성을 사전에 안내하세요. "여러분의 피드백이 이 Space를 더 똑똑하게 만듭니다"라는 메시지를 Space Description이나 온보딩 안내에 포함하면 피드백 참여율이 높아집니다.

### 사용자 피드백 흐름

모든 Genie 응답 하단에는 **"Is this correct?"** 프롬프트가 표시됩니다:

| 옵션                 | 동작                                     | 모니터링 탭에서의 표시 |
| ------------------ | -------------------------------------- | ------------ |
| **Yes**            | 응답이 정확함을 확인. 해당 질문-SQL 쌍이 긍정 사례로 기록됨   | 녹색 체크 아이콘    |
| **Fix it**         | 오류를 설명하고 Genie에게 재시도 요청. 대화 내에서 수정 시도  | 노란색 경고 아이콘   |
| **Request review** | Space 관리자에게 검토 요청. 선택적으로 텍스트 코멘트 추가 가능 | 빨간색 리뷰 아이콘   |

> **참고**
> **Request review** 를 받으면 모니터링 탭에 해당 질문이 **Pending Review** 상태로 표시됩니다. 관리자는 이를 확인하고 적절한 조치를 취해야 합니다.

### 피드백의 중요성

| 피드백 유형                | 관리자 활용 방법                      |
| --------------------- | ------------------------------ |
| 긍정(Yes) 피드백이 많은 질문    | 벤치마크로 등록하여 품질 유지               |
| 부정(Fix it) 피드백이 많은 질문 | 인스트럭션 또는 SQL Expression 추가로 개선 |
| Review 요청             | 우선적으로 검토하고, 올바른 SQL을 인스트럭션에 반영 |

***

## 관리자 응답 액션

모니터링 탭에서 각 질문에 대해 관리자가 취할 수 있는 액션:

### 1. Correct SQL 제공

사용자의 질문에 대해 올바른 SQL을 직접 작성하여 제공합니다.

* *화면 설명: 질문 상세 화면에서 "Provide correct SQL" 버튼을 클릭하면 SQL 에디터가 열립니다.*
* 작성한 SQL은 해당 질문의 정답으로 기록됩니다.
* 향후 유사한 질문에 대해 Genie가 이 SQL을 참고합니다.

### 2. 인스트럭션 추가

오답의 원인을 분석하고, 재발 방지를 위한 인스트럭션을 추가합니다.

| 오답 유형       | 추가할 인스트럭션 유형             | 예시                                                       |
| ----------- | ------------------------ | -------------------------------------------------------- |
| 비즈니스 용어 미인식 | 텍스트 인스트럭션                | "'활성 고객'은 최근 90일 내 구매 이력이 있는 고객입니다"                      |
| 잘못된 집계 로직   | SQL Expression (Measure) | `SUM(amount) WHERE status != 'cancelled' AS net_revenue` |
| 필터 조건 누락    | SQL Expression (Filter)  | `is_deleted = false`                                     |
| 특정 질문 패턴 오답 | Example Query (인스트럭션)    | 질문-SQL 쌍을 예제 쿼리로 등록                                      |

### 3. 벤치마크로 등록

검증된 질문-응답 쌍을 벤치마크에 추가하여 향후 회귀 테스트에 활용합니다.

### 4. 응답 재생성

인스트럭션 수정 후 **Regenerate response** 를 클릭하여 개선된 응답을 확인합니다.

***

## 응답 활용 기능

각 응답에서 사용할 수 있는 기능:

| 기능                      | 설명                          | 사용 사례            |
| ----------------------- | --------------------------- | ---------------- |
| **Show code**           | 생성된 SQL 쿼리 확인               | SQL 정확성 검토       |
| **CSV 다운로드**            | 최대 약 1GB의 결과 데이터를 CSV로 다운로드 | 외부 도구에서 추가 분석    |
| **Copy CSV**            | 클립보드에 CSV 데이터 복사            | 스프레드시트에 붙여넣기     |
| **Add as instruction**  | 검증된 응답을 인스트럭션(예제 쿼리)으로 추가   | 유사 질문의 정확도 향상    |
| **Add as benchmark**    | 벤치마크로 등록                    | 회귀 테스트에 활용       |
| **Refresh data**        | 데이터 새로고침 (동일 SQL 재실행)       | 최신 데이터 확인        |
| **Regenerate response** | 응답 재생성 (SQL 다시 생성)          | 인스트럭션 수정 후 효과 확인 |

***

## 주요 메트릭 해석법

모니터링 탭에서 확인할 수 있는 데이터를 통해 Space의 건강 상태를 진단할 수 있습니다:

| 메트릭                  | 건강한 상태       | 주의 필요     | 해석 및 대응                                                  |
| -------------------- | ------------ | --------- | -------------------------------------------------------- |
| **일일 질문 수**          | 꾸준히 증가하거나 안정 | 급감        | 사용자가 Space를 신뢰하지 않거나, 오답이 많아 포기한 신호                      |
| **긍정 피드백 비율**        | 70% 이상       | 50% 미만    | 50% 미만이면 인스트럭션/메타데이터 대폭 보강 필요                            |
| **Pending Review 수** | 주 5건 이하      | 10건 이상 누적 | 즉시 처리하지 않으면 사용자 불만 증가                                    |
| **반복 질문 패턴**         | 다양한 질문 유형    | 동일 질문 반복  | 사용자가 원하는 답을 못 받아 재시도하는 것. 해당 질문 유형 우선 개선                 |
| **범위 이탈 질문**         | 10% 미만       | 30% 이상    | Space의 범위가 사용자 기대와 불일치. Description과 Sample Questions 보강 |

### 품질 저하 감지와 대응

다음 신호 중 2개 이상이 동시에 나타나면 **즉각적인 조치** 가 필요합니다:

1. **부정적 피드백 급증**: 특정 날짜 이후 Fix it/Request review가 급증 → 최근 변경사항(테이블 스키마 변경, 인스트럭션 수정) 확인
2. **사용량 급감**: 활성 사용자 수가 전주 대비 50% 이상 감소 → 사용자에게 직접 피드백 요청
3. **동일 질문 반복**: 같은 사용자가 같은 유형의 질문을 3회 이상 반복 → 해당 질문에 대한 예제 쿼리 또는 SQL Expression 추가

> **주의**
> **데이터 스키마 변경은 가장 흔한 품질 저하 원인입니다.** 소스 테이블의 컬럼이 추가/삭제/이름 변경되면 Genie의 SQL이 깨질 수 있습니다. 데이터 엔지니어링팀과 협업하여 스키마 변경 시 Space 관리자에게 알림이 가도록 프로세스를 만드세요.

***

## Audit Logging

Genie Space의 주요 활동은 Databricks Audit Log에 기록됩니다. 이는 보안 감사뿐 아니라 **Space 사용 현황 분석** 에도 활용할 수 있습니다.

| 로그 이벤트         | 기록 내용                        | 활용 목적              |
| -------------- | ---------------------------- | ------------------ |
| Space 생성/수정/삭제 | 누가 언제 Space를 변경했는지           | 변경 추적, 감사          |
| 권한 변경          | 공유 설정 변경 이력                  | 보안 감사              |
| 사용자 질문         | 질문 텍스트, 생성된 SQL, 실행 결과 메타데이터 | 사용 패턴 분석, 인기 질문 파악 |
| 피드백            | 사용자 피드백 내용                   | 만족도 추적             |
| 데이터 다운로드       | CSV 다운로드 이력                  | 데이터 유출 모니터링        |

> **참고**
> Audit Log는 **워크스페이스 관리자** 가 System Tables 또는 Log Delivery를 통해 접근할 수 있습니다. 컴플라이언스 요구사항이 있는 경우, 정기적으로 Genie 관련 로그를 검토하세요.

> **팁**
> **ROI 측정 팁**: Audit Log의 사용자 질문 데이터를 분석하면, "Genie Space가 없었다면 데이터팀에 요청했을 분석 건수"를 추정할 수 있습니다. 이를 통해 Space 도입의 비용 절감 효과를 정량화할 수 있습니다.

***

## 월간 운영 체크리스트

Space를 안정적으로 운영하기 위해 매월 아래 항목을 점검하세요:

### 일일 점검 (5분)

* [ ] 모니터링 탭에서 **Pending Review** 항목 확인 (배포 후 첫 2주는 매일 필수)

### 주간 점검 (15분)

* [ ] 모니터링 탭에서 **Pending Review** 항목 처리 완료
* [ ] 부정적 피드백(Fix it, Request review)이 있는 질문 검토 및 대응
* [ ] 자주 묻는 새로운 질문 패턴 파악 → 필요시 벤치마크에 추가
* [ ] 반복 실패하는 질문 유형 식별 → 인스트럭션/SQL Expression 보강

### 월간 점검 (1시간)

* [ ] 벤치마크 전체 실행 → 정확도 80% 이상 유지 확인
* [ ] 신규 벤치마크 추가 (모니터링에서 발견한 중요 질문 5개+)
* [ ] 사용량 추이 확인 (활성 사용자 수, 질문 수, 피드백 비율)
* [ ] 인스트럭션 정리 (중복 제거, 오래된 내용 업데이트, 모순 체크)
* [ ] 데이터 소스 변경 사항 확인 (스키마 변경, 신규 테이블, 데이터 품질 이슈)

### 분기 점검

* [ ] SME와 함께 Space 전체 리뷰
* [ ] 사용자 만족도 조사 (설문 또는 인터뷰)
* [ ] 새로운 비즈니스 요구사항 반영
* [ ] Warehouse 비용 검토 및 최적화

***

## 반복 개선 프로세스

```
1. 모니터링 탭에서 사용자 질문 패턴 분석
   ↓
2. 오답이나 부정확한 응답 식별
   ↓
3. 오답 원인 분석 (테이블? 컬럼? 용어? 로직?)
   ↓
4. 해당 원인에 맞는 수정 적용
   (인스트럭션, SQL Expression, 컬럼 설명 등)
   ↓
5. 벤치마크로 등록하여 정확도 추적
   ↓
6. 벤치마크 전체 실행으로 회귀 확인
   ↓
7. 반복
```

> **팁**
> 모니터링은 "설정 후 잊기"가 아니라 **지속적인 운영 활동** 입니다. 정기적인 모니터링을 통해 사용자 신뢰를 유지하고, Space의 가치를 극대화하세요.

***

## 운영 베스트 프랙티스

### RACI 모델 — 누가 무엇을 하는가

Space를 안정적으로 운영하려면 역할과 책임을 명확히 정의해야 합니다:

| 활동                | Space 관리자 | SME (도메인 전문가) | 데이터 엔지니어 | 최종 사용자 |
| ----------------- | --------- | ------------- | -------- | ------ |
| **모니터링 탭 일일 점검**  | 담당(R)     |               |          |        |
| **오답 원인 분석**      | 담당(R)     | 자문(C)         |          |        |
| **인스트럭션 수정**      | 담당(R)     | 검증(A)         |          |        |
| **테이블 스키마 변경 알림** | 수신(I)     |               | 담당(R)    |        |
| **피드백 제출**        |           |               |          | 담당(R)  |
| **벤치마크 정기 실행**    | 담당(R)     |               |          |        |
| **분기 리뷰**         | 담당(R)     | 참여(C)         | 참여(C)    | 참여(I)  |

### 운영 자동화 팁

| 자동화 항목                | 방법                                                 | 효과                      |
| --------------------- | -------------------------------------------------- | ----------------------- |
| **Pending Review 알림** | Databricks Workflows + Slack/Teams Webhook으로 일일 알림 | 미처리 리뷰 방지               |
| **벤치마크 정기 실행**        | 주간 Workflow Job으로 벤치마크 자동 실행                       | 스키마 변경으로 인한 품질 저하 조기 발견 |
| **사용량 리포트**           | System Tables에서 Genie 사용 데이터 추출 → 대시보드             | 경영진 보고, ROI 측정          |