Skip to main content
Genie Space의 답변 정확도를 높이기 위한 실전 튜닝 전략을 단계별로 정리합니다.
Genie Space 기본 개념과 생성 방법은 Genie Space 운영 가이드 를 참고하세요.

1단계: 데이터 준비 — 골드 테이블 설계

Genie가 정확한 SQL을 생성하려면, 잘 정제된 골드 테이블이 필요합니다.

핵심 원칙

물리 테이블 → 시맨틱 뷰 전환

원본 물리 테이블을 주제별 시맨틱 뷰로 재구성하면 Genie 정확도가 크게 향상됩니다.

Metric View 활용

동일한 메트릭을 여러 차원으로 분석해야 할 때, 뷰를 여러 개 만드는 대신 Metric View를 사용하세요.

Dimension 정의

자주 필터로 사용되는 비즈니스 개념은 Dimension으로 미리 정의합니다.

2단계: 벤치마크 설정

Genie Space 튜닝의 핵심은 **벤치마크(평가 기준)**입니다.

벤치마크 구성 방법

1

질문 세트 작성

사용자가 실제로 물어볼 질문 20-30개를 작성합니다. 쉬운 질문부터 복잡한 질문까지 포함.
2

정답 SQL 등록

각 질문에 대한 정확한 SQL을 직접 작성하여 등록합니다.
3

벤치마크 실행

Genie가 생성한 SQL과 정답 SQL을 비교합니다. 자동으로 correct / need review 레이블이 붙습니다.
4

개선 작업

실패한 질문을 분석하여 인스트럭션 추가, 테이블 문서화 보강, 예시 쿼리 등록으로 개선합니다.
5

재실행

개선 후 벤치마크를 다시 실행하여 정확도가 올라갔는지 확인합니다. 이 사이클을 반복합니다.

벤치마크 질문 설계 팁

핵심: 가장 중요한 벤치마크는 비즈니스 용어가 포함된 질문입니다. “우량 고객”의 정의가 스키마에 없으면 Genie가 틀릴 수밖에 없습니다.

3단계: 메타데이터와 인스트럭션 튜닝

테이블/컬럼 설명

중요: Genie Space 내에서 변경한 메타데이터는 Unity Catalog 원본에 영향을 주지 않습니다. 따라서 다른 사용자/다른 Space에 영향 없이 자유롭게 설명을 추가할 수 있습니다.

JOIN 힌트

미리 조인하기 어려운 경우, Genie Space의 Joins 탭에서 테이블 간 관계를 명시합니다.

예시 쿼리 등록

Genie가 어려워하는 쿼리 유형을 **예시 쿼리(Sample Query)**로 등록합니다.

SQL Expression (재사용 가능한 빌딩 블록)

공통 비즈니스 로직을 SQL Expression으로 등록하면, Genie가 쿼리 구성 시 자동으로 활용합니다.

UDF (사용자 정의 함수) 등록

복잡한 계산은 Unity Catalog Function으로 등록하고, Genie가 도구로 사용하게 합니다.

4단계: General Instruction 작성

벤치마크에서 반복적으로 실패하는 패턴을 General Instruction으로 해결합니다.

좋은 인스트럭션 vs 나쁜 인스트럭션

인스트럭션 작성 원칙

  1. 구체적 행동을 지시 — “~할 때는 ~하세요”
  2. 비즈니스 용어를 정의 — 스키마에 없는 용어의 SQL 표현 명시
  3. 예외 처리 명시 — “~의 경우 ~을 제외하세요”
  4. 출력 형식 지정 — “금액은 원 단위로, 비율은 소수점 1자리까지”

지침 유형 선택 우선순위

Genie에게 지식을 전달하는 방법에는 우선순위가 있습니다. SQL 기반 지침이 텍스트 지침보다 항상 정확합니다.
공식 문서 권장: “SQL Expression과 예시 쿼리가 해결할 수 없는 경우에만 텍스트 인스트럭션을 사용하세요.”

명확화 질문 프롬프팅 (Clarification Prompting)

사용자의 질문이 모호할 때 Genie가 되물어보도록 인스트럭션을 설정할 수 있습니다. 명확화 질문 인스트럭션에는 4가지 요소를 포함합니다:

응답 요약 커스터마이징

텍스트 인스트럭션 끝에 “응답 요약 시 따라야 할 규칙” 섹션을 추가하면 답변 형식을 제어할 수 있습니다.

5단계: 모니터링과 지속 개선

전문가 피드백 수집

1

소수 전문가에게 공개

도메인 전문가 3-5명에게 먼저 접근 권한 부여
2

평가 도구 활용

Genie Space 내 평가(thumbs up/down) 기능으로 피드백 수집
3

피드백 기반 개선

틀린 답변을 분석하여 인스트럭션/예시 쿼리/메타데이터 보강
4

점진적 확대

정확도가 안정되면 사용자 범위를 점진적으로 확대

일반적인 문제와 해결 방법


관련 문서