소요 시간: ~2시간 | 사전 조건: 04. 대시보드 & Genie Space 완료 (Genie Space 3개 필요) 핵심 메시지: “대시보드는 보는 것, Genie는 묻는 것, 에이전트는 행동하는 것”
이 모듈에서 사용하는 Databricks 기능
| 기능 | 설명 | 공식 문서 |
|---|---|---|
| Agent Bricks | Databricks에서 AI 에이전트를 코드 없이 UI/API로 생성하는 기능입니다. Knowledge Assistant(문서 Q&A), Genie Agent(데이터 분석), Supervisor(오케스트레이션) 세 가지 유형이 있습니다. | docs |
| Vector Search | 텍스트를 벡터(숫자 배열)로 변환하여 의미적으로 유사한 문서를 빠르게 찾는 기능입니다. Knowledge Assistant의 핵심 — FAQ 문서를 인덱싱하여 관련 답변을 검색합니다. | docs |
| Model Serving | AI 모델을 API 엔드포인트로 배포하여 실시간으로 호출하는 기능입니다. 에이전트의 LLM(Claude, Llama 등)과 임베딩 모델이 여기서 서빙됩니다. | docs |
| Lakebase | Databricks에 내장된 PostgreSQL 호환 OLTP 데이터베이스입니다. 에이전트 대화 이력, 사용자 선호도 등 트랜잭션 데이터를 저장합니다. (선택 사항) | docs |
개요
이 모듈에서는 3가지 유형의 에이전트를 구축하고, 이들을 하나의 Supervisor Agent로 통합합니다:| 에이전트 | 역할 | 데이터 소스 | 사용 시나리오 |
|---|---|---|---|
| Knowledge Assistant | Smart TV 사용 가이드 Q&A | PDF/문서 (Vector Search) | “DolbyVision 설정 방법은?”, “OLED 번인 예방법은?” |
| Genie Agent | 데이터 기반 분석 질의 | Gold 테이블 (Genie Space) | “이번 주 시청 시간 추이는?”, “에러율이 높은 펌웨어는?” |
| Supervisor Agent | 위 에이전트 오케스트레이션 | 위 에이전트들 | 질문 의도에 따라 적절한 에이전트로 라우팅 |
Part A: Knowledge Assistant (KA) — Smart TV 가이드 챗봇
개념
Knowledge Assistant는 비정형 문서(PDF, 매뉴얼, FAQ)를 Vector Search로 인덱싱하여, 사용자 질문에 관련 문서 조각을 찾아 답변하는 RAG 기반 에이전트입니다.
💡 왜 일반 SQL 검색이 아닌 Vector Search? SQL의 LIKE '%번인%' 검색은 정확히 “번인”이라는 단어가 포함된 문서만 찾습니다. 하지만 Vector Search는 “OLED 화면 잔상 방지”처럼 의미적으로 비슷한 문서도 찾아냅니다. 이것이 RAG(Retrieval-Augmented Generation) 기반 에이전트의 핵심입니다. RAG란 “질문과 관련된 문서를 먼저 검색(Retrieval)한 뒤, 그 문서를 LLM에 전달하여 답변을 생성(Generation)하는 방식”입니다.
Step 1: 지식 문서 준비
Genie Code 프롬프트: FAQ 문서 생성
Step 2: Knowledge Assistant 생성
사전 준비: Vector Search 엔드포인트 생성
⚠️ Vector Search 엔드포인트 생성은 5~10분 소요됩니다. KA 생성 전에 미리 시작하세요:
엔드포인트 상태가 “Online”이 된 후 아래 Knowledge Assistant 생성을 진행하세요.
Genie Code 프롬프트 (AI Dev Kit MCP 활용)
KA 생성 확인
⚠️ 주의: Vector Search 인덱싱은 5~10분 소요됩니다. 인덱스 상태가 “PROVISIONING”이면 “ONLINE”이 될 때까지 기다린 뒤 테스트하세요. 인덱싱 완료 전에 KA에 질문하면 “관련 문서를 찾을 수 없습니다”라고 답합니다.
Step 3: Knowledge Assistant 테스트 & 평가
Genie Code 프롬프트
Part B: Genie Agent — 데이터 분석 에이전트
개념
Genie Agent는 앞서 만든 Genie Space를 에이전트의 도구(tool)로 사용하여, 데이터 기반 질문에 SQL 쿼리로 답변합니다.Step 1: Genie Agent 생성
Genie Code 프롬프트 (AI Dev Kit MCP 활용)
Genie Agent 생성 확인
Part C: Supervisor Agent — 멀티 에이전트 오케스트레이션
개념
Supervisor Agent는 사용자 질문의 **의도(intent)**를 파악하여, 적절한 하위 에이전트로 라우팅합니다. 단일 질문이 여러 에이전트의 정보를 필요로 할 수도 있습니다.Step 1: Supervisor Agent 생성
Genie Code 프롬프트 (AI Dev Kit MCP 활용)
Step 2: Supervisor Agent 통합 테스트
💡 테스트 전략: 5개 시나리오를 한꺼번에 테스트하지 말고, 단순 → 복잡 순서로 하나씩 진행하세요. 각 시나리오 사이에 결과를 확인하고, 문제가 있으면 먼저 해결한 뒤 다음으로 넘어갑니다.단계별 테스트 순서:
| 순서 | 테스트 목적 | 프롬프트 | 기대 라우팅 |
|---|---|---|---|
| 1단계 | KA 라우팅 확인 | ”OLED 번인을 예방하려면?” | → KA |
| 2단계 | Genie 라우팅 확인 | ”이번 주 시청 시간 추이는?” | → Genie |
| 3단계 | 하이브리드 라우팅 | ”버퍼링 현황과 해결 방법” | → Genie + KA |
| 4단계 | 의사결정 지원 | ”ThinQ 사용률과 연결 방법” | → Genie + KA |
| 5단계 | 복합 분석 | ”펌웨어 에러 원인과 해결” | → Genie + Genie + KA |
Genie Code 프롬프트
Part D: Lakebase 연동 — 에이전트 세션 관리 (선택)
Lakebase 사용 가능한 환경에서만 진행합니다.
Lakebase 사용 불가 시: 아래 프롬프트로 확인한 뒤, 불가하면 이 Part를 건너뛰세요. 에이전트는 Lakebase 없이도 정상 동작합니다.
개념
에이전트와 사용자의 대화 이력을 **Lakebase(PostgreSQL 호환 OLTP)**에 저장하면:- 대화 컨텍스트 유지 (이전 대화 참조)
- 사용자별 선호도 학습
- 에이전트 사용 패턴 분석
Step 1: Lakebase 데이터베이스 생성
Genie Code 프롬프트 (AI Dev Kit MCP 활용)
Step 2: 에이전트에 Lakebase 연동
Genie Code 프롬프트
Part E: 에이전트 고도화 팁
1. Knowledge Assistant 정확도 향상
| 방법 | 설명 | 효과 |
|---|---|---|
| 청킹 최적화 | content를 500자 단위로 분할, 오버랩 100자 | 검색 정밀도 향상 |
| 메타데이터 필터 | category 기반 사전 필터링 | 불필요한 문서 제외 |
| Hybrid Search | 키워드 + 벡터 검색 결합 | 정확한 용어 매칭 + 의미 검색 |
| 리랭킹 | 검색 결과 상위 20개를 LLM으로 재정렬 | 최종 답변 품질 향상 |
2. Genie Agent 정확도 향상
| 방법 | 설명 | 효과 |
|---|---|---|
| 샘플 질문 추가 | 실패한 질문을 샘플로 등록 | SQL 정확도 직접 향상 |
| 테이블 COMMENT 보강 | 컬럼 값 범위, 단위 명시 | Genie의 컬럼 선택 정확도 |
| General Instructions | 비즈니스 용어 사전 추가 | 도메인 용어 이해도 |
| Gold 테이블 단순화 | 복잡한 조인 사전 수행 | Genie의 SQL 복잡도 감소 |
3. Supervisor 라우팅 정확도 향상
| 방법 | 설명 |
|---|---|
| 의도 분류 예시 추가 | System Prompt에 더 많은 예시 추가 |
| Fallback 전략 | 라우팅 불확실 시 둘 다 호출하여 답변 통합 |
| 피드백 루프 | agent_feedback 테이블의 데이터로 지속 개선 |
Part F: 실전 데모 시나리오
시나리오: “LG Smart TV CS 상담 어시스턴트”
교육 마무리 데모로 아래 대화를 시연합니다:핵심 포인트 정리
| 배운 것 | Databricks 기능 | 비즈니스 가치 |
|---|---|---|
| Knowledge Assistant | Vector Search, RAG | 24시간 자동 CS, 매뉴얼 검색 자동화 |
| Genie Agent | Genie Space (NL2SQL) | 비개발자 셀프서비스 분석 |
| Supervisor Agent | Multi-Agent Orchestration | 단일 인터페이스로 모든 질문 해결 |
| Lakebase 연동 | PostgreSQL OLTP | 대화 이력, 선호도 저장 |
| 에이전트 평가 | MLflow Tracing | 품질 모니터링 및 지속 개선 |