고급 Retrieval 전략

RAG 시스템의 성능은 검색(Retrieval) 품질 에 가장 크게 좌우됩니다. 이 가이드에서는 기본 Dense Retrieval을 넘어, 검색 기술의 진화 과정부터 한국어 하이브리드 검색, 고급 전처리/후처리 전략, 그리고 Databricks 환경에서의 프로덕션 구현 로드맵까지 포괄적으로 다룹니다.

---

​

검색의 진화: 키워드에서 대화형 검색까지

현대 RAG 시스템을 이해하려면 검색 기술이 어떻게 진화해 왔는지 를 먼저 파악해야 합니다. 검색은 단순한 키워드 매칭에서 시작하여 점점 더 지능적인 방향으로 발전해 왔습니다. 아래 표는 검색 기술의 5단계 진화 과정을 요약합니다.

​

왜 키워드 검색이 여전히 필요한가 - “코끼리 식당” 문제

시맨틱(벡터) 검색이 아무리 발전해도 키워드 검색을 완전히 대체할 수는 없습니다. 그 이유를 “코끼리 식당”이라는 실제 상호명 검색 시나리오로 살펴봅시다. 벡터 검색의 한계:

• 사용자가 “코끼리 식당”을 검색하면, 벡터 검색은 “코끼리”를 동물 로 이해합니다
• 결과: “동물원 근처 식당”, “아프리카 테마 레스토랑” 같은 의미적으로 유사하지만 전혀 다른 문서 를 반환
• 임베딩 모델은 단어의 의미를 압축하므로, 고유명사의 문자열 그 자체 를 매칭하는 데 약함

키워드 검색의 강점:

• BM25/TF-IDF 기반 검색은 “코끼리 식당”이라는 정확한 문자열 이 포함된 문서를 찾음
• 에러 코드(DELTA_TABLE_NOT_FOUND), 제품명(DBR 15.4), 법령 번호(제42조) 등 정확 매칭이 필수 인 경우에 탁월

참고 핵심 인사이트: 벡터 검색은 “무엇을 의미하는가”를 이해하고, 키워드 검색은 “정확히 무엇이라고 쓰여 있는가”를 찾습니다. 프로덕션 RAG 시스템에서는 둘 다 필요 합니다.

​

생성형 AI와 검색의 상호 보완 관계

LLM과 검색은 서로의 약점을 보완하는 공생 관계 입니다. LLM이 검색에 제공하는 가치:

• 문맥 파악 능력: “사과”가 과일인지 사과(謝過)인지 대화 맥락에서 판단
• Query Rewrite: 모호한 질문을 검색에 최적화된 형태로 재작성
• 의도 분류: 질문의 의도에 따라 적합한 데이터 소스로 라우팅

검색이 LLM에 제공하는 가치:

• 최신 정보: LLM의 학습 데이터 컷오프 이후 정보를 실시간으로 제공
• 사실 근거(Grounding): 환각을 줄이고, 출처를 명시할 수 있는 근거 문서 제공
• 도메인 지식: 기업 내부 문서, 규정, 매뉴얼 등 LLM이 학습하지 못한 전문 지식 제공

---

​

서브 페이지