검색의 진화: 키워드에서 대화형 검색까지
현대 RAG 시스템을 이해하려면 검색 기술이 어떻게 진화해 왔는지 를 먼저 파악해야 합니다. 검색은 단순한 키워드 매칭에서 시작하여 점점 더 지능적인 방향으로 발전해 왔습니다. 아래 표는 검색 기술의 5단계 진화 과정을 요약합니다.왜 키워드 검색이 여전히 필요한가 - “코끼리 식당” 문제
시맨틱(벡터) 검색이 아무리 발전해도 키워드 검색을 완전히 대체할 수는 없습니다. 그 이유를 “코끼리 식당”이라는 실제 상호명 검색 시나리오로 살펴봅시다. 벡터 검색의 한계:- 사용자가 “코끼리 식당”을 검색하면, 벡터 검색은 “코끼리”를 동물 로 이해합니다
- 결과: “동물원 근처 식당”, “아프리카 테마 레스토랑” 같은 의미적으로 유사하지만 전혀 다른 문서 를 반환
- 임베딩 모델은 단어의 의미를 압축하므로, 고유명사의 문자열 그 자체 를 매칭하는 데 약함
- BM25/TF-IDF 기반 검색은 “코끼리 식당”이라는 정확한 문자열 이 포함된 문서를 찾음
- 에러 코드(
DELTA_TABLE_NOT_FOUND), 제품명(DBR 15.4), 법령 번호(제42조) 등 정확 매칭이 필수 인 경우에 탁월
참고 핵심 인사이트: 벡터 검색은 “무엇을 의미하는가”를 이해하고, 키워드 검색은 “정확히 무엇이라고 쓰여 있는가”를 찾습니다. 프로덕션 RAG 시스템에서는 둘 다 필요 합니다.
생성형 AI와 검색의 상호 보완 관계
LLM과 검색은 서로의 약점을 보완하는 공생 관계 입니다. LLM이 검색에 제공하는 가치:- 문맥 파악 능력: “사과”가 과일인지 사과(謝過)인지 대화 맥락에서 판단
- Query Rewrite: 모호한 질문을 검색에 최적화된 형태로 재작성
- 의도 분류: 질문의 의도에 따라 적합한 데이터 소스로 라우팅
- 최신 정보: LLM의 학습 데이터 컷오프 이후 정보를 실시간으로 제공
- 사실 근거(Grounding): 환각을 줄이고, 출처를 명시할 수 있는 근거 문서 제공
- 도메인 지식: 기업 내부 문서, 규정, 매뉴얼 등 LLM이 학습하지 못한 전문 지식 제공