RAG Retrieval 전략 (Chunking/Reranking/HyDE)

RAG Retrieval 전략 (Chunking/Reranking/HyDE)

RAG 파이프라인에서 관련 문서를 효과적으로 검색·선별하기 위한 세부 기법으로, 청킹·임베딩·검색·재순위화 각 단계의 품질이 최종 생성 결과를 좌우

특징: 청킹 전략이 RAG 품질 좌우, Reranking으로 정밀도 향상, 하이브리드 검색(Dense+Sparse)으로 재현율·정밀도 동시 확보

구성요소

• •Chunking: 고정 크기(토큰 단위), 시맨틱(의미 단위 분할), 재귀적(구조 기반 분할), 문서 구조 활용(섹션·단락)
• •Embedding: 텍스트→벡터 변환, 모델 선택이 검색 품질 결정(OpenAI Ada, BGE, E5)
• •Dense 검색: 임베딩 유사도 기반, 의미적 매칭, 벡터DB 활용
• •Sparse 검색: BM25, TF-IDF, 키워드 매칭, 정확한 용어 검색
• •Reranking: Cross-Encoder로 질의-문서 쌍 재평가, 초기 검색 결과 재순위화, 정밀도 대폭 향상
• •HyDE(Hypothetical Document Embeddings): LLM이 가상 답변 문서 생성 → 해당 임베딩으로 검색, 질의-문서 간 의미 갭 해소

비교: Naive RAG(단순 청킹·벡터 검색·기본) vs Advanced RAG(최적 청킹·Reranking·HyDE·고품질) vs Modular RAG(파이프라인 모듈화·교체 가능·유연)

연관: RAG, 벡터 데이터베이스, 임베딩, LLM, GraphRAG