RAG(검색 증강 생성)는 모델이 답을 내놓기 전에 관련 문서를 먼저 검색해, 그 내용을 근거로 답변을 생성하는 구조다. 초기 RAG가 단순히 비슷한 문서를 찾아 붙이는 수준이었다면, 최근의 RAG 2.0은 질문을 여러 단계로 재구성하거나 검색 결과의 신뢰도를 스스로 평가하는 등 훨씬 정교한 파이프라인으로 발전했다. 특히 기업 내부 문서처럼 모델이 학습하지 않은 최신·비공개 정보를 정확하게 인용해야 하는 환경에서는 RAG가 사실상 필수 구성 요소로 자리잡았다.
환각을 막는 검색, 문서를 나누고 임베딩하기
검색 없이 모델의 기억에만 의존하면, 오래된 정보나 존재하지 않는 내용을 그럴듯하게 지어내는 환각으로 이어지기 쉽다. 검색 품질이 곧 답변 품질을 좌우하기 때문에, 문서를 어떻게 잘게 나누고 임베딩할지가 실무에서 가장 공들이는 부분이다. 문단을 너무 잘게 나누면 맥락을 잃고, 너무 크게 나누면 관련 없는 내용까지 섞여 들어간다.
재순위화와 질문 재작성, 검색 결과를 다시 의심하는 단계
RAG 2.0에서는 검색된 문서를 그대로 믿지 않고, ‘이 문서가 정말 질문에 답할 근거가 되는가’를 다시 한 번 판단하는 재순위화(reranking) 단계가 추가되는 경우가 많다.
검색 엔진의 1차 결과를 모델이 다시 걸러내는 이중 검증 구조다. 질문 재작성(query rewriting)도 중요한 발전 지점이다. 사용자의 원래 질문이 모호하거나 검색에 부적합한 형태일 때, 이를 검색에 유리한 형태로 다시 써서 여러 번 검색을 시도하는 방식이 답변의 정확도를 크게 높인다.
파인튜닝의 대안, 그리고 따로 관리하는 검색 지표
RAG는 파인튜닝의 대안으로도 자주 언급된다. 모델 자체를 다시 학습시키는 대신, 최신 정보를 검색으로 공급하는 쪽이 비용과 유지보수 측면에서 훨씬 유리하기 때문에, 최신성이 중요한 업무일수록 RAG를 우선 검토하는 경우가 많다.
실무에서는 RAG 파이프라인의 성능을 별도로 측정하는 지표도 함께 관리된다.
- 정밀도. 검색된 문서가 실제로 질문과 관련이 있는지
- 재현율. 관련 문서를 빠짐없이 찾아냈는지
이를 주기적으로 점검하지 않으면 품질 저하를 뒤늦게 발견하게 된다. 사내 지식베이스가 자주 바뀌는 조직일수록 RAG의 효과가 크다. 모델을 다시 학습시킬 필요 없이, 검색 대상 문서만 최신화하면 답변도 자동으로 최신 정보를 반영하기 때문이다.
하이브리드 검색, 다국어 문서, 청킹 전략
RAG 파이프라인 구축에는 검색 엔진 선택도 중요한 변수다.
전통적인 키워드 검색과 의미 기반 벡터 검색을 함께 쓰는 하이브리드 검색이, 어느 한쪽만 쓰는 것보다 더 안정적인 결과를 낸다는 것이 실무에서 널리 확인됐다. 다국어 문서를 다루는 조직에서는 언어별로 검색 품질이 다르게 나타나는 문제도 겪는다. 이 때문에 언어에 따라 별도의 임베딩 모델을 쓰거나, 번역을 거쳐 검색하는 등의 보완책이 함께 논의되고 있다. RAG 시스템의 성능은 결국 문서를 얼마나 적절한 크기로 쪼개는지(청킹 전략)에 크게 좌우된다.
너무 잘게 쪼개면 문맥이 끊기고, 너무 크게 쪼개면 불필요한 정보까지 섞여 정확도가 떨어지는 딜레마가 있다.
비공개 지식을 다루는 사실상 유일한 방법, 그리고 인용
RAG는 모델을 재학습시키지 않고도 최신 정보를 반영할 수 있다는 점에서, 특히 규정이나 정책이 자주 바뀌는 산업(금융, 의료, 법률)에서 실용적인 대안으로 자리잡고 있다. RAG는 사내 문서, 매뉴얼, 회의록처럼 외부에 공개되지 않은 비공개 지식을 AI가 다루게 할 수 있는 사실상 유일한 방법이기도 하다.
모델을 재학습시키지 않고도 조직 고유의 지식을 활용할 수 있게 해준다. 검색된 문서의 출처를 답변과 함께 표시하는 ‘인용’ 기능은 RAG 시스템의 신뢰도를 크게 높인다. 사용자가 답변의 근거를 직접 확인할 수 있다는 점이 환각 우려를 줄이는 데 도움을 준다.
도입 조직의 점검 절차와 확장 경로
RAG를 도입하려는 조직이라면, 검색 품질을 정기적으로 점검하는 절차를 함께 마련해야 한다.
아무리 좋은 언어 모델을 쓰더라도, 애초에 검색되어 온 자료가 부정확하면 답변의 질도 함께 떨어지기 때문이다.
RAG 구축 경험이 쌓인 기업들은, 초기에는 단순 문서 검색으로 시작했다가 점차 사내 데이터베이스, 티켓 시스템 등 다양한 데이터 소스를 통합하는 방향으로 확장해가는 경향을 보인다.
정리
결국 RAG 2.0의 핵심은 ‘검색해서 붙이기’에서 ‘검색 결과를 의심하고 검증하기’로 무게중심이 옮겨간 것이다. 이 정교함의 차이가 실제 서비스 품질에서 체감되는 격차로 이어지고 있다.