날짜: 2026-09-15 · AI 탭 학습 노트

🧠 RAG vs CAG — 긴 컨텍스트 시대에 지식을 어떻게 먹일까

LLM이 답을 잘하게 하려면, 모델 안에 들어 있는 ‘기억’만으로는 부족한 경우가 많다. 사내 문서, 어제 올린 노션, 우리 레포 코드… 이런 건 학습 때 없던 정보다. 그래서 답을 만들기 직전에 외부 지식을 맥락(context)에 실어 주는 방법을 쓴다.

그 방법이 하나가 아니다. 대표 축이 두 개다.

🔍 RAG — Retrieval-Augmented Generation (검색해서 붙이기)
🗄️ CAG — Cache-Augmented Generation (미리 올려두고 캐시로 쓰기)

이름만 비슷해 보이는데, 지식을 언제·어떻게·얼마나 창에 넣는가가 근본적으로 다르다. 이 글은 “뭐가 무조건 낫다”가 아니라, 내가 이해한 차이와 팀을 붙잡는 고민을 정리한 학습 노트다.

0. 🌱 공통 전제 — 모델은 매 호출마다 상태를 안 가진다

LLM API 한 번은 대체로 stateless다. 그 호출에 넣어 준 토큰(시스템 지시 + 대화 + 문서 조각)만 보고 답을 만든다.

그래서 “대화가 길어지면 멍청해진다”, “문서가 많아지면 헷갈린다”는 체감은 종종 모델이 나빠진 것이 아니라 우리가 컨텍스트를 어떻게 조립했는지 문제다.

증상	원인이 되는 조립
😵 지시가 묻힘 · 중간이 약해짐	너무 길게 쌓음 (Lost in the Middle)
👻 환각 · 근거 없음	너무 적게 넣음
🎲 같은 질문인데 답이 흔들림	매번 다르게 넣음

RAG와 CAG는 이 조립 전략의 두 가지 철학이다.

1. 🤔 사람들이 실제로 고민하는 지점

정의를 외우기 전에, 팀이 붙잡는 질문은 보통 아래다.

1️⃣ 지식의 크기와 수명

문서가 GB급으로 계속 늘어나는가, 아니면 매뉴얼 한 묶음처럼 유한한가?
하루에도 여러 번 갱신되는가, 분기 단위로 바뀌는가?