같은 모델에 같은 질문을 해도 답은 조금씩 달라질 수 있다. 다만 결과에 더 큰 영향을 주는 것은 현재 컨텍스트에 어떤 정보가 들어 있느냐다.

이 장에서 기억할 핵심은 세 가지다.

• 컨텍스트 창은 20만·1백만 토큰 규모 — 모델과 플랜에 따라 달라지며, 이 장의 화면은 1백만 토큰을 기준으로 한다.
• 첫 글자를 입력하기 전 약 7,850토큰 — 대화를 시작하기 전에도 기본 정보가 이미 들어 있다.
• 사용할 명령 3개 — /context · /clear · /compact

LLM이란 무엇인가

Large Language Model은 큰 언어 모델이라는 뜻이다. 방대한 자료에서 패턴을 학습하고, 주어진 맥락을 바탕으로 다음에 올 토큰을 이어 가며 답을 만드는 프로그램이다.

모델은 학습을 마친 프로그램의 한 버전을 가리킨다. "새 모델이 나왔다"는 새로 학습하거나 조정한 버전이 나왔다는 뜻이다.

답은 토큰을 하나씩 이어 만든 결과

LLM은 문장을 완성된 덩어리로 한 번에 내놓지 않는다. 다음에 올 토큰을 하나씩 고르고, 지금까지 생성한 내용을 바탕으로 다음 토큰을 이어 간다.

이 때문에 두 가지를 기억해야 한다.

• 같은 질문에도 달라질 수 있는 답변 — 생성 과정에 변동성이 있어 결과가 언제나 똑같지는 않다.
• 그럴듯함과 사실 여부는 별개 — LLM은 데이터베이스처럼 사실을 조회하고 검증한 뒤 답하는 시스템이 아니다. 따라서 근거가 부족해도 자연스러운 문장을 만들 수 있으며, 이 특성이 환각으로 이어지기도 한다.

모델의 학습 기준 시점

모델은 특정 시점까지의 자료로 학습하므로 그 이후의 정보를 자동으로 알지는 못한다. 최신 소식이나 최근 변경된 사내 문서를 다루려면 자료를 직접 제공하거나(5장), 필요한 도구를 연결해 찾아보게 해야 한다(6장).

지난 대화가 이어지는 원리

같은 대화 안에서 앞 내용을 기억하는 것처럼 보이는 이유는 이전 메시지가 계속 컨텍스트에 포함되기 때문이다. 대화가 길어질수록 요청할 때마다 함께 처리해야 할 양도 늘어나고, 결국 컨텍스트 창의 한계에 가까워진다.

새 대화에서도 이전 정보가 남아 있는 것처럼 보일 수 있다. 이는 모델이 대화 중에 새로 학습한 결과가 아니라, Claude의 메모리나 CLAUDE.md·자동 메모리처럼 제품에 저장된 정보를 다시 불러온 결과다(7장).

대화를 오래 나눠도 모델 자체가 사용자의 말투나 취향을 그 자리에서 새로 학습하는 것은 아니다. 일반적인 대화 중에는 모델의 학습된 가중치가 바뀌지 않는다.