가장 큰 사고는 틀린 답 자체보다, 틀린 답을 사실로 믿고 사용했을 때 발생한다.
이 장에서 기억할 핵심은 세 가지다.
1장에서 살펴본 것처럼 LLM은 가장 그럴듯한 다음 낱말을 고르며 답을 만든다. 사실과 오류가 같은 생성 과정을 거치므로, 근거가 부족한 상황에서도 답을 이어 갈 수 있다.
공식 문서는 이 특성이 실무에서 어떻게 드러나는지 다음과 같이 설명한다. "일이 끝난 것처럼 보이면 멈춘다. 돌려볼 검사가 없으면 '끝난 것처럼 보임'이 유일한 신호가 된다."
모델이 의도적으로 거짓말을 한다기보다, 그럴듯함과 정확성을 구별할 기준이 없으면 자연스러운 답을 우선할 수 있다. 이 장에서는 그 판단 기준을 제공하는 방법을 다룬다.
하나. 지나치게 매끄러운 답
불확실성이나 확인이 필요한 부분을 밝히지 않은 채 답이 매끄럽게 이어진다. 근거를 갖춘 답이라면 확인이 필요한 범위나 판단의 한계를 함께 밝힐 수 있다.
둘. 확인할 수 없는 구체적 정보
존재하지 않는 파일 이름·옵션·문서 주소·통계를 구체적으로 제시한다. 정보가 구체적이라는 이유만으로 신뢰해서는 안 된다.
셋. 모호한 출처
일반적으로, 보통은, 알려진 바로는처럼 출처가 드러나지 않는 표현을 사용한다. 근거를 제시하지 못한다면 확인되지 않은 답일 수 있다.
넷. 지적을 곧바로 수용하는 태도
근거를 확인하지 않고 곧바로 말씀이 맞습니다라고 답한다면 처음 답에도 충분한 근거가 없었을 가능성이 있다. 지적을 받았을 때는 기존 답과 수정된 답의 근거를 함께 확인해야 한다.