💡 결론 먼저. AI는 모르는 것도 자신 있게 대답합니다. 고장이 아니라 성질이고, 유료 결제해도 안 없어집니다. 이 성질만 알면 AI는 최고의 직원이고, 모르면 가끔 큰일을 냅니다.

제가 제일 크게 데일 뻔했던 사건부터 다시 이야기하겠습니다. 무료/유료 편에서 짧게 스친 그 일인데, 이번엔 그날의 전말과 그 뒤로 생긴 습관까지 적습니다.

1. "확인했습니다"라는 말에 데인 날

발매 직전 곡 중에 유명곡과 제목이 같은 곡이 있었습니다. AI에게 물었죠. "이 가사, 원곡이랑 겹치는 데 없는지 확인해줘." 답은 즐겁게 확실했습니다. "전혀 다릅니다. 완전한 자작 가사입니다."

마지막 점검에서 원곡 가사를 직접 검색해 한 줄씩 대조해보니, 첫 소절이 원곡과 거의 그대로였습니다. AI는 원곡 가사를 어디 가서 찾아본 게 아니라 '기억'으로 답했던 거고, 그 기억이 틀렸던 겁니다. 이게 흔히 말하는 **환각(할루시네이션)**입니다.

여기서 중요한 건, AI가 틀릴 때 "글쎄요, 잘 모르겠는데요" 하지 않는다는 겁니다. 맞을 때랑 완전히 같은 톤으로 틀립니다. 그래서 말투로는 구별이 안 되고, 상황으로 구별해야 합니다.

2. 위험 신호 — 이런 답은 일단 의심하세요

수백 번 당하고 맞으며 정리한 패턴입니다.

고유명사·숫자·인용이 들어간 답 — 책 제목, 가격, 법 조항, 누가 한 말. 환각의 단골 서식지입니다.
최신 정보 — 웹 검색 기능이 있는 AI도 오래된 페이지를 고르거나 원문을 잘못 읽을 수 있습니다. 요금제·정책·뉴스는 공식 원문과 수정일을 확인해야 합니다.
"분명히", "100%", "확실합니다"가 붙은 답 — 사람도 그렇지만, 근거 없는 확신일수록 말이 매끄럽습니다.
내가 원하는 답에 맞장구치는 답 — AI는 기본적으로 친절해서, 제 가설을 들이밀면 동의해주는 쪽으로 기웁니다. 맞장구는 검증이 아닙니다.
출처를 물으면 얼버무리는 답 — "일반적으로 알려져 있습니다" 같은 말이 나오면 기억으로 답하고 있다는 뜻입니다.

사실은 공식 원문으로 교차확인 — AI 답을 출발점으로만 쓰고, 숫자·고유명사·정책은 해당 기관이나 회사의 실제 문서를 엽니다.
질문에 한 줄 추가: "확실하지 않으면 모른다고 해" — 이 한 줄이 헛소리를 상당부분 줄여줍니다.
다른 AI의 답은 경고등으로만 쓰기 — 답이 다르면 반드시 확인해야 한다는 신호입니다. 둘이 같은 답을 했다고 사실이 되는 것은 아닙니다. 여러 AI가 같은 오래된 정보나 같은 오류를 반복할 수도 있습니다.
원본 대조는 사람이 직접 — 제 작업 규칙에는 이 조항이 있습니다: "AI의 '확인했습니다'는 확인이 아니다." 돈·법·계약·건강이 걸린 건 무조건입니다.
AI에게 자기 검증을 시키기 — "방금 답에서 틀렸을 가능성이 있는 부분을 짚어봐." 문장 속 불확실한 지점을 찾는 보조 수단으로는 쓸 수 있지만, 자기 검토 결과가 증거가 되지는 않습니다.