Why This Card Exists

"AI의 출력을 사람이 어떻게 믿는가"라는 질문의 세 번째 증거입니다. Search-Pro의 검증 게이트, STAR-Coach의 설명 레이어에 이어 — AI가 만든 지식의 모든 값을 화면 픽셀까지 되짚을 수 있게 만든 플러그인입니다.

앞의 둘과 다른 점은 개발 과정 자체가 측정 실험이었다는 것입니다. 20라운드 동안 아키텍처 6종을 실측 비교하고, 실패한 설계는 근거를 남기고 되돌렸습니다.

Problem — 중요한 값은 말하지 않는다

튜토리얼 영상에서 정작 필요한 값(설정값·명령어·수치)은 화면에만 있고 말로는 하지 않습니다. 자동 자막은 그걸 잘못 옮깁니다.

마지막 줄이 이 도구의 존재 이유입니다. 자막만 믿은 AI는 136차원 벡터를 만들고, 그 코드는 전부 깨집니다. 사람은 화면을 보고 알아채지만, 자막만 읽는 도구는 못 잡습니다. 그리고 그 값을 그대로 실행하는 건 AI입니다.

How — 측정으로 설계를 정했다

프롬프트를 고쳐 가며 감으로 튜닝하는 대신, 같은 영상을 반복 실행해 구조를 비교했습니다.

발견 1 — 나누면 싸질 것 같지만 아니다

LLM은 요청 사이에 기억이 없어 매번 문맥 전부를 다시 보냅니다. 새 문맥에 재료를 처음 넣는 값(캐시 쓰기)이 재사용의 12.5배라, 나누면 재료를 여러 번 사게 됩니다. 게다가 화면을 본 문맥이 문서까지 써야 설정값 회수가 가장 높았습니다.

발견 2 — 프롬프트는 부탁, 코드는 규칙

한 세션 실측: 코드 게이트 위반 0회, 프롬프트 위반 여러 번.

가장 아팠던 사례 — 프롬프트가 "확대는 1024로 뽑아라"라고 요구했는데 스크립트 기본값이 512였고, 그건 지도 프레임과 같은 해상도였습니다. 지시를 놓친 실행은 확대가 같은 파일을 다시 만들어 읽을 새 정보가 없었습니다.

그래서 조율은 늘 같은 모양이었습니다 — 판단을 하나씩 코드로 옮긴다. 프레임 개수, 지식 예산, 검문 분모, 형식 관용을 전부 프롬프트의 부탁에서 스크립트의 계산으로 옮겼고, 옮길 때마다 위반이 0이 됐습니다.

발견 3 — 조용한 실패가 가장 비싸다

에러를 내는 버그는 금방 찾습니다. 문제는 조용히 초록불이 켜지는 것이었습니다.