모든 수치를 매일 기록할 필요는 없어. 체크포인트 종료 때 갱신하면 충분해.

  1. Milestone Completion 각 마일스톤 완료 조건 중 충족 비율.
  2. Verified Capability Count 문서에 적힌 기능이 아니라 테스트와 실전으로 증명된 능력 수.
  3. Live Validation Count 실제 Qwen·아이폰으로 검증한 시나리오 수.
  4. Safety Invariant Count 다시 깨지면 안 되는 규칙의 수. 현재 최소 4개.
  5. Known Problem Count 막연한 불만이 아니라 재현 가능한 문제의 수.
  6. Problem Conversion Rate 관찰된 실패 중 구조화된 Problem으로 전환된 비율.
  7. Regression Coverage 실제 발생한 문제 중 회귀 테스트가 생긴 비율.
  8. Useful Intervention Rate 개입 결과 중 네가 “쓸 만함”으로 평가한 비율.
  9. Unsupported Claim Escape Rate 근거 없는 사실이 사용자에게 노출된 비율. 목표는 0%.
  10. Language Compliance Rate 한국어 요청에 자연스러운 한국어가 나온 비율.
  11. Median Local Latency 로컬 모델이 실제 생활에서 기다릴 만한 속도인지 측정.
  12. Validated Improvement Count 새 버전이 이전 버전을 평가에서 실제로 이긴 횟수. 장기적으로 가장 중요한 지표.