모든 수치를 매일 기록할 필요는 없어. 체크포인트 종료 때 갱신하면 충분해.
- Milestone Completion
각 마일스톤 완료 조건 중 충족 비율.
- Verified Capability Count
문서에 적힌 기능이 아니라 테스트와 실전으로 증명된 능력 수.
- Live Validation Count
실제 Qwen·아이폰으로 검증한 시나리오 수.
- Safety Invariant Count
다시 깨지면 안 되는 규칙의 수. 현재 최소 4개.
- Known Problem Count
막연한 불만이 아니라 재현 가능한 문제의 수.
- Problem Conversion Rate
관찰된 실패 중 구조화된 Problem으로 전환된 비율.
- Regression Coverage
실제 발생한 문제 중 회귀 테스트가 생긴 비율.
- Useful Intervention Rate
개입 결과 중 네가 “쓸 만함”으로 평가한 비율.
- Unsupported Claim Escape Rate
근거 없는 사실이 사용자에게 노출된 비율. 목표는 0%.
- Language Compliance Rate
한국어 요청에 자연스러운 한국어가 나온 비율.
- Median Local Latency
로컬 모델이 실제 생활에서 기다릴 만한 속도인지 측정.
- Validated Improvement Count
새 버전이 이전 버전을 평가에서 실제로 이긴 횟수. 장기적으로 가장 중요한 지표.