<aside> 💡

LLM이 만든 결과를 바로 발행하지 않고, 검증과 실패 처리를 거치도록 설계했습니다.

</aside>

개인 프로젝트 LLM Agent Automation Reliable AI

문제

콘텐츠 생성 자체보다 환각, 품질 편차, 외부 API 실패와 중복 발행을 안정적으로 통제하는 것이 더 어려웠습니다.

나의 역할

• 뉴스 수집부터 생성·렌더링·발행까지 파이프라인 복원
• Claim/Evidence 기반 Quality Gate와 결정적 검증 구조 설계
• 발행 상태, 재시도 Allowlist, 멱등성 처리
• 실험·성과 분석용 FastAPI와 Streamlit 대시보드 구현

핵심 판단

1. 규칙으로 판정 가능한 오류는 코드로 검사했습니다.
2. 검증 실패가 승인으로 해석되지 않도록 Fail-closed 방식을 택했습니다.
3. 생성 성공과 실제 게시 성공을 서로 다른 상태로 관리했습니다.

검증 결과

• 품질 강화 Draft PR 기준 104개 테스트 통과
• 출처에 없는 숫자 Claim 차단 테스트
• 테스트 실행 중 운영 DB 변경 0회

현재 범위

<aside> ⚠️

품질 강화 작업은 현재 Draft PR / Dry-run 검증 상태입니다. 실제 외부 게시 재개 전 최종 운영 점검이 필요합니다.

</aside>

Links