한 줄 소개

복잡한 가전제품 사용설명서를 시니어가 따라 하기 쉬운 단계형 안내로 바꾸는 AI 모바일 서비스. 보호자가 제품 라벨과 설명서를 등록하면, 시니어는 텍스트·음성으로 물어보고 단계별로 따라 합니다.

내 역할

AI 파트 전담 (OCR·RAG 구현, 품질 평가) — 알파프로젝트 V(6학점) · 4인 팀 · 2026-2학기 15주 · 지도교수 박종혁

문제

가전 설명서는 길고 용어가 어려워, 시니어가 원하는 기능 하나를 찾아 순서대로 따라 하기 어렵습니다. AI가 틀린 단계를 지어내면 오히려 위험할 수 있어, 설명서에 근거가 있는 단계만 안내해야 합니다.

AI 파이프라인

제품 라벨 사진 → 라벨 OCR → 모델명 정규화 → 설명서 자동 매칭 → 설명서 텍스트 추출(텍스트 레이어는 그대로, 스캔 페이지만 OCR) → 청킹 → bge-m3 임베딩·Qdrant 색인 → 질문 검색 → 근거 판단 후 단계형 답변 생성

평가 추이

시점 평가셋 hit@3 MRR
W4 임베딩 bge-m3 전환 smoke 9문항 0.778 → 1.000 0.667 → 0.889
W6 청크 길이 조정 Development 29문항 0.793 → 0.897 0.717 → 0.748
W10 최종 검증 Golden(처음 보는 설명서) 85문항 0.800 0.685

작은 평가셋에서 좋아 보인 설정을 그대로 믿지 않고, 마지막에 한 번도 보지 않은 설명서로 다시 재었습니다.

데이터 품질 관리

한 일 (주차별)