AI가 행동 라벨과 관찰 근거를 제안하고, 연구자가 이를 검수하여 동물 행동 학습 데이터를 빠르게 구축하는 브라우저 기반 라벨링 도구
Be-MOre Duck Vision-Language Embodied Agent 프로젝트 보조 도구
개인 미니 프로젝트 / 진행 중
현재 상태: 수동 라벨링 프로토타입 구현 완료, AI 보조 기능 확장 예정
🎯 Executive Summary
- 문제: 오리 행동 분석 모델을 학습하려면 원본 비디오를 일정한 구간으로 나누고 각 구간에 행동 라벨을 부여해야 한다. 그러나 일반 영상 플레이어와 스프레드시트를 오가며 모든 구간을 처음부터 사람이 판단하는 과정은 반복적이고 시간이 많이 소요된다. 또한 판단이 애매한 구간이나 라벨 기준이 일관되지 않은 경우 학습 데이터의 품질이 낮아질 수 있다.
- 해결: 로컬 브라우저에서 영상을 불러와 5초 단위로 자동 분할하고, Gemini가 각 구간의 대표 프레임을 분석하여
feeding / resting / exploring / uncertain중 행동 라벨 후보와 관찰 근거를 제안한다. 사용자는 AI 제안을 수용, 수정, 기각하거나 불확실 구간으로 지정하며, AI 최초 제안과 인간의 최종 판단을 함께 저장한다.- 핵심 가치: AI가 라벨을 자동으로 확정하는 시스템이 아니라, 반복적인 초기 판단을 보조하고 사람이 최종 결정하는 Human-in-the-loop 라벨링 워크플로우를 제공한다.
- 현재 결과:
- 5초 단위 자동 세그먼트 분할 구현
- 4개 행동 라벨 체계 구현:
feeding,resting,exploring,uncertain- 키보드 단축키 기반 수동 라벨링 구현
- 브라우저
localStorage기반 진행 상황 자동 저장 구현- CSV export 구현
- 원본 영상이 서버로 업로드되지 않는 로컬 수동 라벨링 모드 구현
- 확장 목표:
- Gemini 기반 행동 라벨 후보 생성
- AI 판단 근거와 대안 라벨 제공
- AI 제안에 대한
accept / edit / reject / uncertain검수 기능- AI 최초 제안과 인간 최종 라벨을 함께 기록하는 audit log
- 수동 라벨링과 AI 보조 라벨링의 처리 시간 및 수정률 비교
- 다음 단계:
- 2주: GitHub Repository 정리, README 작성, GitHub Pages 수동 모드 배포, sample CSV 및 라벨링 가이드 추가
- 1개월: Gemini API와 Structured Output을 활용한 행동 라벨 제안 기능 구현
- 2개월: 수동 조건과 AI 보조 조건의 라벨링 시간, 수용률, 수정률 비교
- 2분기: 생성한 라벨을 활용한 행동 분류 baseline 모델 학습 및 pseudo-labeling 또는 active learning 흐름으로 확장
Be-MOre Duck 프로젝트에서는 오리 행동 비디오로부터 feeding, resting, exploring 행동을 분류하는 모델을 학습하려 한다. 이를 위해서는 원본 영상을 일정한 길이의 세그먼트로 나누고 각 구간에 행동 라벨을 부여한 학습 데이터가 필요하다.
기존 라벨링 과정에서는 다음과 같은 문제가 발생한다.
따라서 본 프로젝트는 단순한 자동 라벨링이 아니라, AI가 초기 행동 판단을 보조하고 사람이 최종 라벨을 결정하는 Human-in-the-loop 구조를 적용한다.