✅ 오늘의 task

  1. mAV-HuBERT 논문 정리본 회독
  2. AV2AV 논문 읽으면서 모델 파이프라인 이해 및 정리
  3. AV2AV 깃허브 클론한 코드 파일에서 파이프라인에 맞는 코드 탐색 및 공부 (3단계 파이프라인 기준)

https://github.com/choijeongsoo/av2av

📊 Epic 요약 표

Epic 제목 목표
Epic 1 mAV-HuBERT 핵심 리마인드 AV2AV 이해를 위한 mAV-HuBERT의 핵심 개념(특히 A/V 표현) 재정리
Epic 2 AV2AV 논문 파이프라인 분석 AV2AV 논문을 읽고, 3단계 파이프라인의 Input, Process, Output을 정리
Epic 3 AV2AV 코드 매핑 (1단계) 코드의 진입점(entry point)을 찾고, 논문에서 분석한 1단계(Encoder)를 코드와 매핑
Epic 4 AV2AV 코드 매핑 (2단계) 2단계(Fusion)를 코드와 매핑

1) mAV-HuBERT 핵심 리마인드

✅ Preprocessing

image.png

1. mAV-HuBERT 사전 훈련