AI Engineer는 HEIMDEX의 핵심 기술 구조와 아키텍처를 설계하며,

제품의 장기 기술 전략을 결정하는 역할입니다.

HEIMDEX는 온프레미스 멀티모달 비디오 AI 스타트업입니다. 원본 영상을 외부 클라우드에 올리지 않고, 고객 인프라 안에서 자연어 영상 검색 · 자동 편집 · 숏폼 생성 · 컴플라이언스 블러 · 아카이브 수익화를 구현합니다.

🚀 무엇을 만들게 되나요 (실제 기술 과제)

지금 HEIMDEX가 풀고 있는 문제는 "영상을 검색 가능한 지식으로 바꾸는 것"입니다. 합류하시면 아래 시스템을 직접 설계하고 구현하게 됩니다.

1) 멀티모달 인덱싱 파이프라인

• 장면 분할(scene segmentation) → 키프레임 추출/클러스터링 → VLM 캡셔닝 → STT(Whisper 계열) → 임베딩(CLIP/SigLIP 계열) → 벡터 인덱스 구축까지 이어지는 대용량 영상 처리 파이프라인
• 비동기 처리 구조, GPU inference 스케줄링, chunking 전략, 파일 IO 병목 최적화

2) Video Knowledge Graph (TIPS R&D 핵심 과제)

• 장면 단위 멀티모달 하이퍼그래프 생성: 인물·객체·행동·대사·장소를 노드/관계로 구조화
• Cross-video entity resolution: 영상 여러 편에 걸쳐 동일 인물/객체를 식별·연결
• Graph 기반 RAG: 그래프 구조를 활용해 "왜/어떻게" 수준의 질의에 답하는 검색·추론 시스템
• 도메인 벤치마크 데이터셋 구축 및 평가 체계 설계

3) 온프레미스 배포·최적화

• 고객사 GPU 환경(소비자급 RTX부터 서버급까지)에 맞춘 VLM/임베딩 모델 경량화·양자화·VRAM 최적화
• 최신 GPU 아키텍처 대응(CUDA/PyTorch 빌드 관리), 폐쇄망 환경 배포 자동화

4) 연구 → 제품 → 논문의 순환

• 중앙대 PAI Lab · 광운대 사회 인공지능 Lab · Kaist 와의 산학 공동연구 리드
• 특허 출원 및 국제 학회(CVPR/NeurIPS 계열) 논문화 로드맵 실행