현재 deepRAD51C의 모델 구조와 팀 내 분업 계획을 정리한 문서임.
<aside> 🎯
ESM sequence representation과 structural feature를 각각 독립적인 tokenizer로 처리합니다. 먼저 frozen ESM을 이용해 Stage 1 sequence predictor를 최적화하고, 이를 전체 freeze한 뒤 Structure Tokenizer와 Stage 2 structural residual branch를 공동학습합니다. 이후 ESM fine-tuning 방법이 확정되면 같은 Stage 1 → freeze → Stage 2 과정을 다시 수행하여 frozen ESM 조건과 비교합니다.
</aside>
전체 모델을 세 모듈로 구분함.
| Module | 역할 | 학습 경계 |
|---|---|---|
| ESMTokenizer / ESM encoder | WT–Mutant residue difference를 sequence token(K/V)으로 변환 | 초기엔 ESM-2를 완전히 frozen 상태로 사용. Stage 1과 함께 확정된 뒤 freeze |
| StructureTokenizer | Block A/B structural field를 semantic token과 validity mask로 변환 | Stage 2 prediction loss로 공동학습 |
| Two-stage prediction model | Stage 1 sequence baseline + Stage 2 structural residual | Stage 1을 먼저 학습해 전체 freeze한 뒤 Stage 2 학습 |
세 모듈은 tensor interface로만 연결되며, 한 모듈의 내부 구현이 바뀌어도 interface가 유지되면 나머지 모듈을 수정하지 않음.
Figure 1 — 통합 모델 전체 구조입니다. 왼쪽은 ESMTokenizer와 Stage 1, 오른쪽은 StructureTokenizer와 Stage 2이며, 최종 예측은 sequence baseline과 structural residual의 합입니다.
WT/Mut amino-acid sequence
↓
ESMTokenizer
↓
sequence K/V tokens
↓
Stage 1 sequence pooling + predictor
↓
ŷ_seq
↓
Stage 1 전체 freeze
──────────────────────────────
Block A/B structural features
↓
StructureTokenizer
↓
structure semantic tokens + validity mask
↓
32→128 adapter + structure aggregator
↓
q_struct + variant-type embedding
↓
conditioned attention over frozen sequence K/V
↓
FiLM modulation
↓
Δŷ_struct
↓
ŷ = ŷ_seq + Δŷ_struct
& ESM fine-tuning
<aside> 👤
담당: 민선
</aside>
Figure 2 — ESMTokenizer의 내부 흐름입니다. shared projection 이후 Key에만 positional encoding과 layer embedding을 더하고, Value는 projected residue content를 그대로 유지합니다.
입력 — WT amino-acid sequence, Mutant amino-acid sequence
처리 순서