FINAL ESM 실행 계획: Loss 위치와 학습 과정 상세본

DeepRAD51C · ESM / sequence representation 담당: 민선 · 2026-09-09

읽는 방법: 처음에는 본문으로 선택의 이유와 실험 순서를 읽고, 실제 구현 때 토글을 펼쳐 수식·예시·데이터 점검을 확인하면 된다. 핵심 질문은 **“ESM을 바꾸면 새 위치의 변이 기능을 더 잘 예측할 수 있는가?”**다.

0. 먼저, 이 계획이 필요한 이유

DeepRAD51C는 RAD51C 변이의 기능을 SGE z-score로 예측하는 프로젝트다. 민선은 그중 ESM sequence representation을 담당한다. WT와 mutant 서열을 어떤 벡터로 만들면, 팀의 Stage 1/2가 기능 예측에 가장 잘 활용할 수 있는지를 확인한다.

0.1 어디까지 했고, 지금 무엇을 확인하려는가?

지금까지의 흐름	이번 결정에 주는 의미
WT/MUT의 ESM 차이를 pooling하고 구조 특징과 결합해 예측했다.	ESM이 출발점으로 유용함을 확인했다. 이 결과는 이전 모델의 결과다.
기존 비교에서 missense test Spearman이 0.5810→0.5628, 다른 비교에서는 0.5741→0.5535로 낮아졌다.	LoRA를 쓰면 좋아진다고 가정하지 않는다. 수치는 기존 연구진행보고서에서 가져왔다.
현재는 residue·layer token을 유지하는 Stage 1/2 구조를 설계했다.	새 구조에서 frozen 표현부터 다시 평가해야 한다.

기존 LoRA가 좋지 않았다는 것은 중요한 출발점이다. 다만 원인이 과적합인지, loss인지, 표현을 읽는 방식인지까지 밝혀진 것은 아니다. 새 token 구조에서는 원래 frozen ESM만으로도 충분할 수 있다. 그래서 먼저 frozen 기준선을 만들고, adaptation이 실제로 필요한지 확인한다.

0.2 우리 팀에서 각 과정이 맡는 일

과정	쉽게 말하면	담당 범위
ESM / 민선	서열을 읽어 WT 문맥과 변이로 인한 변화를 벡터로 만든다.	Encoder 선택·adaptation loss·WT/MUT 표현·alignment/mask
Stage 1	Sequence token을 읽어 기능 점수를 예측한다.	팀의 sequence-only 모델; window·readout 구조 최적화는 downstream 담당
Stage 2	Stage 1 예측에 구조 정보를 반영한 보정값을 더한다.	팀의 구조 조건부 모델

Adaptation은 선택 사항이다. 성공한 adapted encoder가 있으면 그것을 쓰고, 그렇지 않으면 pretrained ESM을 그대로 고정해 사용한다. 어느 쪽이든 Stage 1과 Stage 2는 자신의 예측 역할을 학습한다.

0.3 이미 확인한 사실과 이번에 시험할 선택

확인한 사실: 과거 pooling 모델의 LoRA 음성 결과, GitHub 공유 데이터 5,887개, 현재 서열 생성 코드. 데이터는 missense 4,555개·synonymous 973개·in-frame indel 359개다.
현재 팀 설계: residue·layer token을 Stage 1에서 읽고, Stage 2에서 구조 정보를 이용해 보정한다. 이 새 구조의 실험이 완료되었다는 뜻은 아니다.
이번 실행안: Frozen 우선, likelihood ranking을 주력 adaptation으로 시험, 필요할 때 Mixout 또는 KL 하나를 선택, WT-MLM은 독립적인 짧은 pilot으로 확인한다. Indel의 alignment와 작은 입력 보완도 검증할 설계다.

본 문서의 예시 숫자는 별도 표시가 없는 한 설명용이다. 근거와 구현 제안은 구분해서 읽는다. GitHub 확인 기준은 02963a4이며, 현재 manifest와 서열 생성 코드를 대조했다. 상세 데이터 점검은 6.1절에 접어두었다.

1. 실험의 큰 흐름: 먼저 기준선을 만들고, 필요한 변화만 시험한다

조건	확인하려는 질문	언제 실행하나?
F · Frozen	원래 ESM 표현만으로 충분한가?	가장 먼저. 모든 후보의 기준선
Q · Likelihood ranking	기능 순서를 ESM의 아미노산 선호도에 반영하면 표현도 좋아지는가?	주력 adaptation pilot
Q+Mixout 또는 Q+KL	Q의 유용한 변화는 남기고 과적합을 줄일 수 있는가?	필요할 때 Mixout 또는 KL 중 하나를 선택
M · WT-MLM	기능 label 없이 WT 문맥에 짧게 적응해도 도움이 되는가?	같은 pretrained checkpoint에서 시작하는 별도 pilot

Q와 M은 각각 원래 pretrained ESM에서 시작한다. Q를 학습한 뒤 M을 이어 붙이는 계획은 아니다. KL은 loss 항을 더하고, Mixout은 학습 forward를 바꾸므로 둘을 모두 “추가 loss”로 부르지는 않는다.

한 번의 비교에서 encoder 외의 차이를 줄인다. Window·layer·Stage 1/2·데이터 분할은 공통으로 유지한다. F-probe 같은 작은 보조 분석은 판단을 돕는 도구이며, 모든 진단을 별도 모델 탐색으로 늘리지는 않는다.