<aside> 🦾
ACT는 팀원과 공동 개발·검증했다. SWEEPICK에서는 모방학습·시뮬레이션·Sim-to-Real·데이터 검증을 주로 맡으며 데이터와 평가 조건을 연결해 연구했다. CUSTOM ACT V1에서는 기존 동작 궤적을 보존한 외형 확장, ACT 학습, 고정 checkpoint의 폐루프 평가와 실패 청크 분석을 한 흐름으로 정리했다.
epoch 30 모델은 고정 시뮬레이션 설정의 143개 위치에서 각 1회 평가해 132회(92.3%) Lift→Stow→Hold를 완료했다. 이 결과의 모델·모집단·성공 조건은 아래에 함께 남긴다.
</aside>
2026년 10월 27일 기준. 원본 자료는 사용자가 지정한 CUSTOM_ACT_V1_standalone_20261027.html이며, 내장 수집 CSV·상태 JSON·143개 episode JSON·학습 곡선/로그·앙상블 CSV를 대조해 정리했다. 장치 구동이나 새 학습을 수행한 기록은 아니다.
물체와 배경이 바뀌었을 때 정책이 어떻게 반응하는지 보려면, 궤적 자체가 달라진 효과와 영상 외형의 효과를 구분해야 했다. 원본 113개 궤적을 보존하고 같은 상태에서 손목 RGB의 블록색·배경·테이블 텍스처·조명을 바꾼 외형 4개씩을 추가했다. 결과는 원본 113뷰와 추가 452뷰를 합한 565뷰다. 서로 독립된 565개 동작이나 실물 시연을 수집한 수치로 쓰지 않는다.
| 분할 | 원본 궤적 | 외형 확장 후 뷰 |
|---|---|---|
| Train | 59 | 295 |
| Validation | 29 | 145 |
| Test | 25 | 125 |
| 합계 | 113 | 565 |
관절·명령·시각·물체좌표와 head depth/PCD의 정합을 검사했다. 같은 궤적에서 만든 외형은 모두 같은 split에 두어, 한 동작의 변형이 학습·검증·시험에 흩어지지 않도록 했다. 자료는 최종 수집 현황과 성공·실패 워크스페이스를 먼저 보고, 5종 물체 색상·배경/테이블 비교와 중간 랜덤화 실험을 이어 읽도록 구성했다.
ACT는 shared wrist ResNet18과 1×1 projection, hidden 256, chunk 20, state/action 12, KL 10을 사용하고 추론에서는 prior z=0을 사용했다. epoch 1–3은 batch 4, epoch 4–200은 batch 32로 진행했으며 epoch 63에서 재개한 실행도 포함한다. 따라서 batch 32로 처음부터 독립 학습한 200 epoch 결과로 설명하지 않는다.
| 항목 | 확인한 값 | 해석 |
|---|---|---|
| 학습 실행 | 200 epoch 완료 | 실행 로그와 곡선으로 확인 |
| 최저 validation prior normalized L1 | 0.01553423676, epoch 103 | 오프라인 예측 지표 |
| 마지막 epoch의 같은 지표 | 0.01951522965469 | epoch 200의 값 |
| 아래 폐루프 평가 모델 | 고정 epoch 30 checkpoint | best epoch 103과 별도 |
학습이 끝난 모델의 오프라인 지표와 실제 동작 완료는 다른 평가다. 최종 200 epoch 또는 best epoch 103 모델의 폐루프 성능은 이 자료에서 평가하지 않았다. 63/200 epoch 그래프, batch 비교와 재개 기록은 실행의 전후 관계를 확인하는 자료로 남겼다.
평가 모델은 epoch 30으로 고정하고 temporal ensemble ON, k=0.01을 사용했다. 관절 q·head PCD·양손목 RGB·prior z=0을 입력했으며, 정답 행동·phase·물체 정답 pose는 정책 입력에서 제외했다. Test 결과를 보고 평가 모델을 변경하거나 선택하지 않았다.
| 평가 위치 구분 | 성공 / 평가 | 관측 비율 |
|---|---|---|
| Train 위치 | 76 / 80 | 95.0% |
| Validation 위치 | 29 / 32 | 90.6% |
| Test 위치 | 27 / 31 | 87.1% |
| 전체 | 132 / 143 | 92.3% |
성공 조건은 Lift ≥30 mm → Stow → 접촉·상승 상태에서 물리 2초 Hold다. 블록색·테이블/벽 텍스처·조명은 랜덤화했고, 40 mm 물체 크기·yaw·물성·카메라 보정은 고정했다. 143개 평가 위치는 각 1회 실행했다. 수집의 원본 궤적 113개와 평가 위치 143개는 서로 다른 모집단이다.
따라서 92.3%는 이 시뮬레이션 설정에서의 관측 결과다. 실물 성공률, 이동·청소·복귀·도킹 전체 시나리오의 완주율, 반복 신뢰도나 양팔 동시 조작 성능을 뜻하지 않는다. 워크스페이스와 개별 추론 영상을 함께 보며 위치와 종료 phase를 확인한다.
11개 실패는 grasp 또는 lift 7개, stow 4개로 분류됐다. 예측 청크, 관절 명령, 읽은 관절 상태, phase와 영상을 같은 위치에 연결해 행동이 어디서 달라졌는지 살폈다. 실패 목록은 Train grid64·73·74·75, Val mid02_04·mid04_04·mid06_04, Test mid01_04·mid03_04·mid05_04·mid06_03이다.
시간 앙상블은 동일한 target 시점의 예측을 모으는 방식과 가중치를 저장 CSV에서 다시 계산해 실제 출력과 대조했다. 단일 위치 비교는 epoch 30·Val mid00_00·seed 701000000 조건이다. ON은 Lift→Stow→Hold를 완료했고, 당시 first-action-only OFF는 8.4초 관찰한 뒤 중단했다.
이 OFF는 원본 ACT의 chunk sequential OFF와 다르며 원본 OFF는 실행하지 않았다. 관찰 중단을 완료 실패로 계산하거나, 이 한 위치로 앙상블의 일반적인 성능 향상·필수성을 단정하지 않는다. 다음 비교에서는 모델·위치·시작 조건과 OFF의 실행 규약을 먼저 맞출 필요가 있다.