SWEEPICK에서 모방학습·시뮬레이션·Sim-to-Real과 데이터 검증을 주로 맡고, Visual SLAM은 협업으로 참여했다. CUSTOM ACT V1은 팀원과 공동 개발·검증한 작업으로, 수집→학습→추론→실패 분석을 연결했다. 원본 113개 궤적을 5 종 외형의 565뷰로 확장했고, 고정 epoch 30 모델이 SIM 143 위치 각 1회 평가에서 132회(92.3%), Test 27/31회(87.1%) Lift≥30 mm→Stow→물리 2초 Hold를 완료했다.
200 epoch 학습의 best epoch 103 validation normalized L1 0.01553423676은 별도 오프라인 지표이며 그 모델의 폐루프는 미평가다. 92.3%는 고정 물체크기·yaw·물성·카메라 조건의 시뮬레이션 관측값이다. 팀 데이터·외부 라이브러리·세부 코드 전체를 개인 독점 구현한 수치로 설명하지 않는다. 방법·조건·영상·실패 11개 분석은 CUSTOM ACT V1 — 수집·학습·추론·분석에 있다.
실물 적용의 최신 단계는 ACT30 원본 행동 계약 복원·STOP·파지 판정 수정과 검증 (2026-10-27)과 sweepick: ACT30 IR=2 양팔 G4 재검증 — 각 300 prefix, 위반 0 (10/27)과 ACT30 sim+real 공동학습 조사와 실행기 정합성 검증 (2026-10-27)다. 아래 Native120/198·TJJv2 3.30°·DAgger16개는 10/26 까지의 별도 실물 트랙이다. 전체 물체 이동·청소·복귀·도킹·충전은 SIM 구현 완료, 실물 기능 통합 중이다.
<aside> 🧹
SWEEPICK — 청소 전 작은 물체를 치우는 이동형 양팔 로봇
DAPIER 교육에서 진행하는 팀 프로젝트다. 저비용 SO-101 양팔·PGripper, 작업공간용 OS30A RGB-D와 양손목 RGB를 사용해 물체를 관측하고 집어 옮긴다. 내 주 담당은 모방학습·시뮬레이션·Sim-to-Real·데이터 검증이며, ACT는 팀원과 공동 개발·검증했다. Visual SLAM은 협업으로 참여했고 센서·팔 연동을 수행했다.
</aside>
목표는 바닥의 작은 물체를 먼저 정리해 청소 로봇의 작업을 돕는 것이다. 초기 박스·신발 과제에서 출발했지만, 2026-10-16부터 우리 팀은 상체의 팔 선택·집기·운반·놓기에 집중한다. 이동 베이스·Visual SLAM·도킹은 다른 팀이 유지하고, 상체는 베이스의 이동을 직접 명령하지 않고 정지 요청을 보낸다. 청소·복귀·도킹·충전까지 이어지는 전체 시나리오는 시뮬레이션에서 구현했다. 실물에서는 양팔 조작과 이동 기능을 단계별로 연결해 검증하고 있다.GitHub 근거
접촉이 생겼는데도 들지 못하는 이유를 분리했다. MuJoCo에서 접촉 후 추가 압축, 하중 지지와 제어 명령을 같은 상태에서 비교했다. 계획한 손끝과 실행 후 손끝의 차이는 계획 FK 잔차와 추종 오차로 나눴다. 공중 HOLD에서 발생한 미끄러짐은 별도 솔버 비교로 조사했다. 이 과정의 수치는 아래 대표 실험에 보존했으며 실물 마찰이나 전체 작업영역의 신뢰도 측정값으로 확대하지 않는다.
시뮬레이션과 실제 팔의 좌표·단위를 연결했다. 실물에서는 관절 tick↔rad 매핑, 영점·부호, 마운트와 바닥 모델, 카메라 관측을 함께 확인해야 했다. IK 계산이 수렴하는 것만으로 실제 손끝이 같은 곳에 도달하지는 않았다. 10월 8일에는 OS30A 깊이→IK 접근→손목 정렬을 거쳐 왼팔이 도움 없이 집기·들기·내려놓기를 수행한 첫 1회가 실행 기록에 보고됐다.GitHub 근거
사람의 leader 시연 대신 실물 자동 교사를 주력으로 선택했다. OS30A 관측, MuJoCo IK와 손목 visual servo를 연결한 Native가 시연을 만들도록 했다. 같은 교사는 ACT가 멈춘 상태를 이어받아 DAgger 교정 자료를 생성한다. 이 방식은 반복 수집을 가능하게 하지만 교사의 정렬·대기 습관과 모델 오차도 데이터에 들어간다. 따라서 교사 완료 횟수뿐 아니라 위치·각도·시작 자세의 범위와 phase 체류시간을 함께 보게 됐다. sweepick: leader–follower 대신 IK 자동 교사로 ACT 학습 데이터를 만든 이유·문제·해결·배운 점 (10/7–10/26)
| 구분 | 기록된 결과 | 의미와 한계 |
|---|---|---|
| 연속 SIM 기준선, 9/21 | 18,203 physics step / 36.406 s, HOLD 3.000 s | 고정 조건의 normal HOME→집기→들기→HOLD 실행이다. 실물 성공과 별도다. |
| 자동 교사 실물 수집 | 교사 성공 120 / 198회, 10/18–10/26 콘솔 집계 | 교사 실행기의 성공 판정이다. |
| ACT와 교사 결합 | ACT가 블록 위까지 접근한 뒤 정체하면 Native가 집기·운반·놓기·복귀 | 2026-10-26까지 이 실물 TJJ 트랙에서는 ACT 단독 완료가 확인되지 않았다. |
| DAgger 수집 | 16개, 10/23–25 | 콘솔의 왼 11 / 오른 7 판정 통과와 집계 범위가 다르다. |
| TJJ v2 | train 46 / validation 7 run, 최고 3.30°·epoch 690 | 보류 예측 오차이며 task 성공률이 아니다. |
| TJJ v3 | 추가 교사·검정 물체 40·DAgger·새 시작 자세 자료로 진행 중 | 학습 완료나 개선을 아직 주장하지 않는다. |
최신 수집·학습 값의 근거는 sweepick: leader–follower 대신 IK 자동 교사로 ACT 학습 데이터를 만든 이유·문제·해결·배운 점 (10/7–10/26)다. 이전 45 / 6 run·3.77°·epoch 820 기록은 다른 실험 시점으로 보존하고 최신 결과에 합치지 않는다.
학습을 오래 하는 것만으로는 시험 범위 밖의 실패를 해결하지 못했다. 왼팔 교사 위치는 전방 11–25 cm, 중앙 17 cm였는데 시험은 20–27 cm였다. 오른팔 시작 자세도 shoulder_lift 1079 tick으로 바뀌면서 학습 범위 1030–1053 tick에서 벗어났다. 다음 데이터 수집은 위치·물체 각도·시작 자세를 계획적으로 채우는 방향으로 정리했다.
교사의 행동 품질도 정책의 일부가 됐다. 교사 시간의 36–41%가 미세 정렬이었고, TJJ v2가 블록을 집게 사이에 둔 뒤 35초 동안 닫지 않은 사례가 보고됐다. 교사의 정렬 판정 수정, 데이터 보강과 DAgger가 각각 어떤 영향을 주는지 같은 조건에서 비교하는 것이 남은 과제다. 수정 사실만으로 실물 성공률이 개선됐다고 쓰지 않는다. sweepick: leader–follower 대신 IK 자동 교사로 ACT 학습 데이터를 만든 이유·문제·해결·배운 점 (10/7–10/26)
MuJoCo의 모델·FK/IK·접촉 분석, 실물 RGB-D와 손목 관측, LeRobot·ACT 학습과 데이터 검수, Python·C++·Git/GitHub를 활용했다. 외부 라이브러리·자산을 재사용한 부분과 내가 정의한 문제·실험 조건·판단·수정 범위를 해당 소스와 연결해 설명한다. 이전 native ACT와 다른 학습 구현의 checkpoint 호환성이나 성과를 한데 합치지 않는다.