<aside> 시연 영상

</aside>

https://youtube.com/shorts/-8d_K5SehY0

<aside> 프로젝트 파일

</aside>

https://drive.google.com/file/d/17cWd1SEDaEEPuO-bkHvCZ_zFAjlicEnP/view?usp=sharing

<aside> 프로젝트 설명

</aside>

<aside> 관련 수상

</aside>

<aside> 후기

</aside>

먼저 말씀드릴 점은 해당 프로젝트가 Python Low-Level Coding을 하지는 않았습니다. 유니티에서 자체 제공하는 ML-Agents의 PPO를 사용하여 학습한 점을 밝힙니다.

해당 프로젝트를 진행하게 된 이유는 한림대학교 GVE 연구실에서 석사 선배님과 함께 논문 주제를 찾다가

ForceGrip: Reference-Free Curriculum Learning for Realistic Grip Force Control in VR Hand Manipulation, arXiv:2503.08061 라는 SIGGRAPH 논문을 참고하여 강화학습을 통한 VR 햅틱 장갑을 유니티에서 구현해보려고 하였으며, 그전에 ML Agents에 대한 이해도를 높이고자 해당 프로젝트를 진행했었습니다. 결과적으로 Actor-Critic등 기본적인 강화학습에 대한 이해가 부족하며, 국내의 ML-Agents low-level 구현에 대한 자료가 너무 한정적이어서 논문 작성은 보류하였습니다.

cf ) 관련해서 여러번 조언주신 한동현 1 저자님 감사합니다…

해당 프로젝트는 흔히 나오는 광고게임 게임 라스트워:서바이벌에 답답함을 느껴 이를 게임으로 직접 제작해보고 더불어 강화학습을 통해 자율적으로 움직이게 제작한 프로젝트입니다.

아쉬운 점이 많았던 프로젝트였습니다. 특히 Low-Level 구현을 직접 해보지 못한 점이 가장 아쉬움으로 남습니다. 또한 왼쪽이나 오른쪽 울타리에 닿았을 때 즉시 에피소드를 종료하는 방식보다는, 이러한 상황을 Reward Function 설계에 반영했다면 학습 측면에서 더 의미 있는 구조가 되었을 것이라는 아쉬움도 있습니다.

Barracuda나 Sentis와 같은 구버전과의 호환성 문제로 인해 ML-Agents 환경 세팅에도 상당한 시간이 소요되었는데, 이 과정에서 강화학습 환경 구축 자체가 생각보다 까다롭다는 점을 체감할 수 있었습니다.