Abstract

고차원 센서 데이터로부터 나오는 에이전트를 강화학습을 사용해 학습시키는 것은 어려운 일이었음
Q러닝을 변형시켜 학습한 CNN 딥러닝 모델이 input은 raw pixels 그리고 output은 미래에 대한 추정 가치 함수로 두어 학습 시켰다.

We apply our method to seven Atari 2600 games from the Arcade Learn- ing Environment, with no adjustment of the architecture or learning algorithm. We find that it outperforms all previous approaches on six of the games and surpasses a human expert on three of them.

무얼 통해 검증했는가?

실험이 매우 중요..!

1. Intoduction

비전, 음성같은 고차원 센서인풋을 가지는 정책 에이전트
지금까지의 성공적인 강화학습 적용사례들은 직접만든 피쳐를 선형 가치함수 혹은 policy representations와 혼합해서 구동한 것이었음. 이런 시스템들의 성능은 피쳐 표현에 매우 의존적이었음.
최근 딥러닝의 장점이라고 하면 raw sensory data로부터 고수준의 피처를 추출하는 것이 가능해졌고 이것이 컴퓨터 비전과 음성인식에서의 약진이었음.

“feature → 쉽게는 텐서, 벡터 / 고차원을 사용할 수 없으니 압축한 텐서 / 저차원의 공간 내에서 가중치를 업데이트를 위해 사용해야할 input / semantic, latent verctor”

고수준의 피처라 함은 데이터를 가장 잘 표현하는 친구들을 뽑아내는 것

높은 수준의 피쳐를 추출하는 방법으로는다양한 NN(CNN, multiplayer perceptrons, restricted Boltzmann machines 그리고 순환신경망(recurrent NN) 등등)와 지도 비지도 학습이 있다.
자연스럽게 RL에는 위의 방법들을 강화학습에도 동일하게 사용할 수 있을 것이라고 생각할 수 있다. → But, 딥러닝 관점에서 강화학습에는 몇가지 넘어야할 지점들이 있다.
1. 대부분의 딥러닝은 대량의 직접 라벨링된 학습 데이터를 용구한다는 것이다. 반면, 강화학습은 스칼라 보상값으로부터 학습을 하는데 대게 부족하거나 noise가 있고 지연되기도 한다. delay이라함은 행동과 결과 보상 사이의 지연인데 그 지연이 몇천스텝이 될 수도 있는 문제가 있다. 특히, input과 지도학습의 타켓 사이에서의 직접적인 연결에서 이 딜레이가 매우 어려운 문제임.
2. 딥러닝은 서로 독립인 학습 데이터 샘플이라고 가정한다는 것이다. 그러나, 강화학습은 매우 밀접하게 관련된 일련의 sequences들을 다루게 된다. 더 문제는 강화학습에서 새로운 action에 대해서 데이터 분포가 변경되는데 이것이 딥러닝한테는 그 기반의 고정된 분포를 추정하는 것을 매우 어렵게 만들어버린다.
그래서!! 이 놈눈에서는 CNN이 이런 문제들을 극복하고 성공적으로 비디오 데이터를 통해서 복잡한 강화학습 문제를 해결할 수 있는 제어정책을 학습시키는 방법론에 대해 설명한다. 이 네트워크는 다양한 Q러닝 알고리즘과 함께 학습 되는데 stochastic gradient descent로 가중치를 업데이트 한다. 밀접한 관계의 데이터라는 점과 분포가 변한다는 점을 완화하기 위해서는 “experience replay mechanism”을 사용한다.

“experience replay mechanism”은 무작위적으로 과거의 transitions를 랜덤하게 뽑아와서 과거의 학습 분포들은 smooths하게 한다.