<aside> 🔥
Term 1 무물 이벤트 (~5/8 금 23:59)
1)~2)의 초반 부분은 다음 material을 활용합니다: Hertz, Krogh, Palmer — Introduction to the Theory of Neural Computation (1991)
| | 1주차: 소개 & McCulloch-Pitts Neuron | 2-1주차: Hebb Rule → Hopfield Network | 2-2주차: 기억의 한계 | 3주차: Boltzmann Machine | 4주차: deep-learning의 탄생: RBM → DBN | 5주차: Attention is all you need와 기억 (Dense Associative Memory → softmax 연결) | 6주차: Hopfield network is all you need | | --- | --- | --- | --- | --- | --- | --- | --- | | 주요 내용 | "뉴런을 수학으로 모방할 수 있는가?"
개별 neuron의 모방. computer서 연산하기 위한 시도 및 단순화 : symbolism과 connectionism의 혼재 | "뉴런의 연결이 연상기억을 창발하는가?”
Hebb rule의 모방: 신경망서 연상기억이 창발함을 발견 energy function의 도입 | “뉴런은 전자의 spin과 유사하다”
Hopfield network의 기본 아이디어: neuron과 ising model의 spin은 유사하다. energy function에 ‘온도’를 추가하면? → 확률적 model | “숨겨진 뉴런이 특성을 추출하고, 온도가 확률 모델을 만든다”
• energy function에 실질적으로 온도를 추가한 model • hidden units 추가 • E(KL divergence) 도입 = loss function의 시작 (gradient descent 기법 활용 → 수식서 자연스럽게 clamped phase와 free phase로 나뉘어짐) • 기억 저장이 아닌 분포 학습 • simulated annealing 도입 | “학습에 공학적 요소와 기존 unsupervised learning을 함께 사용하자” | “Attention is all you need” self attention → 전체에서 부분을 | “Attetnion과 modern Hopfield network는 수학적 동치“ | | 이전 주차와의 연결점 | | 1주차: • 신경망을 구성하는 수식은 McCulloch-Pitts neuron과 수학적 동치. • activation function으로 step function을 사용. | 2-1주차: • 결정론적 신경망인 Hopfield network에 온도를 추가하니 ◦ i) 확률 model ◦ ii) energy 항상 감소 → energy가 감소하는 경향을 가지나, 단기적 증가 가능: spurious state 탈출 가능 • 각 neuron에 입력 값 전부 계산 → 평균 활용: ◦ 수식 계산시 activation function이 자연스럽게 logistic function으로 변환 | 2-1주차: • hidden units을 추가 2-2주차: • 온도를 추가하니 장점 보임 → 온도를 모델에 추가 | 3주차: • BM → RBM: 같은 layer에 연결 제거 → layer 개념이 생김 • RBM → undirected connection: RBM이 무한한 layer와 같음을 보임 • ReLU → unsupervised한 방법 없이 backpropagation만으로 학습 가능 | | |
Introduction to the theory of neural computation (Hertz, John, Krogh, Anders, Palmer etc.).pdf
이후 부분은 주제에 적합한 material(논문 등)을 찾아 학습합니다. 자세한 내용은 아래 toggle 참고: