전수빈
Material: Hertz, Krogh, Palmer — Introduction to the Theory of Neural Computation (1991), Ramsauer et al. (2021)
AI의 시초 — 뇌의 기억을 수학으로 옮기려 했던 시도를 탐구합니다. 그것이 현대 AI와 어떻게 이어지는지를 추적합니다.
| Hebb (1949) 시냅스 가소성 | → | Hopfield (1982) 에너지 기반 기억 | → | Boltzmann Machine (1985) 확률적 학습 + 생성 | | --- | --- | --- | --- | --- | | ↓ | | | | ↓ | | "fire together, wire together" | | | | RBM → Deep Belief Net (2006 딥러닝 부활) | | | | | | ↓ | | | | Transformer (2017) Attention mechanism | ← = | Modern Hopfield (2020) 에너지 최소화 update rule |
대면 / 매주 일요일 6-8시 신촌
1주차: 소개 & McCulloch-Pitts Neuron
2-1주차: Hebb Rule → Hopfield Network, Ch 2.1-2.2 (pp. 11-24): 황동욱
https://www.youtube.com/watch?v=ozyNz5-2Ek0
2-2주차: 기억의 한계, Ch 2.3-2.5 (pp. 25-42): 정서윤
3주차: Boltzmann Machine, Ch 7.1 (pp. 163-171) + \alpha: 전수빈
⚠️ 너무 짧을 수도?? → 다양한거 고민 해보길! e.g., 꿈은 학습인가?, Hopfield와 Hinton은 어떻게 nobel prize를 수상했는가?
https://www.youtube.com/watch?v=tk9FTdKOL5Q
4주차: deep-learning의 탄생: RBM → DBN: 정서윤
https://www.cs.toronto.edu/~hinton/absps/fastnc.pdf (DBN)
https://github.com/voice32/activations_optimizers/blob/master/papers/Deep%20Learning%20Review%20(Nature)%20-%20Yann%20LeCun,%20Yoshua%20Bengio,%20Geoffrey%20Hinton.pdf (Deep learning; 이전 학습한 내용들과의 차이를 고민합시다. 논문에 나오는 시각화: http://colah.github.io/posts/2014-03-NN-Manifolds-Topology/)
⚠️ Bacpropagation(BP)을 먼저 진행 후 해야할까? BP: Ch 6.1-6.6
생각 1. BP: multi-layer network 학습하려니 기여도 할당 문제 발생 → 미분으로 loss에 대한 각 neuron의 기여도 측정 → 학습, 한줄 설명 가능, 이는 목적에 더 적합함 ✅
생각 2. ‘동아리서 deep-learning 탐구했어요’라고 말했을 때 BP 모르면 일반적으로 뭐라 생각할까?
5주차: Attention is all you need와 기억(Dense Associative Memory → softmax 연결) : 황동욱
https://jalammar.github.io/illustrated-transformer/
https://arxiv.org/pdf/1706.03762
⚠️ 처음 하는 이에게 어렵지 않을까..??
6주차: Hopfield network is all you need : 김은민
질문: 왜 Transformer 잘 작동하는거지….??
참고: Dense Associative Memory → softmax 연결(https://arxiv.org/pdf/1606.01164)
https://arxiv.org/pdf/2008.02217 (처음 보고 놀라지 마세요; Appendix 제외하면 10장이에요!)
https://ml-jku.github.io/hopfield-layers/
7주차: (가능하면) World Model, 과연 이게 지능인가?
Meta의 前 Chief AI Scientist인 NYU의 Yann LeCun 교수는 AI가 energy landscape를 만들어 세상을 modeling하는 방향으로 발전해야 한다고 주장합니다. 이는 Hopfield network서 등장하는 내용과 동일한 요소입니다.
| | 1주차: 소개 & McCulloch-Pitts Neuron | 2-1주차: Hebb Rule → Hopfield Network | 2-2주차: 기억의 한계 | 3주차: Boltzmann Machine | 4주차: deep-learning의 탄생: RBM → DBN | 5주차: Attention is all you need와 기억 (Dense Associative Memory → softmax 연결) | 6주차: Hopfield network is all you need | | --- | --- | --- | --- | --- | --- | --- | --- | | 주요 내용 | "뉴런을 수학으로 모방할 수 있는가?"
개별 neuron의 모방. computer서 연산하기 위한 시도 및 단순화 : symbolism과 connectionism의 혼재 | "뉴런의 연결이 연상기억을 창발하는가?”
Hebb rule의 모방: 신경망서 연상기억이 창발함을 발견 energy function의 도입 | “뉴런은 전자의 spin과 유사하다”
Hopfield network의 기본 아이디어: neuron과 ising model의 spin은 유사하다. energy function에 ‘온도’를 추가하면? → 확률적 model | “숨겨진 뉴런이 특성을 추출하고, 온도가 확률 모델을 만든다”
• energy function에 실질적으로 온도를 추가한 model • hidden units 추가 • E(KL divergence) 도입 = loss function의 시작 (gradient descent 기법 활용 → 수식서 자연스럽게 clamped phase와 free phase로 나뉘어짐) • 기억 저장이 아닌 분포 학습 • simulated annealing 도입 | “학습에 공학적 요소와 기존 unsupervised learning을 함께 사용하자” | “Attention is all you need” self attention → 전체에서 부분을 | “Attetnion과 modern Hopfield network는 수학적 동치“ | | 이전 주차와의 연결점 | | 1주차: • 신경망을 구성하는 수식은 McCulloch-Pitts neuron과 수학적 동치. • activation function으로 step function을 사용. | 2-1주차: • 결정론적 신경망인 Hopfield network에 온도를 추가하니 ◦ i) 확률 model ◦ ii) energy 항상 감소 → energy가 감소하는 경향을 가지나, 단기적 증가 가능: spurious state 탈출 가능 • 각 neuron에 입력 값 전부 계산 → 평균 활용: ◦ 수식 계산시 activation function이 자연스럽게 logistic function으로 변환 | 2-1주차: • hidden units을 추가 2-2주차: • 온도를 추가하니 장점 보임 → 온도를 모델에 추가 | 3주차: • BM → RBM: 같은 layer에 연결 제거 → layer 개념이 생김 • RBM → undirected connection: RBM이 무한한 layer와 같음을 보임 • ReLU → unsupervised한 방법 없이 backpropagation만으로 학습 가능 | | |
각 주 발제자를 1명 정하여 스터디를 진행합니다.
각 주차 해야할 것: