๐ Neural Networks & Backpropagation Algorithm - ์ ๊ฒฝ๋ง & ์ญ์ ํ ์๊ณ ๋ฆฌ๋ฌ
10, 11์ฐจ์
๐ซ Neural Networks & Backpropagation Algorithm - ์ ๊ฒฝ๋ง & ์ญ์ ํ ์๊ณ ๋ฆฌ๋ฌ
์ ๊ฒฝ๋ง๊ณผ ์ญ์ ํ ์๊ณ ๋ฆฌ๋ฌ
๋ด๋ฐ๊ณผ ์๋
์ค
๋ฐฐ์ฐ๋ ๊ฒ (๊ตฌ์กฐ, ํ์ต ์๊ณ ๋ฆฌ๋ฌ)
ํ์ต ์๊ณ ๋ฆฌ๋ฌ : Error Backpropagation Learning Algorithm ์ญ์ ํ ํ์ต ์๊ณ ๋ฆฌ๋ฌ์ ํตํ
Architectures ๊ตฌ์กฐ : Feed-Forward ์ ์ง ์ ํ / Multi-Layer Neural Network ๋ค์ธต ์ ๊ฒฝ๋ง(๋ด๋ฐ์ ์ธ) ๋คํธ์ํฌ
์ญ์ ํ ์๊ณ ๋ฆฌ๋ฌ์ด ์ ๊ฒฝ๋ง ์ฐ๊ตฌ์ ๋ถํ์ ์ผ์ผ์ผฐ๋ค?
@ Resurgence ๋ถํ
Topologies ์ด์ = Architectures ๊ตฌ์กฐ
@ U ์ค๊ฐ๊ณ ์ฌ ์ถ์ : ์ ๊ฒฝ๋ง์ ์ผ๋ฐํ๋ฅผ ์ค๋ช
ํ์์ค.
โ ์ ๊ฒฝ๋ง์ ๊ฐ์ฅ ํฐ ํน์ง : ์ผ๋ฐํ
โ @ ์ผ๋ฐํ์ ์ํด ๊ฐ๋ผ์ง
โ @ ๊ธฐํธ์ฃผ์ : ๋
ผ๋ฆฌ/์ํ์ ์ธ ๋ฐฉ๋ฒ์ผ๋ก
โ @ ์ฐ๊ฒฐ์ฃผ์ : ๊ฐ๊ฐ/๊ณ์ฐ์ ์ธ ๋ฐฉ๋ฒ์ผ๋ก
โ @ ์ง๊ธ์ ์๋ก ์ ์์ธ
โ @ vs ์ถ์ํ-๊ฐ์ฒด์งํฅ
โ @ ์ฑ
์ ๋ง์ด ์ฝ์ด๋ผ, ๊ฐ์ ์๊ฐ๋งํด์, ์๊ฐ์ด ๊ฒฝ์ง๋๋๊น
@ U ์ค๊ฐ๊ณ ์ฌ ์ถ์ : ์ฃผ์ด์ง ์ ๊ฒฝ๋ง์ ๋ํด, ์ฃผ์ด์ง ์
๋ ฅ๊ณผ ๊ฐ์ค์น์ ๋ฐ๋ฅธ ์ต์ข
์ถ๋ ฅ ๊ณ์ฐ
โ Feed-Forward ~
์ด๋ฌํ ์ ๊ฒฝ๋ง ๊ตฌ์กฐ๊ฐ ์ด๋ป๊ฒ ๋๋? (์ํ x)
โ @ ์ด๋ฌํ ์ ๊ฒฝ๋ง ๊ตฌ์กฐ๊ฐ ์ด๋ป๊ฒ ๋๋?
โ @ ๋ค์ ์ธต์ ๋ด๋ฐ๊ณผ ๋ชจ๋ ์ฐ๊ฒฐ๋๋ค โ @ ๋งจ ์, ๋งจ ์๋ ๋ด๋ฐ ๋นผ๊ณ ๋ชจ๋ ์๋ตํด์ ๊ทธ๋ฆฌ๊ธฐ
๐ซ Neuron, Artificial Neuron, Neural Networks - ๋ด๋ฐ, ์ธ๊ณต ๋ด๋ฐ, ์ ๊ฒฝ๋ง
@ AI์ ๋งค๊ฐ๋ณ์๊ฐ ~๊ฐ๋ค
@ ์ธ๊ฐ์ ์๋
์ค๊ฐ ~๊ฐ๋ค
@ Neuron - ๋ด๋ฐ : ์
๋ ฅ N๊ฐ, ์ถ๋ ฅ์ 1๊ฐ
@ (์ถ๋ ฅ - ์ฌ๋ฌ ๊ฐ๋๋ก ๋๋ ์ง์ง๋ง, ๊ฐ์ ๋๊ฐ์ ํ๋์ ๊ฐ)
Weight - W - ๊ฐ์ค์น
โ Like ์๋
์ค
โ Like ์๋๊ผญ์ง, ์ ํธ๋ ํต์ /์กฐ์
- Weighted Sum (Xn), ์ ๋ ฅ๋ค์ ๊ฐ๊ฐ์ ๊ฐ์ค์น๋ฅผ ๊ณฑํด X๋ฅผ ๊ตฌํ๊ณ ๋ํจ
- Activation Function - ํ์ฑ ํจ์๋ฅผ ํตํด ์ต์ข
๊ฐ yn ๊ณ์ฐ
- Weighted Sum (Xn)๊ฐ ๊ฒ๋ ํฌ๋๊น ์๊ฒ ์ฐ๊ทธ๋ฌ๋จ๋ฆฌ๊ธฐ/์กฐ์ ํ๊ธฐ
Neural Network - ๋ค์ธต ์ ๊ฒฝ๋ง
@ ์ธต(๋ ์ด์ด) 256๊ฐ? ๋ช ๋ฐฑ๊ฐ?
@ ๋๋ ๋ ์ด์ด๊ฐ ๋๋จ (๋ด๋ฐ ์ง์ค or ์
์)
์ค๊ฐ์ธต(= ๊ตฌ ์๋์ธต)
@ ์
๋ ฅ์ธต์ ๋ด๋ฐ์ ๋ชจ์์ด ๋ค๋ฅด๋ค !?
@ โ ๋ชจ๋ ๋ด๋ฐ์ ์
๋ ฅ์ ๋ฐ์์ ๊ณ์ฐ์ ํ๊ณ
๋ฟ๋ฆฌ๋๋ฐ,
@ โ ์
๋ ฅ์ธต ๋ด๋ฐ์ ์
๋ ฅ์ ๋ฐ์์ ๋ฟ๋ฆฌ๊ธฐ๋ง
ํจ
@ โ ๋ฐ๋๋ก ๋ณด๋ฉด, ์
๋ ฅ์ ๋ฐ์ ๋ ๊ฐ์ค์น W ๊ณฑํ ๊ฐ์ ๊ฐ์ ธ์ค๋๋ฐ, ์
๋ ฅ์ธต์ ๊ทธ๋ฅ ๊ฐ์ ธ์ด
@ โ So, (์๋ฐํ ๋งํ๋ฉด) ์
๋ ฅ์ธต != ๋ด๋ฐ
i๋ฒ์งธ ๋ด๋ฐ๊ณผ j๋ฒ์งธ ๋ด๋ฐ์ ์๋ ๊ฐ์ค์น Wij
I.E. ๋ํ ์ธ๊ณต์ง๋ฅ์ ์ง๋ฌธ์ ํ๋ฉด, ๋ญ๊ฐ ์ฒ๋ฆฌ๋๊ณ , ๋ต๋ณ์ด ์ด
๋ฌดํผ ์ฌ์ฉํ๋ ์
์ฅ์์๋ ๋ด๋ด ๋คํธ์ํฌ ์์ ๊ณผ์ /์๋ฆฌ๋ฅผ ๋ชจ๋ฅธ์ฑ ์
์ฐ๋ฆฌ๋ (์
๋ ฅ, ์ถ๋ ฅ) Pair๋ง ์ ๋ฌํ๊ณ , ๊ทธ ๊ฐ์ค์น W๋ฅผ ์ฐพ๋ ๊ณผ์ ์ AI๊ฐ
์ฐ๋ฆฌ๊ฐ ์ํ๋ ๊ฐ์ ์ฐพ๊ธฐ ์ํด์ ์ง์ ๊ฐ์ค์น W๋ฅผ ์กฐ์ ํด์ผ ํ๋ ๊ฑฐ๋ฉด ์์ฐ์ง
์ถ๋ ฅ ๊ณ์ฐ ๋ฐฉํฅ : โ
ํ์ต ๋ฐฉํฅ : โ
๐ซ Backpropagation - ์ญ์ ํ
Feed-Forward
โ ์
๋ ฅ์ ๊ณ์ฐํด์ ์ถ๋ ฅ์ ์์ผ๋ก โ ์์ผ๋ก โ
โ Back Backpropagation (Forward propagation)
Feed-Back
์
๋ ฅ์ ๊ณ์ฐํด์ ์ถ๋ ฅ์ ๋ค๋ก โ ๋ค๋ก โ
RNN, ์ํ ์ ๊ฒฝ๋ง
โ ํ ์ธต์์ ๋ค์ ์ธต์ผ๋ก, ๋ด๋ฐ์ด ์ถ๋ ฅ์ ํ ๋
โ ์๊ธฐ ์์ ์๊ฒ๋ ์ถ๋ ฅ๊ฐ์ ์
๋ ฅํจ (Feedback)
Backpropagation - (์ค๋ฅ) ์ญ์ ํ (ํ์ต) ์๊ณ ๋ฆฌ๋ฌ
โ ์ค๋ฅ : ์ฐ๋ฆฌ๊ฐ AI์๊ฒ ์ค (์
๋ ฅ, ์ถ๋ ฅ) ํ์ด๋ ์ถ๋ ฅ์ด ๋ค๋ฅธ ๊ฑฐ
โ ์ค๋ฅ๋ฅผ ์ด์ฉํด ๋ค์ ๊ฐ์ค์น๋ฅผ ์์ ํ๋ ์๊ณ ๋ฆฌ๋ฌ
์ค๊ฐ-์ถ๋ ฅ์ธต ์ฌ์ด์ ๊ฐ์ค์น ์กฐ์
Wij = Wjk + โณWjk
โณ๋ธํWjk๋ฅผ ์๋ ๊ฐ๊ณผ (์ด์-์๋ฌ ์ค์ฐจ)๋ฅผ ์ด์ฉํ์ฌ ๊ณ์ฐ
์
๋ ฅ-์ค๊ฐ์ธต ์ฌ์ด์ ๊ฐ์ค์น ์กฐ์
Wij = Wjk + โณWjk
โณ๋ธํWjk๋ฅผ ์๋ ๊ฐ๊ณผ (์ค๊ฐ-์ถ๋ ฅ์ธต ์ฌ์ด์ ๊ฐ์ค์น ์กฐ์ ๊ณผ์ ์์ ๊ตฌํ ๊ฐ)์ ์ด์ฉํ์ฌ ๊ณ์ฐ
โ ์
๋ ฅ-์ค๊ฐ์ธต ์ฌ์ด ๊ฐ์ค์น๋ฅผ ๊ณ ์น๊ธฐ ์ํด์,
โ ์ค๊ฐ-์ถ๋ ฅ์ธต ์ฌ์ด ๊ฐ์ค์น๋ฅผ ๋จผ์ ๊ณ ์น๊ณ ๋์จ ๊ฐ์ ์ด์ฉ
โ = ์์์ ๊ณ์ฐํ ๊ฐ์ ์ญ์ผ๋ก (๋ค๋ก) ์ ํํ๋ค
๐ซ ~
์ฌ๊ธฐ์ ๋ฌธ์ ,
์ฌ๋ฌ ์ธต์ ๊ฑฐ์ณ ์ฎ๊ฒจ์ค๋ค๋ณด๋ฉด ์ ๋๋ก ๋์ ์ํ๋ ๊ฒฝ์ฐ๊ฐ
โ ํด๊ฒฐํ๊ธฐ ์ํด ๋์จ๊ฒ ๋ฅ๋ฌ๋
์๊ณ ๋ฆฌ๋ฌ์ ๋ณด๋ฉด ๊ทธ๋ฅ ๋ํ๊ธฐ๋ง ์์ (๊ณฑํ๊ธฐ๋ ๋ํ๊ธฐ)
โ ๊ฐ๋จํ ๊ณ์ฐ, ๊ทธ๋์ ํ ๋ฒ์ ๋ง์ ๋จ์ ๊ณ์ฐ์ ํ ์ ์๋ GPU ์ฌ์ฉ
๋ต์ ์๋ ๊ฒฝ์ฐ
๋ต์ ๋ชจ๋ฅด๋ฉด ๊ฐํํ์ต, ๋น์ง๋ ํ์ต?
Neural Network ๋ชจ์ ์คํ - ์ฐธ๊ณ
Sample Project - Game NPC AI
Health, Has-Knife, Has-Gun, Enemies ์ํ์ ๋ฐ๋ฅธ
Attack, Hide, Wander, Run ํ๋ ๊ฒฐ์ ์๊ณ ๋ฆฌ๋ฌ