-
๊ฒฝ๊ธฐ๋ํ๊ต ์ตํ์ง ๊ต์๋์ 2020๋ ๋ 2ํ๊ธฐ "์ต์ ํ ๋ฐฉ๋ฒ ๋ฐ ์ค์ต" ๊ฐ์ ์ ๋ฆฌ
- Algorithms for Optimization (Mykel J.Kochenderfer and Tim A.Wheeler) ๊ต์ฌ ๊ธฐ๋ฐ
-
์ต์ ํ์ ๊ดํ ๊ธฐ์ด์ ์ธ ๋ด์ฉ
- ๋๋ฆ ์ด์ฌํ ๋ค์์ง๋ง ์ด๋ ค์ ๋ค.
- ํผ์์ ์ผ๋ก๋ง ์ดํดํด์ ๋์ค์ ๋ ๊น๊ฒ ์ดํดํ ํ์ ์์.
-
hyper parameter์ ์ค์์ฑ ํ์ ํ ์ ์์๋ค.
- 2019๋ ๋ ๊ฒจ์ธ๋ฐฉํ๋ ์ฐธ์ฌํ kaggle "ํ์ดํ๋ ์์กด์ ์์ธก"ํ๋ก์ ํธ์์, RMSE ์์น๋ฅผ ๋ฎ์ถ๊ธฐ ์ํด ํ์ดํผ ํ๋ผ๋ฏธํฐ๋ง ๋ฐค์๋๋ก ์กฐ์ ํด ํ์ ์ค์์ ๊ฐ์ฅ ๋ฎ์ RMSE ๊ฒฝํํ๋ค.
- ํต๊ณ ๊ธฐ์ด๊ณผ๋ชฉ์ธ ํ๊ท๋ถ์๋ ๋ฐฐ์ฐ์ง ์์์ RMSE๋ผ๋ ๊ฐ๋ ๋ ๋ชจ๋ฅด๊ณ , ์๋๊ฒ ๊ฑฐ์ ์๋ ๋น์ ๊ณต์ ์ํ์๋ค.
- ๊ด๋ จ ํ๋ก์ ํธ๊ฐ ๋๋ํ, ๋ค๋ฅธ ์กฐ์ ๊ฒฐ๊ณผ๋ฌผ์ ๋ค์ผ๋ฉด์ grid-search๋ฅผ ์ด์ฉํด์ ์ต์ ์ ํ์ดํผ ํ๋ผ๋ฏธํฐ๋ฅผ ์ฐพ๋ ๋ฐฉ๋ฒ์ด ์กด์ฌํ๋ค๋ ๊ฒ์ ์๊ณ ๋์ ๋นํจ์จ์ ์ธ ์ผ์ ํ๋ค๊ณ ์๊ฐํ๋ค.
- ๋๋ ๋ฐค ์ ํ์ดํผ ํ๋ผ๋ฏธํฐ๋ง ์กฐ์ ํ๋๋ฐ ๋ค๋ฅธ ์กฐ๋ค์ grid-search ๊ด๋ จ ์ฝ๋๋ฅผ ๊ตฌํํจ์ผ๋ก์จ ๊ฐ์ฅ ๋์ ๊ฒฐ๊ณผ๋ฅผ ๋์ถํ๋ ํ์ดํผ ํ๋ผ๋ฏธํฐ๋ฅผ ์ฐพ์๊ณ ๋ชจ๋ธ๋ง์ ๋ ์ ๊ฒฝ์ ์จ์ ์ฐ๋ฆฌ ์กฐ ๋ณด๋ค ํจ์ฌ ๋ ๋์ ๊ฒฐ๊ณผ๋ฌผ์ ๋์ถํ๊ณ , ์ง๊ตฌ์ ๊ณก๋ฉด๊น์ง ๊ณ์ฐ์ ํ๋ ๋ชจํ์ ์ค๊ณํ๋ค. (๋์ค์ ์์์ง๋ง ์์ ์ปค๋์ ๋ณด๊ณ ๋ฐ๋ผํ๋ค๊ณ ํ๋ค. ๋๋ ์ด ๋ ์์ ์ปค๋์ ๋ณด๋ ๋ฒ์ ์์ ๋ชฐ๋๊ณ ๊ทธ๋ฐ๊ฒ ์๋ ์ค๋ ๋ชฐ๋๋ค.)
- ํ์ง๋ง ์ด ์์ ์ ํตํด ์ง์ hyper parameter๋ฅผ ์กฐ์ ํ๋ฉฐ ๋ชจํ์ด ์ด๋ป๊ฒ ๋ฐ๋๋์ง ํ์ ํ๋ ๊ฒฝํ์ด ์ ๋ ํ๋ ๊ฒฝํ์ด ์๋๋ผ๋ ๊ฒ์ ์๊ฒ ๋์๋ค.
-
์ฝ๋ ํ ์ค์๋ ์๊ฐ๋ณด๋ค ๋ง์ ์ด๋ก ์ ๋ฐฐ๊ฒฝ์ด ์๋ค๋ ๊ฒ์ ๋ฐฐ์ ๋ค.
- 20๋ ๋ 1ํ๊ธฐ ๋์ธํ๋์์ ๋ฅ๋ฌ๋ ๊ธฐ์ด ๊ฐ๋ ์ ๋ฐฐ์ฐ๊ณ ์ฝ๋๋ฅผ ๊ตฌํํ๋๋ฐ, tf.keras.optimizers.Adam ์ด๋ผ๋ ์ฝ๋๋ฅผ ํตํด Adam์ต์ ํ๋ฅผ ์ํํ๋ค.
- ํ์ง๋ง ์ด ๊ฐ์๋ฅผ ๋ค์ผ๋ฉฐ Adam์ด ๋์ค๊ธฐ๊น์ง์ ๊ณผ์ ๊ณผ ๊ตฌ์ฒด์ ์ธ ์์ ๋ฑ์ ๋ฐฐ์ฐ๋ฉฐ ํ ์ค์ง๋ฆฌ ๊ฐ๋จํ ์ฝ๋๋ก ๊ตฌํ๋๋ค๊ณ ํด์ ๊ด๋ จ ์ด๋ก ๊ณต๋ถ๋ ์ํํ ํ๋ฉด ์๋๋ค๋ ๊ฒ์ ๋๊ผ๋ค.
- ํจํค์ง๋ฅผ ์ฌ์ฉํด์ ์ฝ๋๋ฅผ ๊ตฌํํ๊ธฐ๋ง ํ๋ ๊ฒ์ด ์๋๋ผ, ์ฝ๋๊ฐ ๋ฌด์์ ํ๋์ง ์ ํํ๊ฒ ์ดํดํ๊ณ ์ฝ๋ฉ์ ํ๋ ๊ฒ์ด ์ค์ํ๋ค๋ ๊ฒ์ ๋๊ผ๋ค.
- "์ดํด"๋ฅผ ๊ธฐ๋ฐ์ผ๋ก ์ฝ๋๋ฅผ "๊ตฌํ"ํ์~
-
์ต์ ํ๋ ์ด๋ ต๋ค~!
- Introduction
- ๋ํจ์(Derivate), ๊ฒฝ์ฌ๋(Gradient)
- ๊ตฌ๊ฐ๋ถํ ๋ฒ (Bracketing)
- ๊ตฌ๊ฐ ๋ถํ ๋ฒ๊ณผ ๊ฒฝ์ฌ๋ฒ(Local Descent)
- ๊ฒฝ์ฌ๋ฒ
- ๊ฒฝ์ฌ๋ฒ2
- sympy ๋ผ์ด๋ธ๋ฌ๋ฆฌ๋ฅผ ํ์ฉํ ์ค์ต
- ์ผ์ฐจ ๋ฏธ๋ถ ์ด์ฉํ ๋ฐฉ๋ฒ๋ค
- ๊ฒฝ์ฌํ๊ฐ๋ฒ (Gradient Descent)
- ๊ฒฝ์ฌํ๊ฐ๋ฒ2 (Gradient Descent)
- ์ด์ฐจ๋ฏธ๋ถ ๊ทผ์ฌ๋ฒ
- ํ๋ฅ ์ ์ธ ๋ฐฉ๋ฒ๋ค (Stochastic Methods)
- ์ ์ ์ ์๊ณ ๋ฆฌ์ฆ (Genetic Algorithm)
- Surrogate Models