1. ๊ณต๋ชจ์ ์์
์ด๋ฒ ์ฃผ, ์๋ก์ด ๋์ ์ ์์ํ๋ค.โจ์ฌ๋ฒ์ด์ ์์ค์ด์ ํจ๊ป ๊ณต๋ชจ์ ์ ๋๊ฐ๊ธฐ๋ก ํ๋ค.โจ
๋ชฉํ๋ ๊ฑฐ์ฐฝํ์ง ์๋ค. ์์ฃผ.โจ๋๊น์ง ํด๋ณด๋ ๊ฒ.
์์ง ์ฃผ์ ๋ ์ ํด์ง์ง ์์์ง๋ง
SKN ์์
์ ๋ฃ๊ณ ์นดํ์ ์์ ์๊ณ ์งํ์ฒ ์ ํ๊ณ ์ง๊ณผ ๋ถํธ์บ ํ๋ฅผ ์๋ค ๊ฐ๋ค ํ๋ ๋ชจ๋ ์๊ฐ์๋โจ๋จธ๋ฆฟ์์ ๊ณ์ ๋์๊ฐ๋ค.โจ
"์ด๋ค ์ฃผ์ ๊ฐ ์ข์๊น?"โจ"๋ด ์ผ์ ์์์ ๋ฌด์์ ๋ฐ๊ฒฌํ ์ ์์๊น?"
๋ธ๋ ์ธ์คํ ๋ฐ์ ๊ณ์ ์งํ ์ค์ด๋ค.โจ
2. ๋ฐฐ์ฐ๋ ์ฆ๊ฑฐ์
๋ฐฐ์ฐ๋ ์ผ์ ์ฌ์ ํ ์ฆ๊ฒ๋ค.โจ
๋น์ ๊ณต์๋ก์, ํ์ด์ฌ์ ์์์ผ๋ก ์ง๊ธ ๋จธ์ ๋ฌ๋, ๋ฅ๋ฌ๋ ๋ฑ ํ๋์ฉ ๋ฐฐ์๋๊ฐ๋ ์ง๊ธ ์ด ์๊ฐ์ด ์์คํ๋ค. ๋ค์๋ ์ค์ง ์์ ์๊ฐ๋ค.
์ด๋ฒ ์ฃผ ๊ฐ์ฅ ๊ธฐ์ต์ ๋จ๋ ์์
์ ๋จ์ฐ ๋จธ์ ๋ฌ๋, ๋ฅ๋ฌ๋์ด์๋ค.โจ
Train set, Validation set, Test set์ ๋๋ ์โจ์ง์ ๋ชจ๋ธ์ ํ์ต์ํค๊ณ , ํ๋ผ๋ฏธํฐ ๋ณ๋ก ์์ธก ๊ฒฐ๊ณผ๋ฅผ ํ์ธํด ๋ณด๋ ๊ณผ์ ์ด ํฅ๋ฏธ๋ก์ ๋ค.
SQL, ๋ฐ์ดํฐํ๋ ์ ์์
๋ ์ฌ๋ฏธ์์์ง๋งโจ์ด๋ฒ ์์
์ ๊ทธ ์ด์์ด์๋ค.โจ์ง์ง ๋ด ์ค์ค๋ก ๋์์ ์๊ด์ด ๋์ค๋ ๊ธฐ๋ถ.ใ
ใ
ใ
์์
์ด ๋๋๊ณ ๋์๋โจ์กฐ๊ธ์ด๋ผ๋ ๋ ๋ณต์ตํ๊ณ ์ถ์ด์ก๋ค.โจ
์์นจ ์ผ์ฐ ์์ sqld ๋ฌธ์ ๋ฅผ ํ๊ณ ,โจ๋ฐฐ์ด ๋ด์ฉ์ ์ํฌ๋ฆฌ ์๊ฐ์ ๋ค์ ํ์ด๋ณด๋ ๋ด ๋ชจ์ต์ดโจ์ด์ฉ์ง ์ํ์ ๊ฐ๊ธฐ๋ ํ๋ค.โจ
์์
์๊ฐ์ ๋์น ๋ถ๋ถ์ ๋ค์ ์ฌ์ญค๋ดค๋ค.
๋๋คํฌ๋ ์คํธ๋ Feature scaling์ ํ ํ์๊ฐ ์๋ค.
์ฐ์ํ, ์์นํ ์ ๊ฐ์๊ฑธ๋ก ๋ด์ผ ํจ. ๋์ด, ์ฑ์ ๋ฑ ์ฐ์ํ์ผ๋ก ๋ด์ผ ํ๋ค. 0๊ณผ 1๋ก ์์ ํ ๋ถ๋ฆฌ๋ ์ ์๋ ๊ฒ๋ค..
์์ ์ด์ฌํ ํ๊ธฐํ ํ์ ๋ค ๋จ๊ฒจ๋๊ธฐ..
์ฒ์ ์์
๋ค์๋๋ accuracy, precision, recall ๋ฑ ๋ชจ๋ ๊ฐ๋
์ด ๋ง์ฐํ๊ฒ ๋๊ปด์ก๋ค.
์ผ๋จ ์์
์ ๋ฐ๋ผ๊ฐ๊ณ ๋ค์ ๋์์์ ๋ณด๋ ์ดํด๊ฐ ์กฐ๊ธ์ ๋๋ ๋๋์ด์๋ค.
๊ฐ๋
์์ฃผ๋ก ์ฌ์ง๊ณผ ์๋ง ์ฃผ๊ตฌ์ฅ์ฐฝ ์ธ์ธ๊น ํ๋๋ฐ,
์ฝ๋๋ฅผ ํตํด ๋ฐ์ดํฐ๋ฅผ ์ด๋ป๊ฒ ์ฒ๋ฆฌํ๊ณ ๊ฒฐ๊ณผ ์์น๋ฅผ ์ด๋ป๊ฒ ํ์ธํ๋์ง ๋ณด๋ฉด์ ํ๊ฐ์งํ์ ๋ํ ํ๋ค์ ์กฐ๊ธ์ ๋์ ์ ์์๋ค.
overfitting, underfitting, ๊ฐํ, ์ฝํ
์์ด๋ก ํ๋ค๊ฐ ํ๊ตญ์ด๋ก ํ๋ฉด ๋ ํท๊ฐ๋ฆฌ๊ณ , ํ๊ตญ์ด๋ก ํ๋ค๊ฐ ์์ด ๋จ์ด๋ฅผ ์ฐ๋ฉด ๋ ํผ๋์ด ์ค๊ณ ..
์ด๊ฑด ๋ค์ ์ฐจ๊ทผ์ฐจ๊ทผ ๋ณต์ตํด ๋ด์ผ๊ฒ ๋ค @,@ ~
๊ฒฝ์ฌ ํ๊ฐ๋ฒ ๊ตฌํ์ ๋ฐฐ์ฐ๋ ๋์ค์ backward๊ฐ ํจ์๋ก ์ฐ์ด๋์ง๋ฅผ ๋ฐฐ์ ๋ค.
loss.backward()๋ ์ญ์ ํ(Backpropagation)๋ฅผ ์ํํ๋ ๋ฉ์๋๊ณ weight์ ๋ํ loss์ gradient๋ฅผ ์๋์ผ๋ก ๊ณ์ฐํด ์ค์ ์์๋ค.
ํ๋ํ๋ ๋ฏธ๋ถ์ ์ํด๋ backward() ํจ์๋ฅผ ํตํด ์ฝ๊ฒ ๋ฏธ๋ถ๊ฐ์ ๊ตฌํ ์ ์๋ ๊ฒ์ด์๋ค. (๊ทธ๋ฆฌ๊ณ ์ด ๊ฐ์ weight.grad์ ์ ์ฅ๋๋ค.)
๋จธ์ ๋ฌ๋, ๋ฅ๋ฌ๋์ ๋ค์ด์์ ์ํ์ ์ธ ๋ถ๋ถ๋ค์ด ๋ง์์ ๋ ์ฌ๋ฐ๊ฒ ๋๊ปด์ง ๊ฑฐ ๊ฐ๋ค.
(ํ์คํ ์ธ์ด๋ฅผ ๋ฐฐ์ธ ๋ ๋ณด๋ค ๋์ ๋ณด์ด๋ ๊ฒฐ๊ณผ๊ฐ ๋์์ ๊ทธ๋ฐ๊ฑฐ ๊ฐ์๋ฐ.. ์ผ๋จ ๋ด ์ํฉ์์ ํ์ด์ฌ ์ธ์ด๋ฅผ ๋์ง ์๋ ๊ฒ ๊ฐ์ฅ ์ค์ํ๊ฒ ์ง... )์์
์ด ์ฝ๊ฐ ๋นจ๋ผ์ ํ๋ค์์ด์... ํ์ง๋ง ์ด๊ฒจ๋์ฃ ?
3. ํจ๊ป ๊ณต๋ถํ ํ๋ฃจ
5์ 1์ผ ๊ทผ๋ก์์ ๋ , ์ ๋๋ ๊ฑด์ฐ์ ํจ๊ปโจ์ข
์ผ ๊ณต๋ถํ๋ ์๊ฐ์ ๊ฐ์ก๋ค.โจ
์ด๋ ๊ฒ ๋๊ตฐ๊ฐ์ ํจ๊ป ๊ณต๋ถํ ์ ์๋ ์๊ฐ์ด ์๊ฐ๋ณด๋ค ํฐ ํ์ด ๋๋ค๋ ๊ฑธ ์์ผ ๋๊ผ๋ค. ์์คํ ํ๋ฃจ์๋ค.โจ
4. ์ฐํด๋ฅผ ์๋๊ณ
๋ค๊ฐ์ค๋ ์ฐํด๋ 3์ผ, 4์ผ, 5์ผ, 6์ผ.โจ
๋ฌผ๋ก ์ผ๋ ํ์ํ์ง๋งโจ๊ทธ ์๊ฐ ์์ ๋ด๊ฐ ๋ฐฐ์ด ๊ฒ๋ค์ ๋ค์ ์ ๋ฆฌํ๊ณ ์ถ๋ค.
ํนํ Pandas์ Numpy,โจ์ด๋ฒ ๊ธฐํ์ ํ ๋ฒ ๋ ์ ๋๋ก ์ตํ๋๊ณ ์ถ๋ค.
๋ถํธ์บ ํ์์ ๋ฐฐ์ฐ๋ ๊ฒ๋ค๋ก ์ง์๋ ์ง์์ด์ง๋ง, ์ธ์์ ๋ณด๋ ๋๋ ๋ฌ๋ผ์ง๋ ๊ฒ ๋๊ปด์ง๋ค.
์ด๋ฒ ์ฃผ๋ ๋ฌด์๋ณด๋คโจ"์ฆ๊ฒ๊ฒ ๋ฐฐ์ฐ๋ ๋ฒ"์ ๋ชธ์ผ๋ก ๋๋ ์๊ฐ์ด์๋ค.โจ
ํผ์์๋, ํจ๊ป๋ ๋ฐฐ์์ ๋ชฐ์
ํ๋ ์๊ฐ์ ์์คํ๋ค.
๋ค์ ์ฃผ๋ ์ด์ฌํ ๋ฐฐ์ด๊ฑธ ๋ค์ ๋ณด๋ฉด์ ํ๋ํ๋ ๋ฐฐ์๊ฐ๊ณ ์ถ๋ค.