๋ณธ๋ฌธ ๋ฐ”๋กœ๊ฐ€๊ธฐ

SKN ai Family camp 13๊ธฐ/์ฃผ๊ฐ„ ํšŒ๊ณ 

[ํ”Œ๋ ˆ์ด๋ฐ์ดํ„ฐ SK๋„คํŠธ์›์Šค Family AI ์บ ํ”„ 13๊ธฐ] - 6์ฃผ์ฐจ ํšŒ๊ณ  (4์›” 5์ฃผ์ฐจ)

1. ๊ณต๋ชจ์ „ ์‹œ์ž‘

์ด๋ฒˆ ์ฃผ, ์ƒˆ๋กœ์šด ๋„์ „์„ ์‹œ์ž‘ํ–ˆ๋‹ค.โ€จ์žฌ๋ฒ”์ด์™€ ์›์ค€์ด์™€ ํ•จ๊ป˜ ๊ณต๋ชจ์ „์— ๋‚˜๊ฐ€๊ธฐ๋กœ ํ–ˆ๋‹ค.โ€จ
๋ชฉํ‘œ๋Š” ๊ฑฐ์ฐฝํ•˜์ง€ ์•Š๋‹ค. ์™„์ฃผ.โ€จ๋๊นŒ์ง€ ํ•ด๋ณด๋Š” ๊ฒƒ. 

์•„์ง ์ฃผ์ œ๋Š” ์ •ํ•ด์ง€์ง€ ์•Š์•˜์ง€๋งŒ
SKN ์ˆ˜์—…์„ ๋“ฃ๊ณ  ์นดํŽ˜์— ์•‰์•„ ์žˆ๊ณ  ์ง€ํ•˜์ฒ ์„ ํƒ€๊ณ  ์ง‘๊ณผ ๋ถ€ํŠธ์บ ํ”„๋ฅผ ์™”๋‹ค ๊ฐ”๋‹ค ํ•˜๋Š” ๋ชจ๋“  ์ˆœ๊ฐ„์—๋„โ€จ๋จธ๋ฆฟ์†์€ ๊ณ„์† ๋Œ์•„๊ฐ„๋‹ค.โ€จ
"์–ด๋–ค ์ฃผ์ œ๊ฐ€ ์ข‹์„๊นŒ?"โ€จ"๋‚ด ์ผ์ƒ ์†์—์„œ ๋ฌด์—‡์„ ๋ฐœ๊ฒฌํ•  ์ˆ˜ ์žˆ์„๊นŒ?"

๋ธŒ๋ ˆ์ธ์Šคํ† ๋ฐ์€ ๊ณ„์† ์ง„ํ–‰ ์ค‘์ด๋‹ค.โ€จ
 
 

2. ๋ฐฐ์šฐ๋Š” ์ฆ๊ฑฐ์›€

๋ฐฐ์šฐ๋Š” ์ผ์€ ์—ฌ์ „ํžˆ ์ฆ๊ฒ๋‹ค.โ€จ
๋น„์ „๊ณต์ž๋กœ์„œ, ํŒŒ์ด์ฌ์„ ์‹œ์ž‘์œผ๋กœ ์ง€๊ธˆ ๋จธ์‹ ๋Ÿฌ๋‹, ๋”ฅ๋Ÿฌ๋‹ ๋“ฑ ํ•˜๋‚˜์”ฉ ๋ฐฐ์›Œ๋‚˜๊ฐ€๋Š” ์ง€๊ธˆ ์ด ์‹œ๊ฐ„์ด ์†Œ์ค‘ํ•˜๋‹ค. ๋‹ค์‹œ๋Š” ์˜ค์ง€ ์•Š์„ ์ˆœ๊ฐ„๋“ค. 
์ด๋ฒˆ ์ฃผ ๊ฐ€์žฅ ๊ธฐ์–ต์— ๋‚จ๋Š” ์ˆ˜์—…์€ ๋‹จ์—ฐ ๋จธ์‹ ๋Ÿฌ๋‹, ๋”ฅ๋Ÿฌ๋‹์ด์—ˆ๋‹ค.โ€จ
Train set, Validation set, Test set์„ ๋‚˜๋ˆ ์„œโ€จ์ง์ ‘ ๋ชจ๋ธ์„ ํ•™์Šต์‹œํ‚ค๊ณ ,  ํŒŒ๋ผ๋ฏธํ„ฐ ๋ณ„๋กœ ์˜ˆ์ธก ๊ฒฐ๊ณผ๋ฅผ ํ™•์ธํ•ด ๋ณด๋Š” ๊ณผ์ •์ด ํฅ๋ฏธ๋กœ์› ๋‹ค.
SQL, ๋ฐ์ดํ„ฐํ”„๋ ˆ์ž„ ์ˆ˜์—…๋„ ์žฌ๋ฏธ์žˆ์—ˆ์ง€๋งŒโ€จ์ด๋ฒˆ ์ˆ˜์—…์€ ๊ทธ ์ด์ƒ์ด์—ˆ๋‹ค.โ€จ์ง„์งœ ๋‚ด ์Šค์Šค๋กœ ๋ˆˆ์—์„œ ์•ˆ๊ด‘์ด ๋‚˜์˜ค๋Š” ๊ธฐ๋ถ„.ใ…‹ใ…‹ใ…‹ 

์ˆ˜์—…์ด ๋๋‚˜๊ณ  ๋‚˜์„œ๋„โ€จ์กฐ๊ธˆ์ด๋ผ๋„ ๋” ๋ณต์Šตํ•˜๊ณ  ์‹ถ์–ด์กŒ๋‹ค.โ€จ
์•„์นจ ์ผ์ฐ ์™€์„œ sqld ๋ฌธ์ œ๋ฅผ ํ’€๊ณ ,โ€จ๋ฐฐ์šด ๋‚ด์šฉ์„ ์žํˆฌ๋ฆฌ ์‹œ๊ฐ„์— ๋‹ค์‹œ ํ›‘์–ด๋ณด๋Š” ๋‚ด ๋ชจ์Šต์ดโ€จ์–ด์ฉ์ง€ ์ˆ˜ํ—˜์ƒ ๊ฐ™๊ธฐ๋„ ํ–ˆ๋‹ค.โ€จ
 

 
์ˆ˜์—…์‹œ๊ฐ„์— ๋†“์นœ ๋ถ€๋ถ„์„ ๋‹ค์‹œ ์—ฌ์ญค๋ดค๋‹ค.
๋žœ๋คํฌ๋ ˆ์ŠคํŠธ๋Š” Feature scaling์„ ํ•  ํ•„์š”๊ฐ€ ์—†๋‹ค. 
์—ฐ์†ํ˜•, ์ˆ˜์น˜ํ˜• ์€ ๊ฐ™์€๊ฑธ๋กœ ๋ด์•ผ ํ•จ. ๋‚˜์ด, ์„ฑ์  ๋“ฑ ์—ฐ์†ํ˜•์œผ๋กœ ๋ด์•ผ ํ•œ๋‹ค. 0๊ณผ 1๋กœ ์™„์ „ํžˆ ๋ถ„๋ฆฌ๋  ์ˆ˜ ์—†๋Š” ๊ฒƒ๋“ค.. 
 

 
์™„์ „ ์—ด์‹ฌํžˆ ํ•„๊ธฐํ•œ ํ”์ ๋“ค ๋‚จ๊ฒจ๋‘๊ธฐ.. 
 
 

 
์ฒ˜์Œ ์ˆ˜์—…๋“ค์„๋•Œ๋Š” accuracy, precision, recall ๋“ฑ ๋ชจ๋“  ๊ฐœ๋…์ด ๋ง‰์—ฐํ•˜๊ฒŒ ๋А๊ปด์กŒ๋‹ค.
์ผ๋‹จ ์ˆ˜์—…์„ ๋”ฐ๋ผ๊ฐ€๊ณ  ๋‹ค์‹œ ๋Œ์•„์™€์„œ ๋ณด๋‹ˆ ์ดํ•ด๊ฐ€ ์กฐ๊ธˆ์€ ๋˜๋Š” ๋А๋‚Œ์ด์—ˆ๋‹ค.
๊ฐœ๋…์œ„์ฃผ๋กœ ์‚ฌ์ง„๊ณผ ์‹๋งŒ ์ฃผ๊ตฌ์žฅ์ฐฝ ์™ธ์šธ๊นŒ ํ–ˆ๋Š”๋ฐ,
์ฝ”๋“œ๋ฅผ ํ†ตํ•ด ๋ฐ์ดํ„ฐ๋ฅผ ์–ด๋–ป๊ฒŒ ์ฒ˜๋ฆฌํ•˜๊ณ  ๊ฒฐ๊ณผ ์ˆ˜์น˜๋ฅผ ์–ด๋–ป๊ฒŒ ํ™•์ธํ•˜๋Š”์ง€ ๋ณด๋ฉด์„œ ํ‰๊ฐ€์ง€ํ‘œ์— ๋Œ€ํ•œ ํ—ˆ๋“ค์„ ์กฐ๊ธˆ์€ ๋„˜์„ ์ˆ˜ ์žˆ์—ˆ๋‹ค. 
 

 
overfitting, underfitting, ๊ฐ•ํ™”, ์•ฝํ™”  
์˜์–ด๋กœ ํ•˜๋‹ค๊ฐ€ ํ•œ๊ตญ์–ด๋กœ ํ•˜๋ฉด ๋˜ ํ—ท๊ฐˆ๋ฆฌ๊ณ , ํ•œ๊ตญ์–ด๋กœ ํ•˜๋‹ค๊ฐ€ ์˜์–ด ๋‹จ์–ด๋ฅผ ์“ฐ๋ฉด ๋˜ ํ˜ผ๋ˆ์ด ์˜ค๊ณ .. 
์ด๊ฑด ๋‹ค์‹œ ์ฐจ๊ทผ์ฐจ๊ทผ ๋ณต์Šตํ•ด ๋ด์•ผ๊ฒ ๋‹ค @,@ ~ 
 

 
๊ฒฝ์‚ฌ ํ•˜๊ฐ•๋ฒ• ๊ตฌํ˜„์„ ๋ฐฐ์šฐ๋Š” ๋„์ค‘์— backward๊ฐ€ ํ•จ์ˆ˜๋กœ ์“ฐ์ด๋Š”์ง€๋ฅผ ๋ฐฐ์› ๋‹ค. 
loss.backward()๋Š” ์—ญ์ „ํŒŒ(Backpropagation)๋ฅผ ์ˆ˜ํ–‰ํ•˜๋Š” ๋ฉ”์„œ๋“œ๊ณ  weight์— ๋Œ€ํ•œ loss์˜ gradient๋ฅผ ์ž๋™์œผ๋กœ ๊ณ„์‚ฐํ•ด ์คŒ์„ ์•Œ์•˜๋‹ค. 
ํ•˜๋‚˜ํ•˜๋‚˜ ๋ฏธ๋ถ„์„ ์•ˆํ•ด๋„ backward() ํ•จ์ˆ˜๋ฅผ ํ†ตํ•ด ์‰ฝ๊ฒŒ ๋ฏธ๋ถ„๊ฐ’์„ ๊ตฌํ•  ์ˆ˜ ์žˆ๋Š” ๊ฒƒ์ด์—ˆ๋‹ค. (๊ทธ๋ฆฌ๊ณ  ์ด ๊ฐ’์€ weight.grad์— ์ €์žฅ๋œ๋‹ค.)
 
 
 
๋จธ์‹ ๋Ÿฌ๋‹, ๋”ฅ๋Ÿฌ๋‹์— ๋“ค์–ด์™€์„œ ์ˆ˜ํ•™์ ์ธ ๋ถ€๋ถ„๋“ค์ด ๋งŽ์•„์„œ ๋” ์žฌ๋ฐŒ๊ฒŒ ๋А๊ปด์ง„ ๊ฑฐ ๊ฐ™๋‹ค.
(ํ™•์‹คํžˆ ์–ธ์–ด๋ฅผ ๋ฐฐ์šธ ๋•Œ ๋ณด๋‹ค ๋ˆˆ์— ๋ณด์ด๋Š” ๊ฒฐ๊ณผ๊ฐ€ ๋‚˜์™€์„œ ๊ทธ๋Ÿฐ๊ฑฐ ๊ฐ™์€๋ฐ.. ์ผ๋‹จ ๋‚ด ์ƒํ™ฉ์—์„  ํŒŒ์ด์ฌ ์–ธ์–ด๋ฅผ ๋†“์ง€ ์•Š๋Š” ๊ฒŒ ๊ฐ€์žฅ ์ค‘์š”ํ•˜๊ฒ ์ง€... )
์ˆ˜์—…์ด ์•ฝ๊ฐ„ ๋นจ๋ผ์„œ ํž˜๋“ค์—‡์–ด์š”... ํ•˜์ง€๋งŒ ์ด๊ฒจ๋ƒˆ์ฃ ? 
 
 

3. ํ•จ๊ป˜ ๊ณต๋ถ€ํ•œ ํ•˜๋ฃจ

5์›” 1์ผ ๊ทผ๋กœ์ž์˜ ๋‚ , ์œ ๋‚˜๋ž‘ ๊ฑด์šฐ์™€ ํ•จ๊ป˜โ€จ์ข…์ผ ๊ณต๋ถ€ํ•˜๋Š” ์‹œ๊ฐ„์„ ๊ฐ€์กŒ๋‹ค.โ€จ
์ด๋ ‡๊ฒŒ ๋ˆ„๊ตฐ๊ฐ€์™€ ํ•จ๊ป˜ ๊ณต๋ถ€ํ•  ์ˆ˜ ์žˆ๋Š” ์‹œ๊ฐ„์ด ์ƒ๊ฐ๋ณด๋‹ค ํฐ ํž˜์ด ๋œ๋‹ค๋Š” ๊ฑธ ์ƒˆ์‚ผ ๋А๊ผˆ๋‹ค. ์†Œ์ค‘ํ•œ ํ•˜๋ฃจ์˜€๋‹ค.โ€จ
 

4. ์—ฐํœด๋ฅผ ์•ž๋‘๊ณ  

๋‹ค๊ฐ€์˜ค๋Š” ์—ฐํœด๋Š” 3์ผ, 4์ผ, 5์ผ, 6์ผ.โ€จ
๋ฌผ๋ก  ์‰ผ๋„ ํ•„์š”ํ•˜์ง€๋งŒโ€จ๊ทธ ์‹œ๊ฐ„ ์•ˆ์— ๋‚ด๊ฐ€ ๋ฐฐ์šด ๊ฒƒ๋“ค์„ ๋‹ค์‹œ ์ •๋ฆฌํ•˜๊ณ  ์‹ถ๋‹ค.

ํŠนํžˆ Pandas์™€ Numpy,โ€จ์ด๋ฒˆ ๊ธฐํšŒ์— ํ•œ ๋ฒˆ ๋” ์ œ๋Œ€๋กœ ์ตํ˜€๋‘๊ณ  ์‹ถ๋‹ค.
๋ถ€ํŠธ์บ ํ”„์—์„œ ๋ฐฐ์šฐ๋Š” ๊ฒƒ๋“ค๋กœ ์ง€์‹๋„ ์ง€์‹์ด์ง€๋งŒ, ์„ธ์ƒ์„ ๋ณด๋Š” ๋ˆˆ๋„ ๋‹ฌ๋ผ์ง€๋Š” ๊ฒŒ ๋А๊ปด์ง„๋‹ค. 
 




์ด๋ฒˆ ์ฃผ๋Š” ๋ฌด์—‡๋ณด๋‹คโ€จ"์ฆ๊ฒ๊ฒŒ ๋ฐฐ์šฐ๋Š” ๋ฒ•"์„ ๋ชธ์œผ๋กœ ๋А๋‚€ ์‹œ๊ฐ„์ด์—ˆ๋‹ค.โ€จ
ํ˜ผ์ž์„œ๋„, ํ•จ๊ป˜๋„ ๋ฐฐ์›€์— ๋ชฐ์ž…ํ•˜๋Š” ์ˆœ๊ฐ„์€ ์†Œ์ค‘ํ–ˆ๋‹ค. 

๋‹ค์Œ ์ฃผ๋„ ์—ด์‹ฌํžˆ ๋ฐฐ์šด๊ฑธ ๋‹ค์‹œ ๋ณด๋ฉด์„œ ํ•˜๋‚˜ํ•˜๋‚˜ ๋ฐฐ์›Œ๊ฐ€๊ณ  ์‹ถ๋‹ค.