πŸ‘Ύ CS

μ΅œμ ν™” μ •μ˜, μ˜ˆμ‹œ(간단)

MewwSikk 2023. 10. 28. 17:21

μ΅œμ ν™”λž€?

μ΅œμ ν™”λž€, y=f(x) ν•¨μˆ˜μ—μ„œ 졜고 높이 λ˜λŠ” μ΅œμ†Œ 손싀 ν•¨μˆ˜κ°’μ— λŒ€ν•œ xλΌλŠ” 지점을 κ΅¬ν•˜λŠ” 것을 λ§ν•œλ‹€.

 

해석적(->미뢄을 ν•΄μ„œ μ •ν™•ν•œ 값을 μ°ΎκΈ°)으둜 ꡬ할 수 μžˆλŠ” κ²½μš°λŠ” μ œν•œμ μ΄λ©°, λŒ€λΆ€λΆ„μ˜ 경우 수치적(->μˆ˜ν•™μ μΈ 근사 방식을 이용)으둜 계산을 ν•œλ‹€.

 

예λ₯Ό λ“€μ–΄ μ•„λž˜μ™€ 같은 μ΄λ―Έμ§€μ—μ„œ 우리의 task에 λ§žλŠ” Minimum λ˜λŠ” Maximum을 μ°ΎλŠ” 것을 μ˜λ―Έν•œλ‹€.

(f'(x)=0이 λ˜λŠ” 지점 μ°ΎκΈ°)

 

κ·Έλ¦Όμ—μ„œλŠ” xλΌλŠ” ν•˜λ‚˜μ˜ λ³€μˆ˜λ§Œ λ‚˜μ™€μžˆμ§€λ§Œ μ°Ύκ³ μžν•˜λŠ” λ³€μˆ˜κ°€ μ—¬λŸ¬κ°œμΌ μˆ˜λ„ μžˆλ‹€. κ·Έλž˜ν”„κ°€ κ·Έλ €μ§€λŠ” 차원이 λ‹¬λΌμ§„λ‹€λŠ” μ˜λ―Έμ΄λ‹€.


 

1차원 μ΅œμ ν™”

f(x)의 μ΅œλŒ€κ°’κ³Ό μ΅œμ†Œκ°’μ„ μ°ΎλŠ” 방법에 λŒ€ν•˜μ—¬ μ„€λͺ…ν•œλ‹€.

 

μ΅œμ ν™” λ¬Έμ œμ—μ„œλŠ” κ΅­μ†Œ μ΅œμ κ°’κ³Ό 전체 μ΅œμ κ°’μ΄ λͺ¨λ‘ λ‚˜νƒ€λ‚  수 μžˆλ‹€. 전체 μ΅œμ κ°’(global optimum)이 κ°€μž₯ 쒋은 해에 ν•΄λ‹Ήλœλ‹€. 반면 κ΅­μ†Œ μ΅œμ κ°’(local optimum)은 κ°€μž₯ 쒋은 값은 μ•„λ‹ˆμ§€λ§Œ 그것에 μΈμ ‘ν•œ κ°’λ³΄λ‹€λŠ” μš°μˆ˜ν•˜λ‹€. κ΅­μ†Œ μ΅œμ κ°’μ„ ν¬ν•¨ν•˜λŠ” κ²½μš°λŠ” λ‹€λͺ¨λ“œ(multimodal) 문제라고 μΉ­ν•œλ‹€.

 

일반적으둜 전체 μ΅œμ κ°’μ„ μ°ΎλŠ” 것에 관심이 μžˆλ‹€.


μ˜ˆμ‹œ 상황

점프λ₯Ό ν–ˆμ„ λ•Œ, 졜고 높이에 λ„λ‹¬ν•˜λŠ” μ‹œκ°„..

 

μœ„μ˜ μ˜ˆμ‹œλŠ” λŒ€λž΅μ μœΌλ‘œ 높이(s) = f(t)... 처럼 식이 λ‚˜μ˜¬ν…λ° sκ°€ μ΅œλŒ€κ°€ λ˜λŠ” tλ₯Ό 찾으면 ν•΄λ‹Ή tλŠ” 극점이 λœλ‹€.

 

인곡지λŠ₯μ—μ„œλ„ optimizerλ₯Ό ν†΅ν•˜μ—¬ 손싀 ν•¨μˆ˜κ°€ κ°€μž₯ μž‘μ•„μ§€λŠ” λ°©ν–₯으둜 weight듀을 μ΅œμ ν™”ν•˜λŠ” μž‘μ—…μ„ ν•œλ‹€.