μ΅μ ν μ μ, μμ(κ°λ¨)
μ΅μ νλ?
μ΅μ νλ, y=f(x) ν¨μμμ μ΅κ³ λμ΄ λλ μ΅μ μμ€ ν¨μκ°μ λν xλΌλ μ§μ μ ꡬνλ κ²μ λ§νλ€.
ν΄μμ (->λ―ΈλΆμ ν΄μ μ νν κ°μ μ°ΎκΈ°)μΌλ‘ ꡬν μ μλ κ²½μ°λ μ νμ μ΄λ©°, λλΆλΆμ κ²½μ° μμΉμ (->μνμ μΈ κ·Όμ¬ λ°©μμ μ΄μ©)μΌλ‘ κ³μ°μ νλ€.
μλ₯Ό λ€μ΄ μλμ κ°μ μ΄λ―Έμ§μμ μ°λ¦¬μ taskμ λ§λ Minimum λλ Maximumμ μ°Ύλ κ²μ μλ―Ένλ€.
(f'(x)=0μ΄ λλ μ§μ μ°ΎκΈ°)
κ·Έλ¦Όμμλ xλΌλ νλμ λ³μλ§ λμμμ§λ§ μ°Ύκ³ μνλ λ³μκ° μ¬λ¬κ°μΌ μλ μλ€. κ·Έλνκ° κ·Έλ €μ§λ μ°¨μμ΄ λ¬λΌμ§λ€λ μλ―Έμ΄λ€.
1μ°¨μ μ΅μ ν
f(x)μ μ΅λκ°κ³Ό μ΅μκ°μ μ°Ύλ λ°©λ²μ λνμ¬ μ€λͺ νλ€.
μ΅μ ν λ¬Έμ μμλ κ΅μ μ΅μ κ°κ³Ό μ 체 μ΅μ κ°μ΄ λͺ¨λ λνλ μ μλ€. μ 체 μ΅μ κ°(global optimum)μ΄ κ°μ₯ μ’μ ν΄μ ν΄λΉλλ€. λ°λ©΄ κ΅μ μ΅μ κ°(local optimum)μ κ°μ₯ μ’μ κ°μ μλμ§λ§ κ·Έκ²μ μΈμ ν κ°λ³΄λ€λ μ°μνλ€. κ΅μ μ΅μ κ°μ ν¬ν¨νλ κ²½μ°λ λ€λͺ¨λ(multimodal) λ¬Έμ λΌκ³ μΉνλ€.
μΌλ°μ μΌλ‘ μ 체 μ΅μ κ°μ μ°Ύλ κ²μ κ΄μ¬μ΄ μλ€.
μμ μν©
μ νλ₯Ό νμ λ, μ΅κ³ λμ΄μ λλ¬νλ μκ°..
μμ μμλ λλ΅μ μΌλ‘ λμ΄(s) = f(t)... μ²λΌ μμ΄ λμ¬ν λ° sκ° μ΅λκ° λλ tλ₯Ό μ°ΎμΌλ©΄ ν΄λΉ tλ κ·Ήμ μ΄ λλ€.
μΈκ³΅μ§λ₯μμλ optimizerλ₯Ό ν΅νμ¬ μμ€ ν¨μκ° κ°μ₯ μμμ§λ λ°©ν₯μΌλ‘ weightλ€μ μ΅μ ννλ μμ μ νλ€.