최적화 정의, 예시(간단)

최적화란?

최적화란, y=f(x) 함수에서 최고 높이 또는 최소 손실 함수값에 대한 x라는 지점을 구하는 것을 말한다.

 

해석적(->미분을 해서 정확한 값을 찾기)으로 구할 수 있는 경우는 제한적이며, 대부분의 경우 수치적(->수학적인 근사 방식을 이용)으로 계산을 한다.

 

예를 들어 아래와 같은 이미지에서 우리의 task에 맞는 Minimum 또는 Maximum을 찾는 것을 의미한다.

(f'(x)=0이 되는 지점 찾기)

 

그림에서는 x라는 하나의 변수만 나와있지만 찾고자하는 변수가 여러개일 수도 있다. 그래프가 그려지는 차원이 달라진다는 의미이다.

---

 

1차원 최적화

f(x)의 최대값과 최소값을 찾는 방법에 대하여 설명한다.

 

최적화 문제에서는 국소 최적값과 전체 최적값이 모두 나타날 수 있다. 전체 최적값(global optimum)이 가장 좋은 해에 해당된다. 반면 국소 최적값(local optimum)은 가장 좋은 값은 아니지만 그것에 인접한 값보다는 우수하다. 국소 최적값을 포함하는 경우는 다모드(multimodal) 문제라고 칭한다.

 

일반적으로 전체 최적값을 찾는 것에 관심이 있다.

---

예시 상황

점프를 했을 때, 최고 높이에 도달하는 시간..

 

위의 예시는 대략적으로 높이(s) = f(t)... 처럼 식이 나올텐데 s가 최대가 되는 t를 찾으면 해당 t는 극점이 된다.

 

인공지능에서도 optimizer를 통하여 손실 함수가 가장 작아지는 방향으로 weight들을 최적화하는 작업을 한다.