Focal Loss: 수식 배분과 그래프 해석

Focal Loss 도입 배경

Focal Loss는 Object Detection 문제에서 자주 발생하는 Class Imbalance 문제를 해결하기 위해 RetinaNet 논문에서 제안된 손실 함수입니다.

일반적인 one-stage detector에서는 전체 이미지에서 anchor box를 매우 촘촘하게 생성하는데, 이로 인해 거의 대부분의 anchor는 배경(background)에 해당하고 실제 객체(foreground)는 매우 드물게 됩니다.

이 경우 기존의 Cross Entropy 손실함수는 쉽고 너무 많은 배경 anchor example에 지배당해, 학습이 어렵거나 비효율적으로 진행될 수 있습니다.

이를 해결하기 위해 Focal Loss는 Cross Entropy에 modulating term을 추가하여, 모델이 이미 잘 맞추고 있는 쉬운 예제(easy examples)들의 gradient을 줄여, 어려운 예제(hard examples)에 더 집중하게 만듭니다.

Object Detection에서 기존 Cross Entropy의 문제점 & 수식 분석
(ex) easy : hard = 10,000 : 1

(앗 오타가 있네요. Otherwise 옆에 1 - p입니다.)

CE는 background와 foreground를 같은 확률로 예측한 경우 모델에 부과되는 손실 기울기가 동일합니다.

하지만 위처럼 쉬운 예제와 어려운 예제의 개수차이가 매우 크다면, 쉬운 예제에 편향적으로 학습이 될 것입니다.

Focal Loss 수식 분석

반면 Focal Loss는 감마(gamma)값과 추가적인 알파값(상수항, alpha)을 통해 쉬운 예제에 부과되는 기울기를 거의 없애버리는 방법을 통해 CE의 문제를 해결할 수 있습니다.

위의 그림처럼 FL‘(p_t)를 f(p_x)*g(p_x)로 쪼개어 보고 desmos에 plot 시켜보면 기본 CE(p_x)와 어떤 차이가 있는지 볼 수 있습니다.

+ 그냥 FL’(p_t) 자체를 plot할 수도 있었지만, 함수의 구성이 어떻게 되고 이 식에서 중요한 항인 f(p_x)의 역할을 알 수 있기에 분해했습니다.

Gamma = 0

Gamma = 0.5

Gamma = 1

Gamma = 2

Gamma = 5

식 설명부터 하고 들어가겠습니다.
h(x): Focal Loss의 도함수
f(x), g(x): h(x)의 인수들
o(x): Cross Entropy의 도함수

이 함수들을 잘 살펴보면 초록색 그래프 g(x)의 경우 r이 어떻게 변하든 약간의 변화는 있지만 큰 차이가 없음을 확인할 수 있습니다.

그럼 중요한 그래프는 f(x)겠죠?

만약 x축에서 1에 근접한 값이 쉬운 예제라고 했을 때 r값이 변화함에 따라 f(x)가 0에 달라붙어가는 것을 볼 수 있습니다.

하나씩 살펴보면

I) r = 0
일반 CE와 같음을 알 수 있습니다.

II) r = 0.5
x값이 0 -> 1로 갈때의 f(x)의 기울기가 완만해졌습니다.

III) r = 1
f(x)의 영향이 사라진 모습입니다.

IV) r = 2
드디어 f(x)의 전반적인 기울기가 줄어들었고, 쉬운 예제(1에 근접한 값들)들에 대해서 함숫값이 0에 가까워진 모습입니다.

V) r = 5
아래로 볼록한 모습으로 x > .5의 값에 대해서 거의 0에 수렴한 모습입니다.

——

알 수 있는 인사이트

이를 통해 알 수 있는 통찰은 r값이 커짐에 따라 쉬운 예제에 부과되는 기울기(gradient)가 점점 없어진다는 뜻입니다.

그림에서 r값이 5를 넘어가는 순간부터는 p > 0.5에 대해서 거의 기울기를 주지 않고 있습니다.

하지만 이런 극단적인 그래프의 모양임에도 불구하고,
쉬운예제와 어려운 예제에 대한 비율차이가 너무나 크다면 학습은 잘 이루어집니다.

학습 초반, Focal Loss를 학습시킬 때 필요한 인자, PI

sigmoid 함수의 형태

티스토리에 식을 넣는 방법을 잘 몰라서 수기로 작성해보았습니다.

부연설명을 좀 덧대면,
모델을 만들고 처음 초기화를 하게 되면 가중치들이 0 근처로 초기화됩니다.

따라서 이진분류를 하기위한 sigmoid의 파라미터로 A(x) = W^t*x + b에서 살아남은 b만 들어가게 됩니다.

만약 초반에 background의 값들이 낮은 확률이 나와 판명하기 어려운 예제로 분류되었다면,
많은 쉬운 예제들은 가중치를 많이 먹고 모델이 터져버릴 것입니다.

이것을 방지하기 위해서 처음에는 확률들을 PI값으로 만들도록 sigmoid를 b만큼 평행이동(bias를 줌)을 시킬 것 입니다.  

해당 PI값은 논문에서 0.01로 설정하므로 한번 b값을 구해보겠습니다.

이렇게 b 값을 구해보았습니다.
-4.595와 근접한 값이 나왔군요.

이제 이 값을 마지막 Dense 층에서 파라미터로 넣어주면 평행이동이 이루어집니다.
그리고 학습에 nan이 뜨지 않고 안정적으로 이루어질 것입니다.

(Focal Loss를 사용할 때는 해당 인자를 넣길 바랍니다.)

A-Balanced CE

해당 Cross Entropy는 논문에서 잠깐 제시하는 아이디어인데,
마지막 Focal Loss의 공식을 소개할 때 들어가있어서 소개하겠습니다.

해당 값은 Loss에 앞에 붙는 상수값으로써 클래스의 불균형을 해소할 때 사용합니다.

보통은 다중 분류에서 많이 사용하는데,
다중 클래스에는 개수가 많이 부족하고 딸리는 클래스가 있을 수 있기 때문입니다.

여기서 들었던 생각은 2진 분류일때는 “해당 값과 아닌 값만 있으므로 foreground, background로 생각한다면 modulating factor가 그 역할을 대신해줄 수 있지 않을까?” 라고 생각했습니다. 그렇지만 논문에서는 극단적 불균형 상황에는 감마값으로 부족할 수도 있기 때문에 알파 상수를 추가해주는 것이라고 합니다.

알파 계산은,
전체 데이터를 돌며 해당 데이터가 가지는 비율을 측정한 후,
”알파 = 전체 데이터/해당 데이터“로 계산하게 됩니다.


Reference:
Focal Loss for Dense Object Detection (https://arxiv.org/abs/1708.02002)