[논문 리뷰] Focal Loss

 

 

Table of Content

1. Focal Loss의 필요성

2. Focal Loss

    1. Crossentropy Loss를 쓰지 않고 Focal Loss를 쓰는 이유

    2. Balanced Cross Entropy Loss를 쓰지 않고 Focal Loss를 사용하는 이유

    3. Focal Loss의 적용

---

Object Detection이란?

 

여러 object들을 Bounding Box를 통해 Localization(위치 찾기)하고, Classification(어떤 물체인지 분류)하는 작업입니다.

 

Object Detection의 2가지 종류의 알고리즘

 

1. R-CNN 계열의 two-stage detector

2. YOLO, SSD 계열의 one stage detector

SSD관련 논문 리뷰: https://herbwood.tistory.com/15

 

요약하면, 

two-stage detector: Localization을 한 다음에 classification이 순차적으로 처리하는 모델

one-stage detector: Localization과 classification을 동시에 처리하는 모델

 

정확도 성능으로는 two-stage detector가 좋지만 연산 속도가 오래 걸리는 단점이 존재합니다.

---

1. Focal Loss의 필요성

 

Focal Loss는 one-stage detector의 정확도 성능을 개선하기 위하여 고안되었습니다. one-stage detector가 two-stage detector에 비하여 가지고 있는 문제점은 학습 중 Class imbalance(클래스 불균형 문제가 심하다는 것 입니다.)

 

예를 들어, 학습 중 배경에 대하여 박스를 친 것과 실제 객체에 대하여 박스를 친 것을 비율을 살펴보면 압도적으로 배경에 대하여 박스를 친 것이 많습니다. 그렇기에 학습 중에서 배경에 대한 박스를 출력하면 오류라고 학습이 되지만 그 빈도수가 너무 많다는 것이 학습에 방해가 된다는 뜻입니다. (SSD에서는 학습 시 한 이미지 당 만개 이상의 background에 대한 박스가 존재합니다.)

 

이와 같은 문제점이 발생하는 이유는 dense sampling of anchor boxes (possible object location)로 알려져 있다. 예를 들어 RetinaNet에서는 각각의 pyramid layer에서 anchor box가 수천개가 추출됩니다.

 

정리하자면 이와 같은 클래스 불균형 문제는 다음 2가지 문제의 원인이 됩니다.

1. 대부분의 Location은 학습에 기여하지 않는 easy negative이므로 (detector에 의해 background로 쉽게 분류될 수 있으므로) 학습에 비효율적입니다.

2. easy negative 각각은 높은 확률로 객체가 아님을 잘 구분할 수 있습니다. 즉, 각각의 loss값은 작습니다. 하지만 비율이 굉장히 큰 문제가 있으므로, 전체 loss 및 gradient를 계산할 때 easy negative의 영향이 압도적으로 커지는 문제가 발생합니다.

 

이러한 문제를 개선하기 위하여 Focal Loss 개념이 도입되었습니다.

 

2. Focal Loss

2.1. Crossentropy Loss를 쓰지 않고 Focal Loss를 쓰는 이유

Crossentropy의 문제점은 모든 sample에 대한 예측 결과를 동등하게 가중치를 둔다는 점 입니다. 이로 인하여 어떠한 쉽게 분류될 수 있음에도 불구하고 작지 않은 gradient를 만들어내고 많은 수의 easy example의 loss가 더해져 보기 드분 foreground의 class를 압도해버려 학습이 제대로 이루어지지 않게 됩니다.

 

이진 분류에 대한 Binary Cross Entopry Loss는 다음과 같은 공식을 따릅니다.

이진 분류를 위한 Loss인 BCE 공식

위의 식을 바탕으로 p=0.95{$y_t=1$}, p=0.05{$y_t=0$}인 상황을 살펴보겠습니다.

p=0.95일때의 Foreground 케이스를 살펴보면 Foreground인 객체에 대해 높은 확률인 0.95로 잘 분류되었으며, 그 결과 Loss가 0.05로 작은 것을 알 수 있습니다.

이와 유사하게 p=0.05의 Background 케이스를 살펴보면 Background임에 따라 낮은 확률인 0.05로 잘 분류되었고, 그 결과 위와 동일하게 Loss가 0.05로 작은 것을 알 수 있습니다.

 

그래프로 살펴봐도 알다시피, 각 함수는 $y_p=0.5$를 대칭축으로 삼고 있는 것도 알 수 있습니다.

 

이 두 식을 살펴보면서 문제가 없어보이지만 여기서 발생하는 문제점은 Foreground 케이스와 Background 케이스가 모두 같은 Loss gradient를 가진다는 것에 존재합니다.

왜냐하면 Background 케이스의 수가 훨씬 더 많기 때문에 같은 비율로 Loss값을 업데이트하게 된다면 Background에 대해서 학습이 훨씬 많이 될 것이고, 이 작업이 계속 누적되면 Foreground에 대한 학습량이 현저히 줄어들게 될 것이기 때문입니다.

 

2.2. Balanced Cross Entropy Loss를 안쓰고 Focal Loss를 쓰는 이유

Cross Entropy 케이스에서 발생하는 문제인 Foreground 케이스의 비율이 다른 점을 개선하기 위하여 Cross Entropy Loss 자체에 비율을 보상하기 위한 weight를 추가로 곱해주는 방식을 사용할 수도 있습니다.

 

예를 들어 Foreground 객체의 클래스 수와 Background객체의 클래스 수 각각의 역수를 각 Loss에 곱한다면, 클래스 수가 많은 Background의 경우 Loss가 작게 반영될 것이고 클래스 수가 적은 Foreground의 경우 Loss가 크게 반영될 것이기 때문입니다.

 

이와 같이 각 클래스의 Loss 비율을 조절한느 weight를 곱해주어 imbalance class문제에 대한 개선을 하고자 하는 방법을 Balanced Cross Entropy Loss라고 합니다. 

 

일반적으로 0<wt<1범위의 값을 사용하며 식으로 표현하면 다음과 같습니다.

 

Balanced Cross Entropy Loss

Cross Entropy Loss의 근본적인 문제가 Foreground 대비 Background의 객체가 굉장히 많이 나오는 class imabalance 문제에 해당 되었습니다. 따라서 Balanced Cross Entropy Loss의 weight를 이용하면 weight에 대한 값의 조절을 통해 해결할 수 있을 것으로 보입니다. 즉, Foreground의 weight는 크게, Background의 weight는 작게 적용하는 방향으로 개선하고자 하는 것 입니다.

 

하지만 이와 같은 방법에는 문제점이 존재합니다. 바로, Easy/Hard example 구분을 할 수 없다는 점입니다.

단순하게 갯수가 많다고 Easy라고 판단하거나 Hard라고 판단한느 것에는 오차가 발생할 수 있기 때문입니다. 

 

그리고 이번에는 다음과 같은 예를 살펴봅시다.

0.95의 확률로 Foreground 객체라고 분류한 Foreground 케이스에 weight 0.75를 주는 경우와, 

0.05의 확률로 Background 객체라고 분류한 Background 케이스에 weight 0.25를 주는 경우를 살펴보자.

 

앞에서 설명한 바와 같이 통상적으로 Background 객체의 수가 많으므로 더 낮은 Loss를 반영하기 위해 더 작은 weight를 반영하도록 하였습니다. 그리고 식을 살펴보면 별 차이가 나지 않는데, 이는 Easy와 Hard Example에 대한 반영이 거의 없는 점을 보여줍니다.

 

2.3. Focal Loss 적용

$$FL(p_t)=-\alpha_t(1-p_t)^\gamma\log(p_t)$$

 

Focal Loss의 핵심 아이디어는 다음과 같습니다. 모델 입장에서 쉽다고 판단하는 example에 대해서 모델의 출력 확률(confidence)인 $p_t$가 높게 나올 테니 $(1-p_t)^\gamma$를 Categorical Crossentropy에 추가해줌으로써 높은 확신에 대해 패널티를 주는 방법입니다. Focal Loss는 modulating factor $(1-p_t)^\gamma$와 $\gamma$를 CE에 추가한 형태를 가집니다. 여기서 $\gamma$를 Focussing parameter라고 하면 Easy Example에 대한 Loss의 비중을 낮추는 역할을 합니다.

 

반대로 어려워하고 있는 example에 대해서 $p_t$가 낮게 나올테니 $(1-p_t)^\gamma$가 상대적으로 높게 나올 것 입니다!!

 

이처럼 Focal Loss는 Easy Example의 weight를 줄이고 Hard Negative Example에 대한 학습에 초점을 맞추는 Cross Entropy Loss의 확장이라고 말할 수 있습니다.

 

위와 같은 Focal Loss에서는 $\gamma$값이 weight의 지수로 들어가기 때문에 조금만 변화해도 기울기에 변화가 큽니다. 따라서 $\gamma$값을 잘 조절해야 좋은 성능을 얻을 수 있습니다. 

 

추가적으로 전체적인 Loss값을 조절하는 $\alpha$값 또한 논문에서 사용되어 $\alpha$, $\gamma$값을 조절하여 어떤 값이 좋은 성능을 가졌는지 보여줍니다. 식은 아래와 같고 논문에서는 $\alpha=0.25$, $\gamma=2$를 최종적으로 사용합니다.

 

$\gamma$ 값에 따른 Focal Loss Graph

위 그래프는 $/gamma$가 0~5까지 변화할 때의 변화를 나타내며, $\gamma=0$일 때, Cross Entropy Loss와 같습니다. $\gamma$값이 커질수록 Easy Example에 대한 Loss가 크게 줄어들며 Easy Example에 대한 범위도 더욱 커집니다.

 

서로 다른 $\gamma$값에 대한 loss는 위의 도표를 통해 확인이 가능합니다. 

위의 도표에서 파란색 선은 CE를 의미합니다. 파란색 선은 경사가 완만하여 $p_t$가 높은 example과 낮은 exampla 사이의 차이가 크지 않다는 것을 확인할 수 있습니다. 반면 Focal Loss는 Focusing Parameter $\gamma$에 따라서 $p_t$가 높은 exampla과 낮은 example 사이의 차이가 상대적으로 크다는 점을 확인할 수 있습니다. 

 

즉, $y=1$인 class임에도 $p_t$가 낮은 경우와, $y=-1$임에도 $p_t$가 높은 경우에 Focal Loss가 높습니다. 

반대의 경우에는 down-weighted 되어 Loss값이 낮게 나타나게 됩니다.

 

이를 통해 Focal Loss의 두 가지 특성을 확인이 가능합니다.

 

1) $p_t$와 modulating factor $(1-p_t)^\gamma$와의 관계

example이 잘못 분류되고, $p_t$가 작으면, modulating factor는 1과 가까워지면, loss는 영향을 받지 않습니다. 

반대로 $p_t$값이 크면 modulating factor는 0에 가까워지고, 잘 분류된 example의 loss는 down-weighted됩니다.

 

2) focusing parameter $\gamma$의 역할

focusing parameter $\gamma$는 easy example을 down-weight하는 정도를 부드럽게 조정합니다. 

$\gamma=0$인 경우, focal loss는 CE와 동일하며, $\gamma$가 상승할수록 modulating factor $(1-p_t)^\gamma$의 영향력이 커지게 됩니다. 논문에서는 실험 시 $\gamma=2$일 때 가장 좋은 결과를 보였다고 합니다.

 

Cross Entropy Loss vs Focal Loss

빨간색 케이스의 경우 Foreground Example이며, 초록색의 경우 Background Example입니다. (Object일 확률값이 0.8 이상부터는 모델이 잘 맞출 수 있는) 문제입니다. (위의 그림에서 $\alpha=1$, $\gamma=1$을 사용했습니다.)

formula of CE & FL

Background Example::

CE에서 FL로 변화한 Loss gradient값을 보면, 0.1에서 0.01로 내려갔습니다. 

 

Foreground Example::

반면에 Foreground Example 일때는 2.3에서 2.1로 내려간 것을 확인할 수 있습니다.

 

Loss값 숫자 자체만 보면 Foreground Example의 Loss값의 차이가 더 크지만 Loss값이 의미하는 바를 생각해본다면 오히려 Background Example이 훨씬 더 많이 감소한 것이 됩니다.

보라: Focal Loss 미분, 파랑: CE 미분

 

모델 학습 중 Loss에서 중요한 것은 Loss function의 기울기인데, 쉽다고 생각하는 부분(0.8이상)의 기울기가 $/frac{1}{10}$정도로 줄은 것을 확인할 수 있습니다. 

 

Hard 케이스보다 Easy 케이스의 경우 weight가 상대적으로 더 많이 떨어짐으로써 기존에 문제가 되었던 수많은 Easy Negative케이스에 의한 Loss가 누적되는 문제를 개선할 수 있습니다.

 

이러한 원리로 인해 Focal Loss를 사용하면 Cross-Entropy를 사용할 때보다 모델이 학습할 때 오분류하는 데이터에 더 집중해서 학습하도록 할 수 있도록 만들어줍니다.

 

################ CODE ##################

class Focal_Loss(tf.keras.losses.Loss):
    def __init__(self, gamma=2.1, alpha=1):
        super(Focal_Loss, self).__init__()
        self.gamma=gamma
        self.alpha=alpha

    def call(self, y_true, y_pred):
        e_cross=tf.expand_dims(tf.losses.categorical_crossentropy(y_true, y_pred), axis=-1)
        p_t=tf.where(y_true==1, y_pred, 1-y_pred)
        weight=self.alpha*tf.math.pow(p_t, self.gamma)
        return weight*e_cross

 

 

 

==참조 블로그==

https://woochan-autobiography.tistory.com/929