CB-CE: Long-tailed Data를 다룰 수 있는 Loss 설계

1. Introduction

이 논문은 long-tailed distribution(긴 꼬리 분포)을 갖는 데이터셋에서 deep neural network가 성능 저하를 겪는 문제에 주목합니다.

특히, 클래스 불균형 상황에서 흔히 사용되는 inverse class frequency re-weighting의 한계를 지적하며, 새로운 손실 함수인 Class-Balanced Loss를 제안합니다.

핵심 아이디어는 “많은 데이터가 더 낫다”는 직관에 기반하되, 데이터가 서로 중복되거나 유사할 수 있다는 점을 고려해, 실제로 모델 학습에 기여하는 Effective Number of Samples(유효 샘플 수)를 정의하고, 이에 기반하여 손실 함수를 조정합니다.

2. 관련 연구 (Related Work)

불균형 데이터에 대한 기존 접근법은 크게 두 가지로 나뉩니다.

1. Re-sampling
- Over-sampling: 소수 클래스 데이터를 반복적으로 사용 -> 오버피팅
- Under-sampling: 다수 클래스 데이터를 일부 제거 -> 중요 샘플 손실 가능성 존재

2. Cost-sensitive Re-Weighting
- 손실 함수에 가중치를 부여
- 일반적으로 inverse class frequency를 사용
- 최근 연구에서는 inverse sqrt(frequency)를 사용하여 완화

그러나 이런 방법들은 클래스 간 정보량의 실질적 기여도를 반영하지 못한다는 한계가 있습니다.

3. 이론적 프레임워크 (Theoretical Framework)

1. 아이디어의 출발점: Random Covering Problem

Class Balanced Loss의 핵심 아이디어는 Random Covering Problem에서 출발합니다. 이 문제는 “어떤 공간을 무작위로 선택된 작은 영역들로 얼마나 잘 덮을 수 있는가?”를 묻는 고전적인 확률 문제입니다.

2. 클래스의 Feature 공간 정의
- 어떤 클래스의 feature space를 S 라고 정의합니다.
- 이 공간의 전체 부피(Volume)는 N >= 1입니다.
-> 직관적으로 보면, 클래스의 내부 다양성 또는 표현의 다양성 정도를 나타냅니다.

3. 각 샘플의 의미와 중복 가정
- 각 샘플은 부피(Volume) = 1 인 작은 영역으로 간주됩니다.
- 샘플 간 중복(overlap)이 가능하다고 가정합니다.
-> 이 중복은 곧 정보의 중복성을 의미하며, 실제 데이터가 비슷한 상황을 반영합니다.

4. 새로운 샘플의 중복 확률
- (n - 1) 개의 샘플을 이미 뽑은 상태에서, 새로운 샘플이 기존과 완전히 겹칠 확률은 다음과 같습니다.

p = E_(n-1)/N

- 여기서 E_(n-1)은 n번째 샘플을 뽑기 이전까지의 유효 샘플 수(Effective Number)입니다.

+ 부분적으로 겹치는 상황은 모델 단순화를 위해 무시합니다.
즉, 샘플은 완전히 겹치거나, 완전히 겹치지 않음 두 가지 경우로만 봅니다.

2. Effective Number of Samples 귀납적 도출

4. Class-Balanced Loss

+ 적용 예시

4.0.1. Softmax Cross-Entropy Loss

4.0.2. Sigmoid Cross-Entropy Loss

4.0.3. - Focal Loss

5. 실험 (Experiments)

1. Dataset
- Long-tailed CIFAR-10/100: $\mu$를 조절하여 불균형 수준 설정
- iNaturalist 2017/2018: 실제 long-tailed 분포
- imageNet(ILSVRC 2012)

2. 주요 결과
- CB Loss는 기존 loss 대비 일관된 성능 향상 제공

- CIFAR-10: 큰 beta에서 성능이 좋음 -> coarse-grained class
-> 클래스 간 겹치는 영역이 적고(내부적 다양성이 큼) 커다란 정보공간(N)을 가지고 있다는 의미로 해석 가능

- CIFAR-100: 작은 beta가 유리 -> fine-grained class
-> 클래스 간 겹치는 영역이 많고(내부적 다양성이 적음) 작은 정보공간(N)을 가지고 있다는 의미로 해석 가능

6. 결론 (Conclusion)

- Effective Number of Samples라는 개념 도입을 통해 클래스별 데이터 유효 샘플과 정보량을 정량화
- 손실 함수에 클래스별로 유효 샘플 수를 반영한 가중치를 적용함으로써 불균형 데이터에서도 강건한 학습 가능
- 특정 모델이나 손실 함수에 종속되지 않으며 다양한 상황에 적용 가능
-> Loss 내부에 들어가는 변수로 구성되지 않았고, 상수로 들어가기 때문에 Loss와 독립적이다.

7. 비판적 고찰 및 후속 연구 방향(*은 중요도)

* 클래스별 정보 공간의 크기 N 은 실제로 측정하거나 추정하기 어려우므로, 논문에서는 모든 클래스에 동일한 beta를 적용했습니다. 이는 클래스 별로 조정 가능한 beta_i에 대한 연구의 가능성을 제시했습니다.

** 유효 샘플 수는 샘플 간의 유사도에 의존하지만, 현재는 이를 단순히 확률적으로 가정했으므로 feature-level similarity를 기반으로 한 실측 기반 유효 샘플 수 계산법 연구가 필요하다고 판단하였습니다.

* CB Loss는 총 데이터 수에 따라 scaling 되므로 batch-level normalization이 필요한 상황에서는 보정 방식에 대한 추가 연구가 필요합니다.

REFERENCE
Class-Balanced Loss Based on Effective Number of Samples
: https://arxiv.org/abs/1901.05555