Nonenonenonenonnn

본 글에서는 클래스 불균형 문제에 대한 대표적 해결책 중 하나인 Logit Adjusted Cross Entropy를 중심으로, 이론적 배경과 직관적 관점에서의 확장 가능성을 분석해 보겠습니다. 핵심 문제 인식 클래스 불균형 문제에서 일반적으로 사용되는 Cross Entropy Loss (CE)는 대부분 majority class의 정확도를 높이는 방향으로 최적화되며, 그 과정에서 minority class의 오차가 희생되는 구조를 갖습니다.이를 보완하기 위한 기존 방법들은 주로 클래스별 샘플 수 기반의 post-hoc logit 보정 또는 loss weight 조정을 통해 불균형을 완화하려 시도해 왔습니다. ::Post-hoc weight 보정의 예::- 마지막 레이어의 weight vector에 대해..

왜 손실 함수의 Fisher Consistency를 따지는가?손실 함수는 모델이 어떤 방향으로 학습할지를 결정짓는 나침반과 같습니다.하지만 이 나침반이 올바른 방향을 가리키고 있는지 우리는 어떻게 알 수 있을까.바로 이 질문에 답하는 개념이 바로 Fisher Consistency입니다.Fisher consistency는 손실 함수가 이론적으로 정답 방향으로 학습을 유도하는가를 판단하는 기준입니다.구체적으로 데이터가 무한히 주어져 실제 조건부 확률 분포(p(y|x))를 정확히 알 수 있다고 가정할 때, 그 확률 분포 하에서 손실 함수의 기대값을 최소화하는 예측 함수 f가 Bayes 최적 분류기와 동일한 출력을 낸다면, 우리는 그 손실 함수를 Fisher consistent하다고 부릅니다.왜 중요할까?현실에..

Focal Loss 도입 배경Focal Loss는 Object Detection 문제에서 자주 발생하는 Class Imbalance 문제를 해결하기 위해 RetinaNet 논문에서 제안된 손실 함수입니다.일반적인 one-stage detector에서는 전체 이미지에서 anchor box를 매우 촘촘하게 생성하는데, 이로 인해 거의 대부분의 anchor는 배경(background)에 해당하고 실제 객체(foreground)는 매우 드물게 됩니다.이 경우 기존의 Cross Entropy 손실함수는 쉽고 너무 많은 배경 anchor example에 지배당해, 학습이 어렵거나 비효율적으로 진행될 수 있습니다.이를 해결하기 위해 Focal Loss는 Cross Entropy에 modulating term을 추가하..