Nonenonenonenonnn

본 글에서는 클래스 불균형 문제에 대한 대표적 해결책 중 하나인 Logit Adjusted Cross Entropy를 중심으로, 이론적 배경과 직관적 관점에서의 확장 가능성을 분석해 보겠습니다. 핵심 문제 인식 클래스 불균형 문제에서 일반적으로 사용되는 Cross Entropy Loss (CE)는 대부분 majority class의 정확도를 높이는 방향으로 최적화되며, 그 과정에서 minority class의 오차가 희생되는 구조를 갖습니다.이를 보완하기 위한 기존 방법들은 주로 클래스별 샘플 수 기반의 post-hoc logit 보정 또는 loss weight 조정을 통해 불균형을 완화하려 시도해 왔습니다. ::Post-hoc weight 보정의 예::- 마지막 레이어의 weight vector에 대해..

왜 손실 함수의 Fisher Consistency를 따지는가?손실 함수는 모델이 어떤 방향으로 학습할지를 결정짓는 나침반과 같습니다.하지만 이 나침반이 올바른 방향을 가리키고 있는지 우리는 어떻게 알 수 있을까.바로 이 질문에 답하는 개념이 바로 Fisher Consistency입니다.Fisher consistency는 손실 함수가 이론적으로 정답 방향으로 학습을 유도하는가를 판단하는 기준입니다.구체적으로 데이터가 무한히 주어져 실제 조건부 확률 분포(p(y|x))를 정확히 알 수 있다고 가정할 때, 그 확률 분포 하에서 손실 함수의 기대값을 최소화하는 예측 함수 f가 Bayes 최적 분류기와 동일한 출력을 낸다면, 우리는 그 손실 함수를 Fisher consistent하다고 부릅니다.왜 중요할까?현실에..

Introduction이 논문은 long-tailed distribution(긴 꼬리 분포)을 갖는 데이터셋에서 deep neural network가 성능 저하를 겪는 문제에 주목합니다. 특히, 클래스 불균형 상황에서 흔히 사용되는 inverse class frequency re-weighting의 한계를 지적하며, 새로운 손실 함수인 Class-Balanced Loss를 제안합니다.핵심 아이디어는 “많은 데이터가 더 낫다”는 직관에 기반하되, 데이터가 서로 중복되거나 유사할 수 있다는 점을 고려해, 실제로 모델 학습에 기여하는 Effective Number of Samples(유효 샘플 수)를 정의하고, 이에 기반하여 손실 함수를 조정합니다.관련 연구 (Related Work)불균형 데이터에 대한 기존..