왜 Cross Entropy는 믿을 만한가 — Fisher Consistency로 보는 이론적 정당성

왜 손실 함수의 Fisher Consistency를 따지는가?손실 함수는 모델이 어떤 방향으로 학습할지를 결정짓는 나침반과 같습니다.하지만 이 나침반이 올바른 방향을 가리키고 있는지 우리는 어떻게 알 수 있을까.바로 이 질문에 답하는 개념이 바로 Fisher Consistency입니다.Fisher consistency는 손실 함수가 이론적으로 정답 방향으로 학습을 유도하는가를 판단하는 기준입니다.구체적으로 데이터가 무한히 주어져 실제 조건부 확률 분포(p(y|x))를 정확히 알 수 있다고 가정할 때, 그 확률 분포 하에서 손실 함수의 기대값을 최소화하는 예측 함수 f가 Bayes 최적 분류기와 동일한 출력을 낸다면, 우리는 그 손실 함수를 Fisher consistent하다고 부릅니다.왜 중요할까?현실에..
🖥️ Computer Vision/📰 Paper 2025. 7. 13. 14:57
1