ReLU를 위한 파트너, He 초기화 (He Initialization)

ReLU를 위한 최고의 파트너, He 초기화 (He Initialization) 완벽 정리

딥러닝 모델을 학습시킬 때, 가중치를 어떻게 초기화하느냐는 학습의 성패를 좌우하는 매우 중요한 요소입니다. 특히 현대 신경망에서 가장 널리 사용되는 활성화 함수인 ReLU는 특정 가중치 초기화 방법과 함께 사용할 때 최고의 성능을 발휘합니다. 이번 포스팅에서는 ReLU의 단짝, He 초기화(He Initialization)에 대해 깊이 있게 알아보겠습니다.

---

He 초기화, 왜 필요할까? : Xavier의 한계

He 초기화를 이해하기 전에, 왜 기존의 Xavier(Glorot) 초기화 방법이 ReLU 함수와는 잘 맞지 않는지 알아야 합니다. Xavier 초기화는 Sigmoid나 Tanh 함수처럼 출력값이 0을 중심으로 분포하는 활성화 함수에 최적화되어 있습니다. 입력과 출력의 분산을 동일하게 유지하여 안정적인 학습을 돕는 것이 핵심 아이디어죠.

하지만 ReLU는 조금 다릅니다. ReLU 함수는 입력이 음수이면 0으로, 양수이면 그대로 출력합니다. 이 특성 때문에 통계적으로 활성화값의 절반이 0이 되어버리고, 이는 전체 신호의 분산을 절반으로 줄이는 결과를 낳습니다.

문제점: 신호가 점점 약해진다!
Xavier 초기화 상태에서 ReLU를 사용하면, 각 층을 지날 때마다 신호(분산)의 세기가 절반으로 계속 줄어듭니다. 층이 깊어질수록 신호는 거의 사라지게 되고, 이는 결국 그래디언트 소실(Vanishing Gradient) 문제로 이어져 모델이 제대로 학습하지 못하게 됩니다.

---

He 초기화: 사라지는 신호를 되살리는 방법

He 초기화는 ReLU의 특성 때문에 발생하는 이 문제를 아주 간단하고 명쾌한 아이디어로 해결합니다.

핵심 아이디어: 미리 2배로 강하게!

"어차피 ReLU를 지나면 신호의 분산이 절반으로 줄어들 것이니, 아예 시작할 때 초기 가중치의 분산을 2배로 늘려서 시작하자!"

이것이 바로 He 초기화의 핵심입니다. 분산을 2배로 늘려 학습을 시작하면, ReLU 층을 통과하며 분산이 절반으로 줄어들더라도, 결과적으로는 입력과 비슷한 수준의 분산을 유지할 수 있게 됩니다. 이를 통해 신호가 층이 깊어져도 안정적으로 전달되어 학습이 원활하게 진행됩니다.

수학적 표현

He 초기화는 이전 계층의 노드 수(n_in)를 이용하여 가중치를 초기화합니다. 표준편차가 $\sqrt{\frac{2}{n_{in}}}$인 정규분포를 따르도록 설정하는 것이 일반적입니다.

w ~ N(0, sqrt(2 / n_in))

---

직관적인 이해: 반만 통과시키는 문

'초기 분산을 2배로 늘리면 어떻게 출력 분산이 유지될까?' 라는 질문이 들 수 있습니다. ReLU를 '반만 통과시키는 문'이라고 생각하면 쉽습니다.

• Xavier 초기화: 정상 세기의 신호가 문을 통과하며 절반으로 약해지고, 점점 사라집니다.
• He 초기화: 처음부터 2배 강한 신호를 보냅니다. 이 신호가 문을 통과하며 절반으로 약해지더라도, 결과적으로는 원래 우리가 원했던 '정상 세기'의 신호를 유지하게 됩니다.

이처럼 He 초기화는 ReLU의 특성을 정확히 이해하고, 그로 인한 손실을 미리 보상해주는 아주 스마트한 방법입니다.

#딥러닝 #가중치초기화 #He초기화 #HeInitialization #ReLU #신경망 #머신러닝 #인공지능