Adam Optimizer의 Effective Stepsize 이해하기

Adam Optimizer의 Effective Stepsize 이해하기Adam 옵티마이저는 각 파라미터의 업데이트 크기를 자동으로 조절하며 학습 안정성을 확보합니다. 하지만 어떤 경우에는 업데이트가 과도하게 커지고, 어떤 경우에는 α보다 작게 제한되기도 합니다.이 글에서는 Adam 논문의 effective stepsize에 대한 이론적 상한, Signal-to-Noise Ratio (SNR) 기반의 학습률 자동 조절(annealing), 그리고 gradient scaling 불변성의 의미를 정리합니다.1. Effective Stepsize 상한 구조Adam의 업데이트는 다음과 같은 식으로 표현됩니다.Δₜ = α · (m̂ₜ / √v̂ₜ)여기서 Δₜ는 현재 시점 t에서 파라미터 공간 상에 실제로 적용되는 ..
🖥️ Computer Vision/📰 Paper 2025. 7. 27. 20:57
1