
모바일 환경에서도 효율적인 추론이 가능한 신경망을 설계하기 위해 Google은 MobileNet 시리즈를 제안했습니다.MobileNet V1에서는 연산량을 줄이기 위해 “Depthwise Separable Convolution”과 “Width Multiplier”와 ”Resolution Multiplier”를 도입했고, MobileNet V2에서는 구조적 효율성과 표현력을 더 높이기 위해 ”Inverted Residual”과 “linear Bottleneck”이라는 개념을 추가했습니다.1. MobileNet V1: 핵심 구조핵심 아이디어: Depthwise Separable Convolution이는 Standard Convolution 연산을 2단계로 분리(Factorization)합니다.- “Depth..
📌 들어가며MobileNetV2에서는 모델을 경량화할 때 ‘width multiplier’를 사용해 채널 수를 줄입니다.그런데 특이하게도, width multiplier가 1보다 작을 경우 마지막 convolution layer에는 적용하지 않습니다.이 글에서는 왜 마지막 layer만은 줄이지 않는지, 그리고 줄였을 때 어떤 문제가 생기는지 알아보겠습니다.⸻✅ width multiplier란?간단히 말하면 모델 전체 채널 수를 비율로 줄이는 하이퍼파라미터입니다. • 예: ‘width multiplier = 0.5’ → 원래 128채널 → 64채널로 감소 • 이렇게 하면 모델 크기와 연산량이 같이 줄어들게 됩니다.⸻❗ 그런데, 왜 마지막 Conv에는 적용하지 않을까?1. 마지막 Conv는 정보를 가장 많..
- Total
- Today
- Yesterday
- LossFunction
- 자동학습률조정
- classimbalance
- Example
- Optimizer
- tensorflow
- AdamOptimizer
- GradientScaling
- logitadjustment
- AutomaticAnnealing
- OptimizerStability
- Focal loss
- 경량화 모델
- BiasCorrection
- separable
- code
- convolution
- GradientDescent
- EffectiveStepsize
- OptimizationThory
- SignalToNoiseRatio
- imbalanceddata
- depthwise
- DeepLearningOptimization
- DeepLearning
- MobileNet
- Outlier처리
- HyperParametertuning
- fisherconsistency
- FirstOrderMethod
일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | 5 | ||
6 | 7 | 8 | 9 | 10 | 11 | 12 |
13 | 14 | 15 | 16 | 17 | 18 | 19 |
20 | 21 | 22 | 23 | 24 | 25 | 26 |
27 | 28 | 29 | 30 | 31 |