Nonenonenonenonnn

[논문 리뷰] Critic-V: VLM 비평가는 어떻게 멀티모달 추론 오류를 잡아내는가? 최근 시각-언어 모델(VLM)은 눈부신 발전을 이루었지만, 여전히 복잡한 추론 과정에서 시각적 환각(Hallucination)이나 논리적 오류를 범하곤 합니다. 오늘 소개할 Critic-V는 이러한 문제를 해결하기 위해 '추론자'와 '비평가'를 분리한 혁신적인 프레임워크입니다.📚 이 글의 목차 (클릭하세요)1. 배경: 기존 VLM 방식의 한계2. 핵심 아이디어: Reasoner-Critic의 분리3. 상세 프로세스: 어떻게 동작하는가?4. 비평가 모델 학습: VEST, RBR, DPO5. 실험 결과 및 결론1. 배경: 기존 VLM 방식의 한계VLM은 이미지 인식 능력은 뛰어나지만, 논리적 추론 단계에서 다음과 같은..

Gradient scaling이란 무엇인가?'Gradient scaling'은 말 그대로, 어떤 파라미터의 gradient가 일정한 비율로 커지거나 작아지는 현상을 말한다. 표면적으로는 gradient 자체의 문제처럼 보이지만, 이 스케일 차이는 사실 forward 과정의 입력 x에 의해 유발된다. 선형층 z = wTx를 예로 들면, 역전파 시 gradient는 다음과 같이 계산된다:∂L/∂w_i = ∂L/∂z ⋅ x_i즉, 입력 특성 x_i의 크기가 클수록 해당 방향의 gradient도 커진다. 이로 인해, 각 파라미터가 받는 gradient의 크기가 입력 스케일에 따라 달라지게 된다. 이것이 바로 'gradient scaling' 문제의 본질이다.Gradient scaling 문제는 왜 optimiz..

모바일 환경에서도 효율적인 추론이 가능한 신경망을 설계하기 위해 Google은 MobileNet 시리즈를 제안했습니다.MobileNet V1에서는 연산량을 줄이기 위해 “Depthwise Separable Convolution”과 “Width Multiplier”와 ”Resolution Multiplier”를 도입했고, MobileNet V2에서는 구조적 효율성과 표현력을 더 높이기 위해 ”Inverted Residual”과 “linear Bottleneck”이라는 개념을 추가했습니다.1. MobileNet V1: 핵심 구조핵심 아이디어: Depthwise Separable Convolution이는 Standard Convolution 연산을 2단계로 분리(Factorization)합니다.- “Depth..

📌 들어가며MobileNetV2에서는 모델을 경량화할 때 ‘width multiplier’를 사용해 채널 수를 줄입니다.그런데 특이하게도, width multiplier가 1보다 작을 경우 마지막 convolution layer에는 적용하지 않습니다.이 글에서는 왜 마지막 layer만은 줄이지 않는지, 그리고 줄였을 때 어떤 문제가 생기는지 알아보겠습니다.⸻✅ width multiplier란?간단히 말하면 모델 전체 채널 수를 비율로 줄이는 하이퍼파라미터입니다. • 예: ‘width multiplier = 0.5’ → 원래 128채널 → 64채널로 감소 • 이렇게 하면 모델 크기와 연산량이 같이 줄어들게 됩니다.⸻❗ 그런데, 왜 마지막 Conv에는 적용하지 않을까?1. 마지막 Conv는 정보를 가장 많..