mugyum.log

[논문 리뷰] Critic-V: VLM 비평가는 어떻게 멀티모달 추론 오류를 잡아내는가? 최근 시각-언어 모델(VLM)은 눈부신 발전을 이루었지만, 여전히 복잡한 추론 과정에서 시각적 환각(Hallucination)이나 논리적 오류를 범하곤 합니다. 오늘 소개할 Critic-V는 이러한 문제를 해결하기 위해 '추론자'와 '비평가'를 분리한 혁신적인 프레임워크입니다.📚 이 글의 목차 (클릭하세요)1. 배경: 기존 VLM 방식의 한계2. 핵심 아이디어: Reasoner-Critic의 분리3. 상세 프로세스: 어떻게 동작하는가?4. 비평가 모델 학습: VEST, RBR, DPO5. 실험 결과 및 결론1. 배경: 기존 VLM 방식의 한계VLM은 이미지 인식 능력은 뛰어나지만, 논리적 추론 단계에서 다음과 같은..

MGFA: 다중 세밀도 특징 융합과 어텐션을 활용한 표정 인식 연구표정 인식(Facial Expression Recognition, FER)은 안면의 미세한 변화를 포착하여 인간의 감정을 수치화하는 컴퓨터 비전의 핵심 분야입니다. 본 포스팅에서는 2025년 Scientific Reports에 게재된 논문을 바탕으로, 전역 정보와 국부 정보를 유기적으로 결합한 MGFA(Multi-Granularity Feature with Attention) 모델의 구조와 핵심 방법론을 살펴보겠습니다.목차1. 개념의 틀: MGFA 프레임워크 개요2. 전역 특징의 고도화: GMFEM 모듈3. 국부 세밀도의 정밀 분석: LMFEM 모듈4. 어텐션 메커니즘: MLSAM을 통한 핵심 부위 집중5. 정보의 통합: CFM(Cross..

기존의 LoRA(Low-Rank Adaptation)는 대규모 언어 모델(LLM)을 효율적으로 미세 조정하는 표준으로 자리 잡았습니다. 하지만 텍스트와 이미지가 혼합된 시각-언어 모델(VLM) 환경에서는 모든 토큰과 어텐션 헤드를 일률적으로 학습시키는 방식이 연산 효율성과 성능 보존 측면에서 한계를 보입니다. 본 논문은 VLM의 구조적 특성을 활용하여 최소한의 파라미터 업데이트만으로 표준 LoRA에 근접한 성능을 내는 Image-LoRA 방법론을 제안합니다.목차1. 배경: VLM 미세 조정의 한계와 연구 동기2. 핵심 방법론: 세 가지 차원의 '선택성(Selectivity)'3. 헤드 선택 알고리즘: 영향력과 다양성4. 실험 결과 및 성과5. 결론 및 시사점1. 배경: VLM 미세 조정의 한계와 연구 동..

유사도 행렬의 생성 매커니즘의 이해 멀티모달 학습에서 두 데이터 집합 사이의 관계를 파악하는 핵심 도구는 유사도 행렬(Similarity Matrix)입니다. 본 글은 개별 데이터 벡터가 어떻게 행렬로 확장되는지, 그리고 특징 차원이 어떻게 전체 점수판을 형성하는지 차원 분석을 통해 정리합니다. 1. 데이터의 정의 및 차원 학습에 사용되는 이미지와 텍스트 데이터의 차원을 다음과 같이 정의합니다. \( n \): 샘플의 개수 (Batch Size) \( d \): 특징 차원의 수 (Embedding Dimension) 개별 샘플 벡터 각 데이터는 \( d \)차원의 열 벡터로 표현됩니다. \[ x_i \in \mathbb..

고유벡터와 에너지 전달: 최적화 관점에서의 해석우리는 선형대수에서 왜 고유벡터를 그토록 중요하게 다룰까? 단순히 특성방정식 $\det(A-\lambda I)=0$을 풀기 위한 도구일까요?이번 글에서는 행렬 변환을 [에너지의 전달]이라는 최적화 관점에서 해석하여 고유벡터가 왜 존재해야만 하는지 그 정당성을 파헤쳐보겠습니다.1. 동기: 최적의 에너지 통로 찾기행렬 $A$를 하나의 시스템이라고 가정해 봅시다. 이 시스템에 어떤 입력($x$)을 넣었을 때 가장 강력한 출력($Ax$)이 나올까요?최적화 문제 정의$\max_{\|x\|=1} \|Ax\|$: 이 문제는 "이 시스템이 가진 가장 강력한 에너지 전달 방향은 어디인가?"라는 질문에 대한 답을 찾는 과정입니다. 입력 벡터 $x$의 길이를 1로 고정했을 때,..

1. 고유벡터, 고유값이란1. 고유벡터(Eigen Vector)어떤 행렬 A를 곱하여 선형변환을 시킨다는 것은 공간을 회전시키거나, 글리거나, 뒤트는 선형 변환을 의미합니다.여기서 공간의 모든 벡터가 이리저리 휘둘릴 때, 유독 방향이 전혀 변하지 않고 자기 자리를 지키는 벡터들이 있는데, 이들이 바로 행렬 A가 가진 고유한 축, 즉 고유벡터입니다. 2. 고유값(Eigen Value)행렬 A의 선형 변환에서 방향은 지켰지만, 그 벡터의 길이는 변할 수 있습니다.고유값은 고유벡터라는 기준축을 따라 원래보다 몇 배나 커졌는지(혹은 작아졌는지)를 나타내는 상수값입니다. 3. 예시예를 들어 3차원 공간에서 지구가 자전하는 물리적인 선형 변화(Rotation)를 하나의 행렬 A로 본다면, 지구의 자전축은 회전 중에..

개요FocusFlow 앱 개발을 위해 React Native(Expo)에 Tailwind Css(NativeWind v4)를 도입하는 과정에서 여러 의존성 충돌과 설정 오류를 겪었다. 단순한 설치 명령어로 끝나는 것이 아니라, 버전 호환성과 Peer Dependency를 꼼꼼히 챙겨야 함을 배웠다. 오늘 겪은 4가지 이슈와 해결 방법을 정리한다. 트러블슈팅 (Troubleshooting)1. 필수 의존성 누락(Missing Dependencies) [현상]App.tsx 실행 시 react-native-safe-area-context, @react-navigation/native 모듈을 찾을 수 없다는 에러가 발생하여 앱이 구동되지 않았음. [원인]React Native 네비게이션과 UI 핸들링에 필수적인..

새로운 기능을 구현하기 위해 정신없이 코드를 짜다가 만난, 분명 간단해야할 기능이 알 수 없는 이유로 동작하지 않는 순간을 마주했습니다. 바로 제가 원할 때, 원하는 곳에 나타나지 않는 모달(Modal) 문제였습니다. 이 모달은 마치 유령처럼 DOM Queue에 쌓여있다가, 전혀 예상치 못한 순간에 엉뚱한 곳에서 나타났습니다. 제가 이 유령같은 모달을 잡기 위해 어떤 과정을 거쳤는지, 그리고 이 경험을 통해 어떤 교훈을 얻었는지 적어보겠습니다.--------ProblemModal이 원하는 곳에서 visible이 되지 않고, DOM에 Queue로 쌓이다가 원하지 않는 곳에서 나오는 문제--------Attempts1. Stacking Context?가장 먼저 든 생각은 Stacking Context 문제였..