[논문 리뷰] Towards Minimal Fine-Tuning of VLMs: Image-LoRA를 통한 효율적인 시각 지능 학습

기존의 LoRA(Low-Rank Adaptation)는 대규모 언어 모델(LLM)을 효율적으로 미세 조정하는 표준으로 자리 잡았습니다. 하지만 텍스트와 이미지가 혼합된 시각-언어 모델(VLM) 환경에서는 모든 토큰과 어텐션 헤드를 일률적으로 학습시키는 방식이 연산 효율성과 성능 보존 측면에서 한계를 보입니다. 본 논문은 VLM의 구조적 특성을 활용하여 최소한의 파라미터 업데이트만으로 표준 LoRA에 근접한 성능을 내는 Image-LoRA 방법론을 제안합니다.목차1. 배경: VLM 미세 조정의 한계와 연구 동기2. 핵심 방법론: 세 가지 차원의 '선택성(Selectivity)'3. 헤드 선택 알고리즘: 영향력과 다양성4. 실험 결과 및 성과5. 결론 및 시사점1. 배경: VLM 미세 조정의 한계와 연구 동..
🖥️ Computer Vision/📰 Paper 2026. 1. 15. 13:56
1
공지사항
최근에 올라온 글
최근에 달린 댓글
Total
Today
Yesterday
링크
TAG more
«   2026/02   »
일 월 화 수 목 금 토
1 2 3 4 5 6 7
8 9 10 11 12 13 14
15 16 17 18 19 20 21
22 23 24 25 26 27 28
글 보관함
반응형