Nonenonenonenonnn

고유벡터와 에너지 전달: 최적화 관점에서의 해석우리는 선형대수에서 왜 고유벡터를 그토록 중요하게 다룰까? 단순히 특성방정식 $\det(A-\lambda I)=0$을 풀기 위한 도구일까요?이번 글에서는 행렬 변환을 [에너지의 전달]이라는 최적화 관점에서 해석하여 고유벡터가 왜 존재해야만 하는지 그 정당성을 파헤쳐보겠습니다.1. 동기: 최적의 에너지 통로 찾기행렬 $A$를 하나의 시스템이라고 가정해 봅시다. 이 시스템에 어떤 입력($x$)을 넣었을 때 가장 강력한 출력($Ax$)이 나올까요?최적화 문제 정의$\max_{\|x\|=1} \|Ax\|$: 이 문제는 "이 시스템이 가진 가장 강력한 에너지 전달 방향은 어디인가?"라는 질문에 대한 답을 찾는 과정입니다. 입력 벡터 $x$의 길이를 1로 고정했을 때,..

나중에 보려고 https://blog.naver.com/qkrcks0108/220790981663 해당 블로그를 재작성하여 남긴다.예시 수학에서는 N, Z, Q, R, C와 같은 기호를 사용한다.예를 들어 이런 식으로 말이다.기호 설명 이들 기호는 수학에서는 특별한 의미를 갖는 특저 기호로써 다른 용도에 사용하면 안되는 예약된 기호(reserved notations)이다. 여기서 N은 자연수(natural number)의 집합, Z는 정수(interger number)의 집합, Q는 유리수(rational number)의 집합, R은 실수(real number)의 집합, C는 복소수(complex number)의 집합이다. N, R, C는 왜 이들 약자가 사용되었는지 짐작이 가능하다. 하지만 Z와 Q는..

예시로 볼 행렬 A이다. step 1. 고윳값 찾기특성 방정식 det(A-λE) = 0을 풉니다.(E는 단위행렬)3행을 기준으로 전개하면 계산이 매우 쉽습니다.고유값으로 λ1=1(중근, 대수적 중복도 2), λ2=2를 갖습니다. Step 2. 고유벡터(v) 찾기1) λ=1일 때 (중근인 경우)(A-1E)v = 0을 만족하는 v = [x y z]^T를 찾습니다.방정식은 x - 2z = 0 -> x = 2z 하나만 남습니다. y는 어떤 값이어도 상관없는 자유 변수입니다. 여기서 서로 독립적인 2개의 고유벡터로 뽑아낼 수 있습니다. - z = 1, y = 0 -> v1 = [2, 0, 1]^T- z = 0, y = 1 -> v2 = [0, 1, 0]^T중근 λ = 1에 대해서 독립적인 2개의 벡터가 나왔으므로..

1. 고유벡터, 고유값이란1. 고유벡터(Eigen Vector)어떤 행렬 A를 곱하여 선형변환을 시킨다는 것은 공간을 회전시키거나, 글리거나, 뒤트는 선형 변환을 의미합니다.여기서 공간의 모든 벡터가 이리저리 휘둘릴 때, 유독 방향이 전혀 변하지 않고 자기 자리를 지키는 벡터들이 있는데, 이들이 바로 행렬 A가 가진 고유한 축, 즉 고유벡터입니다. 2. 고유값(Eigen Value)행렬 A의 선형 변환에서 방향은 지켰지만, 그 벡터의 길이는 변할 수 있습니다.고유값은 고유벡터라는 기준축을 따라 원래보다 몇 배나 커졌는지(혹은 작아졌는지)를 나타내는 상수값입니다. 3. 예시예를 들어 3차원 공간에서 지구가 자전하는 물리적인 선형 변화(Rotation)를 하나의 행렬 A로 본다면, 지구의 자전축은 회전 중에..

Q1. CLIP의 역설 (Robustness vs Accuracy)CLIP 제로샷 모델을 ImageNet 데이터로 Fine-tuning하면 ImageNet 자체의 정확도는 올라가지만, 스케치나 흑백 사진 등에 대한 강건성(Robustness)은 오히려 떨어집니다. 왜 이런 현상이 발생하는지 '패턴'과 '개념'이라는 단어를 사용해 설명해 보세요. Q2. 가치 있는 효율성 (ViT vs ResNet)ViT는 일반적으로 CNN보다 데이터가 많이 필요한(Data-hungry) 모델로 알려져 있습니다. 하지만 CLIP 논문은 대규모 학습에서 ViT가 ResNet보다 훨씬 '연산 효율적(Compute Efficient)'이라고 말합니다. Receptive Field(수용 영역) 관점에서 그 이유를 서술해 보세요. ..