[논문 리뷰] Barlow Twins (Self-Supervised Learning via Redundancy Reduction)

이번 포스트에서는 Object Detection을 진행할 때 프레임 간 객체가 동일한 객체인지 아닌지에 대한 판단을 진행할 수 있는 모델인 Barlow Twins라는 모델에 대한 논문리뷰를 진행해 보려 합니다. 

보완할 부분이 있다면 댓글에 첨언해 주시면 감사하겠습니다.

 

논문 링크: https://arxiv.org/abs/2103.03230

---

Abstraction

 

Self-Supervised Learning(SSL)은 입력 샘플을 왜곡했을 때, 그런 왜곡에 대한 불변한 임베딩을 만듦으로써 Supervised Learning과의 격차를 빠르게 줄여가고 있습니다. (SSL이란 정답 데이터 없이, 입력 데이터만으로 학습하는 기법을 말합니다.) 그러나 이런 접근법의 반복되는 문제는 특정 학습 데이터에 대해서 동일한 출력을 생성하는 방식으로 "학습"하는 문제가 존재했습니다. 이러한 문제를 해결하기 위하여 이 논문에서는 샘플의 왜곡된 버전으로 공급된 두 개의 동일한 네트워크의 출력 사이의 교차 상관 행렬을 측정하고 가능한 한 동일한 행렬에 가깝게 만듦으로써 자연스럽게 붕괴를 피할 수 있는 목적 함수를 제안합니다.  결론적으로 이러한 과정을 통해 왜곡된 이미지 간의 차이가 최소화된 embedding vector를 생성하게 됩니다. 이 방법은 신경과학자 H. Barlow의 redundancy-reduction(중복 감소) 원리가 동일한 네트워크 쌍에 적용되기 때문에 Barlow Twins라고 불립니다. Barlow Twins는 큰 배치를 필요로 하지 않으며, 네트워크 쌍 사이의 예측자 네트워크, 기울기 중단, 가중치 업데이트의 이동 평균과 같은 비대칭성 또한 필요로 하지 않습니다. 흥미롭게도 Barlow Twins는 고차원의 출력 벡터에서 이익을 얻습니다. 이 의미는 높은 차원의 특성을 사용하여 유용한 정보를 추출하고 모델을 학습한다는 것을 의미합니다. 

Barlow Twins architectrue

---

1. Introduction

SSL은 인간의 개입 없이 input data로부터 의미있는 정보를 뽑아내는 점에 초점을 둔 학습 방법입니다. Computer Vision에서는 데이터 증강을 진행하였을 때 불변하는 표현에 대해서 학습하는 것을 목표로 합니다. 이는 일반적으로 하나의 샘플에 대한 다양한 왜곡 버전을 통해 얻은 표현들의 유사성을 최대화하여 달성할 수 있습니다. 이 방법은 다양한 Simese 네트워크의 변형을 사용하여 이루어집니다. 하지만 이런 문제에서는 상수 표현과 같은 사소한 해결책이 있고 이러한 방법들은 유용한 표현을 학습하기 위해 다양한 메커니즘에 의존합니다. 

 

SIMCLR과 같은 대조적인 방법은 loss에서 다르게 적용되는 'positive'와 'negative' sample을 정의합니다. 추가적으로 그들은 학습 과정에서 'positive pair'와 'negative pair'간의 학습 업데이트를 다르게 할 수 있는 비대칭 학습 업데이트를 사용하기도 합니다. 

DEEPCLUSTER, SWAV, SELA와 같은 군집화 방법은 왜곡된 샘플 중 하나를 이용하여 손실의 'target'을 계산하고, 다른 왜곡된 샘플 버전을 이용하여 이러한 타겟을 예측합니다. 이후, K-means나 미분 불가능한 연산자와 같은 대체 최적화 기법을 이용합니다. 

BYOL 및 SIMSIAM은 네트워크 구조와 파라미터 업데이트를 수정하여 비대칭성을 도입하는 방법을 다루고 있습니다. 네트워크 구조를 수정하여 'predictor' 네트워크를 도입하고, 파라미터 업데이트를 비대칭적으로 조정하여 입력의 한 왜곡 버전만을 사용해 모델 파라미터를 업데이트하고, 다른 왜곡 버전의 표현을 고정된 타겟으로 활용합니다.  

 

이 논문에서는 새로운 방법인 "Barlow Twins"를 제안하며, 이 방법은 신경 과학에서 처음 제안된 중복 제거 원칙을 자가 감독 학습에 적용합니다. 신경과학자 H. Barlow는 영향력 있는 논문 "Possible Principles Underlying the Transformation of Sensory Messages"에서 감각 메시지의 변환에 기반한 원칙으로 중복 제거를 제안합니다. 이 원칙은 감각적인 입력을 통계적으로 독립된 구성 요소를 가진 인수 코드로 다시 인코딩하는 것이 감각 처리의 목표라고 가설을 세웠습니다. 이 원칙은 시각 체계의 구조를 설명하는데 유용하며, 이것은 망막에서 피질 영역까지의 조직을 포함합니다. 이 원칙은 감독 및 비감독 학습을 위한 다양한 알고리즘을 개발하는 데 이어졌습니다. 

 

이 원칙을 기반으로, 이 논문은 "Barlow Twins"라는 새로운 방법을 제안합니다. 이 방법은 동일한 모델에서 계산된 교차 상관 행렬을 단위 행렬에 가깝게 만드는 목적 함수를 제안합니다. "Barlow Twins"는 개념적으로 간단하며, 구현하기 쉽고, 사소한 해결책이 아닌 유용한 표현을 학습하는 특징을 가지고 있습니다. 다른 방법과 비교했을 때 큰 배치를 사용하지 않으며, 예측 네트워크, 모멘텀 인코더, 미분 불가능한 연산자 또는 미분 중단과 같은 비대칭 메커니즘도 필요하지 않습니다. 놀랍게도, "Barlow Twins"는 매우 고차원 임베딩의 사용에서 큰 이점을 얻을 수 있습니다. "Barlow Twins"는 저 데이터 환경에서 ImageNet의 반 지도 분류 작업에서 우수한 성과를 보이며, 선형 분류기 헤드를 사용한 ImageNet 분류 및 객체 감지의 다양한 전이 작업에서 최신 기술 수준과 비슷한 결과를 보입니다. 

---

2. Method

2.1 Description of Barlow Twin

Barlow Twins는 왜곡된 이미지에 대해서 joint embedding을 진행합니다. 더 구체적으로 이 과정에 대해서 설명해보겠습니다.

일단, 처음으로 데이터셋의 배치 X의 모든 이미지에 대해서 왜곡된 두 개의 이미지를 생성합니다. 왜곡된 이미지는 데이터 증강 분포를 이용하여 얻을 수 있습니다. 여기서 생성된 두개의 이미지 배치 Y_a, Y_b는 embed function에 들어 Z_a, Z_b를 생성합니다.  (여기서 Z_a, Z_b는 batch를 축으로 하여 정규화 된 output입니다.)

 

그리고 Barlow Twins는 아래의 Loss를 이용하여 가중치 업데이트를 진행합니다. 

그리고 Loss안에 들어있는 Cross-Correlation value C_ii 또는 C_ij는 아래의 과정을 통해서 계산됩니다. 

b의 경우, batch_sample의 개수를 나타내고, i와 j의 경우 벡터의 차원을 의미합니다. C는 네트워크 출력 크기의 치수를 가진 정사각행렬이며 -1과 1사이의 값을 가집니다.

 

직관적으로, cross-correnlation matrix의 대각선 요소를 1과 동일하게 하려고 함으로써 input을 적용된 왜곡에 대해서 불변하게 만들게 됩니다. 그리고 대각선에 위치한 값이 아닌 중복을 나타내지 않는 항은 0으로 만들게 함으로써 서로 다른 벡터 구성 요소를 상관없게 만들게 됩니다. 이렇게 상관 관계를 조정하면 출력 장치 사이의 output에 대한 중복이 줄어들게 됩니다.

Algorithm of Barlow Twins

더 형식적으로 "Barlow Twins"는 정보 이론의 관점에서 이해가 가능합니다. 구체적으로 정보 병목(Information Bottleneck, IB) 목적 함수의 실현으로 볼 수 있습니다. Self-Supervised Learning에 적용되는 IB 목적은 샘플에 대한 정보를 가능한 한 보존하면서 해당 샘플에 적용된 구체적인 왜곡에 대한 정보를 최소화하는 표현을 찾는 것 입니다. 

 

2.2 Implementation Details

Image Augmentation:

이미지 증강은 다음을 따릅니다.

 

random cropping, resizeing 224*224, horizental flipping, clolr jittering, converting to grayscale, Gaussian blurring, solarization을 포함합니다. 

 

여기에서 random cropping, resizeing 224*224은 항상 적용되며, 나머지는 랜덤으로 적용됩니다. 그리고 해당 augmentation을 할 때 하이퍼파라미터의 경우 BYOL과 동일한 파라미터를 사용합니다. 

 

Architecture:

Encoder는 ResNet-50(마지막 분류 Layer제외)을 사용하였으며 이후(Decoder)에는 Projector network가 존재합니다. Projector 네트워크에는 각각 8192개의 output unit이 존재하는 3개의 Linear Layer가 존재합니다. Projector의 처음 두 층 다음에는 배치 정규화 층과 ReLU가 있습니다. 

 

우리는 Encoder의 출력을 'representation'이라고 부르고 Projector의 출력을 'embedding'이라고 부릅니다. representation은 다운스트림 작업에 사용되며, 임베딩은 Barlow Twins의 손실 함수에 사용됩니다. 

 

Optimization:

이 논문에서는 BYOL에서 나타낸 옵티마이저를 사용했고, LARS 옵티마이저를 사용했다고 밝힙니다. 

 

이 연구에서는 BYOL (Grill et al., 2020)에서 설명된 최적화 프로토콜을 따릅니다. LARS optimizer (You et al., 2017)를 사용하며 배치 크기가 2048인 상황에서 1000 에포크 동안 훈련합니다. 그러나 Barlow Twins는 256과 같이 작은 배치에서도 잘 작동한다는 것을 강조합니다. 가중치에 대한 학습률은 0.2이며, 편향과 배치 정규화 매개변수에 대한 학습률은 0.0048입니다. 학습률은 배치 크기로 곱한 후 256으로 나눕니다. Learning rate warmup은 10 에포크이며, 그 후에는 코사인 감소 스케줄을 사용하여 학습률을 1000 배 감소시킵니다. 손실 함수의 trade-off 매개변수 λ에 대한 검색을 수행했고, λ = 5 × 10^(-3)일 때 최상의 결과를 얻었습니다. 가중치 감쇠 매개변수는 1.5 × 10^(-6)입니다. 편향과 배치 정규화 매개변수는 LARS 적응 및 가중치 감쇠에서 제외됩니다.