Fully Connected Layer의 기능에 대해 설명해주세요

Fully Connected Layer는 한 layer의 모든 뉴런들이 다음 layer의 모든 뉴런들과 연결괴어 있는 layer를 말하는데
해당 Layer는 이전 레이어의 출력을 원하는 출력 형태로 만들어주기 위해 사용합니다.

 

 

+ 추가

MLP-Mixer라는 논문은 vision task에서 기존의 CNN, attention mechanism 대신 MLP만사용하여 매우 단순한 계산만 가지고 SOTA를 달성한 네트워크들과 경쟁할 수 있는 네트워크를 제안하는 논문이다.

 

 

해당 논문에서는 FC layer는 위에서 설명한대로 원하는 출력형태로 만드는 classification 역할로도 사용할 수 있지만

BERT output의 출력단을 한번 더 섞어서 학습하게 해주는 역할을 한다고 볼 수 있다고 한다.

즉, Sementic 정보들을 잘 섞어서 한번더 학습한다고 이해할 수 있다.

 

MLP-Mixer 논문