DenseNet

DenseNet은 ResNet처럼 addition하는 것이 아니라 concatenation으로 네트워크를 쌓음으로서 좋은 성능을 낸다.

즉, resnet은 add함으로써 보존해야할 정보를 change하여 다음 layer에 전해주지만

DenseNet은 정보를 바꾸지 않으면서도 굉장히 direct하게 하위의 모든 layer에 뿌려주어 information flow가 잘 된다.

 

 

 

그러나 concatenation을 하면 channel이 커지는 기하급수적으로 문제점이 있다.

따라서 중간에 BatchNorm → 1x1 Conv → 2x2 AvgPooling 으로 이루어진 Transition Block을 넣는다.

1x1 Conv를 통해 channel을 줄임으로서 해당 문제를 해결한다.