ReXNet V1 summary
---------------------------------------------------------------- Layer (type) Output Shape Param # ================================================================ Conv2d-1 [-1, 32, 112, 112] 864 BatchNorm2d-2 [-1, 32, 112, 112] 64 Sigmoid-3 [-1, 32, 112, 112] 0 Swish-4 [-1, 32, 112, 112] 0 Conv2d-5 [-1, 32, 112, 112] 288 BatchNorm2d-6 [-1, 32, 112, 112] 64 ReLU6-7 [-1, 32, 112, 112] 0 Conv2d-8 ..
[AI 이론] Layer, 레이어의 종류와 역할, 그리고 그 이론 - 5 (DepthwiseConv, PointwiseConv, Depthwise Separable Conv)
Depthwise Convolutional Layer Depthwise Conv 레이어는 우선 Tensorflow 2.X 에서는 기본 레이어 함수로 지원하나, PyTorch에서는 지원하지 않는다. 그렇다고 만들기 어렵지는 않다. 우선은 Depthwise Conv 레이어를 왜 쓰는지, 그 역할은 무엇인지에 대해 알아보도록 하자. 위 그림처럼, H × W × C(차례대로 Height, Width, Channels)의 Convolutional Ouput을 채널 단위로 분리하여, 각각 Conv Filter를 적용하여 Output을 만들고, 그 결과를 다시 합치면 Conv Filter가 훨씬 적은 파라메터를 갖고 동일한 크기의 Output을 낼 수 있다. (각 Filter에 대한 연산 결과가 다른 Filter로부..