描述

SENet block

SENet 的核心是 Squeeze-and-Excitation Block,如上图所示,步骤如下:

  1. 使用 GAP(global average pooling)将所有 channel 都 squeeze 成一个标量值(文中被称为 Channel Descriptor);
  2. 使用 FC 层、ReLU 等对 channel descriptors 进行变换,最后经过一个 Sigmoid 压缩为 $(0, 1)$;
  3. 用各个 channel descriptor excite 对应通道的特征(即相乘),得到结果。

整套机制被称为 Channel Attention

为了减少 SEBlock 内部 FC 层的消耗,作者们还引入一个超参 $r$ 压缩维度(论文里所有实验都设为 $r = 16$)。以 SE-ResNet 模块(结合了 ResBlock、SEBlock)为例,如下图所示:

SENet block + ResBlock

参考