描述

先来翻译一段论文摘要:

SqueezeNet 在 ImageNet 上实现了 AlexNet 级别的精度,参数却减少了 50 倍。如果再通过模型压缩技术,SqueezeNet 能够被压缩到小于 0.5MB(比 AlexNet 小 510 倍)。

论文中最核心的模块名为 Fire,如下所示。(其实这个图画得不太好。)

Fire module

Fire 模块由 Squeeze 部分和 Expand 部分组成的。Squeeze 负责减少通道数,压缩特征;Expand 则分为 $1 \times 1$ 卷积、$3 \times 3$ 卷积两个分支,输出的结果再 concat 回来成为 Fire 模块的输出。

论文中的其他设计策略:

  • 用 $1 \times 1$ 卷积核替换 $3 \times 3$ 卷积核;
  • 尽量减少中间特征的通道数(利用 Bottleneck);
  • 延迟下采样,使得网络能在更高的维度(保留了更多信息)充分学习,代价是计算量大很多。

SqueezeNet 的优缺点:

  • (+) 这样的设计确实可以使模型更轻量。
  • (-) 但是其实 AlexNet 本身的 FC 层单元太多,SqueezeNet 本身对卷积的改变其实只能减少 3 倍参数左右。而且进一步压缩到 0.5MB 是另一篇论文的压缩算法 ……标题党实锤。

参考