描述

ResNeXt block

ResNeXt 其实就是 Group Conv 跟 Bottleneck ResBlock 的结合体。上图是文中的 Figure 3,表示 ResNeXt block 的 3 种等效形式。我们看最右边的这种形式,其实就是一个带 bottleneck 的 ResBlock,然后中间的普通卷积换成 Group Conv。所以该结构的好处就是结合了 Group Conv 与 Bottleneck ResBlock 的好处。

文中定义了一个新维度 Cardinality(基数?),声称是神经网络除了「深度」和「宽度」之外的另一个重要维度,在具体实现中就是上图第三种里面的 Group Conv 的分组数。

本文的贡献就在于分析了分组卷积对精度和效率的影响,毕竟 AlexNet (NIPS 2012) 提出分组卷积的目的是为了模型并行(当年显存不够)。

下表可以看到效率差不多(参数量、计算量):

ResNeXt Efficiency

下表可以看到性能上的提升:

ResNeXt Performance

参考

▲