描述

FPN

FPN(feature pyramid networks)的核心在于 FPN block,如上图所示,该 block 包括以下几个部分:

  • 左上角的特征金字塔 bottom-up pathway:负责对特征进行下采样,分辨率越来越低,语义越来越强;
  • 右上角特征金字塔 top-down pathway:负责对特征进行上采样(相当于将非常强的语义信息又传回浅层),同时接收 bottom-up pathway 传过来的高分辨率特征,从而获得既高分辨率又强语义的特征
  • 右上角的 predict branch:利用 top-down pathway 输出的融合特征,进行分类和预测(不同 feature level 的分类器和回归器是共享参数的);

融合 bottom-up pathway 和 top-down pathway 特征的方式为:

  1. Bottom-up pathway 特征通过 $1 \times 1$ 卷积(减少通道数)将特征传递给 top-down pathway;
  2. Top-down pathway 特征通过最近邻算法(nearest neighbor)进行 $2 \times$ 上采样,与第 1 步传过来的特征进行 elementwise 求和;
  3. 第 2 步的输出再经过一个 $3 \times 3$ 卷积(减小上采样造成的锯齿现象)得到融合结果。

参考