Focal Loss

  • 正常的交叉熵函数

$$ \operatorname{CE} = \begin{cases} -\log(p) &\text{, if }y=1 \\ -\log(1 - p) &\text{, if }y=0 \end{cases} $$

  • 存在样本 正负不平衡 的问题,即「负例 >> 正例」,加入参数 $\alpha$ 控制 正负例 的权重:

$$ \operatorname{CE} = \begin{cases} -\alpha \log(p) &\text{, if }y=1 \\ -(1 - \alpha) \log(1 - p) &\text{, if }y=0 \end{cases} $$

  • 存在样本 难易不平衡 问题,即「易例 >> 难例」,加入参数 $\gamma$ 控制 难易例 的权重:

$$ \operatorname{CE} = \begin{cases} -(1 - p)^\gamma \log(p) &\text{, if }y=1 \\ -p^\gamma \log(1 - p) &\text{, if }y=0 \end{cases} $$

  • 综合以上两个问题,最终的关注程度应该是「正难 > 负难 > 正易 > 负易」:

$$ \operatorname{CE} = \begin{cases} -\alpha (1 - p)^\gamma \log(p) &\text{, if }y=1 \\ -(1 - \alpha) p^\gamma \log(1 - p) &\text{, if }y=0 \end{cases} $$

实验表明 $\gamma$ 取 2、$\alpha$ 取 0.25 的时候效果最佳。

参考

▲