贝叶斯公式

朴素贝叶斯的核心是贝叶斯公式:

$$ P(Y|X) = \frac{P(X|Y) P(Y)}{P(X)} $$

其中左边 $P(Y|X)$ 被称为 后验概率(Posterior),右边的 $P(X|Y)$ 被称为 似然(Likelihood),$P(Y)$ 被称为 先验概率(Prior)。

拓展一下,$X$ 可以是多种不同的特征(假设这些特征相互独立),那么有: $$ \begin{aligned} P(Y|X1,X2) &= \frac{P(X1,X2|Y) P(Y)}{P(X1,X2)} \\ &= \frac{P(X1|Y) P(X2|Y) P(Y)}{P(X1) P(X2)} \end{aligned} $$ 由此,我们 不需要知道 $X1$、$X2$、$Y$ 的联合概率分布(如 $P(X1,X2|Y)$),便可以通过一些条件概率分布(如 $P(X1|Y)$、$P(X2|Y)$),算出目标的条件概率分布($P(Y|X1, X2)$)。

举个例子,$X$ 是乌云天,$X2$ 是打雷,$Y$ 是下雨,则有 $$ P(下雨|乌云,打雷) = \frac{P(乌云|下雨) P(打雷|下雨) P(下雨)}{P(乌云) P(打雷)} $$

朴素贝叶斯(Naive Bayes)

  • 名字的由来?
    • 朴素」的名字来源于它为了简化问题,假设了 各个特征之间相互独立,这个假设在实际应用中往往不成立,此时效果骤降。
  • 为什么要用朴素贝叶斯?

    • 可以忽略所有特征的联合概率,直接求其条件概率分布
  • 怎么用

    • 见上面的贝叶斯公式例子。

拉普拉斯平滑

  • 朴素贝叶斯存在一个问题,就是在计算单个特征的条件概率时,可能出现 概率为 0 的情况(例如在收集的数据样本中 $P(打雷|下雨)=0$),从而导致整个概率为 0。
  • 因此 拉普拉斯平滑 被引入,具体做法很简单,就是对每个类别的划分加一,即
    • 在计算 $P(X|Y)$ 时,分子加一,分母加 $X$ 的可能取值的数量;
    • 在计算 $P(Y)$ 时,分子加一,分母加 $Y$ 的可能取值的数量。

参考