独立 vs 相关

以随机变量 $X$、$Y$ 为例:

独立 更多的是 从发生概率的角度 来讲的,它表示二者在客观的发生概率上的关系。若 $P(XY) = P(X)P(Y)$,则 $X$、$Y$ 相互独立;若 $P(X) = P(X|Y)$,则 $X$、$Y$ 相互独立。

相关 则是 从数值关系的角度 来讲的,它表示了二者在数值上的关系(一般指 线性关系),例如二者的数值成正相关、数值无关系等等。若协方差 $\operatorname{Cov}[X,Y] = 0$,那么 $X$、$Y$ 不相关。

这里要注意几个条件,理解一下:

  • 若 $X$、$Y$ 独立,则 $X$、$Y$ 不相关;
  • 若 $X$、$Y$ 不独立,则 $X$、$Y$ 不一定相关;
  • 若 $X$、$Y$ 相关,则 $X$、$Y$ 不独立;
  • 若 $X$、$Y$ 不相关,则 $X$、$Y$ 不一定独立。

趣题:X+Y 与 X-Y

问:

如果有两个随机变量 $X$、$Y$,他们的均值相同($\mu$),方差相同($\sigma^2$),那么请问 $X+Y$ 与 $X-Y$ 之间的关系?独立吗?相关吗?

相关性:

我们尝试计算一下他们的协方差,即 $$ \begin{aligned} \operatorname{Cov}[X+Y,X-Y] &= E[(X + Y - E[X + Y]) \cdot (X - Y - E[X - Y])] \\ &= E[(X + Y - 2 E[X]) \cdot (X - Y)] \\ &= E[(X^2 - Y^2) - 2 E[X] (X - Y)] \\ &= E[X^2] - E[Y^2] - 2 E[X]^2 + 2 E[X] E[Y] \\ &= 0 \end{aligned} $$ 协方差为 $0$,因此 $X+Y$ 与 $X-Y$ 不相关。

独立性:

下面我们再看二者是否独立,其实根据现有的条件我们很难判断他们是否独立。这种时候我们可以来尝试举反例。我们假设随机变量 $X$、$Y$ 如下: $$ \begin{aligned} &P(X = 1) &= 1 \\ &P(X = 0) &= 0 \\ &P(Y = 1) &= 1 \\ &P(Y = 0) &= 0 \end{aligned} $$ 那么我们有: $$ \begin{aligned} &P(X-Y=1|X+Y=2) &= &0 \\ &P(X-Y=1) &= &\frac{1}{4} \\ &P(X-Y=1|X+Y=2) &\ne &P(X-Y=1) \end{aligned} $$ 在该例子下,二者不独立。

再举一个例子,假设两个均匀锯齿状的周期图像,恰好在 x 轴上错开半个周期,那么 $X+Y$ 是一条直线,$X-Y$ 则是更加密集与振幅的锯齿状周期图像,此时二者独立。

由此,我们可以判断这种情况下 $X+Y$ 与 $X-Y$ 可能独立也可能不独立。