向量

向量的定义

向量(Vector,也叫 矢量)指一个具有大小和方向、且满足平行四边形法则的几何对象。对于一个向量 $\vec{v}$,我们可以将其理解为空间中的一个箭头,箭头的长度被称为向量 的 (Magnitude),记为 $|\vec{v}|$,在有限维赋范线性空间中也称为 范数(Norm),记为 $||\vec{v}||$。对于维度为 $n$ 的向量 $\vec{v}$,其模的计算如下: $$ |\vec{v}| = \sqrt{v_1^2 + v_2^2 + \cdots + v_n^2} $$

对于 $m$ 个向量 $\vec{v_1}$、$\vec{v_2}$、……、$\vec{v_m}$,如果我们能够用其中一部分向量的组合去表示其中的另一个向量,则这个向量其实是多余的(因为可以被其他向量的组合取代),我们称这些向量 线性相关(Linear Dependence)。若他们之间相互「无可替代」,那么我们称这些向量 线性无关(Linear Independence)。换成数学表达:若存在一组不全为 0 的 $m$ 个数 $a_1$、$a_2$、……、$a_m$ 使得 $\sum_{i=1}^m a_i \vec{v_i} = \vec{0}$,则称这组向量线性相关

向量积

对于两个向量 $\vec{a}$、$\vec{b}$,我们定义几种乘积操作(内积外积叉积),它们的出发点不同,以下分别介绍。

内积

向量 内积(Inner Product)又被称为 点积(Dot Product)、数量积(Scalar Product),指的是两个 $n$ 维向量 $\vec{a}$、$\vec{b}$ 相乘得到一个 标量 的过程。

从代数角度看内积 是对两个向量中同一维度的每组元素求积,再对所有积求和得到的结果: $$ \vec{a}\cdot\vec{b} = \sum_{i=1}^n a_ib_i $$ 从几何角度看内积 是两个向量的长度与他们夹角(假设是 $\theta$)的余弦的乘积(通常只适用于 $\le 3$ 维空间): $$ \vec{a}\cdot\vec{b} = |a_i|~|b_i|\cos\theta $$ 从投影角度看内积 是其中一个向量 $\vec{a}$ 在另一个向量 $\vec{b}$ 上的投影乘以 $\vec{b}$ 的长度: $$ \vec{a}\cdot\vec{b} = (|a_i|\cos\theta)~|b_i| $$

外积

向量 外积(Outer Product)又被称为 张量积(Tensor Product),指的是 $m$ 维向量 $\vec{a}=[a_1~~a_2~~\cdots~~a_m]$ 与 $n$ 维向量 $\vec{b}=[b_1~~b_2~~\cdots~~b_n]$ 相乘得到一个 $m \times n$ 维矩阵 的过程,通常我们写成矩阵形式: $$ \begin{aligned} \vec{a}~\otimes~\vec{b} &= \left[\begin{matrix} a_1b_1 &a_2b_1 &\cdots &a_mb_1 \\ a_1b_2 &a_2b_2 &\cdots &a_mb_2 \\ \vdots &\vdots &\ddots &\vdots \\ a_1b_n &a_2b_n &\cdots &a_mb_n \\ \end{matrix}\right] \end{aligned} $$ 它们的乘积可以

叉积

向量 叉积(Cross product)仅在 三维空间 中有定义,指的是三维空间中的两个维向量 $\vec{a}$、$\vec{b}$ 所在平面的 $n$ 维法线向量,与 $\vec{a}$、$\vec{b}$ 都垂直: $$ \vec{a}\times\vec{b} = |\vec{a}|~|\vec{b}|~\sin\theta~\vec{n} $$ 其中 $\theta$ 是向量 $\vec{a}$ 与 $\vec{b}$ 之间的夹角,$\vec{n}$ 是与 $\vec{a}$、$\vec{b}$ 所构成的平面垂直的单位向量,方向根据 右手法则 确定:右手大拇指、食指、中指展成自然的 xyz 方向;食指指向 $\vec{a}$,中指指向 $\vec{b}$,则大拇指指向的方向就是 $\vec{n}$ 的方向。

如果两个向量方向相同或相反(即它们没有线性无关的分量),亦或任意一个的长度为零,那么它们的叉积为零。

推广开来,叉积的模长和以这两个向量为边的平行四边形的面积相等;如果两个向量成直角,它们叉积的模长即为两者长度的乘积。

向量范数

先丢公式如下,后面再解释: $$ \begin{aligned} ||x||_1 &= \sum_{i=1}^n |x_i| &\text{(1-范数)} \\ ||x||_2 &= \sqrt{\sum_{i=1}^n x_i^2} &\text{(2-范数)} \\ ||x||_p &= (\sum_{i=1}^n |x_i|^p)^{\frac{1}{p}} &\text{(p-范数)} \\ ||x||_\infty &= \max_i |x_i| &\text{(}\infty\text{范数)} \\ ||x||_{-\infty} &= \min_i |x_i| &\text{(}-\infty\text{范数)} \\ \end{aligned} $$

  • 1-范数(1- Norm):所有元素的绝对值之和。
  • 2-范数(2-Norm):所有元素的绝对值的平方和,再开算术平方根,也称 欧几里得范数(Euclid Norm)。
  • p-范数(p-Norm):所有元素的绝对值的 $p$ 次方和,再开 $\frac{1}{p}$ 次方幂。
  • 无穷范数(∞ Norm):所有元素的绝对值中的最大值。
  • 负无穷范数(-∞ Norm):所有元素的绝对值中的最小值。

参考