Gram-Schmidt Process

wiki的翻译：格拉姆-施密特正交化

给一点基础的定义

$V^n$ 维数为 $n$ 的内积空间

$v \in V^n$ , $V^n$ 中的元素，可以是向量函数等

$\langle v_1,v_2 \rangle$ , $v_1,v_2$ 的内积

$\text{span}{v_1,v_2,...,v_n}$ : $v_1,v_2,...,v_n$ 的张成空间

$\text{proj}_v u=\frac{\lang u,v \rang}{\lang v,v\rang}$ : $u$ 在 $v$ 上的投影

利用投影原理构造新的正交基

假设 $v \in V^n$ 。 $V^k$ 是 $V^n$ 的 $k$ 维子空间。

$v$ 与 $v$ 在 $V^k$ 的投影之差为

$\beta=v-\sum_{i=1}^{k}\limits \lang v,\eta_i \rang \eta_i$

显然，有 $\beta$ 正交与 $V^k$ 的正交基 $\eta_i$ 我们把 $\beta$ 单位化即可

$\eta_{k+1}=\frac{\beta}{|\beta|}$

实空间 $\lang a,b \rang=b^Ta$

复空间 $\lang a,b \rang=b^Ha$

函数形式 $\lang f(x),g(x) \rang=\int_{-\infty}^{+\infty}f(x)g(x)d(x)$

$A$ 为一个 $n*n$ 的矩阵， $x$ 为一个 $1*n$ 的向量

$Ax^T=\lambda_1x^T$ 那么 $x^T$ 为 $A$ 的右特征向量 $\lambda_1$ 为右特征值

$xA=\lambda_2x$ 那么 $x$ 为 $A$ 的左特征向量， $\lambda_2$ 为左特诊向量

有了特征向量后，原本矩阵*矩阵就变成了矩阵的数乘。

$Y=X*V$ , $V$ 为 $n*n$ 的基矩阵， $X$ 为 $n*m$ 的样本矩阵， $Y$ 为 $n*m$ 的新样本矩阵。

定义相关性 $\text{cov}=E((A-\mu_a)(B-\mu_b))$