Description
已知平面 \alpha \in \mathbb{R}^n，\{v_1, v_2, \cdots, v_k\} 为 \alpha 的基。
求证：\forall v \in \mathbb{R}^n，从 v 到 v 在 \alpha 上的投影是线性变换，并给出对应矩阵。
Solution
Part 1
令 p 为 v 在 \alpha 上的投影向量，则 e = v - p 与 \alpha 垂直，即
\begin{bmatrix} v_1 &v_2 &\cdots &v_k \end{bmatrix}^T e = 0
令 M = \begin{bmatrix} v_1 &v_2 &\cdots &v_k \end{bmatrix}，则 M^Te = 0。
令 p = \sum_{i=1}^k \widehat{x}_i v_i = Mx，则 M^T(v - Mx) = 0，得到 Normal Equation
M^T v = (M^TM) x
根据经典结论，r(M^TM) = r(M) = k，因此 M^TM 可逆，则
x = (M^TM)^{-1}M^Tv
代回 p = Mx 得
p = M(M^TM)^{-1}M^Tv
令 \boldsymbol{P = M(M^TM)^{-1}M^T}，则 p = Pv。P 即为投影对应的线性变换矩阵。
Part 2
Q：为何 M^TM 与 M 的秩相等？
A：
- 首先，我们有
-
Mx = 0 \longrightarrow M^TMx = 0
-
M^TMx = 0 \longrightarrow x^TM^TMx = 0 \longrightarrow (Mx)^T(Mx) = 0 \longrightarrow ||Mx|| = 0 \longrightarrow Mx = 0
- 因此 N(M) = N(M^TM)，而 M, M^TM 的列数相等，因此 M, M^TM 的秩也相等。
Q：能将 (M^TM)^{-1} 化简拆开吗？
A:
- 若 k = n，则 M 为可逆矩阵，可以拆开化简（此时 \alpha = \mathbb{R}^n）。
- 否则不可拆开化简。
Q：是否存在 v 到 e 的线性变换矩阵？
A: 易得 e = v - p = v - Pv = (I - P)v，其中 I - P 为线性变换矩阵，I 为 n 阶单位阵。
Applications
在线性回归（Linear Regression）里，我们常常需要解决如下问题：
- 给定 m 组数据，第 i 组数据含 \text{input} = \{A_{1i}, A_{2i}, \cdots, A_{ni}\} 及 \text{target} = t_i，找到 \boldsymbol{x} 及最小化 ||A\boldsymbol{x} - t||。
作 t 在 C(A) 上的投影 t_0 = A(A^TA)^{-1}A^Tt，则有 Ax = t_0，显然 x = (A^TA)^{-1}A^Tt。