主成分分析

这就是把训练数据集旋转到 <math>\textstyle u_1</math>，<math>\textstyle u_2</math> 基后的结果。一般而言，运算 <math>\textstyle U^Tx</math> 表示旋转到基 <math>\textstyle u_1</math>,<math>\textstyle u_2</math>, ...,<math>\textstyle u_n</math> 之上的训练数据。矩阵 <math>\textstyle U</math> 有正交性，即满足  <math>\textstyle U^TU = UU^T = I</math> ，所以若想将旋转后的向量 <math>\textstyle x_{\rm rot}</math> 还原为原始数据 <math>\textstyle x</math> ，将其左乘矩阵<math>\textstyle U</math>即可： <math>\textstyle x=U x_{\rm rot}</math> , 验算一下： <math>\textstyle U x_{\rm rot} =  UU^T x = x</math>.

数据的主方向就是旋转数据的第一维 <math>\textstyle x_{{\rm rot},1}</math> 。因此，若想把这数据降到一维，可令：

PCA的另外一种解释是：<math>\textstyle x_{\rm rot}</math> 是一个 <math>\textstyle n</math> 维向量，其中前几个成分可能比较大（例如，上例中大部分样本第一个成分 <math>\textstyle x_{{\rm rot},1}^{(i)} = u_1^Tx^{(i)}</math> 的取值相对较大），而后面成分可能会比较小（例如，上例中大部分样本的 <math>\textstyle x_{{\rm rot},2}^{(i)} = u_2^Tx^{(i)}</math> 较小）。

PCA算法做的其实就是丢弃 <math>\textstyle x_{\rm rot}</math> 中后面（取值较小）的成分，就是将这些成分的值近似为零。具体的说，设 <math>\textstyle \tilde{x}</math> 是 <math>\textstyle x_{{\rm rot}}</math> 的近似表示，那么将 <math>\textstyle x_{{\rm rot}}</math> 除了前 <math>\textstyle k</math> 个成分外，其余全赋值为零，就得到：

在本例中，可得 <math>\textstyle \tilde{x}</math> 的点图如下（取 <math>\textstyle n=2, k=1</math> ）：

这也解释了我们为什么会以 <math>\textstyle u_1, u_2, \ldots, u_n</math> 为基来表示数据：要决定保留哪些成分变得很简单，只需取前 <math>\textstyle k</math> 个成分即可。这时也可以说，我们“保留了前 <math>\textstyle k</math> 个PCA（主）成分”。

现在，我们得到了原始数据 <math>\textstyle x \in \Re^n</math> 的低维“压缩”表征量 <math>\textstyle \tilde{x} \in \Re^k</math> ， 反过来，如果给定 <math>\textstyle \tilde{x}</math> ，我们应如何还原原始数据 <math>\textstyle x</math> 呢？查看[[#Rotating the Data|以往章节]]以往章节可知，要转换回来，只需 <math>\textstyle x = U x_{\rm rot}</math> 即可。进一步，我们把 <math>\textstyle \tilde{x}</math> 看作将 <math>\textstyle x_{\rm rot}</math> 的最后 <math>\textstyle n-k</math> 个元素被置0所得的近似表示，因此如果给定 <math>\textstyle \tilde{x} \in \Re^k</math> ，可以通过在其末尾添加 <math>\textstyle n-k</math> 个0来得到对 <math>\textstyle x_{\rm rot} \in \Re^n</math> 的近似，最后，左乘 <math>\textstyle U</math> 便可近似还原出原数据 。具体来说，计算如下：