稀疏编码
From Ufldl
| Line 160: | Line 160: | ||
【初译】 | 【初译】 | ||
| - | 我们的目标是寻找一组基特征向量 <math>\mathbf{\phi}</math> ，以致于图像的分布 <math>P(\mathbf{x}\mid\mathbf{\phi})</math> 尽可能的近似输入数据 <math>P^*(\mathbf{x})</math>的经验分布。一类方法是最小化KL <math>P^*(\mathbf{x})</math> 和 <math>P | + | 我们的目标是寻找一组基特征向量 <math>\mathbf{\phi}</math> ，以致于图像的分布 <math>P(\mathbf{x}\mid\mathbf{\phi})</math> 尽可能的近似输入数据 <math>P^*(\mathbf{x})</math>的经验分布。一类方法是最小化KL <math>P^*(\mathbf{x})</math> 和<math>P(\mathbf{x}\mid\mathbf{\phi})</math> 之间的散度，这里 KL 散度定义如下: |
【一审】 | 【一审】 | ||
| - | 我们的目标是找到一组特征向量 <math>\mathbf{\phi}</math> ，因此，图像的分布函数 <math>P(\mathbf{x}\mid\mathbf{\phi})</math> 就可以尽可能地近似于输入数据的经验分布函数 <math>P^*(\mathbf{x})</math>。这么做的一种方法是，最小化 <math>P^*(\mathbf{x})</math> 与 <math>P | + | 我们的目标是找到一组特征向量 <math>\mathbf{\phi}</math> ，因此，图像的分布函数 <math>P(\mathbf{x}\mid\mathbf{\phi})</math> 就可以尽可能地近似于输入数据的经验分布函数 <math>P^*(\mathbf{x})</math>。这么做的一种方法是，最小化 <math>P^*(\mathbf{x})</math> 与 <math>P(\mathbf{x}\mid\mathbf{\phi})</math> 之间的KL离差，KL离差表示如下： |
:<math>\begin{align} | :<math>\begin{align} | ||
