稀疏编码
From Ufldl
| Line 42: | Line 42: | ||
\end{align}</math> | \end{align}</math> | ||
| - | 我们的目标是找到一组特征基向量 <math>\mathbf{\phi}</math> ，它使得图像的分布函数 <math>P(\mathbf{x}\mid\mathbf{\phi})</math> 尽可能地近似于输入数据的经验分布函数 <math>P^*(\mathbf{x})</math>。一种实现方式是，最小化 <math>P^*(\mathbf{x})</math> 与 <math>P(\mathbf{x}\mid\mathbf{\phi})</math> | + | 我们的目标是找到一组特征基向量 <math>\mathbf{\phi}</math> ，它使得图像的分布函数 <math>P(\mathbf{x}\mid\mathbf{\phi})</math> 尽可能地近似于输入数据的经验分布函数 <math>P^*(\mathbf{x})</math>。一种实现方式是，最小化 <math>P^*(\mathbf{x})</math> 与 <math>P(\mathbf{x}\mid\mathbf{\phi})</math> 之间的KL散度，此KL散度表示如下： |
:<math>\begin{align} | :<math>\begin{align} | ||
