稀疏编码
From Ufldl
| Line 83: | Line 83: | ||
这里 <math><.></math> 表示的是输入数据的期望值。 | 这里 <math><.></math> 表示的是输入数据的期望值。 | ||
| - | 不幸的是，通过对 <math>\mathbf{a}</math> 的积分计算 <math>P(\mathbf{x} \mid \mathbf{\phi})</math> 通常是难以实现的。虽然如此，我们注意到如果 <math>P(\mathbf{x} \mid \mathbf{\phi})</math> 的分布（对于相应的<math>\mathbf{a}</math>）足够陡峭的话，我们就可以用 | + | 不幸的是，通过对 <math>\mathbf{a}</math> 的积分计算 <math>P(\mathbf{x} \mid \mathbf{\phi})</math> 通常是难以实现的。虽然如此，我们注意到如果 <math>P(\mathbf{x} \mid \mathbf{\phi})</math> 的分布（对于相应的 <math>\mathbf{a}</math> ）足够陡峭的话，我们就可以用 <math>P(\mathbf{x} \mid \mathbf{\phi})</math> 的最大值来估算以上积分。估算方法如下： |
:<math>\begin{align} | :<math>\begin{align} | ||
| Line 89: | Line 89: | ||
\end{align}</math> | \end{align}</math> | ||
| - | 跟之前一样，我们可以通过减小 <math>a_i</math> 或增大 <math>\mathbf{\phi}</math> 来增加概率的估算值（因为<math>P(a_i)</math> 在零值附近陡升）。因此我们要对特征向量 <math>\mathbf{\phi}</math> 加一个限制以防止这种情况发生。 | + | 跟之前一样，我们可以通过减小 <math>a_i</math> 或增大 <math>\mathbf{\phi}</math> 来增加概率的估算值（因为 <math>P(a_i)</math> 在零值附近陡升）。因此我们要对特征向量 <math>\mathbf{\phi}</math> 加一个限制以防止这种情况发生。 |
最后，我们可以定义一种线性生成模型的能量函数，从而将原先的代价函数重新表述为： | 最后，我们可以定义一种线性生成模型的能量函数，从而将原先的代价函数重新表述为： | ||
| Line 104: | Line 104: | ||
\end{align}</math> | \end{align}</math> | ||
| - | 使用概率理论来分析，我们可以发现，选择 <math>L_1</math> 惩罚和<math>\log(1+a_i^2)</math>惩罚作为函数<math>S(.)</math> | + | 使用概率理论来分析，我们可以发现，选择 <math>L_1</math> 惩罚和 <math>\log(1+a_i^2)</math> 惩罚作为函数 <math>S(.)</math> ，分别对应于使用了拉普拉斯概率 <math>P(a_i) \propto \exp\left(-\beta|a_i|\right)</math> 和柯西先验概率 <math>P(a_i) \propto \frac{\beta}{1+a_i^2}</math> 。 |
== 学习算法 == | == 学习算法 == | ||
