稀疏编码
From Ufldl
Line 36: | Line 36: | ||
【原文】 | 【原文】 | ||
- | == | + | == 概率解释 [基于1996年Olshausen与Field的理论] == |
+ | 到目前为止,我们所考虑的稀疏编码,是为了寻找到一个稀疏的、超完备基向量集,来覆盖我们的输入数据空间。现在换一种方式,我们可以从概率的角度出发,将稀疏编码算法当作一种“生成模型”。 | ||
- | + | 我们将自然图像建模问题看成是一种限行叠加,叠加元素包括<math>k</math>个独立的源特征 <math>\mathbf{\phi}_i</math> 以及加性噪声 <math>\nu</math>: | |
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
:<math>\begin{align} | :<math>\begin{align} | ||
\mathbf{x} = \sum_{i=1}^k a_i \mathbf{\phi}_{i} + \nu(\mathbf{x}) | \mathbf{x} = \sum_{i=1}^k a_i \mathbf{\phi}_{i} + \nu(\mathbf{x}) | ||
\end{align}</math> | \end{align}</math> | ||
- | |||
【原文】 | 【原文】 |