稀疏编码

Revision as of 05:06, 16 March 2013 (view source)

Kandeng (Talk | contribs)

← Older edit

Revision as of 05:14, 16 March 2013 (view source)

Kandeng (Talk | contribs)

Newer edit →

Line 32:

\\

\end{array}</math>

-

~~【原文】~~

== 概率解释 [基于1996年Olshausen与Field的理论] ==

到目前为止，我们所考虑的稀疏编码，是为了寻找到一个稀疏的、超完备基向量集，来覆盖我们的输入数据空间。现在换一种方式，我们可以从概率的角度出发，将稀疏编码算法当作一种“生成模型”。

-

我们将自然图像建模问题看成是一种限行叠加，叠加元素包括<math>k</math>个独立的源特征 <math>\mathbf{\phi}_i</math> 以及加性噪声 <math>\nu</math>：

+

我们将自然图像建模问题看成是一种限行叠加，叠加元素包括<math>k</math>个独立的源特征<math>\mathbf{\phi}_i</math>以及加性噪声<math>\nu</math>：

:<math>\begin{align}

Line 45:

Line 42:

\end{align}</math>

-

~~【原文】~~

+

我们的目标是找到一组特征基向量 <math>\mathbf{\phi}</math> ，它使得图像的分布函数 <math>P(\mathbf{x}\mid\mathbf{\phi})</math> 尽可能地近似于输入数据的经验分布函数 <math>P^*(\mathbf{x})</math>。一种实现方式是，最小化 <math>P^*(\mathbf{x})</math> 与 <math>P(\mathbf{x}\mid\mathbf{\phi})</math> 之间的KL散度，KL散度表示如下：

-

+

-

~~Our goal is to find a set of basis feature vectors~~ <math>\mathbf{\phi}</math> ~~such that the distribution of images~~ <math>P(\mathbf{x}\mid\mathbf{\phi})</math> ~~is as close as possible to the empirical distribution of our input data~~ <math>P^*(\mathbf{x})</math>~~. One method of doing so is to minimize the KL divergence between <math>P^*(\mathbf{x})</math> and <math>P(\mathbf{x}\mid\mathbf{\phi})</math> where the KL divergence is defined as:~~

+

-

+

-

+

-

~~【初译】~~

+

-

+

-

我们的目标是寻找一组基特征向量 <math>\mathbf{\phi}</math> ，以致于图像的分布 <math>P(\mathbf{x}\mid\mathbf{\phi})</math> 尽可能的近似输入数据 <math>P^*(\mathbf{x})</math>的经验分布。一类方法是最小化KL <math>P^*(\mathbf{x})</math> 和<math>P(\mathbf{x}\mid\mathbf{\phi})</math> 之间的散度，这里 KL 散度定义如下:

+

-

+

-

+

-

~~【一审】~~

+

-

+

-

我们的目标是找到一组特征向量 <math>\mathbf{\phi}</math> ，因此，图像的分布函数 <math>P(\mathbf{x}\mid\mathbf{\phi})</math> 就可以尽可能地近似于输入数据的经验分布函数 <math>P^*(\mathbf{x})</math>。这么做的一种方法是，最小化 <math>P^*(\mathbf{x})</math> 与 <math>P(\mathbf{x}\mid\mathbf{\phi})</math> ~~之间的KL离差，KL离差表示如下：~~

+

:<math>\begin{align}

From Ufldl

Revision as of 05:14, 16 March 2013

Views

Personal tools

ufldl resources

wiki

Search

Toolbox

@@ Line 32: / Line 32: @@
 \\
 \end{array}</math>
-【原文】
 == 概率解释 [基于1996年Olshausen与Field的理论] ==
 到目前为止，我们所考虑的稀疏编码，是为了寻找到一个稀疏的、超完备基向量集，来覆盖我们的输入数据空间。现在换一种方式，我们可以从概率的角度出发，将稀疏编码算法当作一种“生成模型”。
-我们将自然图像建模问题看成是一种限行叠加，叠加元素包括<math>k</math>个独立的源特征 <math>\mathbf{\phi}_i</math> 以及加性噪声 <math>\nu</math>：
+我们将自然图像建模问题看成是一种限行叠加，叠加元素包括<math>k</math>个独立的源特征<math>\mathbf{\phi}_i</math>以及加性噪声<math>\nu</math>：
 :<math>\begin{align}
@@ Line 45: / Line 42: @@
 \end{align}</math>
-【原文】
+我们的目标是找到一组特征基向量 <math>\mathbf{\phi}</math> ，它使得图像的分布函数 <math>P(\mathbf{x}\mid\mathbf{\phi})</math> 尽可能地近似于输入数据的经验分布函数 <math>P^*(\mathbf{x})</math>。一种实现方式是，最小化 <math>P^*(\mathbf{x})</math> 与 <math>P(\mathbf{x}\mid\mathbf{\phi})</math> 之间的KL散度，KL散度表示如下：
-Our goal is to find a set of basis feature vectors <math>\mathbf{\phi}</math> such that the distribution of images <math>P(\mathbf{x}\mid\mathbf{\phi})</math> is as close as possible to the empirical distribution of our input data <math>P^*(\mathbf{x})</math>. One method of doing so is to minimize the KL divergence between <math>P^*(\mathbf{x})</math> and <math>P(\mathbf{x}\mid\mathbf{\phi})</math> where the KL divergence is defined as:
-【初译】
-我们的目标是寻找一组基特征向量 <math>\mathbf{\phi}</math> ，以致于图像的分布 <math>P(\mathbf{x}\mid\mathbf{\phi})</math> 尽可能的近似输入数据 <math>P^*(\mathbf{x})</math>的经验分布。一类方法是最小化KL <math>P^*(\mathbf{x})</math> 和<math>P(\mathbf{x}\mid\mathbf{\phi})</math> 之间的散度，这里 KL 散度定义如下:
-【一审】
-我们的目标是找到一组特征向量 <math>\mathbf{\phi}</math> ，因此，图像的分布函数 <math>P(\mathbf{x}\mid\mathbf{\phi})</math> 就可以尽可能地近似于输入数据的经验分布函数 <math>P^*(\mathbf{x})</math>。这么做的一种方法是，最小化 <math>P^*(\mathbf{x})</math> 与 <math>P(\mathbf{x}\mid\mathbf{\phi})</math> 之间的KL离差，KL离差表示如下：
 :<math>\begin{align}