稀疏编码

Revision as of 04:32, 16 March 2013 (view source)

Revision as of 04:46, 16 March 2013 (view source)

Line 22:

此处 <math>S(.)</math> 是一个稀疏代价函数，由它来对远大于零的 <math>a_i</math> 进行“惩罚”。我们可以把稀疏编码目标函式的第一项解释为一个重构项，这一项迫使稀疏编码算法能为输入向量 <math>\mathbf{x}</math> 提供一个高拟合度的线性表达式，而公式第二项即“稀疏惩罚”项，它使 <math>\mathbf{x}</math> 的表达式变得“稀疏”。常量 <math>\lambda</math> 是一个变换量，由它来控制这两项式子的相对重要性。

+

虽然“稀疏性”的最直接测度标准是 "<math>L_0</math>" 范式(<math>S(a_i) = \mathbf{1}(|a_i|>0)</math>)，但这是不可微的，而且通常很难进行优化。在实际中，稀疏代价函数 <math>S(.)</math> 的普遍选择是<math>L_1</math> 范式代价函数 <math>S(a_i)=\left|a_i\right|_1 </math> 及对数代价函数 <math>S(a_i)=\log(1+a_i^2)</math>。

-

~~【原文】~~

+

此外，很有可能因为减小 <math>a_i</math> 或增加<math>\mathbf{\phi}_i</math> 至很大的常量，使得稀疏惩罚变得非常小。为防止此类事件发生，我们将限制<math>\left|\left|\mathbf{\phi}\right|\right|^2</math> 要小于某常量 <math>C</math>。包含了限制条件的稀疏编码代价函数的完整形式如下：

-

+

-

Although the most direct measure of sparsity is the "<math>L_0</math>" norm (<math>S(a_i) = \mathbf{1}(|a_i|>0)</math>), it is non-differentiable and difficult to optimize in general. In practice, common choices for the sparsity cost <math>S(.)</math> are the <math>L_1</math> penalty <math>S(a_i)=\left|a_i\right|_1 </math> and the log penalty <math>S(a_i)=\log(1+a_i^2)</math>.

+

-

+

-

+

-

~~【初译】~~

+

-

+

-

尽管最直接的稀疏性测度是 "<math>L_0</math>" 范数(<math>S(a_i) = \mathbf{1}(|a_i|>0)</math>) ，该范数通常不可微且难以优化。在实际中，稀疏代价函数 <math>S(.)</math> 的选择是<math>L_1</math> 征罚 <math>S(a_i)=\left|a_i\right|_1 </math> ， <math>S(a_i)=\log(1+a_i^2)</math>.

+

-

+

-

+

-

~~【一审】~~

+

-

+

-

虽然“稀疏性”的最直接测度标准是 "<math>L_0</math>" 范式(<math>S(a_i) = \mathbf{1}(|a_i|>0)</math>)，但这是不可微的，而且通常很难进行优化，而实际中，稀疏代价函数 <math>S(.)</math> 的普遍选择是<math>L_1</math> 范式代价函数 <math>S(a_i)=\left|a_i\right|_1 </math> 及对数代价函数 <math>S(a_i)=\log(1+a_i^2)</math>。

+

-

+

-

+

-

~~【原文】~~

+

-

+

-

In addition, it is also possible to make the sparsity penalty arbitrarily small by scaling down <math>a_i</math> and scaling <math>\mathbf{\phi}_i</math> up by some large constant. To prevent this from happening, we will constrain <math>\left|\left|\mathbf{\phi}\right|\right|^2</math> to be less than some constant <math>C</math>. The full sparse coding cost function including our constraint on <math>\mathbf{\phi}</math> is

+

-

+

-

+

-

~~【初译】~~

+

-

+

-

此外，常可通过缩小 <math>a_i</math> ，放大<math>\mathbf{\phi}_i</math> ，通过使用一些大的常量，任意地选择稀疏惩罚项。为了阻止这一可能的发生，增加约束，使 <math>\left|\left|\mathbf{\phi}\right|\right|^2</math> 小于一些常量 <math>C</math>。包括 <math>\mathbf{\phi}</math> 约束完整的稀疏编码代价函数定义如下：

+

-

+

-

+

-

~~【一审】~~

+

-

+

-

~~此外，稀疏代价函数也可以通过减小~~ <math>a_i</math> 或增加<math>\mathbf{\phi}_i</math> ~~至很大的常量来使其自身变得极其地小。为防止此类事件发生，我们将~~ <math>\left|\left|\mathbf{\phi}\right|\right|^2</math> ~~限制为比某常量~~ <math>C</math>~~更小的数。包含了限制条件的稀疏编码代价函数的完整形式如下：~~

+

:<math>\begin{array}{rc}

From Ufldl

Revision as of 04:46, 16 March 2013

Views

Personal tools

ufldl resources

wiki

Search

Toolbox

@@ Line 22: / Line 22: @@
 此处 <math>S(.)</math> 是一个稀疏代价函数，由它来对远大于零的 <math>a_i</math> 进行“惩罚”。我们可以把稀疏编码目标函式的第一项解释为一个重构项，这一项迫使稀疏编码算法能为输入向量 <math>\mathbf{x}</math> 提供一个高拟合度的线性表达式，而公式第二项即“稀疏惩罚”项，它使 <math>\mathbf{x}</math> 的表达式变得“稀疏”。常量 <math>\lambda</math> 是一个变换量，由它来控制这两项式子的相对重要性。
+虽然“稀疏性”的最直接测度标准是 "<math>L_0</math>" 范式(<math>S(a_i) = \mathbf{1}(|a_i|>0)</math>)， 但这是不可微的，而且通常很难进行优化。在实际中，稀疏代价函数 <math>S(.)</math> 的普遍选择是<math>L_1</math> 范式代价函数 <math>S(a_i)=\left|a_i\right|_1 </math> 及对数代价函数 <math>S(a_i)=\log(1+a_i^2)</math>。
-【原文】
+此外，很有可能因为减小 <math>a_i</math> 或增加<math>\mathbf{\phi}_i</math> 至很大的常量，使得稀疏惩罚变得非常小。为防止此类事件发生，我们将限制<math>\left|\left|\mathbf{\phi}\right|\right|^2</math> 要小于某常量 <math>C</math>。包含了限制条件的稀疏编码代价函数的完整形式如下：
-Although the most direct measure of sparsity is the "<math>L_0</math>" norm (<math>S(a_i) = \mathbf{1}(|a_i|>0)</math>), it is non-differentiable and difficult to optimize in general. In practice, common choices for the sparsity cost <math>S(.)</math> are the <math>L_1</math> penalty <math>S(a_i)=\left|a_i\right|_1 </math> and the log penalty <math>S(a_i)=\log(1+a_i^2)</math>.
-【初译】
-尽管最直接的稀疏性测度是 "<math>L_0</math>" 范数(<math>S(a_i) = \mathbf{1}(|a_i|>0)</math>) ，该范数通常不可微且难以优化。在实际中，稀疏代价函数 <math>S(.)</math> 的选择是<math>L_1</math> 征罚 <math>S(a_i)=\left|a_i\right|_1 </math> ， <math>S(a_i)=\log(1+a_i^2)</math>.
-【一审】
-虽然“稀疏性”的最直接测度标准是 "<math>L_0</math>" 范式(<math>S(a_i) = \mathbf{1}(|a_i|>0)</math>)， 但这是不可微的，而且通常很难进行优化，而实际中，稀疏代价函数 <math>S(.)</math> 的普遍选择是<math>L_1</math> 范式代价函数 <math>S(a_i)=\left|a_i\right|_1 </math> 及对数代价函数 <math>S(a_i)=\log(1+a_i^2)</math>。
-【原文】
-In addition, it is also possible to make the sparsity penalty arbitrarily small by scaling down <math>a_i</math> and scaling <math>\mathbf{\phi}_i</math> up by some large constant. To prevent this from happening, we will constrain <math>\left|\left|\mathbf{\phi}\right|\right|^2</math> to be less than some constant <math>C</math>. The full sparse coding cost function including our constraint on <math>\mathbf{\phi}</math> is
-【初译】
-此外，常可通过缩小 <math>a_i</math> ，放大<math>\mathbf{\phi}_i</math> ，通过使用一些大的常量，任意地选择稀疏惩罚项。为了阻止这一可能的发生，增加约束，使 <math>\left|\left|\mathbf{\phi}\right|\right|^2</math> 小于一些常量 <math>C</math>。包括 <math>\mathbf{\phi}</math> 约束完整的稀疏编码代价函数定义如下：
-【一审】
-此外，稀疏代价函数也可以通过减小 <math>a_i</math> 或增加<math>\mathbf{\phi}_i</math> 至很大的常量来使其自身变得极其地小。为防止此类事件发生，我们将 <math>\left|\left|\mathbf{\phi}\right|\right|^2</math> 限制为比某常量 <math>C</math>更小的数。包含了限制条件的稀疏编码代价函数的完整形式如下：
 :<math>\begin{array}{rc}