稀疏编码自编码表达

From Ufldl

Jump to: navigation, search
(Sparse coding)
(Sparse coding)
Line 1: Line 1:
[原文]
[原文]
[原文]
[原文]
-
== Sparse coding ==
+
== Sparse coding[稀疏编码] ==
In the sparse autoencoder, we tried to learn a set of weights <math>W</math> (and associated biases <math>b</math>) that would give us sparse features <math>\sigma(Wx + b)</math> useful in reconstructing the input <math>x</math>.  
In the sparse autoencoder, we tried to learn a set of weights <math>W</math> (and associated biases <math>b</math>) that would give us sparse features <math>\sigma(Wx + b)</math> useful in reconstructing the input <math>x</math>.  
Line 37: Line 37:
[初译]
[初译]
-
在稀疏编码中,通常有很多数据<math>x</math>供我们进行特征学习。例如:<math>s</math>是一个用于表示数据的稀疏特征集,<math>A</math>是特征集从特征空间转换到数据空间的基。因此,为了计算s和A构建如下目标函数:
+
在稀疏编码中,通常有很多数据<math>x</math>供我们进行特征学习。例如:<math>s</math>是一个用于表示数据的稀疏特征集,<math>A</math>是特征集从特征空间转换到数据空间的基。因此,为了计算:<math>s</math>和:<math>A</math>构建如下目标函数:
[一审]
[一审]
-
在稀疏编码中,对于从数据<math>x</math>中进行特征学习的情况。例如学习一个用于表示数据的稀疏特征集math>s</math>,和一个将特征从特征空间转换到数据空间的基<math>A</math>,我们可以构建如下目标函数:
+
在稀疏编码中,对于从数据<math>x</math>中进行特征学习的情况。例如学习一个用于表示数据的稀疏特征集<math>s</math>,和一个将特征从特征空间转换到数据空间的基<math>A</math>,我们可以构建如下目标函数:
[原文]
[原文]
Line 211: Line 211:
[初译]
[初译]
 +
观察修改后的目标函数<math>J(A, s)</math>,给定<math>s</math>的条件下,目标函数可以简化为<math>J(A; s) = \lVert As - x \rVert_2^2 + \gamma \lVert A \rVert_2^2</math> (因为<math>s</math>的L1范式不是<math>A</math>的函数,所以可以忽略)。简化后的目标函数是一个关于<math>A</math>的简单二次项式,因此存在容易推导分析的解决方案。矩阵演算是一个快速获得该解决方案的方法(在可用链接部分列出了跟矩阵演算有关的很多页面)。遗憾的是,在给定<math>A</math>的条件下目标函数不具备这样完美的分析解决方案,因此在求解最小化步骤中只能用梯度下降或其他类似的最优化方法。
[一审]
[一审]
 +
 +
观察修改后的目标函数<math>J(A, s)</math>,给定<math>s</math>的条件下,目标函数可以简化为<math>J(A; s) = \lVert As - x \rVert_2^2 + \gamma \lVert A \rVert_2^2</math> (因为<math>s</math>的L1范式不是<math>A</math>的函数,所以可以忽略)。简化后的目标函数是一个关于<math>A</math>的简单二次项式,因此容易计算<math>A</math>的可导解析解。矩阵演算是快速求解的一个方法(在可用链接部分列出了跟矩阵演算有关的很多页面)。遗憾的是,在给定<math>A</math>的条件下目标函数不具备这样完美解析解,因此在最小化目标函数步骤中只能用梯度下降或其他类似的最优化方法。
[原文]
[原文]

Revision as of 08:10, 8 March 2013

Personal tools