稀疏编码自编码表达

From Ufldl

Jump to: navigation, search
Line 1: Line 1:
== [ 稀疏编码 ] ==
== [ 稀疏编码 ] ==
-
    在稀疏自编码算法中,我们试着学习得到一组权重参数<math>W</math>(以及相应的截距<math>b</math>),通过这些参数可以使我们得到稀疏特征向量<math>\sigma(Wx + b)</math> ,这些特征向量对于重构输入样本非常有用。
+
  在稀疏自编码算法中,我们试着学习得到一组权重参数<math>W</math>(以及相应的截距<math>b</math>),通过这些参数可以使我们得到稀疏特征向量<math>\sigma(Wx + b)</math> ,这些特征向量对于重构输入样本非常有用。
[[File:STL_SparseAE.png | 240px]]
[[File:STL_SparseAE.png | 240px]]
-
    稀疏编码可以看作是稀疏自编码方法的一个变形,该方法试图直接学习数据的特征集。利用与此特征集相应的基向量,将学习得到的特征集从特征空间转换到样本数据空间,这样我们就可以用学习得到的特征集重构样本数据。  
+
  稀疏编码可以看作是稀疏自编码方法的一个变形,该方法试图直接学习数据的特征集。利用与此特征集相应的基向量,将学习得到的特征集从特征空间转换到样本数据空间,这样我们就可以用学习得到的特征集重构样本数据。  
确切地说,在稀疏编码算法中,有样本数据<math>x</math>供我们进行特征学习。特别是,学习一个用于表示样本数据的稀疏特征集<math>s</math>,  和一个将特征集从特征空间转换到样本数据空间的基向量<math>A</math>, 我们可以构建如下目标函数:
确切地说,在稀疏编码算法中,有样本数据<math>x</math>供我们进行特征学习。特别是,学习一个用于表示样本数据的稀疏特征集<math>s</math>,  和一个将特征集从特征空间转换到样本数据空间的基向量<math>A</math>, 我们可以构建如下目标函数:

Revision as of 07:19, 21 March 2013

Personal tools