|
|
| Line 6: |
Line 6: |
| | [[File:STL_SparseAE.png | 240px]] | | [[File:STL_SparseAE.png | 240px]] |
| | | | |
| - | [原文]
| + | 稀疏编码可以看作是稀疏自编码方法的一个变形，该方法试图直接学习数据的特征集。利用与此特征集相应的基向量，将学习得到的特征集从特征空间转换到样本数据空间，这样我们就可以用学习得到的特征集重构样本数据。 |
| | | | |
| - | Sparse coding can be seen as a modification of the sparse autoencoder method in which we try to learn the set of features for some data "directly". Together with an associated basis for transforming the learned features from the feature space to the data space, we can then reconstruct the data from the learned features.
| + | 确切地说，在稀疏编码算法中，有样本数据<math>x</math>供我们进行特征学习。特别是，学习一个用于表示样本数据的稀疏特征集<math>s</math>, 和一个将特征集从特征空间转换到样本数据空间的基向量<math>A</math>, 我们可以构建如下目标函数： |
| - | | + | |
| - | [初译]
| + | |
| - | | + | |
| - | 稀疏编码可以看作是稀疏自编码方法的一个变形，该方法试图直接学习数据的特征集。利用偏移量将待学习特征集从特征空间转化到数据空间，实现了待学习特征集数据的重新表示。
| + | |
| - | | + | |
| - | [一审]
| + | |
| - | | + | |
| - | 稀疏编码可以看作是稀疏自编码方法的一个变形，该方法试图直接学习数据的特征集。利用连带基将学习特征集从特征空间转化到数据空间，就可以从学到的特征中重建数据。
| + | |
| - | | + | |
| - | [原文]
| + | |
| - | | + | |
| - | Formally, in sparse coding, we have some data <math>x</math> we would like to learn features on. In particular, we would like to learn <math>s</math>, a set of sparse features useful for representing the data, and <math>A</math>, a basis for transforming the features from the feature space to the data space. Our objective function is hence:
| + | |
| - | | + | |
| - | [初译]
| + | |
| - | | + | |
| - | 在稀疏编码中，通常有很多数据<math>x</math>供我们进行特征学习。例如：<math>s</math>是一个用于表示数据的稀疏特征集，<math>A</math>是特征集从特征空间转换到数据空间的基。因此，为了计算：<math>s</math>和：<math>A</math>构建如下目标函数：
| + | |
| - | | + | |
| - | [一审]
| + | |
| - | | + | |
| - | 在稀疏编码中，对于从数据<math>x</math>中进行特征学习的情况。例如学习一个用于表示数据的稀疏特征集<math>s</math>,和一个将特征从特征空间转换到数据空间的基<math>A</math>,我们可以构建如下目标函数：
| + | |
| - | | + | |
| - | [原文]
| + | |
| | | | |
| | :<math> | | :<math> |
| Line 36: |
Line 14: |
| | </math> | | </math> |
| | | | |
| - | (If you are unfamiliar with the notation, <math>\lVert x \rVert_k</math> refers to the L<math>k</math> norm of the <math>x</math> which is equal to <math>\left( \sum{ \left| x_i^k \right| } \right) ^{\frac{1}{k}}</math>. The L2 norm is the familiar Euclidean norm, while the L1 norm is the sum of absolute values of the elements of the vector)
| + | （ <math>\lVert x \rVert_k</math>是x的Lk范数，等价于<math>\left( \sum{ \left| x_i^k \right| } \right) ^{\frac{1}{k}}</math>。L2范数即大家熟知的欧几里得范数，L1范数是向量元素的绝对值之和） |
| - | | + | |
| - | [初译]
| + | |
| - | | + | |
| - | （ <math>\lVert x \rVert_k</math>等价于<math>\left( \sum{ \left| x_i^k \right| } \right) ^{\frac{1}{k}}</math>是<math>x</math>的L<math>k</math>范数。L2范数即大家熟知的欧几里得范数，L1范数是向量元素的绝对值之和） | + | |
| - | | + | |
| - | [一审]
| + | |
| - | | + | |
| - | （ <math>\lVert x \rVert_k</math>等价于<math>\left( \sum{ \left| x_i^k \right| } \right) ^{\frac{1}{k}}</math>是<math>x</math>的L<math>k</math>范数。L2范数即大家熟知的欧几里得范数，L1范数是向量元素的绝对值之和）
| + | |
| - | | + | |
| - | [原文]
| + | |
| - | | + | |
| - | The first term is the error in reconstructing the data from the features using the basis, and the second term is a sparsity penalty term to encourage the learned features to be sparse.
| + | |
| - | | + | |
| - | [初译]
| + | |
| - | | + | |
| - | 上式前半部分为重建误差，后半部分为稀疏性惩罚项（sparsity penalty term）用于保证向量集的稀疏性。
| + | |
| | | | |
| - | [一审]
| + | 上式前第一部分是利用基向量将特征集重构为样本数据所产生的误差，第二部分为稀疏性惩罚项（sparsity penalty term），用于保证特征集的稀疏性。 |
| | | | |
| - | 上式前半部分为重建误差，后半部分为稀疏性惩罚项（sparsity penalty term）用于保证向量集的稀疏性。
| + | 但是，如目标函数所示，它的约束性并不强――按常数比例缩放A的同时再按这个常数的倒数缩放s，结果不会改变误差大小，却会减少稀疏代价（表达式第二项）的值。因此，需要为A中每项Aj 增加额外约束 |
| | | | |
| | [原文] | | [原文] |
