稀疏编码自编码表达

From Ufldl

Jump to: navigation, search
(Sparse coding[稀疏编码])
(Topographic sparse coding[拓扑稀疏编码])
Line 264: Line 264:
[初译]
[初译]
-
具体而言,假设我们(随意地)将特征组织成一个方阵。矩阵中相邻特征是相似的。实现这一点的方法是将相邻特征按经过平滑的L1范数惩罚值进行分组,如果在3x3的区域内分组,则用 <math>\sqrt{s_{1,1}^2 + \epsilon}</math>, we use say <math>\sqrt{s_{1,1}^2 + s_{1,2}^2 + s_{1,3}^2 + s_{2,1}^2 + s_{2,2}^2 + s_{3,2}^2 + s_{3,1}^2 + s_{3,2}^2 + s_{3,3}^2 + \epsilon}</math> 代替 。其分组通常是重合的,因此从第1行第1列开始的3x3区域是一个分组,从第1行第2列开始的区域是另一个分组,以此类推。另外,因为矩阵是环形的,分组也通常是环绕进行,所以每个特征的计数是相等的。
+
具体而言,假设我们(随意地)将特征组织成一个方阵。矩阵中相邻特征是相似的。实现这一点的方法是将相邻特征按经过平滑的L1范数惩罚值进行分组,如果在3x3的区域内分组,则用 <math>\sqrt{s_{1,1}^2 + s_{1,2}^2 + s_{1,3}^2 + s_{2,1}^2 + s_{2,2}^2 + s_{3,2}^2 + s_{3,1}^2 + s_{3,2}^2 + s_{3,3}^2 + \epsilon}</math> 代替 <math>\sqrt{s_{1,1}^2 + \epsilon}</math>。其分组通常是重合的,因此从第1行第1列开始的3x3区域是一个分组,从第1行第2列开始的区域是另一个分组,以此类推。另外,因为矩阵是环形的,分组也通常是环绕进行,所以每个特征的计数是相等的。
用所有分组中经过平滑的L1惩罚值之和代替经过平滑的L1惩罚值,得到新的目标函数如下:
用所有分组中经过平滑的L1惩罚值之和代替经过平滑的L1惩罚值,得到新的目标函数如下:
Line 270: Line 270:
[一审]
[一审]
-
具体而言,假设我们(随意地)将特征组织成一个方阵。我们就希望矩阵中相邻特征是相似的。实现这一点的方法是将相邻特征按经过平滑的L1范数惩罚值进行分组,如果在3x3的区域内分组,则用 <math>\sqrt{s_{1,1}^2 + \epsilon}</math>, we use say <math>\sqrt{s_{1,1}^2 + s_{1,2}^2 + s_{1,3}^2 + s_{2,1}^2 + s_{2,2}^2 + s_{3,2}^2 + s_{3,1}^2 + s_{3,2}^2 + s_{3,3}^2 + \epsilon}</math> 代替 。其分组通常是重合的,因此从第1行第1列开始的3x3区域是一个分组,从第1行第2列开始的区域是另一个分组,以此类推。另外,把矩阵当作围成的环形一样,分组也通常是环绕进行,所以每个特征的计数是相等的。
+
具体而言,假设我们(随意地)将特征组织成一个方阵。我们就希望矩阵中相邻特征是相似的。实现这一点的方法是将相邻特征按经过平滑的L1范数惩罚值进行分组,如果在3x3的区域内分组,则用 <math>\sqrt{s_{1,1}^2 + s_{1,2}^2 + s_{1,3}^2 + s_{2,1}^2 + s_{2,2}^2 + s_{3,2}^2 + s_{3,1}^2 + s_{3,2}^2 + s_{3,3}^2 + \epsilon}</math> 代替<math>\sqrt{s_{1,1}^2 + \epsilon}</math> 。其分组通常是重合的,因此从第1行第1列开始的3x3区域是一个分组,从第1行第2列开始的区域是另一个分组,以此类推。另外,把矩阵当作围成的环形一样,分组也通常是环绕进行,所以每个特征的计数是相等的。
用所有分组中经过平滑的L1惩罚值之和代替经过平滑的L1惩罚值,得到新的目标函数如下:
用所有分组中经过平滑的L1惩罚值之和代替经过平滑的L1惩罚值,得到新的目标函数如下:

Revision as of 08:18, 8 March 2013

Personal tools