稀疏编码自编码表达

From Ufldl

Jump to: navigation, search
Line 1: Line 1:
-
 
== 稀疏编码 ==
== 稀疏编码 ==
Line 130: Line 129:
-
== 将样本分批为“迷你块” ==
+
=== 将样本分批为“迷你块” ===
Line 136: Line 135:
-
== 良好的<math>s</math>初始值 ==
+
=== 良好的<math>s</math>初始值 ===
另一个能获得更快速更优化收敛的重要技巧是:在给定 <math>A</math> 的条件下,根据目标函数使用梯度下降(或其他方法)求解 <math>s</math> 之前找到良好的特征矩阵 <math>s</math> 的初始值。实际上,除非在优化 <math>A</math> 的最优值前已找到一个最佳矩阵 <math>s</math>,不然每次迭代过程中随机初始化 <math>s</math> 值会导致很差的收敛效果。下面给出一个初始化 <math>s</math> 的较好方法:  
另一个能获得更快速更优化收敛的重要技巧是:在给定 <math>A</math> 的条件下,根据目标函数使用梯度下降(或其他方法)求解 <math>s</math> 之前找到良好的特征矩阵 <math>s</math> 的初始值。实际上,除非在优化 <math>A</math> 的最优值前已找到一个最佳矩阵 <math>s</math>,不然每次迭代过程中随机初始化 <math>s</math> 值会导致很差的收敛效果。下面给出一个初始化 <math>s</math> 的较好方法:  
Line 150: Line 149:
-
== 可运行算法 ==
+
=== 可运行算法 ===
有了以上两种技巧,稀疏编码算法修改如下:  
有了以上两种技巧,稀疏编码算法修改如下:  

Revision as of 04:32, 29 March 2013

Personal tools