稀疏编码自编码表达

在给定<math>A</math>的条件下，根据目标函数使用梯度下降（或其他方法）求解<math>s</math>之前找到良好的特征矩阵<math>s</math>的初始值是另一个快速高效收敛的重要技巧。实际上，每次迭代过程<math>s</math>的随机初始化导致收敛性较差，除非在求解<math>A</math>的最优值前已得到<math>s</math>的最优解。下面给出一个初始化s的较好方法：

<li>对s做归一化处理：<math>s</math>中的每个特征（<math>s</math>的每一列）除以其在<math>A</math>中对应的偏移量。换句话说，如果 <math>s_{r, c}</math>表示<math>c</math>样本的第<math>r</math>个特征，<math>A_c</math>表示<math>A</math>中第<math>c</math>个偏移量，则令<math>s_{r, c} \leftarrow \frac{ s_{r, c} } { \lVert A_c \rVert }.</math>

在给定<math>A</math>的条件下，根据目标函数使用梯度下降（或其他方法）求解<math>s</math>之前找到良好的特征矩阵<math>s</math>的初始值是另一个快速高效收敛的重要技巧。实际上，每次迭代过程<math>s</math>的随机初始化导致收敛性较差，除非在优化<math>A</math>的最优值前已得到<math>s</math>的最优解。下面给出一个初始化s的较好方法：

<li>对s做归一化处理：<math>s</math>中的每个特征（<math>s</math>的每一列）除以其在<math>A</math>中对应的基向量。即，如果 <math>s_{r, c}</math>表示<math>c</math>样本的第<math>r</math>个特征，<math>A_c</math>表示<math>A</math>中第<math>c</math>个基向量，则令<math>s_{r, c} \leftarrow \frac{ s_{r, c} } { \lVert A_c \rVert }.</math>

无疑，这样的初始化有助于算法的改进。因为上述的第一步是求解满足<math>Ws \approx x</math>的<math>s</math> 的最优解，第二步的规范化处理是为了保持较小的稀疏惩罚值。实际运行证明，只用上述步骤的某一步代替这两步对<math>s</math> 做初始化处理严重影响算法性能。