稀疏编码自编码表达
From Ufldl
Line 56: | Line 56: | ||
<li>根据上一步得到的<math>s</math>,,求解能够最小化<math>J(A, s)</math>的<math>A</math> </ol> | <li>根据上一步得到的<math>s</math>,,求解能够最小化<math>J(A, s)</math>的<math>A</math> </ol> | ||
</ol> | </ol> | ||
- | |||
- | + | 观察修改后的目标函数<math>J(A, s)</math>,给定<math>s</math>的条件下,目标函数可以简化为<math>J(A; s) = \lVert As - x \rVert_2^2 + \gamma \lVert A \rVert_2^2</math>(因为<math>s</math>的L1范式不是<math>A</math>的函数,所以可以忽略)。简化后的目标函数是一个关于<math>A</math>的简单二次项式,因此对<math>A</math>求导是很容易的。这种求导的一种快捷方法是矩阵微积分([相关链接]部分列出了跟矩阵演算有关的内容)。遗憾的是,在给定<math>A</math>的条件下,目标函数却不具备这样的求导方法,因此目标函数的最小化步骤只能用梯度下降或其他类似的最优化方法。 | |
- | + | ||
- | + | ||
- | + | ||
- | 观察修改后的目标函数<math>J(A, s)</math>,给定<math>s</math>的条件下,目标函数可以简化为<math>J(A; s) = \lVert As - x \rVert_2^2 + \gamma \lVert A \rVert_2^2</math> (因为<math>s</math>的L1范式不是<math>A</math>的函数,所以可以忽略)。简化后的目标函数是一个关于<math>A</math> | + | |
- | + | ||
- | [ | + | |
- | + | ||
- | + | ||
[原文] | [原文] |