稀疏编码自编码表达

From Ufldl

Jump to: navigation, search
Line 56: Line 56:
     <li>根据上一步得到的<math>s</math>,,求解能够最小化<math>J(A, s)</math>的<math>A</math>  </ol>
     <li>根据上一步得到的<math>s</math>,,求解能够最小化<math>J(A, s)</math>的<math>A</math>  </ol>
</ol>
</ol>
-
[原文]
 
-
Observe that with our modified objective function, the objective function <math>J(A, s)</math> given <math>s</math>, that is <math>J(A; s) = \lVert As - x \rVert_2^2 + \gamma \lVert A \rVert_2^2</math> (the L1 term in <math>s</math> can be omitted since it is not a function of <math>A</math>) is simply a quadratic term in <math>A</math>, and hence has an easily derivable analytic solution in <math>A</math>. A quick way to derive this solution would be to use matrix calculus - some pages about matrix calculus can be found in the [[Useful Links | useful links]] section. Unfortunately, the objective function given <math>A</math> does not have a similarly nice analytic solution, so that minimization step will have to be carried out using gradient descent or similar optimization methods.
+
观察修改后的目标函数<math>J(A, s)</math>,给定<math>s</math>的条件下,目标函数可以简化为<math>J(A; s) = \lVert As - x \rVert_2^2 + \gamma \lVert A \rVert_2^2</math>(因为<math>s</math>的L1范式不是<math>A</math>的函数,所以可以忽略)。简化后的目标函数是一个关于<math>A</math>的简单二次项式,因此对<math>A</math>求导是很容易的。这种求导的一种快捷方法是矩阵微积分([相关链接]部分列出了跟矩阵演算有关的内容)。遗憾的是,在给定<math>A</math>的条件下,目标函数却不具备这样的求导方法,因此目标函数的最小化步骤只能用梯度下降或其他类似的最优化方法。
-
 
+
-
[初译]
+
-
 
+
-
观察修改后的目标函数<math>J(A, s)</math>,给定<math>s</math>的条件下,目标函数可以简化为<math>J(A; s) = \lVert As - x \rVert_2^2 + \gamma \lVert A \rVert_2^2</math> (因为<math>s</math>的L1范式不是<math>A</math>的函数,所以可以忽略)。简化后的目标函数是一个关于<math>A</math>的简单二次项式,因此存在容易推导分析的解决方案。矩阵演算是一个快速获得该解决方案的方法(在可用链接部分列出了跟矩阵演算有关的很多页面)。遗憾的是,在给定<math>A</math>的条件下目标函数不具备这样完美的分析解决方案,因此在求解最小化步骤中只能用梯度下降或其他类似的最优化方法。
+
-
 
+
-
[一审]
+
-
 
+
-
观察修改后的目标函数<math>J(A, s)</math>,给定<math>s</math>的条件下,目标函数可以简化为<math>J(A; s) = \lVert As - x \rVert_2^2 + \gamma \lVert A \rVert_2^2</math> (因为<math>s</math>的L1范式不是<math>A</math>的函数,所以可以忽略)。简化后的目标函数是一个关于<math>A</math>的简单二次项式,因此容易计算<math>A</math>的可导解析解。矩阵演算是快速求解的一个方法(在可用链接部分列出了跟矩阵演算有关的很多页面)。遗憾的是,在给定<math>A</math>的条件下目标函数不具备这样完美解析解,因此在最小化目标函数步骤中只能用梯度下降或其他类似的最优化方法。
+
[原文]
[原文]

Revision as of 06:47, 21 March 2013

Personal tools