用反向传导思想求导
From Ufldl
Line 45: | Line 45: | ||
为了阐述如何使用反向传导思想计算关于输入的导数,我们要在示例1,示例2中用[[Sparse Coding: Autoencoder Interpretation | sparse coding]]一节中的两个函数。在示例3中,我们使用[[Independent Component Analysis | independent component analysis]]一节中的一个函数来说明使用此思想计算关于权重的偏导的方法,以及在这种特殊情况下,如何处理相同或重复的权重的情况 | 为了阐述如何使用反向传导思想计算关于输入的导数,我们要在示例1,示例2中用[[Sparse Coding: Autoencoder Interpretation | sparse coding]]一节中的两个函数。在示例3中,我们使用[[Independent Component Analysis | independent component analysis]]一节中的一个函数来说明使用此思想计算关于权重的偏导的方法,以及在这种特殊情况下,如何处理相同或重复的权重的情况 | ||
- | === | + | === 示例1:稀疏编码中权重矩阵的目标函数 === |
回顾在[[Sparse Coding: Autoencoder Interpretation | sparse coding]]一节中,给定特征矩阵<math>s</math>,权重矩阵<math>A</math>的目标函数为: | 回顾在[[Sparse Coding: Autoencoder Interpretation | sparse coding]]一节中,给定特征矩阵<math>s</math>,权重矩阵<math>A</math>的目标函数为: | ||
:<math>F(A; s) = \lVert As - x \rVert_2^2 + \gamma \lVert A \rVert_2^2</math> | :<math>F(A; s) = \lVert As - x \rVert_2^2 + \gamma \lVert A \rVert_2^2</math> |