用反向传导思想求导
From Ufldl
| Line 1: | Line 1: | ||
| - | |||
== 简介 == | == 简介 == | ||
在[[Backpropagation Algorithm | backpropagation algorithm]]一节中，我们介绍了在稀疏自编码器中用反向传导算法来求梯度的方法。事实证明，反向传导算法与矩阵运算相结合的方法，对于计算复杂矩阵函数（从矩阵到实数的函数，或用符号表示为：从<math>\mathbb{R}^{r \times c} \rightarrow \mathbb{R}</math>）的梯度是十分强大和直观的。 | 在[[Backpropagation Algorithm | backpropagation algorithm]]一节中，我们介绍了在稀疏自编码器中用反向传导算法来求梯度的方法。事实证明，反向传导算法与矩阵运算相结合的方法，对于计算复杂矩阵函数（从矩阵到实数的函数，或用符号表示为：从<math>\mathbb{R}^{r \times c} \rightarrow \mathbb{R}</math>）的梯度是十分强大和直观的。 | ||
| Line 111: | Line 110: | ||
\end{align} | \end{align} | ||
</math> | </math> | ||
| - | |||
| - | |||
=== 示例2：稀疏编码中的平滑地形L1稀疏罚函数 === | === 示例2：稀疏编码中的平滑地形L1稀疏罚函数 === | ||
| Line 186: | Line 183: | ||
\end{align} | \end{align} | ||
</math> | </math> | ||
| - | |||
| - | |||
=== 示例3：ICA重建代价 === | === 示例3：ICA重建代价 === | ||
