用反向传导思想求导
From Ufldl
(→示例2:稀疏编码中的平滑地形L1稀疏罚函数) |
|||
Line 114: | Line 114: | ||
回顾[[Sparse Coding: Autoencoder Interpretation | sparse coding]]一节中对<math>s</math>的平滑地形L1稀疏罚函数: | 回顾[[Sparse Coding: Autoencoder Interpretation | sparse coding]]一节中对<math>s</math>的平滑地形L1稀疏罚函数: | ||
:<math>\sum{ \sqrt{Vss^T + \epsilon} }</math> | :<math>\sum{ \sqrt{Vss^T + \epsilon} }</math> | ||
- | 其中<math>V</math>是分组矩阵,<math>s</math>是特征矩阵,<math>\epsilon</math> | + | 其中<math>V</math>是分组矩阵,<math>s</math>是特征矩阵,<math>\epsilon</math> 是一个常数。 |
我们希望求得<math>\nabla_s \sum{ \sqrt{Vss^T + \epsilon} }</math> 。像上面那样,我们把这一项看做一个神经网络的实例: | 我们希望求得<math>\nabla_s \sum{ \sqrt{Vss^T + \epsilon} }</math> 。像上面那样,我们把这一项看做一个神经网络的实例: |