用反向传导思想求导
From Ufldl
Line 1: | Line 1: | ||
== 简介 == | == 简介 == | ||
+ | |||
在[[ 反向传导算法 | 反向传导算法 ]]一节中,我们介绍了在稀疏自编码器中用反向传导算法来求梯度的方法。事实证明,反向传导算法与矩阵运算相结合的方法,对于计算复杂矩阵函数(从矩阵到实数的函数,或用符号表示为:从 <math>\mathbb{R}^{r \times c} \rightarrow \mathbb{R}</math> )的梯度是十分强大和直观的。 | 在[[ 反向传导算法 | 反向传导算法 ]]一节中,我们介绍了在稀疏自编码器中用反向传导算法来求梯度的方法。事实证明,反向传导算法与矩阵运算相结合的方法,对于计算复杂矩阵函数(从矩阵到实数的函数,或用符号表示为:从 <math>\mathbb{R}^{r \times c} \rightarrow \mathbb{R}</math> )的梯度是十分强大和直观的。 | ||
Line 36: | Line 37: | ||
<li><math>f^{(l)}</math> 是第 <math>l</math> 层中各单元的激励函数 | <li><math>f^{(l)}</math> 是第 <math>l</math> 层中各单元的激励函数 | ||
</ul> | </ul> | ||
- | |||
假设我们有一个函数 <math>F</math> , <math>F</math> 以矩阵 <math>X</math> 为参数生成一个实数。我们希望用反向传导思想计算 <math>F</math> 关于 <math>X</math> 的梯度,即 <math>\nabla_X F</math> 。大致思路是将函数 <math>F</math> 看成一个多层神经网络,并使用反向传导思想求梯度。 | 假设我们有一个函数 <math>F</math> , <math>F</math> 以矩阵 <math>X</math> 为参数生成一个实数。我们希望用反向传导思想计算 <math>F</math> 关于 <math>X</math> 的梯度,即 <math>\nabla_X F</math> 。大致思路是将函数 <math>F</math> 看成一个多层神经网络,并使用反向传导思想求梯度。 | ||
为了实现这个想法,我们取目标函数为 <math>J(z)</math> ,当计算最后一层神经元的输出时,会产生值 <math>F(X)</math> 。对于中间层,我们将选择激励函数 <math>f^{(l)}</math> 。 | 为了实现这个想法,我们取目标函数为 <math>J(z)</math> ,当计算最后一层神经元的输出时,会产生值 <math>F(X)</math> 。对于中间层,我们将选择激励函数 <math>f^{(l)}</math> 。 | ||
- | |||
稍后我们会看到,使用这种方法,我们可以很容易计算出对于输入 <math>X</math> 以及网络中任意一个权重的导数。 | 稍后我们会看到,使用这种方法,我们可以很容易计算出对于输入 <math>X</math> 以及网络中任意一个权重的导数。 | ||
Line 311: | Line 310: | ||
\end{align} | \end{align} | ||
</math> | </math> | ||
+ | |||
+ | |||
+ | |||
+ | ==中英文对照== | ||
+ | |||
+ | :反向传导 backpropagation | ||
+ | :稀疏编码 sparse coding | ||
+ | :权重矩阵 weight matrix | ||
+ | :目标函数 objective | ||
+ | :平滑地形L1稀疏罚函数 Smoothed topographic L1 sparsity penalty | ||
+ | :重建代价 reconstruction cost | ||
+ | :稀疏自编码器 sparse autoencoder | ||
+ | :梯度 gradient | ||
+ | :神经网络 neural network | ||
+ | :神经元 neuron | ||
+ | :激励 activation | ||
+ | :激励函数 activation function | ||
+ | :独立成分分析 independent component analysis | ||
+ | :单位激励函数 identity activation function | ||
+ | :平方函数 square function | ||
+ | :分组矩阵 grouping matrix | ||
+ | :特征矩阵 feature matrix | ||
Line 316: | Line 337: | ||
==中文译者== | ==中文译者== | ||
- | @ | + | 葛燕儒(yrgehi@gmail.com), 顾祺龙(ggnle@hotmail.com), 李良玥(jackiey99@gmail.com), 王方(fangkey@gmail.com) |
+ | |||
+ | |||
- | + | {{Languages|Deriving_gradients_using_the_backpropagation_idea|English}} |