用反向传导思想求导

From Ufldl

Jump to: navigation, search
 
Line 1: Line 1:
== 简介 ==
== 简介 ==
 +
在[[ 反向传导算法 | 反向传导算法 ]]一节中,我们介绍了在稀疏自编码器中用反向传导算法来求梯度的方法。事实证明,反向传导算法与矩阵运算相结合的方法,对于计算复杂矩阵函数(从矩阵到实数的函数,或用符号表示为:从 <math>\mathbb{R}^{r \times c} \rightarrow \mathbb{R}</math> )的梯度是十分强大和直观的。
在[[ 反向传导算法 | 反向传导算法 ]]一节中,我们介绍了在稀疏自编码器中用反向传导算法来求梯度的方法。事实证明,反向传导算法与矩阵运算相结合的方法,对于计算复杂矩阵函数(从矩阵到实数的函数,或用符号表示为:从 <math>\mathbb{R}^{r \times c} \rightarrow \mathbb{R}</math> )的梯度是十分强大和直观的。
Line 36: Line 37:
<li><math>f^{(l)}</math> 是第 <math>l</math> 层中各单元的激励函数
<li><math>f^{(l)}</math> 是第 <math>l</math> 层中各单元的激励函数
</ul>
</ul>
-
 
假设我们有一个函数 <math>F</math> , <math>F</math> 以矩阵 <math>X</math> 为参数生成一个实数。我们希望用反向传导思想计算 <math>F</math> 关于 <math>X</math> 的梯度,即 <math>\nabla_X F</math> 。大致思路是将函数 <math>F</math> 看成一个多层神经网络,并使用反向传导思想求梯度。
假设我们有一个函数 <math>F</math> , <math>F</math> 以矩阵 <math>X</math> 为参数生成一个实数。我们希望用反向传导思想计算 <math>F</math> 关于 <math>X</math> 的梯度,即 <math>\nabla_X F</math> 。大致思路是将函数 <math>F</math> 看成一个多层神经网络,并使用反向传导思想求梯度。
为了实现这个想法,我们取目标函数为 <math>J(z)</math> ,当计算最后一层神经元的输出时,会产生值 <math>F(X)</math> 。对于中间层,我们将选择激励函数 <math>f^{(l)}</math> 。
为了实现这个想法,我们取目标函数为 <math>J(z)</math> ,当计算最后一层神经元的输出时,会产生值 <math>F(X)</math> 。对于中间层,我们将选择激励函数 <math>f^{(l)}</math> 。
-
 
稍后我们会看到,使用这种方法,我们可以很容易计算出对于输入 <math>X</math> 以及网络中任意一个权重的导数。
稍后我们会看到,使用这种方法,我们可以很容易计算出对于输入 <math>X</math> 以及网络中任意一个权重的导数。
Line 311: Line 310:
\end{align}
\end{align}
</math>
</math>
 +
 +
 +
 +
==中英文对照==
 +
 +
:反向传导 backpropagation
 +
:稀疏编码 sparse coding
 +
:权重矩阵 weight matrix
 +
:目标函数 objective
 +
:平滑地形L1稀疏罚函数 Smoothed topographic L1 sparsity penalty
 +
:重建代价 reconstruction cost
 +
:稀疏自编码器 sparse autoencoder
 +
:梯度 gradient
 +
:神经网络 neural network
 +
:神经元 neuron
 +
:激励 activation
 +
:激励函数 activation function
 +
:独立成分分析 independent component analysis
 +
:单位激励函数 identity activation function
 +
:平方函数 square function
 +
:分组矩阵 grouping matrix
 +
:特征矩阵 feature matrix
Line 316: Line 337:
==中文译者==
==中文译者==
-
@达博西, @一碗热翔喜当爹, 李良玥(jackiey99@gmail.com), 王方(fangkey@gmail.com)
+
葛燕儒(yrgehi@gmail.com), 顾祺龙(ggnle@hotmail.com), 李良玥(jackiey99@gmail.com), 王方(fangkey@gmail.com)
 +
 
 +
 
-
王方(fangkey@gmail.com),林锋(xlfg@yeah.net),许利杰(csxulijie@gmail.com)
+
{{Languages|Deriving_gradients_using_the_backpropagation_idea|English}}

Latest revision as of 09:53, 8 April 2013

Personal tools