自编码算法与稀疏性
From Ufldl
(→中文译者) |
|||
Line 65: | Line 65: | ||
证明上面算法能达到梯度下降效果的完整推导过程不再本教程的范围之内。不过如果你想要使用经过以上修改的后向传播来实现自编码神经网络,那么你就会对目标函数 <math>\textstyle J_{\rm sparse}(W,b)</math> 做梯度下降。使用梯度验证方法,你可以自己来验证梯度下降算法是否正确。。 | 证明上面算法能达到梯度下降效果的完整推导过程不再本教程的范围之内。不过如果你想要使用经过以上修改的后向传播来实现自编码神经网络,那么你就会对目标函数 <math>\textstyle J_{\rm sparse}(W,b)</math> 做梯度下降。使用梯度验证方法,你可以自己来验证梯度下降算法是否正确。。 | ||
+ | |||
+ | ==中英文对照== | ||
+ | |||
+ | :自编码算法 Autoencoders | ||
+ | :稀疏性 Sparsity | ||
+ | :神经网络 neural networks | ||
+ | :监督学习 supervised learning | ||
+ | :无监督学习 unsupervised learning | ||
+ | :反向传播算法 backpropagation | ||
+ | :隐藏神经元 hidden units | ||
+ | :像素灰度值 the pixel intensity value | ||
+ | :独立同分布 IID | ||
+ | :主元分析 PCA | ||
+ | :激活 active | ||
+ | :抑制 inactive | ||
+ | :激活函数 activation function | ||
+ | :激活度 activation | ||
+ | :平均活跃度 the average activation | ||
+ | :稀疏性参数 sparsity parameter | ||
+ | :惩罚因子 penalty term | ||
+ | :相对熵 KL divergence | ||
+ | :伯努利随机变量 Bernoulli random variable | ||
+ | :总体代价函数 overall cost function | ||
+ | :后向传播 backpropagation | ||
+ | :前向传播 forward pass | ||
+ | :梯度下降 gradient descent | ||
+ | :目标函数 the objective | ||
+ | :梯度验证方法 the derivative checking method | ||
==中文译者== | ==中文译者== |