自编码算法与稀疏性
From Ufldl
(→中文译者) |
|||
Line 1: | Line 1: | ||
- | |||
目前为止,我们已经讨论了神经网络在有监督学习中的应用。在有监督学习中,训练样本是有类别标签的。现在假设我们只有一个没有带类别标签的训练样本集合 <math>\textstyle \{x^{(1)}, x^{(2)}, x^{(3)}, \ldots\}</math> ,其中 <math>\textstyle x^{(i)} \in \Re^{n}</math> 。自编码神经网络是一种无监督学习算法,它使用了反向传播算法,并让目标值等于输入值,比如 <math>\textstyle y^{(i)} = x^{(i)}</math> 。下图是一个自编码神经网络的示例。 | 目前为止,我们已经讨论了神经网络在有监督学习中的应用。在有监督学习中,训练样本是有类别标签的。现在假设我们只有一个没有带类别标签的训练样本集合 <math>\textstyle \{x^{(1)}, x^{(2)}, x^{(3)}, \ldots\}</math> ,其中 <math>\textstyle x^{(i)} \in \Re^{n}</math> 。自编码神经网络是一种无监督学习算法,它使用了反向传播算法,并让目标值等于输入值,比如 <math>\textstyle y^{(i)} = x^{(i)}</math> 。下图是一个自编码神经网络的示例。 | ||
Line 67: | Line 66: | ||
- | {{ | + | ==中英文对照== |
+ | |||
+ | :自编码算法 Autoencoders | ||
+ | :稀疏性 Sparsity | ||
+ | :神经网络 neural networks | ||
+ | :监督学习 supervised learning | ||
+ | :无监督学习 unsupervised learning | ||
+ | :反向传播算法 backpropagation | ||
+ | :隐藏神经元 hidden units | ||
+ | :像素灰度值 the pixel intensity value | ||
+ | :独立同分布 IID | ||
+ | :主元分析 PCA | ||
+ | :激活 active | ||
+ | :抑制 inactive | ||
+ | :激活函数 activation function | ||
+ | :激活度 activation | ||
+ | :平均活跃度 the average activation | ||
+ | :稀疏性参数 sparsity parameter | ||
+ | :惩罚因子 penalty term | ||
+ | :相对熵 KL divergence | ||
+ | :伯努利随机变量 Bernoulli random variable | ||
+ | :总体代价函数 overall cost function | ||
+ | :后向传播 backpropagation | ||
+ | :前向传播 forward pass | ||
+ | :梯度下降 gradient descent | ||
+ | :目标函数 the objective | ||
+ | :梯度验证方法 the derivative checking method | ||
+ | |||
+ | ==中文译者== | ||
+ | |||
+ | 周韬(ztsailing@gmail.com),葛燕儒(yrgehi@gmail.com),林锋(xlfg@yeah.net),余凯(kai.yu.cool@gmail.com) | ||
+ | |||
+ | |||
+ | {{稀疏自编码器}} | ||
+ | |||
+ | |||
+ | {{Languages|Autoencoders_and_Sparsity|English}} |