从自我学习到深层网络
From Ufldl
| Line 1: | Line 1: | ||
| - | 在前一节中，我们利用自编码器来学习输入至 softmax 或 logistic | + | 在前一节中，我们利用自编码器来学习输入至 softmax 或 logistic 回归分类器的特征。这些特征仅利用未标注数据学习获得。在本节中，我们描述如何利用已标注数据进行'''微调'''，从而进一步优化这些特征。如果有大量已标注数据，通过微调就可以显著提升分类器的性能。 |
| Line 21: | Line 21: | ||
| - | 这个最终分类器整体上显然是一个大的神经网络。因此，在训练获得模型最初参数（利用自动编码器训练第一层，利用 logistic/softmax | + | 这个最终分类器整体上显然是一个大的神经网络。因此，在训练获得模型最初参数（利用自动编码器训练第一层，利用 logistic/softmax 回归训练第二层）之后，我们可以进一步修正模型参数，进而降低训练误差。具体来说，我们可以对参数进行微调，在现有参数的基础上采用梯度下降或者 L-BFGS 来降低已标注样本集 <math>\textstyle \{ (x_l^{(1)}, y^{(1)}), (x_l^{(2)}, y^{(2)}), \ldots (x_l^{(m_l)}, y^{(m_l)}) \}</math> 上的训练误差。 |
| - | + | ||
| Line 34: | Line 33: | ||
| - | + | ==中英文对照== | |
| + | |||
| + | :自我学习 self-taught learning | ||
| + | |||
| + | :深层网络 deep networks | ||
| + | |||
| + | :微调 fine-tune | ||
| + | |||
| + | :稀疏自编码器 sparse autoencoder | ||
| + | |||
| + | :梯度下降 gradient descent | ||
| + | |||
| + | :非监督特征学习 unsupervised feature learning | ||
| + | |||
| + | :预训练 pre-training | ||
==中文译者== | ==中文译者== | ||
| - | @ | + | 杨耀（iamyangyao@163.com），阎志涛（zhitao.yan@gmail.com），王文中（wangwenzhong@ymail.com） |
| + | |||
| + | |||
| + | |||
| + | {{建立分类用深度网络}} | ||
| + | |||
| + | |||
| + | {{Languages|Self-Taught_Learning_to_Deep_Networks|English}} | ||
