从自我学习到深层网络

在自我学习中，我们首先利用未标注数据训练一个稀疏自动编码器。随后，给定一个新样本<math>x</math>，我们通过隐含层提取出特征<math>a</math>。上述过程图示如下：

在自我学习中，我们首先利用未标注数据训练一个稀疏自动编码器。随后，给定一个新样本<math>x</math>，我们通过隐含层提取出特征<math>a</math>。上述过程图示如下：

【一审】

【一审】

我们感兴趣的是解决一个分类任务，目标是预测标注类型<math>\textstyle y</math>。我们拥有标注训练集<math>\textstyle \{ (x_l^{(1)}, y^{(1)}), (x_l^{(2)}, y^{(2)}), \ldots (x_l^{(m_l)},y^{(m_l)}) \}</math>，包含<math>\textstyle m_l</math>个标注样本。此前我们已经证明，可以利用稀疏自动编码器计算获得的特征<math>\textstyle a^{(l)}</math>（“替代”表示）来替代初始特征。如此，我们就获得训练数据集<math>\textstyle \{(a^{(1)},y^{(1)}), \ldots (a^{(m_l)}, y^{(m_l)}) \}</math>。最终，我们训练得到一个从特征<math>\textstyle a^{(i)}</math> 到分类标注<math>\textstyle y^{(i)}</math>的logistic分类器。为说明这一过程，如同我们此前的笔记，可以如下图描述logistic回归单元（橘黄色）。

我们感兴趣的是解决一个分类任务，目标是预测标注类型<math>\textstyle y</math>。我们拥有标注训练集<math>\textstyle \{ (x_l^{(1)}, y^{(1)}), (x_l^{(2)}, y^{(2)}), \ldots (x_l^{(m_l)},y^{(m_l)}) \}</math>，包含<math>\textstyle m_l</math>个标注样本。此前我们已经证明，可以利用稀疏自动编码器计算获得的特征<math>\textstyle a^{(l)}</math>（“替代”表示）来替代初始特征。如此，我们就获得训练数据集<math>\textstyle \{(a^{(1)},y^{(1)}), \ldots (a^{(m_l)}, y^{(m_l)}) \}</math>。最终，我们训练得到一个从特征<math>\textstyle a^{(i)}</math> 到分类标注<math>\textstyle y^{(i)}</math>的logistic分类器。为说明这一过程，如同我们此前的笔记，可以如下图描述logistic回归单元（橘黄色）。

【一审】

【一审】

现在，考虑我们利用这个方法所学到的整个分类器（输入-输出映射）。具体来说，让我们通过把一个新的测试样<math>\textstyle x</math>本映射到一个新的预测<math>p(y=1|x)</math>来检验我们的分类器。。将此前的两张图片结合起来，我们可以获得该映射函数的图形表示。最终的分类器可以表示为：

现在，考虑我们利用这个方法所学到的整个分类器（输入-输出映射）。具体来说，让我们通过把一个新的测试样<math>\textstyle x</math>本映射到一个新的预测<math>p(y=1|x)</math>来检验我们的分类器。。将此前的两张图片结合起来，我们可以获得该映射函数的图形表示。最终的分类器可以表示为：