深度网络概览
From Ufldl
(→梯度弥散问题) |
(→数据获取) |
||
Line 50: | Line 50: | ||
逐层贪婪的训练方法取得成功要归功于以下几方面: | 逐层贪婪的训练方法取得成功要归功于以下几方面: | ||
- | ==数据获取== | + | ===数据获取=== |
虽然获取有标签数据的代价是昂贵的,但获取大量的无标签数据是容易的。自学习方法(self-taught learning)的潜力在于它能通过使用大量的无标签数据来学习到更好的模型。具体而言,该方法使用无标签数据来学习得到所有层(不包括用于预测标签的最终分类层)<math>\textstyle {{W}^{\left( l \right)}}</math> 的最佳初始权重。相比纯监督学习方法,这种自学习方法能够利用多得多的数据,并且能够学习和发现数据中存在的模式。因此该方法通常能够提供分类器的性能。 | 虽然获取有标签数据的代价是昂贵的,但获取大量的无标签数据是容易的。自学习方法(self-taught learning)的潜力在于它能通过使用大量的无标签数据来学习到更好的模型。具体而言,该方法使用无标签数据来学习得到所有层(不包括用于预测标签的最终分类层)<math>\textstyle {{W}^{\left( l \right)}}</math> 的最佳初始权重。相比纯监督学习方法,这种自学习方法能够利用多得多的数据,并且能够学习和发现数据中存在的模式。因此该方法通常能够提供分类器的性能。 | ||
- | |||
==更好的局部极值== | ==更好的局部极值== |