深度网络概览

From Ufldl

Jump to: navigation, search
(梯度弥散问题)
(数据获取)
Line 50: Line 50:
逐层贪婪的训练方法取得成功要归功于以下几方面:
逐层贪婪的训练方法取得成功要归功于以下几方面:
-
==数据获取==
+
===数据获取===
虽然获取有标签数据的代价是昂贵的,但获取大量的无标签数据是容易的。自学习方法(self-taught learning)的潜力在于它能通过使用大量的无标签数据来学习到更好的模型。具体而言,该方法使用无标签数据来学习得到所有层(不包括用于预测标签的最终分类层)<math>\textstyle {{W}^{\left( l \right)}}</math> 的最佳初始权重。相比纯监督学习方法,这种自学习方法能够利用多得多的数据,并且能够学习和发现数据中存在的模式。因此该方法通常能够提供分类器的性能。
虽然获取有标签数据的代价是昂贵的,但获取大量的无标签数据是容易的。自学习方法(self-taught learning)的潜力在于它能通过使用大量的无标签数据来学习到更好的模型。具体而言,该方法使用无标签数据来学习得到所有层(不包括用于预测标签的最终分类层)<math>\textstyle {{W}^{\left( l \right)}}</math> 的最佳初始权重。相比纯监督学习方法,这种自学习方法能够利用多得多的数据,并且能够学习和发现数据中存在的模式。因此该方法通常能够提供分类器的性能。
-
 
==更好的局部极值==
==更好的局部极值==

Revision as of 15:00, 29 March 2013

Personal tools