深度网络概览

From Ufldl

Jump to: navigation, search
(数据获取)
(更好的局部极值)
Line 55: Line 55:
===更好的局部极值===
===更好的局部极值===
-
当用无标签数据训练完网络后,相比于随机初始化而言,各层初始权重会位于参数空间中较好的位置上。然后我们可以从这些位置出发进一步微调权重。从经验上来说,以这些位置为起点开始梯度下降更有可能收敛到好的局部极值点,这是因为无标签数据已经提供了大量关于输入数据中包含模式的先验信息。
+
当用无标签数据训练完网络后,相比于随机初始化而言,各层初始权重会位于参数空间中较好的位置上。然后我们可以从这些位置出发进一步微调权重。从经验上来说,以这些位置为起点开始梯度下降更有可能收敛到比较好的局部极值点,这是因为无标签数据已经提供了大量输入数据中包含的模式的先验信息。

Revision as of 15:19, 29 March 2013

Personal tools