深度网络概览

From Ufldl

Jump to: navigation, search
(局部极值问题)
 
Line 37: Line 37:
===局部极值问题===
===局部极值问题===
-
使用监督学习方法来对浅层网络(只有一个隐藏层)进行训练通常能够使参数收敛到合理的范围内。但是当用这种方法来训练深度网络的时候,并不能取得很好的效果。特别的,使用监督学习方法训练神经网络时,通常会涉及到求解一个高度非凸的优化问题(例如最小化训练误差 <math>\textstyle \sum\nolimits_{i}{||{{h}_{W}}\left( {{x}^{\left( i \right)}}-{{y}^{\left( i \right)}} \right)|{{|}^{2}}}</math>,其中参数 <math>\textstyle W</math> 是要优化的参数。对深度网络而言,这种非凸优化问题的搜索区域中充斥着大量“坏”的局部极值,因而使用梯度下降法(或者像共轭梯度下降法,L-BFGS等方法)效果并不好。
+
使用监督学习方法来对浅层网络(只有一个隐藏层)进行训练通常能够使参数收敛到合理的范围内。但是当用这种方法来训练深度网络的时候,并不能取得很好的效果。特别的,使用监督学习方法训练神经网络时,通常会涉及到求解一个高度非凸的优化问题(例如最小化训练误差 <math>\textstyle \sum\nolimits_{i}{||{{h}_{W}}\left( {{x}^{\left( i \right)}} \right)-{{y}^{\left( i \right)}}|{{|}^{2}}}</math>,其中参数 <math>\textstyle W</math> 是要优化的参数。对深度网络而言,这种非凸优化问题的搜索区域中充斥着大量“坏”的局部极值,因而使用梯度下降法(或者像共轭梯度下降法,L-BFGS等方法)效果并不好。
-
 
+
===梯度弥散问题===
===梯度弥散问题===
Line 70: Line 69:
==中英文对照==
==中英文对照==
-
Deep Networks 深度网络
+
 
-
deep neural networks 深度神经网络
+
:深度网络 Deep Networks  
-
non-linear transformation 非线性变换
+
 
-
activation function 激活函数
+
:深度神经网络  deep neural networks  
-
represent compactly 简洁地表达
+
 
-
part-whole decompositions “部分-整体”的分解
+
:非线性变换  non-linear transformation  
-
parts of objects 目标的部件
+
 
-
highly non-convex optimization problem 高度非凸的优化问题
+
:激活函数  activation function  
-
conjugate gradient 共轭梯度
+
 
-
diffusion of gradients 梯度的弥散
+
:简洁地表达  represent compactly  
-
Greedy layer-wise training 逐层贪婪训练方法
+
 
-
autoencoder 自动编码器
+
:“部分-整体”的分解  part-whole decompositions  
-
fine-tuned 微调
+
 
-
self-taught learning 自学习方法
+
:目标的部件  parts of objects  
-
outputs/predictions
+
 
 +
:高度非凸的优化问题    highly non-convex optimization problem  
 +
 
 +
:共轭梯度    conjugate gradient  
 +
 
 +
:梯度的弥散    diffusion of gradients  
 +
 
 +
:逐层贪婪训练方法  Greedy layer-wise training  
 +
 
 +
:自动编码器     autoencoder
 +
 
 +
:微调  fine-tuned  
 +
 
 +
:自学习方法    self-taught learning  
 +
 
Line 90: Line 103:
郑胤(yzheng3xg@gmail.com), 谭晓阳(x.tan@nuaa.edu.cn), 许利杰(csxulijie@gmail.com)
郑胤(yzheng3xg@gmail.com), 谭晓阳(x.tan@nuaa.edu.cn), 许利杰(csxulijie@gmail.com)
 +
 +
 +
 +
{{建立分类用深度网络}}
 +
 +
 +
{{Languages|Deep_Networks:_Overview|English}}

Latest revision as of 14:30, 17 April 2013

Personal tools