深度网络概览
From Ufldl
(→局部极值问题) |
|||
Line 37: | Line 37: | ||
===局部极值问题=== | ===局部极值问题=== | ||
- | 使用监督学习方法来对浅层网络(只有一个隐藏层)进行训练通常能够使参数收敛到合理的范围内。但是当用这种方法来训练深度网络的时候,并不能取得很好的效果。特别的,使用监督学习方法训练神经网络时,通常会涉及到求解一个高度非凸的优化问题(例如最小化训练误差 <math>\textstyle \sum\nolimits_{i}{||{{h}_{W}}\left( {{x}^{\left( i \right)}}-{{y}^{\left( i \right)}} | + | 使用监督学习方法来对浅层网络(只有一个隐藏层)进行训练通常能够使参数收敛到合理的范围内。但是当用这种方法来训练深度网络的时候,并不能取得很好的效果。特别的,使用监督学习方法训练神经网络时,通常会涉及到求解一个高度非凸的优化问题(例如最小化训练误差 <math>\textstyle \sum\nolimits_{i}{||{{h}_{W}}\left( {{x}^{\left( i \right)}} \right)-{{y}^{\left( i \right)}}|{{|}^{2}}}</math>,其中参数 <math>\textstyle W</math> 是要优化的参数。对深度网络而言,这种非凸优化问题的搜索区域中充斥着大量“坏”的局部极值,因而使用梯度下降法(或者像共轭梯度下降法,L-BFGS等方法)效果并不好。 |
- | + | ||
===梯度弥散问题=== | ===梯度弥散问题=== | ||
Line 70: | Line 69: | ||
==中英文对照== | ==中英文对照== | ||
- | Deep Networks | + | |
- | deep neural networks | + | :深度网络 Deep Networks |
- | non-linear transformation | + | |
- | activation function | + | :深度神经网络 deep neural networks |
- | represent compactly | + | |
- | part-whole decompositions | + | :非线性变换 non-linear transformation |
- | parts of objects | + | |
- | highly non-convex optimization problem | + | :激活函数 activation function |
- | conjugate gradient | + | |
- | diffusion of gradients | + | :简洁地表达 represent compactly |
- | Greedy layer-wise training | + | |
- | + | :“部分-整体”的分解 part-whole decompositions | |
- | fine-tuned | + | |
- | self-taught learning | + | :目标的部件 parts of objects |
- | + | ||
+ | :高度非凸的优化问题 highly non-convex optimization problem | ||
+ | |||
+ | :共轭梯度 conjugate gradient | ||
+ | |||
+ | :梯度的弥散 diffusion of gradients | ||
+ | |||
+ | :逐层贪婪训练方法 Greedy layer-wise training | ||
+ | |||
+ | :自动编码器 autoencoder | ||
+ | |||
+ | :微调 fine-tuned | ||
+ | |||
+ | :自学习方法 self-taught learning | ||
+ | |||
Line 90: | Line 103: | ||
郑胤(yzheng3xg@gmail.com), 谭晓阳(x.tan@nuaa.edu.cn), 许利杰(csxulijie@gmail.com) | 郑胤(yzheng3xg@gmail.com), 谭晓阳(x.tan@nuaa.edu.cn), 许利杰(csxulijie@gmail.com) | ||
+ | |||
+ | |||
+ | |||
+ | {{建立分类用深度网络}} | ||
+ | |||
+ | |||
+ | {{Languages|Deep_Networks:_Overview|English}} |