深度网络概览
From Ufldl
(→概述) |
(→深度网络的优势) |
||
Line 14: | Line 14: | ||
- | + | 举一个简单的例子,比如我们打算构建一个布尔网络来计算 <math>\textstyle n</math> 个输入比特的奇偶校验码(或者进行异或运算)。假设网络中的每一个节点都可以进行逻辑“或”运算(或者“与非”运算),亦或者逻辑“与”运算。如果我们拥有一个仅仅由一个输入层、一个隐层以及一个输出层构成的网络,那么该奇偶校验函数所需要的节点数目与输入层的规模 <math>\textstyle n</math> 呈指数关系。但是,如果我们构建一个更深点的网络,那么这个网络的规模就可做到仅仅是 <math>\textstyle n</math> 的多项式函数。 | |
Line 21: | Line 21: | ||
最后要提的一点是,大脑皮层进行的计算同样是分多层进行的。例如视觉图像在人脑中是分多个阶段进行处理的,首先是进入大脑皮层的V1区,然后紧跟着进入大脑皮层V2区,以此类推。 | 最后要提的一点是,大脑皮层进行的计算同样是分多层进行的。例如视觉图像在人脑中是分多个阶段进行处理的,首先是进入大脑皮层的V1区,然后紧跟着进入大脑皮层V2区,以此类推。 | ||
- | |||
==训练深度网络的困难== | ==训练深度网络的困难== |