Feature extraction using convolution

From Ufldl

Jump to: navigation, search
(Fully Connected Networks)
(Locally Connected Networks)
Line 24: Line 24:
This idea of having locally connected networks also draws inspiration from how the early visual system is wired up in biology.  Specifically, neurons in the visual cortex have localized receptive fields (i.e., they respond only to stimuli in a certain location).
This idea of having locally connected networks also draws inspiration from how the early visual system is wired up in biology.  Specifically, neurons in the visual cortex have localized receptive fields (i.e., they respond only to stimuli in a certain location).
 +
 +
【初译】部分联通网络
 +
解决这类问题的一种简单方法是对隐含单元和输入单元间的连接加以限制:取输入单元的一小部分子集,允许每个隐含单元都连接到这个子集,即:不连接到整个输入单元的全集。特别需要注意的是,每个隐含单元都连接到的这个子集,在输入单元中属于连续的像素区域。(输入方式区别于普通图像的是,经常可以找到一种自然而然的方式来挑选出连续群,*译者按:即群里的元素都是连续的*,来连接单个的隐含单元,如音频作为一种信号输入方式,一个隐含单元所需要连接的输入单元的子集,可能仅仅是一段音频输入所对应的某个时间段上的信号,*译者按:即在时间跨度上连续的一段音频作为全部音频的子集*)
 +
 +
使用部分联通网络这个想法,也曾经激发了早期的可视系统在生物学上的加速发展。特别是在视觉皮层的神经元的选择部分而不是全部的可接受程度方面(即这些神经元只响应某些特定区域的刺激)。
 +
 +
【一审】部分联通网络
 +
解决这类问题的一种简单方法是对隐含单元和输入单元间的连接加以限制:每个隐含单元仅仅只能连接输入单元的一部分。例如,每个隐含单元仅仅连接输入图像的一小片相邻区域。(对于不同于图像输入的输入形式,也会有一些特别的连接到单隐含层的输入信号“连接区域”选择方式。如音频作为一种信号输入方式,一个隐含单元所需要连接的输入单元的子集,可能仅仅是一段音频输入所对应的某个时间段上的信号。)
 +
 +
网络部分连通的思想,也是受启发于生物学里面的视觉系统结构。视觉皮层的神经元就是局部接受信息的(即这些神经元只响应某些特定区域的刺激)。
== Convolutions ==
== Convolutions ==

Revision as of 02:46, 9 March 2013

Personal tools