栈式自编码算法

From Ufldl

Jump to: navigation, search
(概述)
Line 5: Line 5:
栈式自编码神经网络是一个由多层稀疏自编码器组成的神经网络,其前一层自编码器的输出作为其后一层自编码器的输入。对于一个 <math>\textstyle n</math> 层栈式自编码神经网络,我们沿用自编码器一章的各种符号,假定用 <math>\textstyle W^{(k, 1)}, W^{(k, 2)}, b^{(k, 1)}, b^{(k, 2)}</math> 表示第 <math>\textstyle k</math> 个自编码器对应的 <math>\textstyle W^{(1)}, W^{(2)}, b^{(1)}, b^{(2)}</math> 参数,那么该栈式自编码神经网络的编码过程就是,按照从前向后的顺序执行每一层自编码器的编码步骤:
栈式自编码神经网络是一个由多层稀疏自编码器组成的神经网络,其前一层自编码器的输出作为其后一层自编码器的输入。对于一个 <math>\textstyle n</math> 层栈式自编码神经网络,我们沿用自编码器一章的各种符号,假定用 <math>\textstyle W^{(k, 1)}, W^{(k, 2)}, b^{(k, 1)}, b^{(k, 2)}</math> 表示第 <math>\textstyle k</math> 个自编码器对应的 <math>\textstyle W^{(1)}, W^{(2)}, b^{(1)}, b^{(2)}</math> 参数,那么该栈式自编码神经网络的编码过程就是,按照从前向后的顺序执行每一层自编码器的编码步骤:
 +
<math>
<math>
Line 12: Line 13:
\end{align}
\end{align}
</math>
</math>
 +
同理,栈式神经网络的解码过程就是,按照从后向前的顺序执行每一层自编码器的解码步骤:
同理,栈式神经网络的解码过程就是,按照从后向前的顺序执行每一层自编码器的解码步骤:
 +
<math>
<math>
Line 21: Line 24:
\end{align}
\end{align}
</math>
</math>
 +
其中,<math>\textstyle a^{(n)}</math> 是最深层隐藏单元的激活值,其包含了我们感兴趣的信息,这个向量也是对输入值的更高阶的表示。
其中,<math>\textstyle a^{(n)}</math> 是最深层隐藏单元的激活值,其包含了我们感兴趣的信息,这个向量也是对输入值的更高阶的表示。
Line 26: Line 30:
通过将 <math>\textstyle a^{(n)}</math> 作为softmax分类器的输入特征,可以将栈式自编码神经网络中学到的特征用于分类问题。
通过将 <math>\textstyle a^{(n)}</math> 作为softmax分类器的输入特征,可以将栈式自编码神经网络中学到的特征用于分类问题。
-
 
==训练==
==训练==

Revision as of 09:40, 30 March 2013

Personal tools