微调多层自编码算法

From Ufldl

Jump to: navigation, search
(一般策略)
(使用反向传播法微调)
Line 6: Line 6:
幸运的是,实施微调栈式自编码神经网络所需的工具都已齐备!为了在每次迭代中计算所有层的梯度,我们需要使用稀疏自动编码一节中讨论的[[反向传播算法]]。因为反向传播算法可以延伸应用到任意多层,所以事实上,该算法对任意多层的栈式自编码神经网络都适用。
幸运的是,实施微调栈式自编码神经网络所需的工具都已齐备!为了在每次迭代中计算所有层的梯度,我们需要使用稀疏自动编码一节中讨论的[[反向传播算法]]。因为反向传播算法可以延伸应用到任意多层,所以事实上,该算法对任意多层的栈式自编码神经网络都适用。
-
==使用反向传播法微调==
+
==使用反向传播法进行微调==
为方便读者,以下我们简要描述如何实施反向传播算法:
为方便读者,以下我们简要描述如何实施反向传播算法:
Line 44: Line 44:
注:我们可以认为输出层softmax分类器是附加上的一层,但是其推导需要分别处理。具体地说,网络“最后一层”的特征会进入softmax分类器。所以,第二步中的导数由 <math>\delta^{(n_l)} = - (\nabla_{a^{n_l}}J) \bullet f'(z^{(n_l)})</math> 计算,其中 <math>\nabla J = \theta^T(I-P)</math>。
注:我们可以认为输出层softmax分类器是附加上的一层,但是其推导需要分别处理。具体地说,网络“最后一层”的特征会进入softmax分类器。所以,第二步中的导数由 <math>\delta^{(n_l)} = - (\nabla_{a^{n_l}}J) \bullet f'(z^{(n_l)})</math> 计算,其中 <math>\nabla J = \theta^T(I-P)</math>。
}}
}}
-
 
==中英文对照==
==中英文对照==

Revision as of 13:07, 30 March 2013

Personal tools