梯度检验与高级优化

From Ufldl

Jump to: navigation, search
(中英文对照)
Line 1: Line 1:
 +
众所周知,反向传播算法很难调试得到正确结果,尤其是当实现程序存在很多难于发现的bug时。举例来说,索引的缺位错误(off-by-one error)会导致只有部分层的权重得到训练,再比如忘记计算偏置项。这些错误会使你得到一个看似十分合理的结果(但实际上比正确代码的结果要差)。因此,但从计算结果上来看,我们很难发现代码中有什么东西遗漏了。本节中,我们将介绍一种对求导结果进行数值检验的方法,该方法可以验证求导代码是否正确。另外,使用本节所述求导检验方法,可以帮助你提升写正确代码的信心。
众所周知,反向传播算法很难调试得到正确结果,尤其是当实现程序存在很多难于发现的bug时。举例来说,索引的缺位错误(off-by-one error)会导致只有部分层的权重得到训练,再比如忘记计算偏置项。这些错误会使你得到一个看似十分合理的结果(但实际上比正确代码的结果要差)。因此,但从计算结果上来看,我们很难发现代码中有什么东西遗漏了。本节中,我们将介绍一种对求导结果进行数值检验的方法,该方法可以验证求导代码是否正确。另外,使用本节所述求导检验方法,可以帮助你提升写正确代码的信心。
 +
缺位错误(Off-by-one error)举例说明:比如 <math>\textstyle for </math>循环中循环 <math>\textstyle m</math>次,正确应该是 <math>\textstyle for (i=1;~i<=m;~i++)</math>,但有时程序员疏忽,会写成 <math>\textstyle for (i=1;~i<m;~i++)</math>,这就是缺位错误。
缺位错误(Off-by-one error)举例说明:比如 <math>\textstyle for </math>循环中循环 <math>\textstyle m</math>次,正确应该是 <math>\textstyle for (i=1;~i<=m;~i++)</math>,但有时程序员疏忽,会写成 <math>\textstyle for (i=1;~i<m;~i++)</math>,这就是缺位错误。
Line 94: Line 96:
step-size 步长值
step-size 步长值
 +
==中文译者==
==中文译者==
袁晓丹(shadowwalker1991@gmail.com),王方(fangkey@gmail.com),林锋(xlfg@yeah.net),许利杰(csxulijie@gmail.com)
袁晓丹(shadowwalker1991@gmail.com),王方(fangkey@gmail.com),林锋(xlfg@yeah.net),许利杰(csxulijie@gmail.com)
 +
 +
 +
{{languages|Gradient_checking_and_advanced_optimization|English}}

Revision as of 12:37, 7 April 2013

Personal tools