反向传导算法
From Ufldl
Line 73: | Line 73: | ||
<ol> | <ol> | ||
- | <li> | + | <li>进行前馈传导计算,得到 <math>\textstyle L_2, L_3, \ldots </math> 直到输出层 <math>\textstyle L_{n_l}</math> 的激活值。 |
<li>对于第 <math>\textstyle n_l</math> 层(输出层)的每个输出单元 <math>\textstyle i</math>,我们根据以下公式计算残差: | <li>对于第 <math>\textstyle n_l</math> 层(输出层)的每个输出单元 <math>\textstyle i</math>,我们根据以下公式计算残差: | ||
Line 124: | Line 124: | ||
<ol> | <ol> | ||
- | <li> | + | <li>进行前馈传导计算,利用前向传导公式,得到 <math>\textstyle L_2, L_3, \ldots</math>直到输出层 <math>\textstyle L_{n_l}</math> 的激活值。 |
<li>对输出层(第 <math>\textstyle n_l</math> 层),计算: | <li>对输出层(第 <math>\textstyle n_l</math> 层),计算: |