神经网络向量化
From Ufldl
| Line 84: | Line 84: | ||
(对于自编码网络，我们只需令<math>y^{(i)} = x^{(i)}</math>即可, 但这里考虑的是更一般的情况。) | (对于自编码网络，我们只需令<math>y^{(i)} = x^{(i)}</math>即可, 但这里考虑的是更一般的情况。) | ||
| - | 假定我们的输出有<math>s_3</math>维，因而每个样本的类别标号向量就记为<math>y^{(i)} \in \Re^{s_3}</math> 。在我们的Matlab/Octave数据结构实现中，把这些输出按列合在一起形成一个Matlab/Octave风格变量<tt>y</tt>，其中第<tt>i</tt>列<tt>y(:,i)</tt>就是<math>y^{(i)}。 | + | 假定我们的输出有<math>s_3</math>维，因而每个样本的类别标号向量就记为<math>y^{(i)} \in \Re^{s_3}</math>。在我们的Matlab/Octave数据结构实现中，把这些输出按列合在一起形成一个Matlab/Octave风格变量<tt>y</tt>，其中第<tt>i</tt>列<tt>y(:,i)</tt>就是<math>y^{(i)}</math>。 |
现在我们要计算梯度项<math>\nabla_{W^{(l)}} J(W,b)</math>和<math>\nabla_{b^{(l)}} J(W,b)</math>。对于梯度中的第一项，就像过去在反向传播算法中所描述的那样，对于每个训练样本<math>(x,y)</math>，我们可以这样来计算： | 现在我们要计算梯度项<math>\nabla_{W^{(l)}} J(W,b)</math>和<math>\nabla_{b^{(l)}} J(W,b)</math>。对于梯度中的第一项，就像过去在反向传播算法中所描述的那样，对于每个训练样本<math>(x,y)</math>，我们可以这样来计算： | ||
