神经网络向量化
From Ufldl
| Line 85: | Line 85: | ||
这就构成一个<math>s_2</math> X <math>m</math>的矩阵。它和<tt>W1 * x</tt>相加，就等于是把<tt>W1 * x</tt>矩阵（译者注：这里<tt>x</tt>是训练矩阵而非向量, 所以<tt>W1 * x</tt>代表两个矩阵相乘，结果还是一个矩阵）的每一列加上<tt>b1</tt>。如果不熟悉的话，可以参考Matlab/Octave的帮助文档获取更多信息(输入“<tt>help repmat</tt>”)。<tt>rampat</tt>作为Matlab/Octave的内建函数，运行起来是相当高效的，远远快过我们自己用<tt>for</tt>循环实现的效果。 | 这就构成一个<math>s_2</math> X <math>m</math>的矩阵。它和<tt>W1 * x</tt>相加，就等于是把<tt>W1 * x</tt>矩阵（译者注：这里<tt>x</tt>是训练矩阵而非向量, 所以<tt>W1 * x</tt>代表两个矩阵相乘，结果还是一个矩阵）的每一列加上<tt>b1</tt>。如果不熟悉的话，可以参考Matlab/Octave的帮助文档获取更多信息(输入“<tt>help repmat</tt>”)。<tt>rampat</tt>作为Matlab/Octave的内建函数，运行起来是相当高效的，远远快过我们自己用<tt>for</tt>循环实现的效果。 | ||
| + | |||
| + | ==反向传播== | ||
现在我们来描述反向传播向量化的思路。在阅读这一节之前，强烈建议各位仔细阅读前面介绍的正向传播的例子代码，确保你已经完全理解。下边我们只会给出反向传播向量化实现的大致纲要，而由你来完成具体细节的推导（见[[Exercise:Vectorization|向量化练习]]）。 | 现在我们来描述反向传播向量化的思路。在阅读这一节之前，强烈建议各位仔细阅读前面介绍的正向传播的例子代码，确保你已经完全理解。下边我们只会给出反向传播向量化实现的大致纲要，而由你来完成具体细节的推导（见[[Exercise:Vectorization|向量化练习]]）。 | ||
