逻辑回归的向量化实现样例

我们想用批量梯度上升法对logistic回归分析模型进行训练，其模型如下：

我们想用批量梯度上升法对logistic回归分析模型进行训练，其模型如下：

我们用Matlab/Octave风格变量x表示输入数据构成的样本矩阵，x(:,i)代表第 i个训练样本<math>x^{\left( i\right) }</math>，x(j,i)就代表<math>x_{j}^{\left( i\right) }</math>（译者注：第i个训练样本向量的第j个元素）。同样，用Matlab/Octave风格变量y表示由训练样本集合的全体类别标号所构成的行向量，则该向量的第i个元素y(i)就代表上式中的<math>y^{\left(i\right) }\in \left\{ 0,1\right\} </math>。（注意这里跟公开课程视频及CS229的符号规范不同，矩阵x按列而不是按行存放输入训练样本，同样，<math>y\in R^{1\times m}</math>是行向量而不是列向量。）

我们用Matlab/Octave风格变量x表示输入数据构成的样本矩阵，x(:,i)代表第 i个训练样本<math>x^{\left( i\right) }</math>，x(j,i)就代表<math>x_{j}^{\left( i\right) }</math>（译者注：第i个训练样本向量的第j个元素）。同样，用Matlab/Octave风格变量y表示由训练样本集合的全体类别标号所构成的行向量，则该向量的第i个元素y(i)就代表上式中的<math>y^{\left(i\right) }\in \left\{ 0,1\right\} </math>。（注意这里跟公开课程视频及CS229的符号规范不同，矩阵x按列而不是按行存放输入训练样本，同样，<math>y\in R^{1\times m}</math>是行向量而不是列向量。）

以下是梯度运算代码的一种实现，非常恐怖，速度极慢：

以下是梯度运算代码的一种实现，非常恐怖，速度极慢：

end;

end;

</syntaxhighlight>

</syntaxhighlight>

嵌套的for循环语句使这段代码的运行非常缓慢。以下是更典型的实现方式，它对算法进行部分向量化，带来更优的执行效率：

嵌套的for循环语句使这段代码的运行非常缓慢。以下是更典型的实现方式，它对算法进行部分向量化，带来更优的执行效率：

end;

end;

</syntaxhighlight>

</syntaxhighlight>

但是，或许可以向量化得更彻底些。如果去除for循环，我们就可以显著地改善代码执行效率。特别的，假定b是一个列向量，A是一个矩阵，我们用以下两种方式来计算A*b：

但是，或许可以向量化得更彻底些。如果去除for循环，我们就可以显著地改善代码执行效率。特别的，假定b是一个列向量，A是一个矩阵，我们用以下两种方式来计算A*b：

grad = A*b;

grad = A*b;

</syntaxhighlight>

</syntaxhighlight>

我们看到，代码2是用了低效的for循环语句执行梯度上升（译者注：原文是下降）运算，将b(i)看成(y(i) - sigmoid(theta'*x(:,i)))，A看成x，我们就可以使用以下高效率的代码：

我们看到，代码2是用了低效的for循环语句执行梯度上升（译者注：原文是下降）运算，将b(i)看成(y(i) - sigmoid(theta'*x(:,i)))，A看成x，我们就可以使用以下高效率的代码：

grad = x * (y- sigmoid(theta'*x));

grad = x * (y- sigmoid(theta'*x));

</syntaxhighlight>

</syntaxhighlight>

这里我们假定Matlab/Octave的sigmoid(z)函数接受一个向量形式的输入z，依次对输入向量的每个元素施行sigmoid函数，最后返回运算结果，因此sigmoid(z)的输出结果是一个与z有相同维度的向量。

这里我们假定Matlab/Octave的sigmoid(z)函数接受一个向量形式的输入z，依次对输入向量的每个元素施行sigmoid函数，最后返回运算结果，因此sigmoid(z)的输出结果是一个与z有相同维度的向量。

==中文译者==

==中文译者==