Softmax回归

回想一下在 logistic 回归中，我们拥有一个包含 m 个被标记的样本的训练集 <math>\{ (x^{(1)}, y^{(1)}), \ldots, (x^{(m)}, y^{(m)}) \}</math>，其中输入特征值 <math>x^{(i)} \in \Re^{n+1}</math>。（在本章中，我们对出现的符号进行如下约定：特征向量 x 的维度为n+1 ，其中 x0=1对应 截距项 。）因为在Logistic 回归中，我们要解决的是 二元分类 问题，因此 类型标记 <math>y^{(i)} \in \{0,1\}</math>。 估值函数 如下：

模型参数 θ 用于最小化损失函数

我们将训练模型参数 θ ，使其能够最小化 代价函数 ：

在 softmax回归中，我们 感兴趣的是 多元分类 （相对于 只能辨识两种类型的 二元分类 ）， 所以类型标记 y 可以取 k个不同的值（而不 只限于 2个）。 于是 ，对于我们的 训练集<math>\{ (x^{(1)}, y^{(1)}), \ldots, (x^{(m)}, y^{(m)}) \}</math> 便有<math>y^{(i)} \in \{1, 2, \ldots, k\}</math>。（注意， 我们约定 类别下标从 1 开始，而不是 0）。例如，在 MNIST 数字识别任务中，我们有 k=10 个不同的类别。

给定一个测试样本 x ，我们想让假设函数去估计该样本在每一个类别  上的概率 p(y = j | x)，例如，我们想要估计类标在 k 个不同类别上的概率。因此，我们的假设函数会输出一个 k 维的向量（向量元素的和为 1 ）来表示样本 x在 k 个类别上的概率值。具体地说，我们的假设函数 hθ(x) 形式如下：

对于给定的测试输入，我们想让 估值函数 针对每一个  估算出概率值 p(y = j | x) 。也就是说， 我们想估计出分类结果在每一个分类标记值上出现的概率 ( 一审注：而不是估算出具体是取哪一个值，这一点和基本神经网络估值函数输出最终值是有区别的 ) 。因此，我们的 估值函数 将要 输出一个 k维的向量（向量元素的和为 1 ）来表示这 k 被估计出的概率值。 具体地说，我们的 估值函数hθ(x) 形式如下：

为了简便，我们使用 θ 来表示模型参数。在实现 softmax 回归的时候，往往使用一个 k-by-(n + 1) 的矩阵来表示 θ。我们将  按行表示，得到

为了方便起见，我们同样使用符号 θ 来表示全部的模型参数。在实现 softmax 回归时，你通常会发现，将 θ 用一个k × (n+1)的矩阵来表示会十分便利，该矩阵是将 按行罗列起来得到的，如下所示：