Softmax回归
From Ufldl
(→2) |
(→Introduction介绍) |
||
Line 44: | Line 44: | ||
,其中 m为样本数,<math>x^{(i)} \in \Re^{n+1}</math>为特征。 | ,其中 m为样本数,<math>x^{(i)} \in \Re^{n+1}</math>为特征。 | ||
由于 logistic 回归是针对二分类问题的,因此类标 <math>y^{(i)} \in \{0,1\}</math>。假设函数如下: | 由于 logistic 回归是针对二分类问题的,因此类标 <math>y^{(i)} \in \{0,1\}</math>。假设函数如下: | ||
+ | |||
<math>\begin{align} | <math>\begin{align} | ||
h_\theta(x) = \frac{1}{1+\exp(-\theta^Tx)}, | h_\theta(x) = \frac{1}{1+\exp(-\theta^Tx)}, | ||
Line 49: | Line 50: | ||
'''一审''': | '''一审''': | ||
- | 回想一下在 logistic 回归中,我们拥有一个包含 m 个被标记的样本的训练集 <math>\{ (x^{(1)}, y^{(1)}), \ldots, (x^{(m)}, y^{(m)}) \}</math>,其中输入特征值 <math>x^{(i)} \in \Re^{n+1}</math>。(在本章中,我们对出现的符号进行如下约定:特征向量 x 的维度为n+1 | + | 回想一下在 logistic 回归中,我们拥有一个包含 m 个被标记的样本的训练集 <math>\{ (x^{(1)}, y^{(1)}), \ldots, (x^{(m)}, y^{(m)}) \}</math>,其中输入特征值 <math>x^{(i)} \in \Re^{n+1}</math>。(在本章中,我们对出现的符号进行如下约定:特征向量 x 的维度为n+1 ,其中x0=1对应截距项 。)因为在Logistic 回归中,我们要解决的是二元分类问题,因此类型标记<math>y^{(i)} \in \{0,1\}</math>。估值函数如下: |
+ | |||
<math>\begin{align} | <math>\begin{align} | ||
h_\theta(x) = \frac{1}{1+\exp(-\theta^Tx)}, | h_\theta(x) = \frac{1}{1+\exp(-\theta^Tx)}, | ||
Line 67: | Line 69: | ||
'''译文''': | '''译文''': | ||
- | 模型参数 | + | 模型参数 <math>\theta</math> 用于最小化损失函数 |
<math> | <math> | ||
\begin{align} | \begin{align} | ||
Line 76: | Line 78: | ||
'''一审''': | '''一审''': | ||
- | 我们将训练模型参数 | + | 我们将训练模型参数 <math>\theta</math> ,使其能够最小化代价函数 : |
<math> | <math> | ||
Line 98: | Line 100: | ||
'''一审''': | '''一审''': | ||
- | 在 | + | 在 softmax回归中,我们感兴趣的是多元分类(相对于只能辨识两种类型的二元分类), 所以类型标记y可以取k个不同的值(而不只限于2个)。 于是,对于我们的 训练集<math>\{ (x^{(1)}, y^{(1)}), \ldots, (x^{(m)}, y^{(m)}) \}</math> 便有<math>y^{(i)} \in \{1, 2, \ldots, k\}</math>。(注意,我们约定类别下标从 1 开始,而不是 0)。例如,在 MNIST 数字识别任务中,我们有 k=10 个不同的类别。 |
Line 131: | Line 133: | ||
'''译文''': | '''译文''': | ||
- | 给定一个测试样本 x | + | 给定一个测试样本 x ,我们想让假设函数去估计该样本在每一个类别上的概率 <math>p(y=j | x)</math> ,例如,我们想要估计类标在 k 个不同类别上的概率。因此,我们的假设函数会输出一个 k 维的向量(向量元素的和为1)来表示样本x在k个类别上的概率值。具体地说,我们的假设函数<math>h_{\theta}(x)</math> 形式如下: |
+ | |||
<math> | <math> | ||
\begin{align} | \begin{align} | ||
Line 153: | Line 156: | ||
'''一审''': | '''一审''': | ||
- | + | 对于给定的测试输入,我们想让估值函数针对每一个估算出概率值<math>p(y=j | x)</math> 。也就是说,我们想估计出分类结果在每一个分类标记值上出现的概率 (一审注:而不是估算出具体是取哪一个值,这一点和基本神经网络估值函数输出最终值是有区别的) 。因此,我们的 估值函数将要输出一个k维的向量(向量元素的和为1)来表示这k被估计出的概率值。 具体地说,我们的 估值函数<math>h_{\theta}(x)</math> 形式如下: | |
+ | |||
<math> | <math> | ||
\begin{align} | \begin{align} | ||
Line 205: | Line 209: | ||
'''译文''': | '''译文''': | ||
- | 为了简便,我们使用 | + | 为了简便,我们使用<math>\theta</math>来表示模型参数。在实现Softmax回归的时候,往往使用一个<math>k</math>-by-<math>(n+1)</math>的矩阵来表示<math>\theta</math>。我们将 <math>\theta_1, \theta_2, \ldots, \theta_k</math>按行表示,得到 |
<math> | <math> | ||
\theta = \begin{bmatrix} | \theta = \begin{bmatrix} | ||
Line 216: | Line 220: | ||
'''一审''': | '''一审''': | ||
- | 为了方便起见,我们同样使用符号 | + | 为了方便起见,我们同样使用符号<math>\theta</math>来表示全部的模型参数。在实现Softmax回归时,你通常会发现,将θ用一个<math>k</math>-by-<math>(n+1)</math>的矩阵来表示会十分便利,该矩阵是将 <math>\theta_1, \theta_2, \ldots, \theta_k</math>按行罗列起来得到的,如下所示: |
<math> | <math> | ||
\theta = \begin{bmatrix} | \theta = \begin{bmatrix} |