Softmax回归
From Ufldl
(→Introduction介绍) |
(→Introduction介绍) |
||
Line 6: | Line 6: | ||
== Introduction介绍 == | == Introduction介绍 == | ||
+ | |||
'''原文''': | '''原文''': | ||
Line 37: | Line 38: | ||
h_\theta(x) = \frac{1}{1+\exp(-\theta^Tx)}, | h_\theta(x) = \frac{1}{1+\exp(-\theta^Tx)}, | ||
\end{align}</math> | \end{align}</math> | ||
- | |||
Line 44: | Line 44: | ||
,其中 m为样本数,<math>x^{(i)} \in \Re^{n+1}</math>为特征。 | ,其中 m为样本数,<math>x^{(i)} \in \Re^{n+1}</math>为特征。 | ||
由于 logistic 回归是针对二分类问题的,因此类标 <math>y^{(i)} \in \{0,1\}</math>。假设函数如下: | 由于 logistic 回归是针对二分类问题的,因此类标 <math>y^{(i)} \in \{0,1\}</math>。假设函数如下: | ||
+ | <math>\begin{align} | ||
+ | h_\theta(x) = \frac{1}{1+\exp(-\theta^Tx)}, | ||
+ | \end{align}</math> | ||
'''一审''': | '''一审''': | ||
Line 53: | Line 56: | ||
'''原文''': | '''原文''': | ||
+ | |||
and the model parameters <math>\theta</math> were trained to minimize | and the model parameters <math>\theta</math> were trained to minimize | ||
the cost function | the cost function | ||
- | |||
<math> | <math> | ||
\begin{align} | \begin{align} | ||
Line 64: | Line 67: | ||
'''译文''': | '''译文''': | ||
- | + | 模型参数 θ 用于最小化损失函数 | |
+ | <math> | ||
+ | \begin{align} | ||
+ | J(\theta) = -\frac{1}{m} \left[ \sum_{i=1}^m y^{(i)} \log h_\theta(x^{(i)}) + (1-y^{(i)}) \log (1-h_\theta(x^{(i)})) \right] | ||
+ | \end{align} | ||
+ | </math> | ||
'''一审''': | '''一审''': | ||
+ | 我们将训练模型参数 θ ,使其能够最小化 代价函数 : | ||
+ | |||
+ | <math> | ||
+ | \begin{align} | ||
+ | J(\theta) = -\frac{1}{m} \left[ \sum_{i=1}^m y^{(i)} \log h_\theta(x^{(i)}) + (1-y^{(i)}) \log (1-h_\theta(x^{(i)})) \right] | ||
+ | \end{align} | ||
+ | </math> | ||
'''原文''': | '''原文''': | ||
Line 80: | Line 95: | ||
'''译文''': | '''译文''': | ||
+ | 在 softmax回归中,我们解决的是多分类问题(相对于 logistic 回归解决的二分类问题),类标 y 可以取 k个不同的值(而不是 2 个)。因此,对于训练集 <math>\{ (x^{(1)}, y^{(1)}), \ldots, (x^{(m)}, y^{(m)}) \}</math>,我们有 <math>y^{(i)} \in \{1, 2, \ldots, k\}</math>。(注意此处的类别下标从 1 开始,而不是 0)。例如,在 MNIST 数字识别任务中,我们有 k=10 个不同的类别。 | ||
'''一审''': | '''一审''': | ||
+ | 在 softmax回归中,我们 感兴趣的是 多元分类 (相对于 只能辨识两种类型的 二元分类 ), 所以类型标记 y 可以取 k个不同的值(而不 只限于 2个)。 于是 ,对于我们的 训练集<math>\{ (x^{(1)}, y^{(1)}), \ldots, (x^{(m)}, y^{(m)}) \}</math> 便有<math>y^{(i)} \in \{1, 2, \ldots, k\}</math>。(注意, 我们约定 类别下标从 1 开始,而不是 0)。例如,在 MNIST 数字识别任务中,我们有 k=10 个不同的类别。 | ||
+ | |||
'''原文''': | '''原文''': | ||
Line 113: | Line 131: | ||
'''译文''': | '''译文''': | ||
+ | 给定一个测试样本 x ,我们想让假设函数去估计该样本在每一个类别 上的概率 p(y = j | x),例如,我们想要估计类标在 k 个不同类别上的概率。因此,我们的假设函数会输出一个 k 维的向量(向量元素的和为 1 )来表示样本 x在 k 个类别上的概率值。具体地说,我们的假设函数 hθ(x) 形式如下: | ||
+ | <math> | ||
+ | \begin{align} | ||
+ | h_\theta(x^{(i)}) = | ||
+ | \begin{bmatrix} | ||
+ | p(y^{(i)} = 1 | x^{(i)}; \theta) \\ | ||
+ | p(y^{(i)} = 2 | x^{(i)}; \theta) \\ | ||
+ | \vdots \\ | ||
+ | p(y^{(i)} = k | x^{(i)}; \theta) | ||
+ | \end{bmatrix} | ||
+ | = | ||
+ | \frac{1}{ \sum_{j=1}^{k}{e^{ \theta_j^T x^{(i)} }} } | ||
+ | \begin{bmatrix} | ||
+ | e^{ \theta_1^T x^{(i)} } \\ | ||
+ | e^{ \theta_2^T x^{(i)} } \\ | ||
+ | \vdots \\ | ||
+ | e^{ \theta_k^T x^{(i)} } \\ | ||
+ | \end{bmatrix} | ||
+ | \end{align} | ||
+ | </math> | ||
'''一审''': | '''一审''': | ||
+ | 对于给定的测试输入,我们想让 估值函数 针对每一个 估算出概率值 p(y = j | x) 。也就是说, 我们想估计出分类结果在每一个分类标记值上出现的概率 ( 一审注:而不是估算出具体是取哪一个值,这一点和基本神经网络估值函数输出最终值是有区别的 ) 。因此,我们的 估值函数 将要 输出一个 k维的向量(向量元素的和为 1 )来表示这 k 被估计出的概率值。 具体地说,我们的 估值函数hθ(x) 形式如下: | ||
+ | <math> | ||
+ | \begin{align} | ||
+ | h_\theta(x^{(i)}) = | ||
+ | \begin{bmatrix} | ||
+ | p(y^{(i)} = 1 | x^{(i)}; \theta) \\ | ||
+ | p(y^{(i)} = 2 | x^{(i)}; \theta) \\ | ||
+ | \vdots \\ | ||
+ | p(y^{(i)} = k | x^{(i)}; \theta) | ||
+ | \end{bmatrix} | ||
+ | = | ||
+ | \frac{1}{ \sum_{j=1}^{k}{e^{ \theta_j^T x^{(i)} }} } | ||
+ | \begin{bmatrix} | ||
+ | e^{ \theta_1^T x^{(i)} } \\ | ||
+ | e^{ \theta_2^T x^{(i)} } \\ | ||
+ | \vdots \\ | ||
+ | e^{ \theta_k^T x^{(i)} } \\ | ||
+ | \end{bmatrix} | ||
+ | \end{align} | ||
+ | </math> | ||
'''原文''': | '''原文''': | ||
Line 124: | Line 182: | ||
'''译文''': | '''译文''': | ||
+ | 其中 <math>\theta_1, \theta_2, \ldots, \theta_k \in \Re^{n+1}</math> 均为模型参数, the term <math>\frac{1}{ \sum_{j=1}^{k}{e^{ \theta_j^T x^{(i)} }} } </math> 是模型的归一化因子,使得向量的和为 1 。 | ||
'''一审''': | '''一审''': | ||
+ | 其中 <math>\theta_1, \theta_2, \ldots, \theta_k \in \Re^{n+1}</math>是我们模型的参数。请注意<math>\frac{1}{ \sum_{j=1}^{k}{e^{ \theta_j^T x^{(i)} }} } </math>,这一项对概率分布进行归一化,使得所有概率之和为 1 。 | ||
+ | |||
'''原文''': | '''原文''': | ||
Line 134: | Line 195: | ||
stacking up <math>\theta_1, \theta_2, \ldots, \theta_k</math> in rows, so that | stacking up <math>\theta_1, \theta_2, \ldots, \theta_k</math> in rows, so that | ||
+ | <math> | ||
+ | \theta = \begin{bmatrix} | ||
+ | \mbox{---} \theta_1^T \mbox{---} \\ | ||
+ | \mbox{---} \theta_2^T \mbox{---} \\ | ||
+ | \vdots \\ | ||
+ | \mbox{---} \theta_k^T \mbox{---} \\ | ||
+ | \end{bmatrix} | ||
+ | </math> | ||
+ | |||
+ | '''译文''': | ||
+ | 为了简便,我们使用 θ 来表示模型参数。在实现 softmax 回归的时候,往往使用一个 k-by-(n + 1) 的矩阵来表示 θ。我们将 按行表示,得到 | ||
+ | <math> | ||
+ | \theta = \begin{bmatrix} | ||
+ | \mbox{---} \theta_1^T \mbox{---} \\ | ||
+ | \mbox{---} \theta_2^T \mbox{---} \\ | ||
+ | \vdots \\ | ||
+ | \mbox{---} \theta_k^T \mbox{---} \\ | ||
+ | \end{bmatrix} | ||
+ | </math> | ||
+ | |||
+ | '''一审''': | ||
+ | 为了方便起见,我们同样使用符号 θ 来表示全部的模型参数。在实现 softmax 回归时,你通常会发现,将 θ 用一个k × (n+1)的矩阵来表示会十分便利,该矩阵是将 按行罗列起来得到的,如下所示: | ||
<math> | <math> | ||
\theta = \begin{bmatrix} | \theta = \begin{bmatrix} |