|
|
| Line 7: |
Line 7: |
| | ==简介== | | ==简介== |
| | | | |
| - | 在本节中，我们介绍Softmax回归模型，该模型是logistic回归模型在多分类问题上的推广，在多分类问题中，类标签<math>y</math>可以取两个以上的值。 Softmax回归模型对于诸如MNIST手写数字分类等问题是很有用的，该问题的目的是辨识10个不同的单个数字。Softmax回归是有监督的，不过后面也会介绍它与深度学习/无监督学习方法的结合。 （译者注： MNIST 是一个手写数字识别库，由 NYU 的Yann LeCun 等人维护。http://yann.lecun.com/exdb/mnist/ ） | + | 在本节中，我们介绍Softmax回归模型，该模型是logistic回归模型在多分类问题上的推广，在多分类问题中，类标签<math>y</math>可以取两个以上的值。 Softmax回归模型对于诸如MNIST手写数字分类等问题是很有用的，该问题的目的是辨识10个不同的单个数字。Softmax回归是有监督的，不过后面也会介绍它与深度学习/无监督学习方法的结合。（译者注： MNIST 是一个手写数字识别库，由NYU 的Yann LeCun 等人维护。http://yann.lecun.com/exdb/mnist/ ） |
| | | | |
| - | '''原文''':
| |
| - | Recall that in logistic regression, we had a training set
| |
| - | <math>\{ (x^{(1)}, y^{(1)}), \ldots, (x^{(m)}, y^{(m)}) \}</math>
| |
| - | of <math>m</math> labeled examples, where the input features are <math>x^{(i)} \in \Re^{n+1}</math>.
| |
| - | (In this set of notes, we will use the notational convention of letting the feature vectors <math>x</math> be
| |
| - | <math>n+1</math> dimensional, with <math>x_0 = 1</math> corresponding to the intercept term.)
| |
| - | With logistic regression, we were in the binary classification setting, so the labels
| |
| - | were <math>y^{(i)} \in \{0,1\}</math>. Our hypothesis took the form:
| |
| | | | |
| - | <math>\begin{align} | + | 回想一下在 logistic 回归中，我们的训练集由 <math>m</math>个已标记的样本构成：<math>\{ (x^{(1)}, y^{(1)}), \ldots, (x^{(m)}, y^{(m)}) \}</math> ，其中输入特征<math>x^{(i)} \in \Re^{n+1}</math>。（我们对符号的约定如下：特征向量 <math>x</math> 的维度为<math>n+1</math>，其中<math>x_0 = 1</math>对应截距项 。）由于 logistic 回归是针对二分类问题的，因此类标记 。假设函数(hypothesis function)如下： |
| - | h_\theta(x) = \frac{1}{1+\exp(-\theta^Tx)},
| + | |
| - | \end{align}</math>
| + | |
| - | | + | |
| - | | + | |
| - | '''译文''':
| + | |
| - | 回顾一下 logistic 回归，我们的训练集为<math>\{ (x^{(1)}, y^{(1)}), \ldots, (x^{(m)}, y^{(m)}) \}</math>
| + | |
| - | ，其中 m为样本数，<math>x^{(i)} \in \Re^{n+1}</math>为特征。
| + | |
| - | 由于 logistic 回归是针对二分类问题的，因此类标 <math>y^{(i)} \in \{0,1\}</math>。假设函数如下：
| + | |
| | | | |
| | <math>\begin{align} | | <math>\begin{align} |
| Line 32: |
Line 16: |
| | \end{align}</math> | | \end{align}</math> |
| | | | |
| - | '''一审''':
| |
| - | 回想一下在 logistic 回归中，我们拥有一个包含 m 个被标记的样本的训练集 <math>\{ (x^{(1)}, y^{(1)}), \ldots, (x^{(m)}, y^{(m)}) \}</math>，其中输入特征值 <math>x^{(i)} \in \Re^{n+1}</math>。（在本章中，我们对出现的符号进行如下约定：特征向量 x 的维度为n+1 ，其中x0=1对应截距项 。）因为在Logistic 回归中，我们要解决的是二元分类问题，因此类型标记<math>y^{(i)} \in \{0,1\}</math>。估值函数如下：
| |
| | | | |
| - | <math>\begin{align}
| + | 我们将训练模型参数<math>\theta</math>，使其能够最小化代价函数 ： |
| - | h_\theta(x) = \frac{1}{1+\exp(-\theta^Tx)},
| + | |
| - | \end{align}</math>
| + | |
| - | | + | |
| - | | + | |
| - | '''原文''':
| + | |
| - | | + | |
| - | and the model parameters <math>\theta</math> were trained to minimize
| + | |
| - | the cost function
| + | |
| | <math> | | <math> |
| | \begin{align} | | \begin{align} |
| Line 51: |
Line 25: |
| | | | |
| | | | |
| - | '''译文''':
| + | 在 softmax回归中，我们解决的是多分类问题（相对于 logistic 回归解决的二分类问题），类标<math>y</math>可以取<math>k</math>个不同的值（而不是 2 个）。因此，对于训练集<math>\{ (x^{(1)}, y^{(1)}), \ldots, (x^{(m)}, y^{(m)}) \}</math>，我们有<math>y^{(i)} \in \{1, 2, \ldots, k\}</math>。（注意此处的类别下标从 1 开始，而不是 0）。例如，在 MNIST 数字识别任务中，我们有 <math>k=10</math>个不同的类别。 |
| - | 模型参数 <math>\theta</math> 用于最小化损失函数
| + | |
| - | <math> | + | |
| - | \begin{align} | + | |
| - | J(\theta) = -\frac{1}{m} \left[ \sum_{i=1}^m y^{(i)} \log h_\theta(x^{(i)}) + (1-y^{(i)}) \log (1-h_\theta(x^{(i)})) \right]
| + | |
| - | \end{align} | + | |
| - | </math> | + | |
| | | | |
| | | | |
| - | '''一审''':
| + | 对于给定的测试输入<math>x</math>，我们想用假设函数针对每一个类别j估算出概率值<math>p(y=j | x)</math>。也就是说，我们想估计<math>x</math>的每一种分类结果出现的概率。因此，我们的假设函数将要输出一个<math>k</math>维的向量（向量元素的和为1）来表示这<math>k</math>个估计的概率值。 具体地说，我们的假设函数<math>h_{\theta}(x)</math>形式如下： |
| - | 我们将训练模型参数 <math>\theta</math> ，使其能够最小化代价函数 ：
| + | |
| - | | + | |
| - | <math>
| + | |
| - | \begin{align}
| + | |
| - | J(\theta) = -\frac{1}{m} \left[ \sum_{i=1}^m y^{(i)} \log h_\theta(x^{(i)}) + (1-y^{(i)}) \log (1-h_\theta(x^{(i)})) \right]
| + | |
| - | \end{align}
| + | |
| - | </math> | + | |
| - | | + | |
| - | '''原文''':
| + | |
| - | In the softmax regression setting, we are interested in multi-class
| + | |
| - | classification (as opposed to only binary classification), and so the label
| + | |
| - | <math>y</math> can take on <math>k</math> different values, rather than only
| + | |
| - | two. Thus, in our training set
| + | |
| - | <math>\{ (x^{(1)}, y^{(1)}), \ldots, (x^{(m)}, y^{(m)}) \}</math>,
| + | |
| - | we now have that <math>y^{(i)} \in \{1, 2, \ldots, k\}</math>. (Note that
| + | |
| - | our convention will be to index the classes starting from 1, rather than from 0.) For example,
| + | |
| - | in the MNIST digit recognition task, we would have <math>k=10</math> different classes.
| + | |
| - | | + | |
| - | '''译文''':
| + | |
| - | 在 softmax回归中，我们解决的是多分类问题（相对于 logistic 回归解决的二分类问题），类标 y 可以取 k个不同的值（而不是 2 个）。因此，对于训练集 <math>\{ (x^{(1)}, y^{(1)}), \ldots, (x^{(m)}, y^{(m)}) \}</math>，我们有 <math>y^{(i)} \in \{1, 2, \ldots, k\}</math>。（注意此处的类别下标从 1 开始，而不是 0）。例如，在 MNIST 数字识别任务中，我们有 k=10 个不同的类别。
| + | |
| - | | + | |
| - | '''一审''':
| + | |
| - | 在 softmax回归中，我们感兴趣的是多元分类（相对于只能辨识两种类型的二元分类）， 所以类型标记y可以取k个不同的值（而不只限于2个）。 于是，对于我们的 训练集<math>\{ (x^{(1)}, y^{(1)}), \ldots, (x^{(m)}, y^{(m)}) \}</math> 便有<math>y^{(i)} \in \{1, 2, \ldots, k\}</math>。（注意，我们约定类别下标从 1 开始，而不是 0）。例如，在 MNIST 数字识别任务中，我们有 k=10 个不同的类别。
| + | |
| - | | + | |
| - | | + | |
| - | '''原文''':
| + | |
| - | Given a test input <math>x</math>, we want our hypothesis to estimate
| + | |
| - | the probability that <math>p(y=j | x)</math> for each value of <math>j = 1, \ldots, k</math>.
| + | |
| - | I.e., we want to estimate the probability of the class label taking
| + | |
| - | on each of the <math>k</math> different possible values. Thus, our hypothesis
| + | |
| - | will output a <math>k</math> dimensional vector (whose elements sum to 1) giving
| + | |
| - | us our <math>k</math> estimated probabilities. Concretely, our hypothesis
| + | |
| - | <math>h_{\theta}(x)</math> takes the form: | + | |
| - | | + | |
| | <math> | | <math> |
| | \begin{align} | | \begin{align} |
| Line 115: |
Line 49: |
| | </math> | | </math> |
| | | | |
| - | '''译文''':
| |
| - | 给定一个测试样本 x ，我们想让假设函数去估计该样本在每一个类别上的概率 <math>p(y=j | x)</math> ，例如，我们想要估计类标在 k 个不同类别上的概率。因此，我们的假设函数会输出一个 k 维的向量（向量元素的和为1）来表示样本x在k个类别上的概率值。具体地说，我们的假设函数<math>h_{\theta}(x)</math> 形式如下：
| |
| | | | |
| - | <math> | + | 其中<math>\theta_1, \theta_2, \ldots, \theta_k \in \Re^{n+1}</math>是模型的参数。请注意 <math>\frac{1}{ \sum_{j=1}^{k}{e^{ \theta_j^T x^{(i)} }} } </math>这一项对概率分布进行归一化，使得所有概率之和为 1 。 |
| - | \begin{align} | + | |
| - | h_\theta(x^{(i)}) =
| + | |
| - | \begin{bmatrix} | + | |
| - | p(y^{(i)} = 1 | x^{(i)}; \theta) \\
| + | |
| - | p(y^{(i)} = 2 | x^{(i)}; \theta) \\
| + | |
| - | \vdots \\
| + | |
| - | p(y^{(i)} = k | x^{(i)}; \theta)
| + | |
| - | \end{bmatrix}
| + | |
| - | =
| + | |
| - | \frac{1}{ \sum_{j=1}^{k}{e^{ \theta_j^T x^{(i)} }} } | + | |
| - | \begin{bmatrix}
| + | |
| - | e^{ \theta_1^T x^{(i)} } \\
| + | |
| - | e^{ \theta_2^T x^{(i)} } \\
| + | |
| - | \vdots \\
| + | |
| - | e^{ \theta_k^T x^{(i)} } \\
| + | |
| - | \end{bmatrix}
| + | |
| - | \end{align}
| + | |
| - | </math> | + | |
| | | | |
| - | '''一审''':
| |
| - | 对于给定的测试输入，我们想让估值函数针对每一个估算出概率值<math>p(y=j | x)</math> 。也就是说，我们想估计出分类结果在每一个分类标记值上出现的概率 (一审注：而不是估算出具体是取哪一个值，这一点和基本神经网络估值函数输出最终值是有区别的) 。因此，我们的 估值函数将要输出一个k维的向量（向量元素的和为1）来表示这k被估计出的概率值。 具体地说，我们的 估值函数<math>h_{\theta}(x)</math> 形式如下：
| |
| - |
| |
| - | <math>
| |
| - | \begin{align}
| |
| - | h_\theta(x^{(i)}) =
| |
| - | \begin{bmatrix}
| |
| - | p(y^{(i)} = 1 | x^{(i)}; \theta) \\
| |
| - | p(y^{(i)} = 2 | x^{(i)}; \theta) \\
| |
| - | \vdots \\
| |
| - | p(y^{(i)} = k | x^{(i)}; \theta)
| |
| - | \end{bmatrix}
| |
| - | =
| |
| - | \frac{1}{ \sum_{j=1}^{k}{e^{ \theta_j^T x^{(i)} }} }
| |
| - | \begin{bmatrix}
| |
| - | e^{ \theta_1^T x^{(i)} } \\
| |
| - | e^{ \theta_2^T x^{(i)} } \\
| |
| - | \vdots \\
| |
| - | e^{ \theta_k^T x^{(i)} } \\
| |
| - | \end{bmatrix}
| |
| - | \end{align}
| |
| - | </math>
| |
| - |
| |
| - | '''原文''':
| |
| - | Here <math>\theta_1, \theta_2, \ldots, \theta_k \in \Re^{n+1}</math> are the
| |
| - | parameters of our model.
| |
| - | Notice that
| |
| - | the term <math>\frac{1}{ \sum_{j=1}^{k}{e^{ \theta_j^T x^{(i)} }} } </math>
| |
| - | normalizes the distribution, so that it sums to one.
| |
| - |
| |
| - | '''译文''':
| |
| - | 其中 <math>\theta_1, \theta_2, \ldots, \theta_k \in \Re^{n+1}</math> 均为模型参数， the term <math>\frac{1}{ \sum_{j=1}^{k}{e^{ \theta_j^T x^{(i)} }} } </math> 是模型的归一化因子，使得向量的和为 1 。
| |
| - |
| |
| - | '''一审''':
| |
| - | 其中 <math>\theta_1, \theta_2, \ldots, \theta_k \in \Re^{n+1}</math>是我们模型的参数。请注意<math>\frac{1}{ \sum_{j=1}^{k}{e^{ \theta_j^T x^{(i)} }} } </math>，这一项对概率分布进行归一化，使得所有概率之和为 1 。
| |
| - |
| |
| - |
| |
| - | '''原文''':
| |
| - | For convenience, we will also write
| |
| - | <math>\theta</math> to denote all the
| |
| - | parameters of our model. When you implement softmax regression, it is usually
| |
| - | convenient to represent <math>\theta</math> as a <math>k</math>-by-<math>(n+1)</math> matrix obtained by
| |
| - | stacking up <math>\theta_1, \theta_2, \ldots, \theta_k</math> in rows, so that
| |
| - |
| |
| - | <math>
| |
| - | \theta = \begin{bmatrix}
| |
| - | \mbox{---} \theta_1^T \mbox{---} \\
| |
| - | \mbox{---} \theta_2^T \mbox{---} \\
| |
| - | \vdots \\
| |
| - | \mbox{---} \theta_k^T \mbox{---} \\
| |
| - | \end{bmatrix}
| |
| - | </math>
| |
| - |
| |
| - | '''译文''':
| |
| - | 为了简便，我们使用<math>\theta</math>来表示模型参数。在实现Softmax回归的时候，往往使用一个<math>k</math>-by-<math>(n+1)</math>的矩阵来表示<math>\theta</math>。我们将 <math>\theta_1, \theta_2, \ldots, \theta_k</math>按行表示，得到
| |
| - | <math>
| |
| - | \theta = \begin{bmatrix}
| |
| - | \mbox{---} \theta_1^T \mbox{---} \\
| |
| - | \mbox{---} \theta_2^T \mbox{---} \\
| |
| - | \vdots \\
| |
| - | \mbox{---} \theta_k^T \mbox{---} \\
| |
| - | \end{bmatrix}
| |
| - | </math>
| |
| | | | |
| - | '''一审''':
| + | 为了方便起见，我们同样使用符号<math>\theta</math> 来表示全部的模型参数。在实现Softmax回归时，将<math>\theta</math> 用一个<math>k</math>-by-<math>(n+1)</math>的矩阵来表示会很方便，该矩阵是将<math>\theta_1, \theta_2, \ldots, \theta_k</math> 按行罗列起来得到的，如下所示： |
| - | 为了方便起见，我们同样使用符号<math>\theta</math>来表示全部的模型参数。在实现Softmax回归时，你通常会发现，将θ用一个<math>k</math>-by-<math>(n+1)</math>的矩阵来表示会十分便利，该矩阵是将 <math>\theta_1, \theta_2, \ldots, \theta_k</math>按行罗列起来得到的，如下所示： | + | |
| | <math> | | <math> |
| | \theta = \begin{bmatrix} | | \theta = \begin{bmatrix} |
