神经网络

举一个监督学习的例子，假设我们有训练样本集 <math>(x(^ i),y(^ i))</math>，那么神经网络算法能够提供一种复杂且非线性的假设模型<math>h_{W,b}(x)</math>，它具有参数<math>W, b</math>，可以以此参数来拟合我们的数据。

这个“神经元”是一个以<math>x_1, x_2, x_3</math>及截距+1为输入值的运算单元，其输出为<math>\textstyle h_{W,b}(x) = f(W^Tx) = f(\sum_{i=1}^3 W_{i}x_i +b)</math>，其中函数<math>f : \Re \mapsto \Re</math>称为“激活函数”。在本教程中，我们的'''激活函数'''<math>f(\cdot)</math>将选用sigmoid函数

 

:<math>

那么，这个单一“神经元”的输入－输出映射关系其实就是一个逻辑回归（logistic regression）。

:<math>

<math>\tanh(z)</math> 函数是sigmoid函数的一种变体，它的取值范围为<math>[-1,1]</math>，而不是sigmoid函数的<math>[0,1]</math>。

注意，与其它地方（包括OpenClassroom公开课以及斯坦福大学CS229课程）不同的是，这里我们不再令<math>x_0=1</math>。取而代之，我们用单独的参数<math>b</math>来表示截距。

最后要说明的是，有一个等式我们以后会经常用到：如果选择<math>f(z) = 1/(1+\exp(-z))</math>，也就是sigmoid函数，那么它的导数就是<math>f'(z) = f(z) (1-f(z))</math>（如果选择tanh函数，那它的导数就是<math>f'(z) = 1- (f(z))^2</math>，你可以根据sigmoid（或tanh）函数的定义自行推导这个等式。

我们用<math>{n}_{l}</math>表示网络的层数，本例中<math>{n}_{l}=3</math>，我们将第<math>l</math>层记为<math>L_l</math>，于是<math>L_l</math>是输入层，输出层是<math>L_{n_l}</math>。本例神经网络有参数<math>(W,b) = (W^{(1)}, b^{(1)}, W^{(2)}, b^{(2)})</math>，其中<math>W^{(l)}_{ij}</math>第<math>l</math>层第<math>j</math>单元与第<math>l+1</math>层第<math>i</math>单元之间的联接参数（其实就是连接线上的权重，注意标号顺序），<math>b^{(l)}_i</math>是第<math>l+1</math>层第<math>i</math>单的偏置项。因此，本例中，<math>W^{(1)} \in \Re^{3\times 3}</math>，<math>W^{(2)} \in \Re^{1\times 3}</math>。注意，没有其他单元连向偏置单元(即偏置单元没有输入)，因为它们总是输出+1。同时，我们用<math>s_l</math>表示第<math>l</math>层的节点数（偏置单元不计在内）。

我们用<math>a^{(l)}_i</math>表示第<math>l</math>层第<math>i</math>号单元的'''激活值'''（输出值）。当<math>l=1</math>时，<math>a^{(1)}_i = x_i</math>，也就是第<math>i</math>个输入值（输入值的第<math>i</math>个特征）。对于给定参数集合<math>W,b</math>，我们的神经网络就按照函数<math>h_{W,b}(x)</math>计算输出结果。本例神经网络的计算过程就由以下步骤表示：

:<math>

我们用<math>z^{(l)}_i</math>表示第<math>l</math>层第<math>i</math>单元输入加权和（包括偏置单元），比如，<math>\textstyle z_i^{(2)} = \sum_{j=1}^n W^{(1)}_{ij} x_j + b^{(1)}_i</math>，则<math>a^{(l)}_i = f(z^{(l)}_i)</math>。

这样我们就可以得到一种更简洁的表示法。这里我们将激活函数<math>f(\cdot)</math>扩展为用向量（分量的形式）来表示，即<math>f([z_1, z_2, z_3]) = [f(z_1), f(z_2), f(z_3)]</math>，那么，上面的等式可以更简洁地表示为：

:<math>\begin{align}

我们将上面的计算步骤叫作'''正向传播'''。回想一下，之前我们用<math>a^{(1)} = x</math> 表示输入层的激活值，那么给定第<math>l</math>层的激活值<math>a^{(l)}</math>后，第<math>l+1</math>层的激活值<math>a^{(l+1)}</math>就可以按照下面步骤计算得到：

:<math>\begin{align}

神经网络也可以有多个输出单元。比如，以下神经网络有两层隐藏层：<math>L_2</math> 及<math>L_3</math>，并在<math>L_4</math>层中有两个输出单元。

要求解这样的神经网络，需要样本集 <math>(x^{(i)}, y^{(i)})</math> ，其中<math>y^{(i)} \in \Re^2</math>。如果你想预测的输出是多个的，那这种神经网络是很适用的。（比如，在医疗诊断应用中，患者的体征指标就可以作为向量的输入值，而不同的输出值<math>y_i</math>可以表示不同的疾病存在与否。）