神经网络

如图，我们使用圆圈来表示神经网络的输入，标上“ <math>\textstyle +1</math> ”的圆圈被称为'''偏置节点'''，也就是截距项。神经网络最左边的一层叫做'''输入层'''，最右的一层叫做'''输出层'''（本例中，输出层只有一个节点）。中间所有节点组成的一层叫做'''隐藏层'''，因为我们不能在训练样本集中观测到它们的值。同时可以看到，以上神经网络的例子中有3个'''输入单元'''（偏置单元不计在内），3个'''隐藏单元'''及一个'''输出单元'''。

我们用 <math>\textstyle {n}_l</math> 来表示网络的层数，本例中 <math>\textstyle n_l=3</math> ，我们将第 <math>\textstyle l</math> 层记为 <math>\textstyle L_l</math> ，于是 <math>\textstyle L_1</math> 是输入层，输出层是 <math>\textstyle L_{n_l}</math> 。本例神经网络有参数 <math>\textstyle (W,b) = (W^{(1)}, b^{(1)}, W^{(2)}, b^{(2)})</math> ，其中 <math>\textstyle W^{(l)}_{ij}</math> 第 <math>\textstyle l</math> 层第 <math>\textstyle j</math> 单元与第 <math>\textstyle l+1</math> 层第 <math>\textstyle i</math> 单元之间的联接参数（其实就是连接线上的权重，注意标号顺序）， <math>\textstyle b^{(l)}_i</math> 是第 <math>\textstyle l+1</math> 层第 <math>\textstyle i</math> 单的偏置项。因此，本例中， <math>\textstyle W^{(1)} \in \Re^{3\times 3}</math> ， <math>\textstyle W^{(2)} \in \Re^{1\times 3}</math> 。注意，没有其他单元连向偏置单元(即偏置单元没有输入)，因为它们总是输出+1。同时，我们用 <math>\textstyle s_l</math> 表示第 <math>\textstyle l</math> 层的节点数（偏置单元不计在内）。