神经网络

我们用 <math>\textstyle {n}_l</math> 来表示网络的层数，本例中 <math>\textstyle n_l=3</math> ，我们将第 <math>\textstyle l</math> 层记为 <math>\textstyle L_l</math> ，于是 <math>\textstyle L_1</math> 是输入层，输出层是 <math>\textstyle L_{n_l}</math> 。本例神经网络有参数 <math>\textstyle (W,b) = (W^{(1)}, b^{(1)}, W^{(2)}, b^{(2)})</math> ，其中 <math>\textstyle W^{(l)}_{ij}</math> 第 <math>\textstyle l</math> 层第 <math>\textstyle j</math> 单元与第 <math>\textstyle l+1</math> 层第 <math>\textstyle i</math> 单元之间的联接参数（其实就是连接线上的权重，注意标号顺序）， <math>\textstyle b^{(l)}_i</math> 是第 <math>\textstyle l+1</math> 层第 <math>\textstyle i</math> 单元的偏置项。因此在本例中， <math>\textstyle W^{(1)} \in \Re^{3\times 3}</math> ， <math>\textstyle W^{(2)} \in \Re^{1\times 3}</math> 。注意，没有其他单元连向偏置单元(即偏置单元没有输入)，因为它们总是输出 <math>\textstyle +1</math>。同时，我们用 <math>\textstyle s_l</math> 表示第 <math>\textstyle l</math> 层的节点数（偏置单元不计在内）。