神经网络
From Ufldl
Line 1: | Line 1: | ||
- | 【原文】Consider a supervised learning problem where we have access to labeled training examples <math>(x(^ i),y(^ i))</math>. Neural networks give a way of defining a complex, non-linear form of hypotheses <math> | + | 【原文】Consider a supervised learning problem where we have access to labeled training examples <math>(x(^ i),y(^ i))</math>. Neural networks give a way of defining a complex, non-linear form of hypotheses <math>h_{W,b}(x)</math>, with parameters W,b that we can fit to our data. |
- | 【初译】处理监督学习问题时,我们使用了标记过的训练样本 <math>(x(^ i),y(^ i))</math>。神经网络提供了一个复杂的非线性假设函数<math> | + | 【初译】处理监督学习问题时,我们使用了标记过的训练样本 <math>(x(^ i),y(^ i))</math>。神经网络提供了一个复杂的非线性假设函数<math>h_{W,b}(x)</math>,其中的参数W,b可以通过数据来调整。 |
- | 【一审】举一个监督学习的例子,我们有样本集 <math>(x(^ i),y(^ i))</math>。神经网络算法提供了一种复杂又非线性的假设模型<math> | + | 【一审】举一个监督学习的例子,我们有样本集 <math>(x(^ i),y(^ i))</math>。神经网络算法提供了一种复杂又非线性的假设模型<math>h_{W,b}(x)</math>,它具有参数W,b,可以以此参数来拟合我们的数据。 |
- | 【二审】举一个监督学习的例子,我们有样本集 <math>(x(^ i),y(^ i))</math>。神经网络算法提供了一种复杂又非线性的假设模型<math> | + | 【二审】举一个监督学习的例子,我们有样本集 <math>(x(^ i),y(^ i))</math>。神经网络算法提供了一种复杂又非线性的假设模型<math>h_{W,b}(x)</math>,它具有参数W,b,可以以此参数来拟合我们的数据。 |
【原文】To describe neural networks, we will begin by describing the simplest possible neural network, one which comprises a single "neuron." We will use the following diagram to denote a single neuron: | 【原文】To describe neural networks, we will begin by describing the simplest possible neural network, one which comprises a single "neuron." We will use the following diagram to denote a single neuron: | ||
+ | |||
+ | [[Image:SingleNeuron.png|300px|center]] | ||
【初译】为了描述神经网络,我们先从最简单的神经网络讲起,它是一个单一的“神经元”。我们用下面的图来表示单一神经元: | 【初译】为了描述神经网络,我们先从最简单的神经网络讲起,它是一个单一的“神经元”。我们用下面的图来表示单一神经元: | ||
Line 15: | Line 17: | ||
【二审】为了描述神经网络,我们先从最简单的神经网络讲起,这个神经网络仅由一个“神经元”构成,以下即是单个“神经元”图示: | 【二审】为了描述神经网络,我们先从最简单的神经网络讲起,这个神经网络仅由一个“神经元”构成,以下即是单个“神经元”图示: | ||
- | 【原文】This "neuron" is a computational unit that takes as input | + | 【原文】This "neuron" is a computational unit that takes as input <math>x_1, x_2, x_3</math> (and a +1 intercept term), and outputs <math>\textstyle h_{W,b}(x) = f(W^Tx) = f(\sum_{i=1}^3 W_{i}x_i +b)</math>, where<math>f : \Re \mapsto \Re</math> is called the '''activation function'''. In these notes, we will choose <math>f(\cdot)</math> to be the sigmoid function: |
+ | |||
+ | :<math> | ||
+ | f(z) = \frac{1}{1+\exp(-z)}. | ||
+ | </math> | ||
+ | |||
+ | |||
+ | 【初译】神经元是一个计算单元,输入为<math>x_1, x_2, x_3</math> (a +1为截距项,注这里a为多余?校对者注:这里a是“一个”的意思,不是变量) ,输出为<math>\textstyle h_{W,b}(x) = f(W^Tx) = f(\sum_{i=1}^3 W_{i}x_i +b)</math>,其中<math>f : \Re \mapsto \Re</math>为激活函数。在这里,我们选择<math>f(\cdot)</math>为S型函数: | ||
+ | |||
+ | |||
+ | :<math> | ||
+ | f(z) = \frac{1}{1+\exp(-z)}. | ||
+ | </math> | ||
+ | |||
+ | |||
+ | 【一审】这个“神经元”是一个以<math>x_1, x_2, x_3</math> 及截距+1为输入值的运算单元,并输出<math>\textstyle h_{W,b}(x) = f(W^Tx) = f(\sum_{i=1}^3 W_{i}x_i +b)</math>,其中函数<math>f : \Re \mapsto \Re</math>称为“激活函数”。在本课程中,我们的激活函数将选用Sigmoid函数:(一审注:因为tanh也是S型函数,所以以下函数不知如何命名) | ||
+ | |||
+ | |||
+ | :<math> | ||
+ | f(z) = \frac{1}{1+\exp(-z)}. | ||
+ | </math> | ||
+ | |||
- | + | 【二审】这个“神经元”是一个以<math>x_1, x_2, x_3</math>及截距+1为输入值的运算单元,其输出为<math>\textstyle h_{W,b}(x) = f(W^Tx) = f(\sum_{i=1}^3 W_{i}x_i +b)</math>,其中函数<math>f : \Re \mapsto \Re</math>称为“激活函数”。在本课程中,我们的激活函数将选用Sigmoid函数: | |
- | |||
- | + | :<math> | |
+ | f(z) = \frac{1}{1+\exp(-z)}. | ||
+ | </math> | ||
【原文】Thus, our single neuron corresponds exactly to the input-output mapping defined by logistic regression. | 【原文】Thus, our single neuron corresponds exactly to the input-output mapping defined by logistic regression. |