Linear Decoders
From Ufldl
(→Linear Decoder) |
(→Linear Decoder) |
||
| Line 109: | Line 109: | ||
【初译】： | 【初译】： | ||
| - | + | 一个自编码器在这个设置中，有一个S型（或tanh）隐含层和一个线性输出层—被称为'''线性解码'''。在这个模型中，我们有 <math>\hat{x} = a^{(3)} = z^{(3)} = W^{(2)}a + b^{(2)}</math>。因为输出<math>\hat{x} </math>是一个包含隐单元的线性函数，通过改变<math>W^{(2)}</math> 的值，每一个输出单元<math>a^{(3)}</math> 可以用来构造产生大于1或者小于0的值。这让我们可以采用构造稀疏自编码实现实值输入而不需以特定范围来预限定每一个输入样。 | |
【一校】： | 【一校】： | ||
| - | + | 一个S型或tanh隐含层以及线性输出层构成的自编码器，我们称为'''线性解码器'''。 | |
在这个线性解码器模型中，<math>\hat{x} = a^{(3)} = z^{(3)} = W^{(2)}a + b^{(2)}</math>。因为输出<math>\hat{x} </math>是隐单元激励输出的线性函数，改变<math>W^{(2)}</math> ，可以使输出值<math>a^{(3)}</math> 大于1或者小于0。这使得我们可以用实值输入来训练稀疏自编码器，避免预先缩放样本到给定范围。 | 在这个线性解码器模型中，<math>\hat{x} = a^{(3)} = z^{(3)} = W^{(2)}a + b^{(2)}</math>。因为输出<math>\hat{x} </math>是隐单元激励输出的线性函数，改变<math>W^{(2)}</math> ，可以使输出值<math>a^{(3)}</math> 大于1或者小于0。这使得我们可以用实值输入来训练稀疏自编码器，避免预先缩放样本到给定范围。 | ||
