稀疏自编码器符号一览表
From Ufldl
(Created page with "稀疏自编码器符号一览表") |
|||
| Line 1: | Line 1: | ||
| - | + | <br>下面是我们在推导sparse autoencoder时使用的符号一览表： | |
| + | |||
| + | {| class="wikitable" | ||
| + | |- | ||
| + | |符号 | ||
| + | |含义 | ||
| + | |- | ||
| + | | <math>\textstyle x</math> | ||
| + | | 训练样本的输入特征，<math>\textstyle x \in \Re^{n}</math>. | ||
| + | |- | ||
| + | | <math>\textstyle y</math> | ||
| + | | 输出值/目标值. 这里 <math>\textstyle y</math> 可以是向量. 在autoencoder中，<math>\textstyle y=x</math>. | ||
| + | |- | ||
| + | | <math>\textstyle (x^{(i)}, y^{(i)})</math> | ||
| + | | 第 <math>\textstyle i</math> 个训练样本 | ||
| + | |- | ||
| + | | <math>\textstyle h_{W,b}(x)</math> | ||
| + | | 输入为 <math>\textstyle x</math> 时的假设输出，其中包含参数 <math>\textstyle W,b</math>. 该输出应当与目标值 <math>\textstyle y</math> 具有相同的维数. | ||
| + | |- | ||
| + | | <math>\textstyle W^{(l)}_{ij}</math> | ||
| + | | 连接第 <math>\textstyle l</math> 层 <math>\textstyle j</math> 单元和第 <math>\textstyle l+1</math> 层 <math>\textstyle i</math> 单元的参数. | ||
| + | |- | ||
| + | | <math>\textstyle b^{(l)}_{i}</math> | ||
| + | | 第 <math>\textstyle l+1</math> 层 <math>\textstyle i</math> 单元的偏置项. 也可以看作是连接第 <math>\textstyle l</math> 层偏置单元和第 <math>\textstyle l+1</math> 层 <math>\textstyle i</math> 单元的参数. | ||
| + | |- | ||
| + | | <math>\textstyle \theta</math> | ||
| + | | 参数向量. 可以认为该向量是通过将参数 <math>\textstyle W,b</math> 组合展开为一个长的列向量而得到. | ||
| + | |- | ||
| + | | <math>\textstyle a^{(l)}_i</math> | ||
| + | | 网络中第 <math>\textstyle l</math> 层 <math>\textstyle i</math> 单元的激活（输出）值. | ||
| + | |||
| + | 另外，由于 <math>\textstyle L_1</math> 层是输入层，所以 <math>\textstyle a^{(1)}_i = x_i</math>. | ||
| + | |- | ||
| + | | <math>\textstyle f(\cdot)</math> | ||
| + | | 激活函数. 本文中我们使用 <math>\textstyle f(z) = \tanh(z)</math>. | ||
| + | |- | ||
| + | | <math>\textstyle z^{(l)}_i</math> | ||
| + | | 第 <math>\textstyle l</math> 层 <math>\textstyle i</math> 单元所有输入的加权和. 因此有 <math>\textstyle a^{(l)}_i = f(z^{(l)}_i)</math>. | ||
| + | |- | ||
| + | | <math>\textstyle \alpha</math> | ||
| + | | 学习率 | ||
| + | |- | ||
| + | | <math>\textstyle s_l</math> | ||
| + | | 第 <math>\textstyle l</math> 层的单元数目（不包含偏置单元）. | ||
| + | |- | ||
| + | | <math>\textstyle n_l</math> | ||
| + | | 网络中的层数. 通常 <math>\textstyle L_1</math> 层是输入层，<math>\textstyle L_{n_l}</math> 层是输出层. | ||
| + | |- | ||
| + | | <math>\textstyle \lambda</math> | ||
| + | | 权重衰减系数. | ||
| + | |- | ||
| + | | <math>\textstyle \hat{x}</math> | ||
| + | | 对于一个autoencoder，该符号表示其输出值；亦即输入值 <math>\textstyle x</math> 的重构值. 与 <math>\textstyle h_{W,b}(x)</math> 含义相同. | ||
| + | |- | ||
| + | | <math>\textstyle \rho</math> | ||
| + | | 稀疏值，可以用它指定我们所需的稀疏程度 | ||
| + | |- | ||
| + | | <math>\textstyle \hat\rho_i</math> | ||
| + | | （sparse autoencoder中）隐藏单元 <math>\textstyle i</math> 的平均激活值. | ||
| + | |- | ||
| + | | <math>\textstyle \beta</math> | ||
| + | | （sparse autoencoder目标函数中）稀疏值惩罚项的权重. | ||
| + | |} | ||
| + | |||
| + | |||
| + | |||
| + | ==中文译者== | ||
| + | |||
| + | 邵杰（jiesh@hotmail.com），许利杰（csxulijie@gmail.com），余凯（kai.yu.cool@gmail.com） | ||
| + | |||
| + | |||
| + | {{稀疏自编码器}} | ||
| + | |||
| + | |||
| + | {{Languages|Sparse_Autoencoder_Notation_Summary|English}} | ||
