稀疏自编码器符号一览表
From Ufldl
(Created page with "稀疏自编码器符号一览表") |
|||
Line 1: | Line 1: | ||
- | + | <br>下面是我们在推导sparse autoencoder时使用的符号一览表: | |
+ | |||
+ | {| class="wikitable" | ||
+ | |- | ||
+ | |符号 | ||
+ | |含义 | ||
+ | |- | ||
+ | | <math>\textstyle x</math> | ||
+ | | 训练样本的输入特征,<math>\textstyle x \in \Re^{n}</math>. | ||
+ | |- | ||
+ | | <math>\textstyle y</math> | ||
+ | | 输出值/目标值. 这里 <math>\textstyle y</math> 可以是向量. 在autoencoder中,<math>\textstyle y=x</math>. | ||
+ | |- | ||
+ | | <math>\textstyle (x^{(i)}, y^{(i)})</math> | ||
+ | | 第 <math>\textstyle i</math> 个训练样本 | ||
+ | |- | ||
+ | | <math>\textstyle h_{W,b}(x)</math> | ||
+ | | 输入为 <math>\textstyle x</math> 时的假设输出,其中包含参数 <math>\textstyle W,b</math>. 该输出应当与目标值 <math>\textstyle y</math> 具有相同的维数. | ||
+ | |- | ||
+ | | <math>\textstyle W^{(l)}_{ij}</math> | ||
+ | | 连接第 <math>\textstyle l</math> 层 <math>\textstyle j</math> 单元和第 <math>\textstyle l+1</math> 层 <math>\textstyle i</math> 单元的参数. | ||
+ | |- | ||
+ | | <math>\textstyle b^{(l)}_{i}</math> | ||
+ | | 第 <math>\textstyle l+1</math> 层 <math>\textstyle i</math> 单元的偏置项. 也可以看作是连接第 <math>\textstyle l</math> 层偏置单元和第 <math>\textstyle l+1</math> 层 <math>\textstyle i</math> 单元的参数. | ||
+ | |- | ||
+ | | <math>\textstyle \theta</math> | ||
+ | | 参数向量. 可以认为该向量是通过将参数 <math>\textstyle W,b</math> 组合展开为一个长的列向量而得到. | ||
+ | |- | ||
+ | | <math>\textstyle a^{(l)}_i</math> | ||
+ | | 网络中第 <math>\textstyle l</math> 层 <math>\textstyle i</math> 单元的激活(输出)值. | ||
+ | |||
+ | 另外,由于 <math>\textstyle L_1</math> 层是输入层,所以 <math>\textstyle a^{(1)}_i = x_i</math>. | ||
+ | |- | ||
+ | | <math>\textstyle f(\cdot)</math> | ||
+ | | 激活函数. 本文中我们使用 <math>\textstyle f(z) = \tanh(z)</math>. | ||
+ | |- | ||
+ | | <math>\textstyle z^{(l)}_i</math> | ||
+ | | 第 <math>\textstyle l</math> 层 <math>\textstyle i</math> 单元所有输入的加权和. 因此有 <math>\textstyle a^{(l)}_i = f(z^{(l)}_i)</math>. | ||
+ | |- | ||
+ | | <math>\textstyle \alpha</math> | ||
+ | | 学习率 | ||
+ | |- | ||
+ | | <math>\textstyle s_l</math> | ||
+ | | 第 <math>\textstyle l</math> 层的单元数目(不包含偏置单元). | ||
+ | |- | ||
+ | | <math>\textstyle n_l</math> | ||
+ | | 网络中的层数. 通常 <math>\textstyle L_1</math> 层是输入层,<math>\textstyle L_{n_l}</math> 层是输出层. | ||
+ | |- | ||
+ | | <math>\textstyle \lambda</math> | ||
+ | | 权重衰减系数. | ||
+ | |- | ||
+ | | <math>\textstyle \hat{x}</math> | ||
+ | | 对于一个autoencoder,该符号表示其输出值;亦即输入值 <math>\textstyle x</math> 的重构值. 与 <math>\textstyle h_{W,b}(x)</math> 含义相同. | ||
+ | |- | ||
+ | | <math>\textstyle \rho</math> | ||
+ | | 稀疏值,可以用它指定我们所需的稀疏程度 | ||
+ | |- | ||
+ | | <math>\textstyle \hat\rho_i</math> | ||
+ | | (sparse autoencoder中)隐藏单元 <math>\textstyle i</math> 的平均激活值. | ||
+ | |- | ||
+ | | <math>\textstyle \beta</math> | ||
+ | | (sparse autoencoder目标函数中)稀疏值惩罚项的权重. | ||
+ | |} | ||
+ | |||
+ | |||
+ | |||
+ | ==中文译者== | ||
+ | |||
+ | 邵杰(jiesh@hotmail.com),许利杰(csxulijie@gmail.com),余凯(kai.yu.cool@gmail.com) | ||
+ | |||
+ | |||
+ | {{稀疏自编码器}} | ||
+ | |||
+ | |||
+ | {{Languages|Sparse_Autoencoder_Notation_Summary|English}} |