稀疏自编码器符号一览表
From Ufldl
for
稀疏自编码器符号一览表
Jump to:
navigation
,
search
<br>下面是我们在推导sparse autoencoder时使用的符号一览表: {| class="wikitable" |- |符号 |含义 |- | <math>\textstyle x</math> | 训练样本的输入特征,<math>\textstyle x \in \Re^{n}</math>. |- | <math>\textstyle y</math> | 输出值/目标值. 这里 <math>\textstyle y</math> 可以是向量. 在autoencoder中,<math>\textstyle y=x</math>. |- | <math>\textstyle (x^{(i)}, y^{(i)})</math> | 第 <math>\textstyle i</math> 个训练样本 |- | <math>\textstyle h_{W,b}(x)</math> | 输入为 <math>\textstyle x</math> 时的假设输出,其中包含参数 <math>\textstyle W,b</math>. 该输出应当与目标值 <math>\textstyle y</math> 具有相同的维数. |- | <math>\textstyle W^{(l)}_{ij}</math> | 连接第 <math>\textstyle l</math> 层 <math>\textstyle j</math> 单元和第 <math>\textstyle l+1</math> 层 <math>\textstyle i</math> 单元的参数. |- | <math>\textstyle b^{(l)}_{i}</math> | 第 <math>\textstyle l+1</math> 层 <math>\textstyle i</math> 单元的偏置项. 也可以看作是连接第 <math>\textstyle l</math> 层偏置单元和第 <math>\textstyle l+1</math> 层 <math>\textstyle i</math> 单元的参数. |- | <math>\textstyle \theta</math> | 参数向量. 可以认为该向量是通过将参数 <math>\textstyle W,b</math> 组合展开为一个长的列向量而得到. |- | <math>\textstyle a^{(l)}_i</math> | 网络中第 <math>\textstyle l</math> 层 <math>\textstyle i</math> 单元的激活(输出)值. 另外,由于 <math>\textstyle L_1</math> 层是输入层,所以 <math>\textstyle a^{(1)}_i = x_i</math>. |- | <math>\textstyle f(\cdot)</math> | 激活函数. 本文中我们使用 <math>\textstyle f(z) = \tanh(z)</math>. |- | <math>\textstyle z^{(l)}_i</math> | 第 <math>\textstyle l</math> 层 <math>\textstyle i</math> 单元所有输入的加权和. 因此有 <math>\textstyle a^{(l)}_i = f(z^{(l)}_i)</math>. |- | <math>\textstyle \alpha</math> | 学习率 |- | <math>\textstyle s_l</math> | 第 <math>\textstyle l</math> 层的单元数目(不包含偏置单元). |- | <math>\textstyle n_l</math> | 网络中的层数. 通常 <math>\textstyle L_1</math> 层是输入层,<math>\textstyle L_{n_l}</math> 层是输出层. |- | <math>\textstyle \lambda</math> | 权重衰减系数. |- | <math>\textstyle \hat{x}</math> | 对于一个autoencoder,该符号表示其输出值;亦即输入值 <math>\textstyle x</math> 的重构值. 与 <math>\textstyle h_{W,b}(x)</math> 含义相同. |- | <math>\textstyle \rho</math> | 稀疏值,可以用它指定我们所需的稀疏程度 |- | <math>\textstyle \hat\rho_i</math> | (sparse autoencoder中)隐藏单元 <math>\textstyle i</math> 的平均激活值. |- | <math>\textstyle \beta</math> | (sparse autoencoder目标函数中)稀疏值惩罚项的权重. |} ==中文译者== 邵杰(jiesh@hotmail.com),许利杰(csxulijie@gmail.com),余凯(kai.yu.cool@gmail.com) {{Languages|Sparse_Autoencoder_Notation_Summary|English}}
Template:Languages
(
view source
)
Template:稀疏自编码器
(
view source
)
Return to
稀疏自编码器符号一览表
.
Views
Page
Discussion
View source
History
Personal tools
Log in
ufldl resources
UFLDL Tutorial
Recommended Readings
wiki
Main page
Recent changes
Random page
Help
Search
Toolbox
What links here
Related changes
Special pages