自编码算法与稀疏性
From Ufldl
Line 232: | Line 232: | ||
【一审】 | 【一审】 | ||
- | 这个惩罚函数具有一种属性:即,如果 <math>\textstyle \hat\rho_j = \rho</math> ,则 <math>\textstyle {\rm KL}(\rho || \hat\rho_j) = 0</math> ,否则,随着 <math>\textstyle \hat\rho_j</math> 与 <math>\textstyle \rho</math> 之间差距变大,函数值相应单调递增。比如,如下图所示,我们设 <math>\textstyle | + | 这个惩罚函数具有一种属性:即,如果 <math>\textstyle \hat\rho_j = \rho</math> ,则 <math>\textstyle {\rm KL}(\rho || \hat\rho_j) = 0</math> ,否则,随着 <math>\textstyle \hat\rho_j</math> 与 <math>\textstyle \rho</math> 之间差距变大,函数值相应单调递增。比如,如下图所示,我们设 <math>\textstyle \rho = 0.2</math> ,在 <math>\textstyle \hat\rho_j</math> 的取值范围内,作出了函数 <math>\textstyle {\rm KL}(\rho || \hat\rho_j)</math> 曲线图: |
【二审】 | 【二审】 |