|
|
| Line 40: |
Line 40: |
| | 第二，数据必须经过无正则ZCA白化（也即,<math>\epsilon</math>设为0）。（为什么必须这样做？见[[TODO]]） | | 第二，数据必须经过无正则ZCA白化（也即,<math>\epsilon</math>设为0）。（为什么必须这样做？见[[TODO]]） |
| | 因此，在优化标准正交ICA目标函数之前，必须确保数据被白化过，并且学习的是一组不完备基（under-complete basis）。 | | 因此，在优化标准正交ICA目标函数之前，必须确保数据被白化过，并且学习的是一组不完备基（under-complete basis）。 |
| - |
| |
| - | '''原文''':
| |
| - |
| |
| - | Following that, to optimize for the objective, we can use gradient descent, interspersing gradient descent steps with projection steps to enforce the orthonormality constraint. Hence, the procedure will be as follows:
| |
| - |
| |
| - | Repeat until done:
| |
| - | <ol>
| |
| - | <li><math>W \leftarrow W - \alpha \nabla_W \lVert Wx \rVert_1</math>
| |
| - | <li><math>W \leftarrow \operatorname{proj}_U W</math> where <math>U</math> is the space of matrices satisfying <math>WW^T = I</math>
| |
| - | </ol>
| |
| - |
| |
| - | In practice, the learning rate <math>\alpha</math> is varied using a line-search algorithm to speed up the descent, and the projection step is achieved by setting <math>W \leftarrow (WW^T)^{-\frac{1}{2}} W</math>, which can actually be seen as ZCA whitening ([[TODO]] explain how it is like ZCA whitening).
| |
| - |
| |
| | | | |
| | 然后，为了优化目标函数，我们可以使用梯度下降法，在梯度下降的每一步中增加投影步骤，以满足标准正交约束。过程如下： | | 然后，为了优化目标函数，我们可以使用梯度下降法，在梯度下降的每一步中增加投影步骤，以满足标准正交约束。过程如下： |
| Line 61: |
Line 48: |
| | </ol> | | </ol> |
| | | | |
| - | 在实际中,学习速率<math>\alpha</math>是可变的,使用一个线搜索算法来加速梯度.投影步骤通过设置<math>W \leftarrow (WW^T)^{-\frac{1}{2}} W</math>来完成,这实际上可以看成就是ZCA白化(TODO:解释为什么这就象ZCA白化). | + | 在实际中,学习速率<math>\alpha</math>是可变的,使用一个线搜索算法来加速梯度.投影步骤通过设置<math>W \leftarrow (WW^T)^{-\frac{1}{2}} W</math>来完成,这实际上可以看成就是ZCA白化([[TODO]]:解释为什么这就象ZCA白化). |
| - | | + | |
| - | | + | |
| - | '''一审''':
| + | |
| - | | + | |
| - | 然后,为了优化目标,我们可以使用梯度下降法,在梯度下降的每一步中增加投影步骤,以满足标准正交约束.过程如下:
| + | |
| - | 重复直到完成:
| + | |
| - | <ol>
| + | |
| - | <li><math>W \leftarrow W - \alpha \nabla_W \lVert Wx \rVert_1</math>
| + | |
| - | <li><math>W \leftarrow \operatorname{proj}_U W</math>, 其中<math>U</math>是满足<math>WW^T = I</math>的矩阵空间.
| + | |
| - | </ol>
| + | |
| - | | + | |
| - | 在实际中,学习速率<math>\alpha</math>可以通过使用一个一维搜索来调整,以改变下降速度. 投影步骤通过更新<math>W \leftarrow (WW^T)^{-\frac{1}{2}} W</math>来完成,这一步也可以看成是ZCA白化(TODO:解释为什么这类似ZCA白化).
| + | |
| - | | + | |
| - | | + | |
| - | == Topographic ICA 拓扑ICA ==
| + | |
| - | | + | |
| - | '''原文''':
| + | |
| - | | + | |
| - | Just like [[Sparse Coding: Autoencoder Interpretation | sparse coding]], independent component analysis can be modified to give a topographic variant by adding a topographic cost term.
| + | |
| - | | + | |
| - | | + | |
| - | '''译文''':
| + | |
| - | | + | |
| - | 就像稀疏编码,独立成分分析可以被修改成一个拓扑变量加上一个拓扑代价项.
| + | |
| - | | + | |
| | | | |
| - | '''一审''':
| + | == 拓扑ICA == |
| | | | |
| - | 和稀疏编码类似,独立成分分析可以修改为在一个拓扑变量加上一个拓扑代价项.
| + | 与稀疏编码算法类似，加上一个拓扑代价项，独立成分分析法可以修改成具有拓扑性质的算法。 |
