稀疏编码自编码表达
From Ufldl
(→[ 良好的s初始值 ]) |
(→[ 将样本分批为“迷你块” ]) |
||
| Line 104: | Line 104: | ||
</ol> | </ol> | ||
| - | == | + | ==[ 将样本分批为“迷你块” ]== |
如果你一次性在大规模数据集（比如，有10000 个patch）上执行简单的迭代算法，你会发现每次迭代都要花很长时间，也因此这算法要花好长时间才能达到收敛结果。为了提高收敛速度，可以选择在迷你块上运行该算法。每次迭代的时候，不是在所有的10000个patchs上执行该算法，而是使用迷你块，即从10000个patch中随机选出2000个patch，再在这个迷你块上执行这个算法。这样就可以做到一石二鸟――第一，提高了每次迭代的速度，因为现在每次迭代只在2000个patch上执行而不是10000个；第二，也是更重要的，它提高了收敛的速度（原因见[[TODO]]）。 | 如果你一次性在大规模数据集（比如，有10000 个patch）上执行简单的迭代算法，你会发现每次迭代都要花很长时间，也因此这算法要花好长时间才能达到收敛结果。为了提高收敛速度，可以选择在迷你块上运行该算法。每次迭代的时候，不是在所有的10000个patchs上执行该算法，而是使用迷你块，即从10000个patch中随机选出2000个patch，再在这个迷你块上执行这个算法。这样就可以做到一石二鸟――第一，提高了每次迭代的速度，因为现在每次迭代只在2000个patch上执行而不是10000个；第二，也是更重要的，它提高了收敛的速度（原因见[[TODO]]）。 | ||
