作者归档:xczhang

Yoshua Bengio访谈笔记:用意识先验糅合符号主义与联结主义

转载自机器之心

「对表征(representation)空间的依赖贯穿计算机科学乃至日常生活的始终。在计算机科学中,如果数据有精当的结构,辅以智能化的索引,那么搜索任务的速度可以指数级加快;对于人来说,计算『 210 除以 6 等于几?』是容易的,计算『 CCX 除以 VI 等于几?』则需要更多时间。表征空间的选择对机器学习算法的性能影响,由此可见一斑。」《深度学习》[1] 一书如是评价表征的重要性。

继续阅读

Michael Jordan新研究:采样可以比优化更快地收敛

转载自机器之心

对于凸函数而言,局部最优点即全局最优点,这是很多优化方法奏效的重要前提。对于非凸函数,可以使用采样方法(如 MCMC),但普遍比优化方法的收敛要慢得多。而在 Michael Jordan 等人的这篇论文中,他们给出了一个新的观点:有时候,采样方法比优化方法收敛更快,还是指数量级的。

继续阅读