分类目录归档:最新动态

你也可以训练超大神经网络!谷歌开源GPipe库

转自 机器之心

BigGan、Bert、GPT 2.0 等模型的出现似乎表明,DNN 模型越大,其准确率越高。但芯片内存的增长速度似乎无法满足这种“暴力美学”的需要。为此,谷歌提出并开源了一种新的方法——GPipe,利用管道并行化扩展 DNN 训练以克服这种局限。它可以让研究者轻松部署更多的加速器,以训练更大的模型,并在不调整超参数的前提下实现性能扩展

继续阅读

自然语言处理基础:上下文词表征入门解读

转自 机器之心

自然语言处理的基础涉及到对词的表征。华盛顿大学计算机科学与工程教授 Noah Smith(史諾亞)近日在 arXiv 发布了一篇入门介绍论文,由浅入深通俗易懂地介绍了自然语言处理中对词的处理和表示方法。机器之心重点编译介绍了其中涉及上下文的第 4 和 5 节,略过了第 2 和 3 节的基础介绍。感兴趣的读者可参阅机器之心之前发布的系列文章《词嵌入系列博客:一、二、三》。

继续阅读

李飞飞等人论文登上Nature子刊:人工智能为ICU病人带来福音

转自 机器之心

重症监护病房 ICU 是病人和医生争取生命的战场,在美国每年约有 1% 的 GDP 被花费在 ICU 病房里。患者移动可大大降低 ICU 后综合征和长期功能障碍的风险,但相关的具体研究还很匮乏。近日,Serena Yeung、李飞飞等人的论文被自然子刊《Nature Digital Medicine》收录,该研究利用算法估计 ICU 病人移动活动的类型、频率和持续时间,有助于了解移动性干预对重症病人的具体作用,从而有可能降低 ICU 后综合征的风险。

继续阅读

Yoshua Bengio访谈笔记:用意识先验糅合符号主义与联结主义

转载自机器之心

「对表征(representation)空间的依赖贯穿计算机科学乃至日常生活的始终。在计算机科学中,如果数据有精当的结构,辅以智能化的索引,那么搜索任务的速度可以指数级加快;对于人来说,计算『 210 除以 6 等于几?』是容易的,计算『 CCX 除以 VI 等于几?』则需要更多时间。表征空间的选择对机器学习算法的性能影响,由此可见一斑。」《深度学习》[1] 一书如是评价表征的重要性。

继续阅读

Michael Jordan新研究:采样可以比优化更快地收敛

转载自机器之心

对于凸函数而言,局部最优点即全局最优点,这是很多优化方法奏效的重要前提。对于非凸函数,可以使用采样方法(如 MCMC),但普遍比优化方法的收敛要慢得多。而在 Michael Jordan 等人的这篇论文中,他们给出了一个新的观点:有时候,采样方法比优化方法收敛更快,还是指数量级的。

继续阅读

Decision Tree

决策树是一种用于分类/回归的机器学习算法,基于树结构来进行决策。一棵决策树包含根结点、内部结点和叶结点。根结点包含样本全集,内部结点对应属性,叶结点对应决策结果。

继续阅读