转自 机器之心

BigGan、Bert、GPT 2.0 等模型的出现似乎表明，DNN 模型越大，其准确率越高。但芯片内存的增长速度似乎无法满足这种“暴力美学”的需要。为此，谷歌提出并开源了一种新的方法——GPipe，利用管道并行化扩展 DNN 训练以克服这种局限。它可以让研究者轻松部署更多的加速器，以训练更大的模型，并在不调整超参数的前提下实现性能扩展

转自 机器之心

截至发稿前，小编根据已有资料，对各位人大代表、政协委员关于AI的提案、建议进行了全面汇总。

转自 机器之心

该项目是对基于深度学习的自然语言处理（NLP）的概述，包括用来解决不同 NLP 任务和应用的深度学习模型（如循环神经网络、卷积神经网络和强化学习）的理论介绍和实现细节，以及对 NLP 任务（机器翻译、问答和对话系统）当前最优结果的总结。

转自 机器之心

传统观点认为，太大的学习率不利于优化深度神经网络，而相比固定的学习率而言，变化的学习率更能提供快速的收敛。基于此，本文作者基于理论基础提出了一个计算深度神经网络学习率的新方法。实验结果证明了该方法的有效性。

转自 机器之心

自然语言处理的基础涉及到对词的表征。华盛顿大学计算机科学与工程教授 Noah Smith（史諾亞）近日在 arXiv 发布了一篇入门介绍论文，由浅入深通俗易懂地介绍了自然语言处理中对词的处理和表示方法。机器之心重点编译介绍了其中涉及上下文的第 4 和 5 节，略过了第 2 和 3 节的基础介绍。感兴趣的读者可参阅机器之心之前发布的系列文章《词嵌入系列博客：一、二、三》。

转自 机器之心

重症监护病房 ICU 是病人和医生争取生命的战场，在美国每年约有 1% 的 GDP 被花费在 ICU 病房里。患者移动可大大降低 ICU 后综合征和长期功能障碍的风险，但相关的具体研究还很匮乏。近日，Serena Yeung、李飞飞等人的论文被自然子刊《Nature Digital Medicine》收录，该研究利用算法估计 ICU 病人移动活动的类型、频率和持续时间，有助于了解移动性干预对重症病人的具体作用，从而有可能降低 ICU 后综合征的风险。

转载自机器之心

「对表征（representation）空间的依赖贯穿计算机科学乃至日常生活的始终。在计算机科学中，如果数据有精当的结构，辅以智能化的索引，那么搜索任务的速度可以指数级加快；对于人来说，计算『 210 除以 6 等于几？』是容易的，计算『 CCX 除以 VI 等于几？』则需要更多时间。表征空间的选择对机器学习算法的性能影响，由此可见一斑。」《深度学习》[1] 一书如是评价表征的重要性。

转载自机器之心

对于凸函数而言，局部最优点即全局最优点，这是很多优化方法奏效的重要前提。对于非凸函数，可以使用采样方法（如 MCMC），但普遍比优化方法的收敛要慢得多。而在 Michael Jordan 等人的这篇论文中，他们给出了一个新的观点：有时候，采样方法比优化方法收敛更快，还是指数量级的。

转载自机器之心

与谷歌、百度、阿里这样的科技巨头一样，亚马逊希望掌握自身业务的全部。在昨天拉斯维加斯举行的 AWS re:Invent 大会上，这家公司发布了一款名为 Inferentia 的机器学习芯片。

决策树是一种用于分类/回归的机器学习算法，基于树结构来进行决策。一棵决策树包含根结点、内部结点和叶结点。根结点包含样本全集，内部结点对应属性，叶结点对应决策结果。