分类目录归档:最新动态

深度学习之父Hinton:下一代神经网络

转自 AI科技评论

SIGIR是一个展示信息检索领域中各种新技术和新成果的重要国际论坛 ,2018年图灵奖得主Geoffrey Hinton带来了主题为《The Next Generation of Neural Networks》的讲座。

在讲座中,Hinton指出:人工神经网络最重要的未解难题之一,是如何像大脑一样有效地进行无监督学习。当前有两种主要的无监督学习方法:第一种方法,以BERT和变分自编码器为例,使用了深度神经网络来重建其输入。这种方法对于图像来说是有问题的,因为网络的最深层需要对图像的精细细节进行编码。

第二种方法是Becker和Hinton在1992年提出的:当给定相同图像的两个不同片段作为输入时,训练深度神经网络的两个副本以产生具有高互信息的输出向量。设计此方法的目的是使表征形式不受输入无关细节的束缚。

Becker和Hinton使用的优化互信息的方法存在缺陷(出于一个微妙的原因,讲座中会解释),因此Pacannaro和Hinton将其替换为判别性目标函数,在该目标函数中,一个向量表征必须从许多替代方案中选择相应的向量表征。表征的对比学习(contrastive learning of representations)被证明非常有效,但是它存在一个主要缺陷:要学习具有N位互信息的成对的表征向量,我们需要将正确的对应向量和大约2^N个错误的替代方案进行对比。Hinton将描述解决这种局限性的新颖有效方法,并且表明这将导致在皮质中实现感知学习的简单方法。以下是演讲全文,

无监督学习的历史

1、自编码器

继续阅读

“几何深度学习”受爱因斯坦启示:让AI摆脱平面看到更高的维度!

转自 新智元

现在,计算机可以驾驶汽车,在象棋和围棋中击败世界冠军,甚至撰写散文。人工智能的革命很大程度上源于一种特殊类型的人工神经网络的力量,其设计灵感来自哺乳动物视觉皮层中神经元的连接层。事实证明,这些“卷积神经网络”(CNN)擅长于学习二维数据中的模式,尤其是在计算机视觉任务中得到了广泛应用。

但是,如果将卷积神经网络用于没有内置平面几何形状的数据集(如3D计算机动画中使用的不规则形状的模型,或者自动驾驶汽车生成的点云来绘制周围环境),这种强大的机器学习架构的效果就要受到影响。2016年前后,出现了一种称为几何深度学习的新学科,其目标是将CNN拓展到平面之外。

现在,研究人员提供了一个新的理论框架,可用于构建可以学习任何几何表面上的图案的神经网络。由阿姆斯特丹大学和高通AI研究中心的Taco Cohen,Maurice Weiler,Berkay Kicanaoglu和Max Welling开发的“等规卷积神经网络”,不仅可以检测2D像素阵列中的模式,而且还可以检测在球体和不对称弯曲的物体上的模式。Welling表示:“这个框架是对曲面上深度学习问题的绝对确定的答案。”

在模拟全球气候数据的学习模式中,这种新架构的性能已大大超过了其前辈。该算法还可能改善可视3D目标的无人机和无人驾驶汽车的视觉效果,对于心脏、大脑或其他器官的不规则曲面上收集的数据,分析能力也能大为提升。


研究人员要让深度学习模型摆脱平面的束缚,也与物理学有着深厚的联系。描述世界的物理理论,比如爱因斯坦的广义相对论和粒子物理学的标准模型,都表现出一种称为“规范等变”的性质。这意味着世界上的量及其关系不依赖于任意的参照系。

无论观察者是移动还是静止不动,无论标尺上的数字有什么不同,这些量和关系都是一致的。在不同的量度上进行的测量要想进行转换,必须要能够相互保留彼此之间这些不变的潜在关系。

举个例子,测量一个足球场的长度,首先以码为单位,然后再以米为单位进行测量,得到的数字是不同的,但这是一种可预测的不同。同样,两位摄影师从两个不同的有利位置拍摄同一个对象的照片会产生不同的图像,但是这些图像可以彼此关联。量表的等方差可确保物理学家的现实模型保持一致,无论他们的观测点或测量单位如何变化。

纽约大学物理学家凯尔·克兰默(Kyle Cranmer)说:“他们希望将这种思想其、引入神经网络,要将机器学习应用于粒子物理学数据上,而且成功实现了。”

继续阅读

大脑只需单个神经元就可进行XOR异或运算,Science新研究揭开冰山一角,引发热议

转自 量子位

在机器学习中,异或(XOR)这样的非线性问题一直需要多层神经网络来解决。科学家一直以为,即使在人类大脑中,XOR运算也需要多层神经元网络才能计算。

但是大脑远比人类想象得“高能”。

最新研究发现:人类大脑只需要单个神经元就可以进行XOR运算。这项研究登上了最新一期的Science杂志。

来自德国洪堡大学的学者们在论文中表示:我们的发现,对构成细胞功能算法的生理基础提供了洞见,这些基础模块最终引发了大脑皮层网络的行为。

一直热爱给AI泼冷水的马库斯也非常关注,甚至觉得这个研究可能重塑对神经网络的看法。

在推特上,这一研究已经收获700多次转发,近2000赞。在reddit谈论上,也已经引发了100多条讨论。

继续阅读

集大成者!可解释人工智能(XAI)研究最新进展万字综述论文: 概念体系机遇和挑战—构建负责任的人工智能

转自 专知

地址:https://www.zhuanzhi.ai/paper/e9f05516bbee0d997460bfb961b18d3a

摘要

在过去的几年里,人工智能(AI)取得了显著的发展势头,在不同领域的许多应用中它可能会带来最好的预期。当这种情况发生时,整个社区都面临可解释性的障碍,这是人工智能技术的一个内在问题,它是由次象征主义(模型例如集成算法或深层神经网络)带来的,而这些在人工智能的最上一次高潮中是不存在的。这个问题背后的范例属于所谓的可解释AI (XAI)领域,它被认为是AI模型实际部署的一个关键特性。本文综述了XAI领域的现有文献,并对未来的研究方向进行了展望。我们总结了在机器学习中定义可解释性的前期工作,建立了一个新的定义,它涵盖了先前的概念命题,主要关注可解释性所关心的受众。然后,我们提出并讨论了与不同机器学习模型的可解释性相关的最近贡献的分类,包括那些旨在建立第二种体系的深度学习方法。这篇文献分析为XAI面临的一系列挑战提供了背景,比如数据融合和可解释性之间的十字路口。我们构建了负责任的人工智能的概念,即一种以公平、模型可解释性和问责性为核心的在真实组织中大规模实施人工智能方法的方法。最终目标是为XAI的新来者提供参考资料,以促进未来的研究进展,同时也鼓励其他学科的专家和专业人员在他们的活动领域拥抱AI的好处,而不是因为它缺乏可解释性而事先有任何偏见。

关键词: 可解释人工智能,机器学习,深度学习,数据融合,可解释性,可理解性,透明性,隐私,公平性,可问责性,负责任的人工智能。

继续阅读

2019->2020必看的十篇「深度学习领域综述」论文

转自 机器学习算法与自然语言处理

辞九迎零,我们迎来2020,到下一个十年。在2019年机器学习领域继续快速发展,元学习、迁移学习、小样本学习、深度学习理论等取得很多进展。在此,小编整理了这一年这些研究热点主题的综述进展,共十篇,了解当下,方能向前。

1、A guide to deep learning in healthcare(医疗深度学习技术指南)

Google 斯坦福 Nature Medicine

作者:Andre Esteva, Alexandre Robicquet, Bharath Ramsundar, Volodymyr Kuleshov, Mark DePristo, Katherine Chou, Claire Cui, Greg Corrado, Sebastian Thrun & Jeff Dean


摘要:我们介绍了医疗保健的深度学习技术,重点讨论了计算机视觉、自然语言处理、强化学习和广义方法的深度学习。我们将描述这些计算技术如何影响医学的几个关键领域,并探讨如何构建端到端系统。我们对计算机视觉的讨论主要集中在医学成像上,我们描述了自然语言处理在电子健康记录数据等领域的应用。同样,在机器人辅助手术的背景下讨论了强化学习,并综述了基因组学的广义深度学习方法


网址
https://www.nature.com/articles/s41591-018-0316-z


继续阅读

深度学习”这十年:52篇大神级论文再现AI荣与光

转自 新智元

随着2020年的到来,人类进入了一个崭新的十年。回顾过去10年,深度学习领域取得的巨大进步。随着计算能力的不断提高和大数据可用性的不断提高,深度学习已经成功地解决了许多以前难以解决的问题,特别是在计算机视觉和自然语言处理领域。深度学习也开始在现实世界中应用,从自动驾驶汽车和医学成像到虚拟助手和deepfake,或多或少都在影响我们。

2011年:Yoshua Bengio等人提出ReLU激活函数,为更深层次网络铺平了道路

Deep Sparse Rectifier Neural Networks (被引4071次)

继续阅读

解读计算机视觉论文投稿到接收,不可不知的关键环节

转自 北京智源人工智能研究院

2020年3月17日,在超千人同时在线的“智源论坛·论文写作专题报告会”上,三位智源青年科学家分别进行了精彩的在线分享,题目分别为:

他们通过丰富的实战示例,分别从论文写作的润笔和修改技巧、论文写作的常用步骤与方法、论文投稿和审核中的关键注意事项等多种角度,详细解析了如何写好一篇优秀的国际学术论文,收到了直播间观众的热烈反响。我们将他们的演讲整理成文字,陆续发布。

今天,我们将介绍智源青年科学家、北大计算机系数字媒体研究所研究员施柏鑫的报告《计算机视觉会议论文从投稿到接收》。

本次报告,施柏鑫从作者、审稿人、领域主席、期刊编委等视角,围绕计算机视觉领域,为我们讲述了该领域顶级会议论文从写文章、投文章(包括Rebuttal)、审文章、扩期刊各环节的经验心得和关键注意事项。可以说,这个报告提供了覆盖整个论文写作闭环的精彩干货,相信会令大家开卷有益。

继续阅读

谷歌AI大神力作登《Science》,把进化论引入人工智能:无需人工输入、自动进化的AI程序

转自 头部科技

近日,谷歌计算机科学家Quoc Le和他的同事们开发了一个名为AutoML-Zero的程序,这款程序引用了达尔文进化论“适者生存”的概念,可以在没有人工输入的情况下实现AI程序一代与下一代之间的自我改善和进化。

零人工输入的自动化机器学习程序:AutoML-Zero

相关论文发表在预印平台arXiv中,论文标题为《AutoML-Zero:从零开始发展机器学习算法》

AutoML-Zero在短短几天内就复制了数十年的AI研究成果,有设计人员认为,有一天它可以超越现有的研究,发现人工智能的新方法。

建立AI算法往往需要较长的时间。以神经网络(一种用于翻译语言和驾驶汽车的常见机器学习类型)为例,为了使更小的神经元子电路执行特定的任务——例如识别路标,研究人员往往需要花费数月的时间研究如何将它们连接起来以便无缝地协同工作。

近年来,科学家们通过自动化一些步骤加快了这一进程,但这些程序仍然依赖于将人类设计的现成电路缝合在一起,这意味着程序输出仍然受到工程师的想象力和现有偏见的限制。

因此, Quoc Le和他的同事们开发了AutoML-Zero程序,这个程序可以仅仅使用高中生知道的基本数学概念开发出无需人工输入的AI程序。他说:“我们的最终目标是开发出连研究人员都找不到的新型机器学习概念。”

AutoML-Zero程序使用宽松的演化近似(a loose approximation of evolution)来发现算法。它首先通过随机组合数学运算来创建100个候选算法。然后在一个简单的任务上测试他们,比如一个图像识别问题,在这个问题上,它必须决定一幅画上的图像是猫还是卡车。

在每个循环中,程序将算法的性能与手工设计的算法进行比较。通过随机替换、编辑或删除一些代码来“突变”顶级算法的副本,从而创建最佳算法的细微变化。这些“新生儿”被添加到种群中,而较老的项目被淘汰,这个循环重复进行。

继续阅读

计算所山世光:AI方法论需升级,疫后 AI 将如何发展?

转自 AI科技评论

曾被誉为人工智能的三驾马车——算法、算力、数据,到了需要反思的时刻。特别是深度学习在学术前沿的后续发展乏力,恐难支撑AI能力继续升级。

步入新的十年后,如今 AI 可能已经到了一个拐点时刻。

那么接下来,AI 技术将如何发展、应用?随着国内疫情的结束,这逐渐成为领域内众多研究者和从业者亟需回答的一个关键问题。

4 月 9 日,中国科协学会学术部、中国科学报联合腾讯科协、腾讯发展研究办公室举办了一场非常及时的线上论坛活动,主题为“人工智能:科技与经济融合新引擎”。众多学者专家纷纷回答了疫后人工智能科技与经济融合发展的诸多问题。

AI 科技评论本着对人工智能技术重点关注,选取中科院计算所研究员、中科视拓创始人山世光的报告内容做以整理,分享给大家。

山世光研究员的报告分为两大部分,先是从研究的角度,他认为AI方法论将从「数据驱动」转向「知识+数据联合驱动」;在后一部分,他从行业发展的层面提出了五大观点和建议。这些内容具有深刻的洞见性。

1 从学术前沿视角来看,
深度学习已成强弩之末

在过去十年里,人工智能的研究从过去依靠规则、知识来设计人工智能算法这样一套方法论,逐渐过渡到了以数据为主要驱动力的方法论。

在这个方法论的指导下,靠着“三驾马车”——算法、大数据、强算力,支撑起了现在的AI能力。算法上主要以深度学习为主,数据则强调要足够大(且是有监督的标注数据),由于深度学习动辄需要通过训练设定上亿的参数也导致了非常依赖强大算力的支撑。

于是,只要满足下面两个条件的AI任务,都能够得到好的解决:

1)专用AI任务(而非通用AI)。例如医疗影像中,看肺炎的AI就只能看肺炎,不能看肝炎;看CT的AI就只能看CT,不能看核磁。

2)“好”数据肥沃(通过商业模式大量获取数据)。所谓好数据,一方面要有较大的规模,另一方面则是要有好的标注。

但这样的AI,离我们所期望的相距甚远。

微软亚洲研究院院长洪小文博士曾提出如下的AI能力金字塔(黄色字体是山世光增加内容):

按照这种金字塔层次,目前的AI技术仍还停留在第二层的「感知和简单推理」上面,也即相当于非人类灵长类动物的层次。

如何更进一步,向上做到认知、情感、创造,甚至智慧呢?

山世光认为我们至少需要做以下几种能力的提升——

继续阅读

ICLR 2020 | Bengio 一作论文:因果机制元学习与模型泛化如何产生关联?

转自 机器之心

Yoshua Bengio 等人基于学习器适应新分布的速度提出一种元学习因果结构,这些新分布由干预、智能体动作以及其它非稳态(non-stationarity)导致的稀疏分布变化引起。这项研究证明,在此假设下,正确的因果结构选择会使学习器更快地适应修改后的分布,因为在所学知识经过适当模块化后,分布变化将集中在一或多个机制中。这导致稀疏的预期梯度,以及在适应此类变化时需要重新学习的有效自由度的数量较少。因而,该研究将适应修改后分布的速度作为元学习的目标,表明这可用于决定两个观测变量之间的因果关系。

分布变化无需对应标准干预,学习器不具备关于干预的直接知识。该研究证明,因果结构可通过连续变量进行参数化,并以端到端的形式学得。研究者还探索了如何将这些想法用于学习编码器来映射低级观测变量与导致更快速分布外适应的未观测因果变量,进而学得一个表示空间,使之满足独立机制以及动作和非稳态导致的机制内微小稀疏变化的假设。


论文链接:https://arxiv.org/pdf/1901.10912.pdf

继续阅读