深度学习:打开智能时代第一扇大门的钥匙

人工智能是人类的科技巅峰和终极梦想。早在古希腊时代,先哲们就开始思考如何构建像人一样思考和行动的机器。图灵在发明现代计算机模型的同时,也在构思如何实现人工智能。计算机出现以来的几十年里,计算机和自动化等领域的科学家们进行了不懈的努力,但始终没有打开人工智能这扇大门。就在大部分企业和学者已经放弃人工智能时,2006年,著名学者Hinton等发现了训练深度神经网络的有效方法并命名为深度学习。2011年和2012年,深度学习在语音识别和图像识别方面取得巨大突破。2013年入选《麻省理工学院技术评论》当年十大突破性技术之首。2016年,以深度学习技术为核心的围棋软件AlphaGo打败了人类世界冠军,标志着人类正式进入智能时代。2019 年 3 月,ACM 宣布将 2018 年度图灵奖授予深度学习之父 Bengio、LeCun和Hinton,他们使深度神经网络成为计算的关键元素。深度学习像阿里巴巴的“芝麻开门”,开启了通向智能时代的第一扇门;像普罗米修斯偷来的天上之火,点燃了人类进入智能时代文明的火种。

图1 图灵和图灵奖杯
图2 深度学习之父,2018年度图灵奖获得者

深度学习是早期神经网络的深入发展,是一系列深度神经网络模型、训练方法和实现方法的统称。

正是深度学习引领了人工智能这一轮新的高潮。今天,深度学习已经是人工智能的代名词(甚至包括今后若干年)。目前几乎所有人工智能系统都是在深度学习的基础上构建的。深度学习是在对人脑的逆向工程中发展起来的。尽管深度学习只是揭示和模拟了人脑工作的一小部分机制,但它已经帮助人工智能实现了巨大的跨越。就像飞机的研究是在模拟鸟类飞行一样,虽然最终的飞机远远不像鸟,也没有鸟类飞行的灵活性和稳定性,但今天的飞机已经载着人们翱翔于万里长空。深度学习的出现使得人工智能在很多领域的应用成为可能。就在几年前,人们还常说,计算机的感知能力还不如一岁大的孩子,但今天这句话已经被改写了。深度学习使计算机在图像识别、语音识别、自然语言处理等方面已经达到或超过人类的水平。构建在这些基础能力之上的复杂智能系统也在蓬勃发展:自动驾驶汽车的安全性已经超过16岁的青少年;智能医疗在癌症、皮肤病等疾病的诊断方面已经超过专业医生;智能程序在德州扑克等很多游戏领域战胜了人类玩家;人工智能在围棋方面已超越了人类围棋冠军。虽然当前的技术距离类人的通用人工智能还很遥远,但以深度学习为核心的人工智能技术已经使世界科技、经济、军事等各个领域纷纷迈入智能化时代。

图3 围棋人机对弈

深度学习不是早期神经网络的简单深度化。近年来,人们提出大量新的深度学习模型和训练方法。最著名的新模型是生成对抗网络,它于2018年入选《麻省理工学院技术评论》当年十大突破性技术。人们在深度学习理论方面也有很多新的突破,并开始开展深度学习可解释性、对抗样本攻击与防御等研究。短短几年,深度学习本身已发展为一个重要的领域,每年有数以万计的论文发表,这是科技史上的奇迹。但是,如飞的发展速度也使得很少有人能够停下来静心总结。海量的文献已经使学习和研究深度学习变得越来越困难,一本全面而系统的著作是十分必要的。

当前市面上已经有一些深度学习的书籍,这些书可分为三类:最多的是实践入门书,基于某一平台(例如TensorFlow),帮助读者快速构建深度学习系统,以代码实现为主,在理论和方法方面阐述较少;还有少数是科普书,最著名的是美国Sejnowski的《深度学习——智能时代的核心驱动力量》,适合非专业人士阅读;最后一类是专业书,最著名的是GoodFellow等的被称为“花书”的《深度学习》,该书的内容很深入但很晦涩,一般读者阅读起来有较大的困难。

《深度学习》分为上下两册,共904页,145万字,兼顾初学者和专业人士,深入浅出地讨论深度学习的各个方面。本书有以下几个特色。

一. 系统全面:本书从机器学习和早期神经网络出发,系统全面地介绍了(除深度学习专用芯片设计以外的)理论、模型、算法和实现各项内容。尤其是包括生成对抗网络(已经成为重要的深度学习技术之一)、注意力机制、深度聚类、可解释性、对抗样本攻防和鲁棒性,这些是其他书籍很少涉及的。

二. 深入细致:本书不仅深入讨论了各类模型的设计、优化、实现,还详细阐述了它们的研究动机和发展脉络,使读者不但知其然,更知其所以然。帮助读者在学习的同时,深入思考和梳理,为进一步研究和应用奠定良好的基础。

三. 生动形象:作为一本专业书,本书有大量的数学公式和算法描述。本书除了参考专业文献外,更参考了大量学习者的博客和阅读笔记,同时以大量的图形形象地展示抽象的理论和算法,帮助读者更加轻松地阅读专业资料。

四. 紧扣前沿:本书整理了截止到2018年6月(书稿完成的当月)发表在顶级学术会议和期刊的代表性工作(“花书”的文献截止到2015年)。深度学习发展异常迅速,尤其是近三年涌现出大量堪称经典的算法和模型。本书的配套网站(http://deeplearningresource.com)还将陆续整理最新发表的文献,帮助读者与学术前沿同步。

五. 资料详实:本书引用了2000多篇文献,包括最早期的机器学习、神经网络和近期的深度学习,其中近三年文献1500多篇。同时本书的配套网站提供更丰富的文献、代码、数据、彩图等资料,帮助读者全面理解和学习。


作者简介

张宪超,大连理工大学教授,博士生导师,科研院副院长,大数据与智能决策中心副主任。本科和硕士毕业于国防科技大学系统工程与数学系;博士毕业于中国科技大学计算机科学与技术系,师从中国计算机学会高性能计算专委会首届主任、首届国家级教学名师陈国良院士。长期从事人工智能、机器学习和深度学习方面的研究,并致力于军事、经济等领域的智能化建设。已主持国家级各类科研项目10余项,发表论文130余篇,出版《数据聚类》专著1部。在无监督学习领域取得了一系列国际领先成果。作为负责人获教育部高等学校科学技术奖(自然科学)二等奖和辽宁省自然科学二等奖各1项。任中国指挥与控制学会智能可穿戴专委会副主任以及多个军事智能化领域的专家。获得教育部新世纪优秀人才、辽宁省百千万人才工程、大连市领军人才等称号。


《深度学习》对所有主要的深度学习方法和最新研究趋势进行了深入探索。全书分为上下两卷,五个部分。上卷包括两个部分:第一部分是基础算法,包括机器学习基础算法、早期神经网络算法、深度学习的正则化方法和深度学习的优化方法;第二部分是判别式模型,包括卷积神经网络(CNN)、循环神经网络(RNN)、长短期记忆模型(LSTM)、注意力机制和记忆网络。下卷包括三个部分:第三部分是生成式模型,包括深度置信网络/深度玻尔兹曼机、自编码器(AE)/变分自编码器(VAE)、生成对抗网络(GAN)、像素级生成、深度聚类等;第四部分是前沿技术,讨论深度强化学习;第五部分是安全保障,包括深度学习的可解释性和对抗样本的攻击与防御。

《深度学习》注重学术前沿,对包括胶囊网络在内的当前最新成果进行了细致的讨论。全书构建了一套明晰的深度学习体系,同时各章内容相对独立,并有辅助网(http://deeplearningresource.com)在线提供大量论文、代码、数据集和彩图等学习资源供读者边实践边学习。