第8章 注意力机制和记忆网络部分彩图 图8.4 全局注意力模型(Luong et al., 2015) 图8.5 局部注意力模型(Luong et al., 2015) 图8.6 在5或6层的self-attention中,远程依赖注意力机制的一个例子(Vaswani et al., 2017) 图8.7 一个注意力head的例子,解释了从“its”这个单词得到的注意力(Vaswani et al., 2017) 图8.14 一个可视化的例子,在这个白色区域表示模型所关注的位置,用基于item-wise的基于RNN的模型生成标题。左上角的单词是模型生成的单词(Xu et al., 2015) 图8.16 左侧为scale点乘attention结构图,右侧为由几个平行的注意力层组成的multi-head注意力结构图(Vaswani et al., 2017) 图8.17 转换模型机制(Vaswani et al., 2017) 图8.18 用基于位置的RNN回答表示(Chen et al., 2017) 图8.21 R-net 结构图解(Microsoft Asia Natural Language Computing Group, 2017) 图8.23 (a)是原始的seq2seq模型,(b)是长度为3的目标端瞥见模型 ,符号“<”和“>”是序列的开始和结束(Shao et al., 2017) 图8.29 (a)模型的单层版本,(b)模型的三层版本(Sukhbaatar et al., 2015) 图8.35 (a)基于奖励的模仿学习模型,(b)前馈预测模型(Weston, 2016) 图8.36 面向目标的对话的任务例子(Bordes et al., 2016)