章
神经网络发展史 / 1
1.1 神经网络的早期雏形 / 3
1.1.1 联结主义和Hebb 学习规则 / 4
1.1.2 Oja 学习规则及主分量分析 / 5
1.1.3 早期的神经元模型 / 5
1.2 现代神经网络 / 6
1.2.1 反向传播算法 / 6
1.2.2 神经网络的通用函数近似性 / 8
1.2.3 深度的必要性 / 9
1.3 深度学习发展历史中的重要神经网络 / 10
1.3.1 深度神经网络的兴起 / 10
1.3.2 自组织特征映射 / 10
1.3.3 霍普菲尔德神经网络 / 11
1.3.4 玻尔兹曼机及受限玻尔兹曼机 / 12
1.3.5 深度信念网 / 14
1.3.6 其他深度神经网络 / 15
1.4 本章小结 / 15
参考文献 / 16
第2章
深度学习开源框架 / 17
2.1 主流的深度学习开源框架 / 18
2.2 简单神经网络模型在不同框架上的实现对比 / 29
2.3 本章小结 / 44
参考文献 / 45
第3章
多层感知机在自然语言处理方面的应用 / 46
3.1 词和文本模型的发展历程 / 47
3.2 Word2Vec 模型：基于上下文的分布式表达 / 49
3.2.1 Skip-Gram 算法的训练流程 / 50
3.2.2 Skip-Gram 算法的网络结构 / 53
3.2.3 代价函数 / 54
3.3 应用TensorFlow 实现Word2Vec 模型 / 58
3.3.1 定义计算图：训练语料库预处理 / 60
3.3.2 模型计算图的实现 / 63
3.4 Word2Vec 模型的局限及改进 / 66
3.5 本章小结 / 67
参考文献 / 68
第4章
卷积神经网络在图像分类中的应用 / 69
4.1 图像识别和图像分类的发展 / 72
4.2 AlexNet / 73
4.2.1 网络模型结构 / 74
4.2.2 AlexNet 的具体改进 / 79
4.2.3 代价函数 / 83
4.3 应用TensorFlow 实现AlexNet / 83
4.3.1 读取训练图像集 / 83
4.3.2 模型计算图的实现 / 84
4.4 本章小结 / 85
参考文献 / 86
第5章
递归神经网络 / 87
5.1 递归神经网络应用背景介绍 / 88
5.2 递归神经网络模型介绍 / 89
5.2.1 递归神经网络模型结构 / 89
5.2.2 双向递归神经网络 / 90
5.2.3 长短期记忆模型 / 91
5.3 递归神经网络展望 / 94
5.4 本章小结 / 95
参考文献 / 95
第6章
DeepIntent 模型在信息检索领域的应用 / 96
6.1 信息检索在搜索广告中的应用发展 / 97
6.2 含有注意力机制的RNN 模型 / 99
6.2.1 网络模型结构 / 100
6.2.2 代价函数 / 104
6.3 应用TensorFlow 实现DeepIntent 模型 / 107
6.3.1 定义计算图 / 107
6.3.2 定义代价函数及优化算法 / 114
6.3.3 执行计算图进行训练 / 118
6.4 本章小结 / 119
参考文献 / 120
第7章
图像识别及在广告搜索方面的应用 / 121
7.1 视觉搜索 / 122
7.2 方法和系统 / 124
7.2.1 图像DNN 编码器 / 124
7.2.2 利用Rich-CDSSM 降低维度 / 125
7.2.3 快速最近邻搜索系统 / 127
7.2.4 精密层 / 127
7.2.5 端到端服务系统 / 128
7.3 评测 / 129
7.4 用于演示的Visual Shopping Assistant 应用程序 / 131
7.5 相关工作 / 132
7.6 本章小结 / 133
第8章
Seq2Seq 模型在聊天机器人中的应用 / 134
8.1 Seq2Seq 模型应用背景 / 135
8.2 Seq2Seq 模型的应用方法 / 136
8.3 含有注意力机制的多层Seq2Seq 模型 / 137
8.3.1 词嵌入层 / 137
8.3.2 可变深度LSTM 递归层 / 138
8.3.3 注意力机制层 / 139
8.3.4 投影层 / 139
8.3.5 损失函数（loss function）和端到端训练 / 140
8.4 信息导向的自适应序列采样 / 142
8.5 多轮项目推荐 / 143
8.6 熵作为信心的度量 / 143
8.6.1 直观的定义和讨论 / 143
8.6.2 序列后验估计的不确定性 / 145
8.6.3 信息导向的抽样：优选化预期信息增益的原则 / 145
8.6.4 Seq2Seq 模型的3 个应用程序 / 146
8.6.5 应用程序1：查询理解和重写 / 147
8.6.6 应用程序2：相关性评分 / 152
8.6.7 应用程序3：聊天机器人 / 156
8.7 本章小结 / 160
参考文献 / 160
第9章
word2vec 的改进：fastText 模型 / 162
9.1 fastText 模型的原理 / 163
9.1.1 回顾Skip-Gram 算法 / 163
9.1.2 subword 模型 / 164
9.1.3 subword 形态 / 167
9.1.4 分层softmax / 168
9.1.5 fastText 的模型架构 / 170
9.1.6 fastText 算法实现 / 171
9.2 应用场景：搜索广告中的查询词关键词匹配问题 / 172
9.3 本章小结 / 173
参考文献 / 174
0章
生成对抗网络 / 175
10.1 生成对抗网络的原理 / 176
10.1.1 GAN 的基本模型 / 176
10.1.2 GAN 优化目标的原理 / 178
10.1.3 GAN 的训练 / 179
10.1.4 GAN 的扩展模型 / 180
10.2 应用场景：搜索广告中由查询词直接生成关键词 / 182
10.2.1 生成模型的构建 / 182
10.2.2 判别模型的构建 / 184
10.2.3 条件生成对抗网络的构建 / 185
10.3 本章小结 / 186
参考文献 / 187
1章
深度强化学习 / 188
11.1 深度强化学习的原理 / 189
11.1.1 强化学习的基本概念 / 189
11.1.2 马尔可夫决策过程 / 191
11.1.3 价值函数和贝尔曼方程 / 192
11.1.4 策略迭代和值迭代 / 194
11.1.5 Q-Learning / 196
11.1.6 深度Q 网络 / 198
11.1.7 策略梯度 / 201
11.1.8 动作评价网络 / 202
11.2 应用场景：基于深度强化学习的推荐系统 / 203
11.3 本章小结 / 206
参考文献 / 206
2章
工程实践和线上优化 / 208
12.1 Seq2Seq 模型介绍 / 209
12.2 LSTM 优化分析 / 211
12.2.1 优化一：指数运算的近似展开 / 214
12.2.2 优化二：矩阵运算的执行速度优化 / 218
12.2.3 优化三：多线程并行处理 / 224
12.3 优化应用实例：RapidScorer 算法对GBDT 的加速 / 227
12.3.1 背景介绍 / 228
12.3.2 RapidScorer 数据结构设计 / 231
12.3.3 RapidScorer 矢量化 / 233
12.3.4 RapidScorer 实验结果 / 237
12.4 本章小结 / 238
参考文献 / 239
3章
深度学习的下一个浪潮 / 240
13.1 深度学习的探索方向展望 / 241
13.1.1 设计更好的生成模型 / 241
13.1.2 深度强化学习的发展 / 241
13.1.3 半监督学习与深度学习 / 242
13.1.4 深度学习自身的学习 / 242
13.1.5 迁移学习与深度学习的结合 / 242
13.1.6 用于推理的深度学习 / 243
13.1.7 深度学习工具的标准化 / 243
13.2 深度学习的应用场景展望 / 243
13.2.1 医疗健康领域 / 243
13.2.2 安全隐私领域 / 248
13.2.3 城市治理领域 / 249
13.2.4 艺术创作领域 / 250
13.2.5 金融保险领域 / 252
13.2.6 无人服务领域 / 254
13.3 本章小结 / 257
参考文献 / 258

本书深入浅出的介绍了深度学习的概念，原理和常见模型，并着重介绍了将深度学习应用于实际工程项目时所涉及的一系列问题，包括实际应用场景的介绍，对实际应用的数学建模，深度学习网络的选择和构建，以及深度学习网络训练算法的具体实现。本书分三个部分，共十二章。其中第