李理，毕业于北京大学，研究方向为自然语言处理，有十多年自然语言处理和人工智能研发经验，先后在去哪儿网、百度和出门问问等企业工作，从事过分布式爬虫、搜索引擎、广告系统，主持研发过多款智能硬件的问答和对话系统。现在是环信人工智能研发中心的VP，负责环信中文语义分析开放平台和环信智能机器人的设计与研发。目前他致力于语音识别、自然语言处理等人工智能技术在企业中的推广和落地，以提高企业服务的水平和效率。

目录
第 1 章 人工智能的基本概念 1
1.1 人工智能的发展历史 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1
1.2 机器学习 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4
1.3 常见的监督学习模型 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8
1.4 衡量指标 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16
1.5 损失函数 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17
1.6 优化 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18
1.7 过拟合 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20
1.8 机器学习示例：线性回归 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22
第 2 章 神经网络 27
2.1 手写数字识别问题 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27
2.2 单个神经元和多层神经网络 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30
2.3 用代码实战多层神经网络 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33
2.4 多层神经网络构建代码解析 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33
2.5 反向传播算法的推导 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39
2.6 代码实现反向传播算法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47
2.7 为什么反向传播算法是一个高效的算法 . . . . . . . . . . . . . . . . . . . . . . . . . 50
2.8 优化技巧 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50
第 3 章 卷积神经网络 59
3.1 卷积神经网络简介 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 59
3.2 局部感知域 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 59
3.3 特征映射 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 62
3.4 池化 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 63
3.5 构建完整的卷积神经网络 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 65
3.6 填充和步长 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 65
3.7 CNN 识别 MNIST 手写数字 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 66
3.8 CNN 模型识别 CIFAR-10 图像 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 71
3.9 使用残差网络识别 MNIST 图像 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 92
第 4 章 循环神经网络 101
4.1 基本概念 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 101
4.2 RNN 的扩展 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 102
4.3 Word Embedding 简介 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 103
4.4 姓名分类 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 104
4.5 RNN 生成莎士比亚风格句子 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 114
4.6 机器翻译 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 123
4.7 汉语―英语翻译的批量训练 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 146
第 5 章 生成对抗网络 156
5.1 为什么研究生成模型 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 156
5.2 生成模型的原理以及 GAN 与其他生成模型的区别 . . . . . . . . . . . . . . . . . . . 159
5.3 GAN 的原理 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 165
5.4 深度卷积生成对抗网络 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 168
5.5 反卷积 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 168
5.6 DCGAN 实战 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 175
第 6 章 TensorFlow 196
6.1 TensorFlow 简介 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 196
6.2 Opitimizer . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 219
6.3 数据的处理和输入 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 226
6.4 常见网络结构 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 250
6.5 RNN 在 TensorFlow 中的实现 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 258
6.6 TensorBoard . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 276
6.7 高层 API . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 281
6.8 调试 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 309
6.9 TensorFlow Serving . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 316
第 7 章 PyTorch 343
7.1 基础知识 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 343
7.2 PyTorch 神经网络简介 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 350
7.3 训练一个分类器 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 354
7.4 使用 NumPy 实现三层神经网络 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 363
7.5 使用 Tensor 实现三层神经网络 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 364
7.6 使用 autograd 实现三层神经网络 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 365
7.7 使用自定义的 ReLU 函数 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 367
7.8 和 TensorFlow 的对比 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 369
7.9 使用 nn 模块实现三层神经网络 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 370
7.10 使用 optim 包 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 372
7.11 自定义 nn 模块 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 373
7.12 流程控制和参数共享 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 374
7.13 迁移学习示例 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 375
7.14 数据的加载和预处理 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 382
第 8 章 Keras 393
8.1 Keras 简介 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 393
8.2 Hello World . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 393
8.3 Sequential API . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 395
8.4 多分类 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 398
8.5 两分类 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 400
8.6 1D 卷积进行序列分类 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 400
8.7 多层 LSTM 序列分类 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 402
8.8 有状态的 LSTM . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 404
8.9 Functional API . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 405
8.10 判断两个数字是否是同一个数字 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 410
8.11 图片问答 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 411
8.12 视频问答 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 413

本书不仅包含人工智能、机器学习及深度学习的基础知识，如卷积神经网络、循环神经网络、生成对抗网络等，而且也囊括了学会使用TensorFlow、PyTorch和Keras这三个主流的深度学习框架的最小知识量；不仅有针对相关理论的深入解释，而且也有实用的技巧，包括常见的优化技巧、使