本书以PyTorch为基础，介绍机器学习的基础知识与常用方法，全面细致地提供了基本机器学习操作的原理和在PyTorch框架下的实现步骤。全书分为基础篇和实战篇，包括16章内容和两个附录，分别为深度学习简介、深度学习框架、机器学习基础知识、PyTorch深度学习基础、Logistic回归、神经网络基础、卷积神经网络与计算机视觉、神经网络与自然语言处理、搭建卷积神经网络进行图像分类、图像风格迁移、基于RNN的文本分类、基于CNN的视频行为识别、实现对抗性样本生成、实现基于LSTM的情感分析、实现DCGAN、视觉问答、PyTorch环境搭建、深度学习的数学基础。本书将理论与实践紧密结合，相信能为读者提供有益的学习指导。
本书适合Python深度学习初学者、机器学习算法分析从业人员以及高等院校计算机科学、软件工程等相关专业的师生阅读。

基础篇
第1章 深度学习简介
1.1 计算机视觉
1.1.1 定义
1.1.2 基本任务
1.1.3 传统方法
1.1.4 仿生学与深度学习
1.1.5 现代深度学习
1.1.6 小结
1.2 自然语言处理
1.2.1 自然语言处理的基本问题
1.2.2 传统方法与神经网络方法的比较
1.2.3 发展趋势
1.3 强化学习
1.3.1 什么是强化学习
1.3.2 强化学习算法简介
1.3.3 强化学习的应用
第2章 深度学习框架
2.1 Caffe
2.1.1 Caffe简介
2.1.2 Caffe的特点
2.1.3 Caffe概述
2.2 TensorFlow
2.2.1 TensorFlow简介
2.2.2 数据流图
2.2.3 TensorFlow的特点
2.2.4 TensorFlow概述
2.3 PyTorch
2.3.1 PyTorch简介
2.3.2 PyTorch的特点
2.3.3 PyTorch概述
2.4 三者的比较
2.4.1 Caffe
2.4.2 TensorFlow
2.4.3 PyTorch
第3章 机器学习基础知识
3.1 模型评估与模型参数选择
3.1.1 验证
3.1.2 正则化
3.2 监督学习与非监督学习
3.2.1 监督学习
3.2.2 非监督学习
第4章 PyTorch深度学习基础
4.1 Tensor对象及其运算
4.2 Tensor的索引和切片
4.3 Tensor的变换、拼接和拆分
4.4 PyTorch的Reduction操作
4.5 PyTorch的自动微分
第5章 Logistic回归
5.1 线性回归
5.2 Logistic回归
5.3 用PyTorch实现Logistic回归
5.3.1 数据准备
5.3.2 线性方程
5.3.3 激活函数
5.3.4 损失函数
5.3.5 优化算法
5.3.6 模型可视化
第6章 神经网络基础
6.1 基础概念
6.2 感知器
6.2.1 单层感知器
6.2.2 多层感知器
6.3 BP神经网络
6.3.1 梯度下降
6.3.2 后向传播
6.4 Dropout正则化
6.5 批标准化
6.5.1 Batch Normalization的实现方式
6.5.2 Batch Normalization的使用方法
第7章 卷积神经网络与计算机视觉
7.1 卷积神经网络的基本思想
7.2 卷积操作
7.3 池化层
7.4 卷积神经网络
7.5 经典网络结构
7.5.1 VGG网络
7.5.2 InceptionNet
7.5.3 ResNet
7.6 用PyTorch进行手写数字识别
第8章 神经网络与自然语言处理
8.1 语言建模
8.2 基于多层感知机的架构
8.3 基于循环神经网络的架构
8.3.1 循环单元
8.3.2 通过时间后向传播
8.3.3 带有门限的循环单元
8.3.4 循环神经网络语言模型
8.3.5 神经机器翻译
8.4 基于卷积神经网络的架构
8.5 基于Transformer的架构
8.5.1 多头注意力
8.5.2 非参位置编码
8.5.3 编码器单元与解码器单元
8.6 表示学习与预训练技术
8.6.1 词向量
8.6.2 加入上下文信息的特征表示
8.6.3 网络预训练
8.7 小结
实战篇
第9章 搭建卷积神经网络进行图像分类
9.1 实验数据准备
9.2 数据预处理和准备
9.2.1 数据集的读取
9.2.2 重载data.Dataset类
9.2.3 transform数据预处理
9.3 模型构建
9.3.1 ResNet-50
9.3.2 bottleneck的实现
9.3.3 ResNet-50卷积层定义
9.3.4 ResNet-50 forward实现
9.3.5 预训练参数装载
9.4 模型训练与结果评估
9.4.1 训练类的实现
9.4.2 优化器的定义
9.4.3 学习率衰减
9.4.4 训练
9.5 总结
第10章 图像风格迁移
10.1 VGG模型
10.2 图像风格迁移介绍
10.3 内容损失函数
10.3.1 内容损失函数的定义
10.3.2 内容损失模块的实现
10.4 风格损失函数
10.4.1 风格损失函数的定义
10.4.2 计算Gram矩阵函数的实现
10.4.3 风格损失模块的实现
10.5 优化过程
10.6 图像风格迁移主程序的实现
10.6.1 图像预处理
10.6.2 参数定义
10.6.3 模型初始化
10.6.4 运行风格迁移的主函数
10.6.5 利用VGG网络建立损失函数
10.6.6 风格迁移的优化过程
10.6.7 运行风格迁移
第11章 基于RNN的文本分类
11.1 数据准备
11.2 将名字转换为张量
11.3 构建神经网络
11.4 训练
11.4.1 准备训练
11.4.2 训练RNN网络
11.5 绘制损失变化图
11.6 预测结果
11.7 预测用户输入
第12章 基于CNN的视频行为识别
12.1 问题描述
12.2 源码结构
12.3 数据准备
12.4 模型搭建与训

深度学习领域技术的飞
速发展，给人们的生活带来
了很大改变。例如，智能语
音助手能够与人类无障碍地
沟通，甚至在视频通话时可
以提供实时翻译；将手机摄
像头聚焦在某个物体上，该
物体的相关信息就会被迅速
地反馈给使用者；在购物网
站上浏览商品时，机器也在
同时分析着用户的偏好，并
及时个性化地推荐用户可能
感兴趣的商品。原先以为只
有人类才能做到的事，现在
机器也能毫无差错地完成，
甚至超越人类，这显然与深
度学习的发展密不可分，技
术正引领人类社会走向崭新
的世界。
PyTorch是当前主流深度
学习框架之一，其设计追求
最少的封装、最直观的设计
，其简洁优美的特性使得
PyTorch代码更易理解，对
新手非常友好。本书选择
PyTorch作为深度学习框架
，以方便读者阅读。
本书以深度学习为主题
，将理论与简明实战案例相
结合，以加深读者对于理论
知识的理解。本书首先介绍
深度学习领域的现状，深度
学习领域和其他领域技术之
间的关系，以及它们的主要
特点和适用范围；接下来，
详细讲解PyTorch框架中的
基本操作，并在讲解深度学
习理论知识的同时，提供完
整、详尽的实现过程，供读
者参考。相信读者在阅读完
本书后，会对深度学习有全
面而深刻的了解，同时具备
相当强的实践能力。
全书共分为两篇，包括
16章内容。
基础篇涵盖第1～8章，
第1章深度学习简介，包括
计算机视觉、自然语言处理
、强化学习；第2章深度学
习框架，包括Caffe、
TensorFlow、PyTorch；第3
章机器学习基础知识，包括
模型评估与模型参数选择、
监督学习与非监督学习；第
4章PyTorch深度学习基础，
包括Tensor对象及其运算，
Tensor的索引和切片，
Tensor的变换、拼接和拆分
，PyTorch的Reduction操作
，PyTorch的自动微分；第5
章Logistic回归，包括线性
回归、Logistic回归、用
PyTorch实现Logistic回归；
第6章神经网络基础，包括
基础概念、感知器、BP神
经网络、Dropout正则化、
批标准化；第7章卷积神经
网络与计算机视觉，包括卷
积神经网络的基本思想、卷
积操作、池化层、卷积神经
网络、经典网络结构、用
PyTorch进行手写数字识别
；第8章神经网络与自然语
言处理，包括语言建模、基
于多层感知机的架构、基于
循环神经网络的架构、基于
卷积神经网络的架构、基于
Transformer的架构、表示
学习与预训练技术。
实战篇涵盖第9～16章，
第9章搭建卷积神经网络进
行图像分类，包括实验数据
准备、数据预处理和准备、
模型构建、模型训练与结果
评估；第10章图像风格迁移
，包括VGG模型、图像风格
迁移介绍、内容损失函数、
风格损失函数、优化过程、
图像风格迁移主程序的实现
；第11章基于RNN的文本分
类，包括数据准备、将名字
转换为张量、构建神经网络
、训练、绘制损失变化图、
预测结果、预测用户输入；
第12章基于CNN的视频行为
识别，包括问题表述、源码
结构、数据准备、模型搭建
与训练、特征图可视化；第
13章实现对抗性样本生成，
包括威胁模型、快速梯度符
号攻击、代码实现、对抗示
例；第14章实现基于LSTM
的情感分析，包括情感分析
常用的Python工具库、数据
样本分析、数据预处理、算
法模型；第15章实现
DCGAN，包括生成对抗网
络、DCGAN介绍、初始化
代码、模型实现、结果；第
16章视觉问答，包括视觉问
答简介、基于Bottom-Up
Attention的联合嵌入模型、
准备工作、实现基础模块、
实现问题嵌入模块、实现
Top-Down Attention模块、
组装完整的VQA系统、运行
VQA实验。
本书特色
（1）内容涵盖深度学习
数学基础讲解，便于没有大
学本科数学基础的读者阅读
。
（2）提供实际可运行的
代码和让读者可以亲自试验
的学习环境。
（3）对于误差反向传播
法、卷积运算等看起来很复
杂的技术，帮助读者在实现
层面上理解。
（4）介绍流行的技术（
如Batch Normalization）并
进行实现。
（5）提供真实的案例、
完整的构建过程以及相应源
代码，使读者能完整感受完
成深度学习项目的过程。
源代码
本书由吕云翔、刘卓然
、关捷雄、欧阳植昊、杨卓
谦、华昱云、陈妙然、黎昆
昌、吕可馨、王渌汀编写，
曾洪立参与了部分内容的编
写并进行了素材整理及配套
资源制作等。由于作者水平
和能力有限，书中难免有疏
漏之处，恳请各位同仁和广
大读者批评指正。
作者
2021年1月