深度学习如今已经成为了科技领域很炙手可热的技术，在本书中，我们将帮助你入门深度学习的领域。本书将从人工智能的介绍入手，了解机器学习和深度学习的基础理论，并学习如何用PyTorch框架对模型进行搭建。通过阅读本书，你将会学习到机器学习中的线性回归和logistic回归，深度学习的优化方法，多层全连接神经网络，卷积神经网络，循环神经网络以及生成对抗网络，同时从零开始对PyTorch进行学习，了解PyTorch基础及如何用其进行模型的搭建，很后通过实战了解很前沿的研究成果和PyTorch在实际项目中的应用。

廖星宇，目前就读于中国科学技术大学应用数学系，获得国家一等奖学金。在个人博客、知乎等平台上发布多篇关于深度学习的文章，具有一定的阅读量和人气。

章深度学习介绍1
1.1人工智能.......................1
1.2数据挖掘、机器学习与深度学习.......................2
1.2.1数据挖掘................................3
1.2.2机器学习................................3
1.2.3深度学习................................4
1.3学习资源与建议................................8
第2章深度学习框架11
2.1深度学习框架介绍...............................11
2.2PyTorch介绍..................................13
2.2.1什么是PyTorch............................13
2.2.2为何要使用PyTorch..........................14
2.3配置PyTorch深度学习环境..........................15
2.3.1操作系统的选择............................15
2.3.2Python开发环境的安装........................16
2.3.3PyTorch的安装............................18
第3章多层全连接神经网络24
3.1热身：PyTorch基础..............................24
3.1.1Tensor（张量）............................24
3.1.2Variable（变量）...........................26
3.1.3Dataset（数据集）...........................28
3.1.4nn.Module（模组）..........................29
3.1.5torch.optim（优化）..........................30
3.1.6模型的保存和加载..........................31
3.2线性模型32
3.2.1问题介绍................................32
3.2.2一维线性回归.............................33
3.2.3多维线性回归.............................34
3.2.4一维线性回归的代码实现......................35
3.2.5多项式回归..............................38
3.3分类问题42
3.3.1问题介绍................................42
3.3.2Logistic起源..............................42
3.3.3Logistic分布..............................42
3.3.4二分类的Logistic回归........................43
3.3.5模型的参数估计............................44
3.3.6Logistic回归的代码实现.......................45
3.4简单的多层全连接前向网络.........................49
3.4.1模拟神经元..............................49
3.4.2单层神经网络的分类器........................50
3.4.3激活函数................................51
3.4.4神经网络的结构............................54
3.4.5模型的表示能力与容量........................55
3.5深度学习的基石：反向传播算法.......................57
3.5.1链式法则................................57
3.5.2反向传播算法.............................58
3.5.3Sigmoid函数举例...........................58
3.6各种优化算法的变式.............................59
3.6.1梯度下降法..............................59
3.6.2梯度下降法的变式..........................62
3.7处理数据和训练模型的技巧.........................64
3.7.1数据预处理..............................64
3.7.2权重初始化..............................66
3.7.3防止过拟合..............................67
3.8多层全连接神经网络实现MNIST手写数字分类..............69
3.8.1简单的三层全连接神经网络.....................70
3.8.2添加激活函数.............................70
3.8.3添加批标准化.............................71
3.8.4训练网络................................71
第4章卷积神经网络76
4.1主要任务及起源................................76
4.2卷积神经网络的原理和结构.........................77
4.2.1卷积层.................................80
4.2.2池化层.................................84
4.2.3全连接层................................85
4.2.4卷积神经网络的基本形式......................85
4.3PyTorch卷积模块...............................87
4.3.1卷积层.................................87
4.3.2池化层.................................88
4.3.3提取层结构..............................90
4.3.4如何提取参数及自定义初始化....................91
4.4卷积神经网络案例分析............................92
4.4.1LeNet..................................93
4.4.2AlexNet.................................94
4.4.3VGGNet................................95
4.4.4GoogLeNet...............................98
4.4.5ResNet.................................100
4.5再实现MNIST手写数字分类.........................103
4.6图像增强的方法................................105
4.7实现cifar10分类................................107
第5章循环神经网络111
5.1循环神经网络.................................111
5.1.1问题介绍................................112
5.1.2循环神经网络的基本结构......................112
5.1.3存在的问题..............................115
5.2循环神经网络的变式：LSTM与GRU....................116
5.2.1LSTM..................................116
5.2.2GRU..................................119
5.2.3收敛性问题..............................120
5.3循环神经网络的PyTorch实现........................122
5.3.1PyTorch的循环网络模块.......................122
5.3.2实例介绍................................127
5.4自然语言处理的应用.............................131
5.4.1词嵌入.................................131
5.4.2词嵌入的PyTorch实现........................133
5.4.3NGram模型..............................133
5.4.4单词预测的PyTorch实现.......................134
5.4.5词性判断................................136
5.4.6词性判断的PyTorch实现.......................137
5.5循环神经网络的更多应用...........................140
5.5.1Manytoone..............................140
5.5.2ManytoMany（shorter）.......................141
5.5.3Seq2seq.................................141
5.5.4CNN+RNN...............................142
第6章生成对抗网络144
6.1生成模型144
6.1.1自动编码器..............................145
6.1.2变分自动编码器............................150
6.2生成对抗网络.................................153
6.2.1何为生成对抗网络..........................153
6.2.2生成对抗网络的数学原理......................160
6.3ImprovingGAN.................................164
6.3.1WassersteinGAN............................164
6.3.2ImprovingWGAN...........................167
6.4应用介绍168
6.4.1ConditionalGAN............................168
6.4.2CycleGAN...............................170
第7章深度学习实战173
7.1实例一——猫狗大战：运用预训练卷积神经网络进行特征提取与预测.173
7.1.1背景介绍................................174
7.1.2原理分析................................174
7.1.3代码实现................................177
7.1.4总结..................................183
7.2实例二——DeepDream：探索卷积神经网络眼中的世界.........183
7.2.1原理介绍................................184
7.2.2预备知识：backward.........................185
7.2.3代码实现................................190
7.2.4总结..................................195
7.3实例三——Neural-Style：使用PyTorch进行风格迁移...........196
7.3.1背景介绍................................196
7.3.2原理分析................................197
7.3.3代码实现................................199
7.3.4总结..................................205
7.4实例四——Seq2seq：通过RNN实现简单的NeuralMachineTranslation.205
7.4.1背景介绍................................206
7.4.2原理分析................................206
7.4.3代码实现................................209
7.4.4总结..................................221