第1章 深度学习基础\t1
1.1 深度学习概述\t1
1.1.1 什么是深度学习\t1
1.1.2 深度学习的应用场景\t3
1.1.3 深度学习的发展动力\t4
1.1.4 深度学习的未来\t4
1.2 Python入门\t5
1.2.1 Python简介\t5
1.2.2 Python的安装\t6
1.2.3 Python基础知识\t6
1.2.4 NumPy矩阵运算\t11
1.2.5 Matplotlib绘图\t15
1.3 Anaconda与Jupyter Notebook\t19
1.3.1 Anaconda\t19
1.3.2 Jupyter Notebook\t21
第2章 PyTorch\t26
2.1 PyTorch概述\t26
2.1.1 什么是PyTorch\t26
2.1.2 为什么使用PyTorch\t27
2.2 PyTorch的安装\t27
2.3 张量\t30
2.3.1 张量的创建\t30
2.3.2 张量的数学运算\t31
2.3.3 张量与NumPy数组\t32
2.3.4 CUDA张量\t33
2.4 自动求导\t33
2.4.1 返回值是标量\t33
2.4.2 返回值是张量\t34
2.4.3 禁止自动求导\t34
2.5 torch.nn和torch.optim\t35
2.5.1 torch.nn\t35
2.5.2 torch.optim\t36
2.6 线性回归\t37
2.6.1 线性回归的基本原理\t37
2.6.2 线性回归的PyTorch实现\t38
第3章 TensorFlow\t41
3.1 TensorFlow概述\t41
3.1.1 什么是TensorFlow\t41
3.1.2 为什么使用TensorFlow\t41
3.2 TensorFlow的安装\t42
3.3 张量\t44
3.3.1 张量的创建\t44
3.3.2 张量的数学运算\t44
3.4 数据流图\t45
3.5 会话\t46
3.6 线性回归的TensorFlow实现\t48
3.7 TensorBoard\t51
3.7.1 TensorBoard代码\t51
3.7.2 TensorBoard显示\t52
第4章 神经网络基础知识\t55
4.1 感知机\t55
4.1.1 感知机模型\t55
4.1.2 感知机与逻辑电路\t56
4.2 多层感知机\t59
4.2.1 感知机的局限性\t59
4.2.2 多层感知机实现异或门逻辑\t61
4.3 逻辑回归\t62
4.3.1 基本原理\t62
4.3.2 损失函数\t63
4.3.3 梯度下降算法\t65
4.3.4 逻辑回归的Python实现\t69
第5章 神经网络\t74
5.1 基本结构\t74
5.2 前向传播\t75
5.3 激活函数\t76
5.4 反向传播\t80
5.5 更新参数\t81
5.6 初始化\t81
5.7 神经网络的Python实现\t82
5.7.1 准备数据\t82
5.7.2 参数初始化\t83
5.7.3 前向传播\t84
5.7.4 交叉熵损失\t85
5.7.5 反向传播\t85
5.7.6 更新参数\t86
5.7.7 构建整个神经网络模型\t87
5.7.8 训练\t88
5.7.9 预测\t88
第6章 深层神经网络\t91
6.1 深层神经网络的优势\t91
6.2 符号标记\t93
6.3 前向传播与反向传播\t93
6.4 多分类函数Softmax\t96
6.4.1 Softmax函数的基本原理\t96
6.4.2 Softmax损失函数\t97
6.4.3 对Softmax函数求导\t97
6.5 深层神经网络的Python实现\t99
6.5.1 准备数据\t99
6.5.2 参数初始化\t101
6.5.3 前向传播\t102
6.5.4 交叉熵损失\t104
6.5.5 反向传播\t105
6.5.6 更新参数\t107
6.5.7 构建整个神经网络\t108
6.5.8 训练与预测\t109
第7章 优化神经网络\t112
7.1 正则化\t112
7.1.1 什么是过拟合\t112
7.1.2 L2正则化和L1正则化\t115
7.1.3 Dropout正则化\t117
7.1.4 其他正则化技巧\t120
7.2 梯度优化\t121
7.2.1 批量梯度下降、随机梯度下降和小批量梯度下降\t121
7.2.2 动量梯度下降算法\t124
7.2.3 牛顿动量\t126
7.2.4 AdaGrad\t127
7.2.5 RMSprop\t127
7.2.6 Adam\t128
7.2.7 学习率衰减\t129
7.3 网络初始化与超参数调试\t130
7.3.1 输入标准化\t130
7.3.2 权重参数初始化\t132
7.3.3 批归一化\t134
7.3.4 超参数调试\t136
7.4 模型评估与调试\t138
7.4.1 模型评估\t138
7.4.2 训练集、验证集和测试集\t139
7.4.3 偏差与方差\t141
7.4.4 错误分析\t141
第8章 卷积神经网络\t144
8.1 为什么选择卷积神经网络\t144
8.2 卷积神经网络的基本结构\t145
8.3 卷积层\t145
8.3.1 卷积\t146
8.3.2 边缘检测\t147
8.3.3 填充\t148
8.3.4 步幅\t149
8.3.5 卷积神经网络卷积\t150
8.3.6 卷积层的作用\t153
8.4 池化层\t153
8.5 全连接层\t156
8.6 卷积神经网络模型\t157
8.7 典型的卷积神经网络模型\t158
8.7.1 LeNet-5\t159
8.7.2 AlexNet\t159
8.8 卷积神经网络模型的PyTorch实现\t160
8.8.1 准备数据\t160
8.8.2 定义卷积神经网络模型\t163
8.8.3 损失函数与梯度优化\t164
8.8.4 训练模型\t165
8.8.5 测试模型\t166
8.9 卷积神经网络模型的TensorFlow实现\t167
8.9.1 准备数据\t167
8.9.2 定义卷积神经网络模型\t168
8.9.3 损失函数与优化算法\t170
8.9.4 训练并测试\t170
第9章 循环神经网络\t171
9.1 为什么选择循环神经网络\t171
9.2 循环神经网络的基本结构\t172
9.3 模型参数\t173
9.4 梯度消失\t174
9.5 GRU\t175
9.6 LSTM\t176
9.7 多种循环神经网络模型\t177
9.8 循环神经网络模型的PyTorch实现\t179
9.8.1 准备数据\t180
9.8.2 定义循环神经网络模型\t182
9.8.3 损失函数与梯度优化\t183
9.8.4 训练模型\t183
9.8.5 测试模型\t184
9.9 循环神经网络模型的TensorFlow实现\t185
9.9.1 准备数据\t185
9.9.2 定义循环神经网络模型\t185
9.9.3

★★这是一本深度学习的入门书籍，也是一本关于Python、PyTorch、TensorFlow的工具手册；这是一本深度学习的理论书籍，也是一本教你如何编写代码构建神经网络的实战手册。
★★本书面向的读者包括深度学习初学者、对深度学习感兴趣的在校大学生、有意向转行人工智能领域的IT从业人员。

19世纪70 年代，电力的发明和应用掀起了第二次
工业化高潮，从此改变了人们的生活方式，大大提高了
人类的科技水平。现如今，深度学习技术也正在发挥同
样的作用。近年来，深度学习技术的发展非常迅速，表
现出强劲的发展势头。毫无疑问，深度学习技术正在影
响我们的日常生活和行为方式。深度学习怎么学深度学
习怎么学？事实上，很多初学者常常有两大误区：一是
找不到一本真正适合自己的教材或书本来学习，陷入海
量资源中手足无措；二是受制于数学理论知识的匮乏，
自认为数学基础不好而影响学习的主动性和积极性。这
两大误区很容易让初学者陷入迷茫的状态。所以，第一
步就是放弃海量资源。选择一份真正适合自己的资料，
好好研读；第二步就是重视实践。深度学习涉及的理论
知识很多，有些人可能基础不是特别扎实，就想从最底
层的知识开始学起，如概率论、线性代数、凸优化理论
等，但是这样做比较耗时间，而且容易减弱学习的积极
性。啃书本和推导公式相对来说是比较枯燥的，远不如
自己搭建一个简单的神经网络模型更能激发学习的积极
性。当然，基础理论知识非常重要，只是在入门的时候
，最好先从顶层框架上有个系统的认识，然后再从实践
到理论，有的放矢地补充深度学习的知识点。从宏观到
微观，从整体到细节，更有利于快速入门！ 为什么写
这本书在学习深度学习的几年时间里，我学习过一些国
内外优秀的深度学习公开课程，这些课程口碑都很好；
我也看过不少优秀老师写的高质量书籍，收获颇丰；我
也在学习的过程中走过一些弯路，这些都是宝贵的经验
。我个人觉得，任何前沿技术，如深度学习，扎实的基
础知识非常重要，而最好的基础知识的获取方式还是教
材和书本。反观现在一些深度学习方面的书籍，或多或
少存在以下问题：（1）数学理论太多，公式多，起点
高，对初学者不友善，容易削弱初学者学习的积极性。
（2）只讲深度学习框架，介绍如何调包、调用库函数
，不讲深度学习的理论知识。容易造成初学者对深度学
习技术的一知半解，沦为“调包侠”。（3）理论与实
战脱节，过于侧重理论或者过于侧重实战，两者之间没
有很好的融合。基于以上问题，我认为写一本真正适合
深度学习初学者的入门书籍非常必要。这本书籍不仅要
兼顾理论和实战，还应该将重点和难点知识通俗化、全
面、细致地讲解。知识的难度呈阶梯性，照顾不同水平
的读者。这样的书籍才能最大限度地让读者受益。基于
这样的考虑，《深度学习入门：基于PyTorch和
TensorFlow的理论与实现》与大家见面了。全书共9章
，主要内容如下：第1～3章，主要对深度学习进行简要
概述，列举重要的Python基础知识，如何搭建开发环境
，以及TensorFlow和PyTorch的精炼教程等内容。第4
～7章，主要介绍神经网络的基础知识，以感知机入手
，到简单的两层神经网络，详细推导正向传播与反向梯
度的算法理论，然后介绍深层神经网络，并重点介绍神
经网络优化算法及构建神经网络模型的实用建议。第8
～9章，主要介绍卷积神经网络（CNN）和循环神经网络
（RNN）的基本结构，重点剖析两种模型的数学原理和
推导过程。本书特色对于初学者而言，一本好的深度学
习书籍能够让读者轻轻松松地掌握基础知识并触类旁通
。本书作为一本深度学习的入门书籍，对初学者是非常
友好的。本书的内容来自我多年的知识积累和技术沉淀
，也是我的深度学习经验总结。首先，这本书包含了
Python的基本介绍。Python作为人工智能的首选语言，
其重要性不言而喻。Python入门非常简单。本书将对深
度学习技术所需的基本Python语法知识进行简明扼要的
提炼和概括。如果有的读者之前没有接触过Python，那
么本书将带你轻松入门。其次，这本书介绍了当今主流
的深度学习框架PyTorch和TensorFlow。通过本书，读
者可以系统地学习这两个框架的基本语法和基础知识，
夯实基础。如果之前对PyTorch和TensorFlow不了解也
没有关系，这本书也可以作为这两个框架的知识学习手
册。最重要的，这是一本关于深度学习的入门教程。我
在编写本书的时候，从“小白”的视角出发，结合多年
的知识积累和经验总结，尽量将深度学习、神经网络的
理论知识用通俗易懂的语言描绘出来。这本书能让读者
真正了解、熟悉神经网络的结构和优化方法，也能帮助
读者梳理一些容易被忽视的技术细节。例如最简单的梯
度下降算法，它的公式来源和理论支持是什么？本书会
给出详细的解释。值得注意的是，我一贯坚持将复杂的
理论简单化，本书会将理论以通俗的语言描述清楚，不
深陷于数学公式之中。本书面向深度学习的入门者和初
学者，不会涉及太多、太复杂的理论知识。因为入门深
度学习，前期整体上的感性认识尤为重要。先轻松入门
再深入了解，往往是比较正确的学习路线。我在编写本
书的时候，也一直以此为原则。如果想要学习更深层次
、更高级的深度学习知识，读者可以查阅更多的书籍、
论文、会议资料等。除此之外，深度学习更重要的是代
码实践。本书

本书是一本系统介绍深度学习基础知识和理论原理的入门书籍。本书从神经网络的基本结构入手，详细推导了前向传播与反向传播的数学公式和理论支持，详细介绍了如今各种优化神经网络的梯度优化算法和正则化技巧，给出了在实际应用中的超参数调试和网络训练的技巧。同时，也介绍了典型的卷积神经网络（CNN）和循环神经网络（RNN）。除了介绍理论基础外，本书以Python为基础，详细介绍了如今主流的深度学习框架PyTorch和TensorFlow，并分别使用这两种框架来构建相应的项目，帮助读者从理论和实践中提高自己的深度学习知识水平。