鲁伟，贝叶斯统计方向硕士毕业，深度学习算法工程师，微信公众号“机器学习实验室”主编，对人工智能、机器学习、深度学习、医学图像处理和计算机视觉等有深入研究。

作者以学习者的身份和过来人的角度来谈深度
学习，对于广大想要入门深度学习而不知方法路径
的读者而言很有指导价值，笔记二字也能快速拉近
与读者的距离。
—— 有三AI创始人 言有三
作为一本深度学习入门书籍，这本深度学习笔
记几乎覆盖了大多数深度学习知识体系，从DNN到
CNN再到RNN，分别对应神经网络理论基础、计算机
视觉和自然语言处理，作者以学习者和从业者的身
份告诉大家深度学习怎样学，从提纲挈领到入微细
节，是一本深度学习入门好书。
—— 华东师范大学统计学院 汤银才教授
当我们谈起人工智能时，可能很多人都觉得它
很专业而且离我们很遥远。我们付款可以刷脸了，
寂寞的时候可以和Siri聊天，带一只翻译笔就可以
解决跨国语言交流障碍，打开一个页面瞬间都是我
们喜欢的内容，看完这些后，你还会觉得遥远吗？
很显然，不遥远。这些就是人工智能的杰作。
人工智能是一个泛泛的概念，也有人称为机器
学习，通俗的解释就是让机器像人类一样思考、做
事，而深度学习就是人工智能的核心技术之一，多
数人面对学习深度学习都感到很恐惧，认为太专业
了、太深奥了，根本不可能啃动！那我建议你先看
看这本深度学习的笔记，整本书通俗易懂、风趣幽
默，实战性强，相信你也能快速掌握这门人工智能
的核心技术。
—— 爱数圈创始人、知名数据大V 邓凯

第1讲神经网络与深度学习
1.1 机器学习与深度学习的关系
1.2 感知机与神经网络
第2讲神经网络的过拟合与正则化
2.1 机器学习的核心要义
2.2 范数与正则化
2.3 神经网络的正则化和Dropout
第3讲深度学习的优化算法
3.1 机器学习的数学规约
3.2 损失函数和深度学习优化算法
3.3 梯度下降法
3.4 从Momentum到Adam
第4讲卷积神经网络
4.1 CNN发展简史与相关人物
4.2 卷积的含义
4.3 池化和全连接
深度学习笔记目录第5讲CNN图像学习过程与可视化
5.1 CNN的直观理解
5.2 CNN图像学习的可视化
第6讲CNN图像分类：从LeNet5到EfficientNet
6.1 计算机视觉的三大任务
6.2 CNN图像分类发展史
第7讲CNN目标检测：从RCNN到YOLO
7.1 目标检测概述
7.2 CNN目标检测算法
第8讲CNN图像分割：从FCN到U-Net
8.1 语义分割和实例分割概述
8.2 语义分割
第9讲迁移学习理论与实践
9.1 迁移学习：深度学习未来五年的驱动力？
9.2 迁移学习的使用场景
9.3 深度卷积网络的可迁移性
9.4 迁移学习的使用方法
9.5 基于ResNet的迁移学习实验
第10讲循环神经网络
10.1 从语音识别到自然语言处理
10.2 RNN：网络架构与技术
10.3 四种RNN结构
第11讲长短期记忆网络
11.1 深度神经网络的困扰：梯度爆炸与梯度消失
11.2 LSTM：让RNN具备更好的记忆机制
第12讲自然语言处理与词向量
12.1 自然语言处理简介
12.2 词汇表征
12.3 词向量与语言模型
第13讲word2vec词向量
13.1 word2vec
13.2 word2vec的训练过程：以CBOW为例
第14讲seq2seq与注意力模型
14.1 seq2seq的简单介绍
14.2 注意力模型
14.3 基于seq2seq和Attention机制的机器翻译实践
第15讲语音识别
15.1 概述
15.2 信号处理与特征提取
15.3 传统声学模型
15.4 基于深度学习的声学模型
15.5 端到端的语音识别系统简介
第16讲从Embedding到XLNet：NLP预训练模型简介
16.1 从Embedding到ELMo
16.2 特征提取器：Transformer
16.3 低调王者：GPT
16.4 封神之作：BERT
16.5 持续创新：XLNet
第17讲深度生成模型之自编码器
17.1 自编码器
17.2 自编码器的降噪作用
17.3 变分自编码器
17.4 VAE的Keras实现
第18讲深度生成模型之生成式对抗网络
18.1 GAN
18.2 训练一个DCGAN
第19讲神经风格迁移、深度强化学习与胶囊网络
19.1 神经风格迁移
19.2 深度强化学习
19.3 胶囊网络
第20讲深度学习框架
20.1 概述
20.2 TensorFlow
20.3 Keras
20.4 PyTorch
第21讲深度学习数据集
21.1 CV经典数据集
21.2 NLP经典数据集
参考文献

本书以一名深度学习学习者的视角展开深度学习相关的理论、技术和实践写作，因而命名为深度学习笔记。本书作为一本以“笔记”命名的深度学习图书，主要定位是面向广大希望入门深度学习的初学者。本书以深度神经网络(DNN)、卷积神经网络(CNN)和循环神经网络(RNN)为核心，详细介绍了深度学习的理论基础、通用方法和三大网络的原理与实践。全书代码以Keras框架作为范例，对于初学者而言简单易懂。
对于深度学习而言，本书内容丰富，知识覆盖面广，兼有代码实战,适合想要入门深度学习的广大学习者阅读。