深度学习是人工智能领域无法避开的课题之一，也是比较强大的方法之一。很多从事算法工作或相关工作的人，或多或少都在应用深度学习方法解决相关领域的问题。本书针对深度学习知识做进阶性探讨。通过本书学习，对卷积网络、新型结构、注意力机制、模型压缩、自监督学习、目标检测中的高级技巧、无监督学习、Transformer高级篇，以及图神经网络和元学习进行了深入的探讨，最后对深度学习的未来发展进行了展望。

翟中华，清华大学硕士毕业，AI火箭营创始人、CEO，并担任首席讲师。曾在多家互联网公司担任CTO。在机器学习、深度学习、计算机视觉、自然语言处理等人工智能领域有着扎实的理论基础和丰富的应用实践经验。主讲的“机器学习难点问题秒懂课堂”“深度学习入门系列讲解”“基于深度学习的目标检测”等课程累计学员50多万人次，讲课风格抽丝剥茧、深入浅出、以简驭繁，能够把复杂原理简单化，把简单原理内涵化，深受广大学员好评。

第1章 卷积网络
1.1 转置卷积
1.1.1 概念
1.1.2 运算过程
1.1.3 应用场景
1.2 空洞卷积
1.2.1 概念
1.2.2 工作原理
1.2.3 应用场景
1.3 深度可分离卷积
1.3.1 概念
1.3.2 工作原理
1.3.3 应用场景
1.4 三维卷积
1.4.1 概念
1.4.2 工作原理
1.4.3 应用场景
第2章 新型结构
2.1 残余连接
2.2 ResNeXt原理及架构
2.3 FCN原理及架构
2.4 U-Net原理及架构
2.5 FPN原理及架构
第3章 注意力机制
3.1 注意力机制的生物学原理及数学本质
3.2 应用于RNN的注意力机制
3.3 自注意力的数学支撑：像素间的协方差
3.4 自注意力机制的直观展示及举例
3.5 Transformer中的注意力机制
3.6 挤压激励网络
3.7 Transformer编码器代码
3.8 Transformer词嵌入中融入位置信息
第4章 模型压缩
4.1 模型压缩的必要性及常用方法
4.2 修剪深度神经网络
4.3 模型量化
4.4 知识蒸馏
4.4.1 知识蒸馏的实现步骤
4.4.2 软目标的作用
4.4.3 蒸馏“温度”
4.4.4 特征蒸馏
第5章 自监督学习
5.1 什么是自监督学习
5.2 Bert中的自监督学习
第6章 目标检测中的高级技巧
6.1 特征融合
6.2 DenseNet与ResNet
6.3 晚融合及特征金字塔网络
6.4 YOLOv3中的三级特征融合
6.5 通过多尺度特征图跳过连接改进SSD方法
第7章 无监督学习
第8章 Transformer高级篇
8.1 计算机视觉中的Transformer
8.1.1 什么是ViT
8.1.2 ViT详解
8.2 DeiT：以合理的方式训练ViT
8.3 金字塔视觉Transformer
8.3.1 PVT整体架构
8.3.2 SRA的实现
8.3.3 PVT的改进
8.4 Swin Transformer：使用“移动窗口”的分层ViT
8.5 视觉Transformer的自监督训练：DINO
8.5.1 DINO架构
8.5.2 中心化和“教师”网络权重更新
8.5.3 DINO代码实践伪码和效果展示
8.6 缩放视觉Transformer
8.7 一些有趣的进展
8.7.1 替代自注意力机制
8.7.2 多尺度视觉Transformer（MViT）
8.7.3 完全基于Transformer的视频理解框架
8.7.4 语义分割中的ViT（SegFormer）
8.7.5 医学成像中的ViT
第9章 图神经网络
9.1 图数据
9.1.1 图像作为图数据
9.1.2 文本作为图数据
9.1.3 天然的图数据
9.2 图上的预测任务
9.3 图神经网络构建应用
9.3.1 最简单的GNN
9.3.2 通过聚合信息进行GNN预测
9.3.3 在图的各属性之间传递消息
9.3.4 学习边缘表示
9.3.5 添加全局表示
第10章 元学习
10.1 什么是元学习
10.2 机器学习与元学习
10.2.1 机器学习简介
10.2.2 元学习简介
10.2.3 机器学习与元学习
10.3 模型无关的元学习：MAML
10.3.1 MAML简介
10.3.2 MAML特点
10.3.3 MAML为什么能够起作用
参考文献