本书是一本系统讲解自动驾驶感知技术的图书，同时带有具体的自动驾驶实践案例，以及自动驾驶感知技术的落地部署方案供读者学习。本书主要涉及的内容包括神经网络的基础理论知识、经典卷积神经网络、轻量化卷积神经网络、Vision Transformer、2D目标检测算法（YOLOv5、YOLOX、YOLOv5 Lite、NanoDet等算法）、3D激光点云目标检测算法、BEVFormer纯视觉的3D目标检测算法、语义分割、车道线检测、ReID相关技术、多目标跟踪及部署落地的相关技术（如CUDA、OpenCV、NCNN、TensorRT等）。为了让读者全面、深入、透彻地理解所讲解的算法，书中还给出了具体的实践案例，并提供了相应的数据集供读者实践，同时通过对代码的讲解使读者获得实战能力。

龚心满，硕士，新能源汽车感知融合资深工程师。毕业于中国计量大学控制理论与控制工程专业。曾就职于华人运通自动驾驶科技有限公司，担任深度学习高级工程师职位，负责ADAS感知项目的研发，现就职于吉咖智能机器人有限公司感知算法中心，负责高阶自动驾驶的落地。同时还参与多本人工智能书籍的撰写，也是多个技术专栏的签约作者。在安防和自动驾驶领域都有丰富的经验。

第1章 计算机视觉与神经网络
1.1 人工神经网络
1.1.1 感知机
1.1.2 神经网络
1.2 卷积神经网络
1.2.1 卷积
1.2.2 激活函数
1.2.3 池化层
1.2.4 全连接层
1.3 经典卷积神经网络
1.3.1 AlexNet
1.3.2 VGG
1.3.3 GoogLeNet
1.3.4 ResNet
1.3.5 DarkNet
1.3.6 CSPDarkNet
1.4 轻量化卷积神经网络
1.4.1 MobileNet
1.4.2 ShuffleNet
1.4.3 GhostNet
1.5 Vision Transformer在计算机视觉中的应用
1.5.1 ViT
1.5.2 Swin Transformer
1.5.3 MobileViT
1.5.4 TRT-ViT
1.5.5 基于ResNet/MobileViT的交通标识牌识别项目实践
1.6 本章小结
第2章 目标检测在自动驾驶中的应用
2.1 目标检测简介
2.1.1 相关工作简介
2.1.2 两阶段目标检测算法简介
2.1.3 单阶段目标检测算法简介
2.2 自动驾驶中的车辆检测
2.2.1 BDD100K数据集简介
2.2.2 YOLOv5算法的原理
2.2.3 基于YOLOv5的车辆检测项目实践
2.3 自动驾驶中的行人检测
2.3.1 YOLOX算法的原理
2.3.2 基于YOLOX的行人检测项目实践
2.4 自动驾驶中的交通标识牌检测
2.4.1 NanoDet算法的原理
2.4.2 基于NanoDet的交通标识牌检测项目实践
2.5 自动驾驶中的交通信号灯的检测与识别
2.5.1 YOLOv5 Lite算法的原理
2.5.2 基于YOLOv5 Lite的交通信号灯检测项目实践
2.6 3D目标检测
2.6.1 PointPillars
2.6.2 BEVFormer
2.6.3 基于OpenPCDet的3D目标检测项目实践
2.7 本章小结
第3章 语义分割在自动驾驶中的应用
3.1 STDC算法的原理
3.1.1 STDC模块
3.1.2 STDC语义分割网络
3.2 TopFormer算法的原理
3.2.1 Token Pyramid Module
3.2.2 Scale-Aware Semantics Extractor
3.2.3 Semantics Injection Module
3.2.4 Segmentation Head
3.3 基于TopFormer的可行驶区域分割项目实践
3.3.1 Cityscapes数据集简介
3.3.2 TopFormer模型实现
3.4 本章小结
第4章 车道线检测与分割
4.1 UNet算法的原理
4.2 LaneATT算法的原理
4.2.1 Lane的Anchor表征
4.2.2 基于Anchor的特征图池化
4.2.3 局部注意力机制
4.2.4 Proposal预测
4.2.5 后处理
4.3 基于LaneATT的车道线检测实践
4.3.1 CULane数据集介绍
4.3.2 LaneATT实践
4.4 本章小结
第5章 多目标跟踪在自动驾驶中的应用
5.1 多目标跟踪算法SORT的原理
5.2 多目标跟踪算法DeepSORT的原理
5.2.1 级联匹配
5.2.2 ReID特征提取
5.3 多目标跟踪算法ByteTrack的原理
5.4 基于ByteTrack的多目标跟踪项目实践
5.4.1 MOT16数据集
5.4.2 Byte匹配
5.5 本章小结
第6章 深度学习模型的落地和部署
6.1 常见模型部署框架介绍
6.1.1 TensorRT
6.1.2 NCNN
6.1.3 ONNX
6.2 OpenCV图像处理操作
6.2.1 OpenCV基本操作
6.2.2 使用OpenCV进行图像预处理
6.3 GPU编程工具之CUDA
6.3.1 CUDA编程模型
6.3.2 CUDA线程组织
6.3.3 CUDA内存组织
6.3.4 GPU硬件组织结构
6.3.5 CUDA流
6.4 模型部署框架之TensorRT
6.4.1 使用TensorRT API搭建网络结构
6.4.2 从ONNX文件中导入网络结构定义
6.4.3 TensorRT推理引擎的序列化与反序列化
6.4.4 TensorRT的推理
6.4.5 INT8量化
6.4.6 TensorRT的插件开发
6.5 TensorRT模型部署实例
6.5.1 使用OpenCV进行前处理
6.5.2 使用CUDA加速前处理
6.5.3 执行推理操作
6.5.4 后处理
6.6 NCNN模型部署
6.6.1 NCNN部署流程
6.6.2 使用NCNN部署NanoDet
6.7 本章小结
参考文献