"随着深度学习相关技术的发展，特别是卷积神经网络技术的成熟，深度学习已经成为多种计算机视觉任务的常用工具。卷积神经网络模型由于其强大的表征能力，可以作为一种优秀主干模型，但往往以较大的参数量和计算量为代价。
本书从基本架构设计、新式通用组件、模型压缩方法三个方面着手，试图普遍地、一般地提升卷积神经网络的精度和效率。书中介绍的方法与深度学习实践联系紧密：现实生活中的视觉应用一般要求在一定的推理延迟、吞吐量、模型大小和功耗的约束下尽可能追求更高的精度，所以开发者既可以应用一种新的架构，可以用一些新式组件来提升现有架构，亦可以对一个精度更高也更大的模型应用压缩技术使之满足既定的效率约束条件。本书聚焦基础，所提出的“结构重参数化”理论、新式模型结构和模型压缩方法可以广泛用于多种模型和多种任务。
本书可为机器学习和计算机视觉领域的初学者和具备一定基础的工程技术人员及研究人员提供参考。"

目 录
第 1 章 绪论 \t1
1.1 研究背景与意义 \t1
1.2 国内外研究现状 \t5
1.2.1 基本架构设计 \t5
1.2.2 新式通用组件 \t7
1.2.3 通道剪枝方法 \t8
1.2.4 其他模型压缩方法 \t9
1.3 研究内容和主要贡献 \t10
1.3.1 基本架构设计 \t10
1.3.2 新式通用组件 \t11
1.3.3 通道剪枝方法 \t13
1.4 符号系统 \t14
1.5 本书的组织结构 \t15
第 2 章 基于结构重参数化的极简架构 \t17
2.1 本章引言 \t17
2.2 相关工作 \t20
2.2.1 单路架构的训练方法 \t20
2.2.2 重参数化 \t21
2.2.3 Winograd 卷积算法 \t21
2.3 结构重参数化 \t22
2.4 RepVGG：基于结构重参数化的极简架构 \t26
2.4.1 效率分析 \t26
2.4.2 架构详细定义 \t27
2.5 实验分析 \t29
2.5.1 ImageNet 分类实验 \t29
2.5.2 消融和对比实验 \t31
2.5.3 语义分割实验 \t33
2.6 本章小结 \t34
第 3 章 非对称卷积模块 \t36
3.1 本章引言 \t36
3.2 相关工作 \t38
3.2.1 非对称卷积 \t38
3.2.2 多架构通用的基本组件 \t39
3.3 对卷积核内部空间位置的定量分析 \t39
3.4 非对称卷积模块 \t41
3.4.1 卷积的广义可加性 \t41
3.4.2 非对称卷积模块的结构和转换\t43
3.5 实验分析 \t45
3.5.1 CIFAR 实验 \t45
3.5.2 ImageNet 实验 \t45
3.5.3 消融实验 \t47
3.5.4 ACB 卷积核的定量分析 \t48
3.6 本章小结 \t50
第 4 章 重参数化大卷积核模块 \t51
4.1 本章引言 \t51
4.2 相关工作 \t53
4.2.1 单层大感受野模型 \t53
4.2.2 模型放大技术.\t53
4.3 应用大卷积核的五条准则 \t53
4.4 RepLKB：一种大卷积核组件 \t58
4.5 实验分析 \t59
4.5.1 RepLKNet 上增大卷积核尺寸的实验 \t59
4.5.2 ImageNet 图像分类 \t61
4.5.3 语义分割 \t62
4.5.4 目标检测 \t62
4.6 讨论 \t64
4.6.1 有效感受野 \t64
4.6.2 形状偏好 \t65
4.7 本章小结 \t67
第 5 章 用于通道剪枝的向心随机梯度下降算法 \t68
5.1 本章引言 \t68
5.2 相关工作 \t71
5.3 向心随机梯度下降 \t72
5.3.1 通道剪枝的符号表示 \t72
5.3.2 C-SGD 更新规则 \t73
5.3.3 C-SGD 的直观解释 \t75
5.3.4 C-SGD 的高效实现 \t77
5.3.5 C-SGD 训练后的剪枝重构 \t78
5.3.6 用 C-SGD 解决受约束剪枝问题 \t79
5.4 宽度浓缩：一种基于 C-SGD 的训练方法论 \t83
5.5 实验分析 \t84
5.5.1 CIFAR-10 剪枝实验 \t84
5.5.2 ImageNet 剪枝实验 \t88
5.5.3 语义分割和目标检测 \t91
5.5.4 聚类方法研究 \t91
5.5.5 趋同与归零冗余模式的对比 \t92
5.5.6 C-SGD 与其他剪枝方法的严格对比 \t93
5.5.7 冗余训练与常规训练的对比 \t95
5.5.8 “全局瘦身”和“局部裁剪”的对比 \t96
5.5.9 宽度浓缩 \t96
5.6 关于 C-SGD 效率的讨论\t98
5.7 本章小结 \t99
第 6 章 基于结构变换的高精度通道剪枝方法 \t100
6.1 本章引言 \t100
6.2 相关工作 \t104
6.3 ResRep.\t104
6.3.1 Rep：卷积重参数化 \t104
6.3.2 Res：梯度重置 \t106
6.3.3 Res 和 Rep 的有机结合\t108
6.4 实验分析 \t109
6.4.1 ImageNet 和 CIFAR-10 剪枝实验 \t109
6.4.2 基线和变体对比实验 \t114
6.4.3 Res 和 Rep 的消融实验 \t115
6.5 本章小结 \t117
第 7 章 总结与展望 \t118
7.1 工作总结 \t118
7.2 未来工作展望 \t119
参考文献 \t121
在学期间完成的相关学术成果 \t139
致谢 \t141