![]()
内容推荐 深度学习,特别是深度卷积神经网络是人工智能的重要分支领域,卷积神经网络技术也被广泛应用于各种现实场景,在许多问题上都取得了超越人类智能的结果。魏秀参著的《解析深度学习(卷积神经网络原理与视觉实践)》作为该领域的入门书籍,在内容上涵盖深度卷积神经网络的基础知识和实践应用两大方面。全书共14章,分为三个部分:第一部分为绪论;第二部分(第1~4章)介绍卷积神经网络的基础知识、基本部件、经典结构和模型压缩等基础理论内容;第三部分(第5~14章)介绍深度卷积神经网络自数据准备开始,到模型参数初始化、不同网络部件的选择、网络配置、网络模型训练、不平衡数据处理,最终到模型集成等实践应用技巧和经验。本书并不是一本编程类书籍,而是希望通过“基础知识”和“实践技巧”两方面使读者从更高维度了解、掌握并成功构建针对自身应用问题的深度卷积神经网络。 本书可作为深度学习和卷积神经网络爱好者的入门书籍,也可供没有机器学习背景但希望能快速掌握该方面知识并将其应用于实际问题的各行从业者阅读参考。 作者简介 魏秀参,旷视科技(Face++)南京研究院负责人。南京大学LAMDA研究所博士,主要研究领域为计算机视觉和机器学习。在相关领域重要国际期刊和国际会议发表论文十余篇,并获得国际计算机视觉相关竞赛冠、亚军。曾获CVPR 2017最佳审稿人、南京大学博士生校长特别奖学金等荣誉,担任ICCV、CVPR、ECCV、NIPS、lJCAI、AAAl等国际会议PC member。(个人自媒体:知乎“魏秀参”,新浪微博“Wilson NJUer”) 目录 第一部分 绪论 第二部分 基础理论篇 1 卷积神经网络基础知识 1.1 发展历程 1.2 基本结构 1.3 前馈运算 1.4 反馈运算 1.5 小结 2 卷积神经网络基本部件 2.1 “端到端”思想 2.2 网络符号定义 2.3 卷积层 2.3.1 什么是卷积 2.3.2 卷积操作的作用 2.4 汇合层 2.4.1 什么是汇合 2.4.2 汇合操作的作用 2.5 激活函数 2.6 全连接层 2.7 目标函数 2.8 小结 3 卷积神经网络经典结构 3.1 CNN 网络结构中的重要概念 3.1.1 感受野 3.1.2 分布式表示 3.1.3 深度特征的层次性 3.2 经典网络案例分析 3.2.1 Alex-Net网络模型 3.2.2 VGG-Nets网络模型 3.2.3 Network-In-Network 3.2.4 残差网络模型 3.3 小结 4 卷积神经网络的压缩 4.1 低秩近似 4.2 剪枝与稀疏约束 4.3 参数量化 4.4 二值网络 4.5 知识蒸馏 4.6 紧凑的网络结构 4.7 小结 第三部分 实践应用篇 5 数据扩充 5.1 简单的数据扩充方式 5.2 特殊的数据扩充方式 5.2.1 Fancy PCA 5.2.2 监督式数据扩充 5.3 小结 6 数据预处理 7 网络参数初始化 7.1 全零初始化 7.2 随机初始化 7.3 其他初始化方法 7.4 小结 8 激活函数 8.1 Sigmoid型函数 8.2 tanh(x)型函数 8.3 修正线性单元(ReLU) 8.4 Leaky ReLU 8.5 参数化ReLU 8.6 随机化ReLU 8.7 指数化线性单元(ELU) 8.8 小结 9 目标函数 9.1 分类任务的目标函数 9.1.1 交叉熵损失函数 9.1.2 合页损失函数 9.1.3 坡道损失函数 9.1.4 大间隔交叉熵损失函数 9.1.5 中心损失函数 9.2 回归任务的目标函数 9.2.1 l1 损失函数 9.2.2 l2 损失函数 9.2.3 Tukey's biweight损失函数 9.3 其他任务的目标函数 9.4 小结 10 网络正则化 10.1 l2 正则化 10.2 l1 正则化 10.3 最大范数约束 10.4 随机失活 10.5 验证集的使用 10.6 小结 11 超参数设定和网络训练 11.1 网络超参数设定 11.1.1 输入数据像素大小 11.1.2 卷积层参数的设定 11.1.3 汇合层参数的设定 11.2 训练技巧 11.2.1 训练数据随机打乱 11.2.2 学习率的设定 11.2.3 批规范化操作 11.2.4 网络模型优化算法选择 11.2.5 微调神经网络 11.3 小结 12 不平衡样本的处理 12.1 数据层面处理方法 12.1.1 数据重采样 12.1.2 类别平衡采样 12.2 算法层面处理方法 12.2.1 代价敏感方法 12.2.2 代价敏感法中权重的指定方式 12.3 小结 13 模型集成方法 13.1 数据层面的集成方法 13.1.1 测试阶段数据扩充 13.1.2 “简易集成”法 13.2 模型层面的集成方法 13.2.1 单模型集成 13.2.2 多模型集成 13.3 小结 14 深度学习开源工具简介 14.1 常用框架对比 14.2 常用框架的各自特点 14.2.1 Caffe 14.2.2 Deeplearning4j 14.2.3 Keras 14.2.4 MXNet 14.2.5 MatConvNet 14.2.6 TensorFlow 14.2.7 Theano 14.2.8 Torch A 向量、矩阵及其基本运算 B 随机梯度下降 C 链式法则 参考文献 索引
|