机器学习是关于从数据中建立预测或描述模型，以提升机器解决问题能力的学科。在建立模型后，需要采用适当的优化算法来求解模型的参数，因此优化算法是机器学习的重要组成部分，但是传统的优化算法并不完全适用于机器学习，因为通常来说机器学习模型的参数维度很高或涉及的样本数巨大，这使得一阶优化算法在机器学习中占据主流地位。
本书概述了机器学习中加速一阶优化算法的新进展，书中全面介绍了各种情形下的加速一阶优化算法，包括确定性和随机性的算法、同步和异步的算法，以求解带约束的问题和无约束的问题、凸问题和非凸问题，对算法思想进行了深入的解读，并对其收敛速度提供了详细的证明。
本书面向的读者对象是机器学习和优化领域的研究人员，包括人工智能、信号处理及应用数学特别是计算数学专业高年级本科生、研究生，以及从事人工智能、信号处理领域产品研发的工程。

林宙辰，机器学习和计算机视觉领域的国际知名专家，目前是北京大学信息科学技术学院机器感知与智能教育部重点实验室教授。他曾多次担任多个业内顶级会议的领域主席，包括CVPR、ICCV、ICML、NIPS/NeurlPS、AAAl、IJCAI和ICLR。他曾任IEEE Transactions on PatternAnalysis and Machine Intelligence编委，现任International Journal of Computer Vision和Optimization Methods and Software的编委。他是IAPR和IEEE的会士。

推荐序一
推荐序二
推荐序三
中文版前言
英文版前言
致谢
作者介绍
符号表
第1章 绪论
1.1 机器学习中的优化问题举例
1.1.1 正则化的经验损失模型
1.1.2 矩阵填充及低秩学习模型
1.2 一阶优化算法
1.3 加速算法中的代表性工作综述
1.4 关于本书
参考文献
第2章 无约束凸优化中的加速算法
2.1 梯度下降法
2.2 重球法
2.3 加速梯度法
2.4 求解复合凸优化问题的加速梯度法
2.4.1 第一种Nesterov加速邻近梯度法
2.4.2 第二种Nesterov加速邻近梯度法
2.4.3 第三种Nesterov加速邻近梯度法
2.5 非精确加速邻近梯度法
2.5.1 非精确加速梯度法
2.5.2 非精确加速邻近点法
2.6 重启策略
2.7 平滑策略
2.8 高阶加速方法
2.9 从变分的角度解释加速现象
参考文献
第3章 带约束凸优化中的加速算法
3.1 线性等式约束问题的一些有用结论
3.2 加速罚函数法
3.2.1 一般凸目标函数
3.2.2 强凸目标函数
3.3 加速拉格朗日乘子法
3.3.1 原始问题的解
3.3.2 加速增广拉格朗日乘子法
3.4 交替方向乘子法及非遍历意义下的加速算法
3.4.1 情形1：一般凸和非光滑目标函数
3.4.2 情形2：强凸非光滑目标函数
3.4.3 情形3：一般凸和光滑目标函数
3.4.4 情形4：强凸和光滑目标函数
3.4.5 非遍历意义收敛速度
3.5 原始一对偶算法
3.5.1 情形1：两个函数均非强凸
3.5.2 情形2：只有一个函数强凸
3.5.3 情形3：两个函数均强凸
3.6 Frank-Wolfe算法
参考文献
第4章 非凸优化中的加速梯度算法
4.1 带冲量的邻近梯度法
4.1.1 收敛性理论
4.1.2 单调加速邻近梯度法
4.2 快速收敛到临界点
4.2.1 能够检测强凸性质的AGD
4.2.2 负曲率下降算法
4.2.3 非凸加速算法
4.3 快速逃离鞍点
4.3.1 几乎凸的情形
4.3.2 完全非凸情形
4.3.3 非凸加速梯度下降法
参考文献
第5章 加速随机算法
5.1 各自凸情况
5.1.1 加速随机坐标下降算法
5.1.2 方差缩减技巧基础算法
5.1.3 加速随机方差缩减方法
5.1.4 黑盒加速算法
5.2 各自非凸情况
5.3 非凸情况
5.3.1 随机路径积分差分估计子
5.3.2 冲量加速
5.4 带约束问题
5.5 无穷情况
参考文献
第6章 加速并行算法
6.1 加速异步算法
6.1.1 异步加速梯度下降算法
6.1.2 异步加速随机坐标下降算法
6.2 加速分布式算法
6.2.1 中心化模式
6.2.2 去中心化模式
参考文献
第7章 总结
参考文献
附录A 数学基础
A.1 代数与概率
A.2 凸分析
A.3 非凸分析
参考文献
缩略语表
索引