本书介绍了凸优化中的主要复杂性定理及其相应的算法，内容从黑箱优化的基本理论到结构优化和随机优化的新进展。书中对黑箱优化的介绍深受Nesterov的开创性著作和Nemirovski讲稿的影响，包括对割平面法的分析，以及（加速）梯度下降方法。本书特别关注非欧几里得的情形（相关算法包括Frank-Wolfe、镜像下降和对偶平均法），并讨论它们在机器学习中的相关性。还详细介绍FISTA（优化一个光滑项和一个简单非光滑项的和）、鞍点镜像代理（Nemirovski平滑替代Nesterov平滑），并简明地描述内点法。而且在随机优化中，讨论了随机梯度下降、小批量、随机坐标下降和次线性算法。最后简单地讨论了组合问题的凸松弛和随机取整（四舍五入）解的使用，以及基于随机游动的方法。

塞巴斯蒂安·布贝克(Sebastien Bubeck)是微软Redmond研究院理论组的首席研究员，曾担任COLT 2013、COLT 2014的联席主席，NIPS 2012、NIPS 2014、NIPS 2016、COLT 201 3、COLT 201 4、COLT 201 5、COLT 201 6、ICML 201 5、ICML 201 6、ALT2013、ALT 2014的项目委员会成员，也是COLT的指导委员会成员。其研究兴趣包括：机器学习、凸优化、统计网络分析、随机图和随机矩阵，以及信息论在学习、优化和概率中的应用。

译者序
致谢
第1章 绪论
1.1 机器学习中的若干凸优化问题
1.2 凸性的基本性质
1.3 凸性的作用
1.4 黑箱模型
1.5 结构性优化
1.6 结果的概述和免责声明
第2章 有限维的凸优化
2.1 重心法
2.2 椭球法
2.3 Vaidya割平面法
2.3.1 体积障碍
2.3.2 Vaidya算法
2.3.3 Vaidya方法分析
2.3.4 限制条件和体积障碍
2.4 共轭梯度
第3章 维度无关的凸优化
3.1 Lipschitz函数的投影次梯度下降
3.2 光滑函数的梯度下降
3.3 条件梯度下降
3.4 强凸性
3.4.1 强凸函数和upschitz函数
3.4.2 强凸光滑函数
3.5 下限
3.6 几何下降
3.6.1 热身赛：梯度下降的几何学替代方案
3.6.2 加速度
3.6.3 几何下降法
3.7 Nesterov加速梯度下降
3.7.1 光滑强凸情况
3.7.2 光滑的情况
第4章 非欧氏空间几乎维度无关的凸优化
4.1 镜像映射
4.2 镜像下降
4.3 镜像下降的标准设置
4.4 惰性镜像下降
4.5 镜像代理
4.6 关于MD、DA和MP的向量场观点
第5章 超越黑箱模型
5.1 光滑项与简单非光滑项之和
5.2 非光滑函数的光滑鞍点表示
5.2.1 鞍点计算
5.2.2 鞍点镜像下降
5.2.3 鞍点镜像代理
5.2.4 应用
5.3 内点法
5.3.1 障碍法
5.3.2 牛顿法的传统分析
5.3.3 自和谐函数
5.3.4 v一自和谐障碍
5.3.5 路径跟踪方案
5.3.6 线性规划和半定规划的内点法
第6章 凸优化与随机性
6.1 非光滑随机优化
6.2 光滑随机优化与小批量SGD
6.3 光滑函数与强凸函数的和
6.4 随机坐标下降
6.4.1 坐标平滑优化的RCD算法
6.4.2 用于光滑和强凸优化的RCD
6.5 鞍点的随机加速
6.6 凸松弛与随机取整
6.7 基于随机游动的方法
参考文献