"本书是非线性优化的基础教材, 内容涵盖凸集与凸函数、优化问题的一般理论、广义不等式约束
优化问题和向量优化问题、梯度下降法与共轭梯度法、牛顿法和拟牛顿法、线性规划与二次规划、约
束凸优化问题、机器学习中常用的复合优化算法等非线性优化的核心基础理论与算法. 本书在选材上
注重基础并兼顾前沿性, 详细讲述非线性优化和凸优化的重要原理与经典算法的同时, 也花了一定篇
幅介绍近十几年来优化领域出现的一些新思想、新方法和新算法, 以及优化理论与算法在机器学习、
经济、统计和金融等领域中的应用. 写作上力求深入浅出, 循序渐进, 既照顾到学生的理解能力与学习
兴趣, 又考虑到内容完备性、逻辑严谨性与必要的深度. 为了方便读者动手实践, 本书给出实现书中计
算实例、应用实例的完整MATLAB 代码和数据集, 以及详细的使用说明和代码注释, 读者能够很容易
地实现所学方法. 此外, 本书还配有由LaTeX 精心制作的PDF 课件, 方便教师教学使用.
本书可作为大数据、人工智能、应用数学、计算机、管理科学与工程、金融工程等专业的研究生
基础课教材, 也可以作为相关专业高年级本科生的专业课教材或参考书.
"

目 录

第 1 章 导论与预备知识\t1
1.1 欧几里得空间 中的点集\t1
1.1.1 集合 \t1
1.1.2 欧几里得空间 的性质 \t2
1.1.3 中的点集拓扑 \t4
1.1.4 中的极限 \t6
1.1.5 上确界与下确界\t6
1.2 连续函数\t9
1.2.1 连续函数的定义与性质 \t9
1.2.2 上极限与下极限 \t11
1.2.3 上半连续性与下半连续性 \t13
1.3 多元函数的微分中值定理与 Taylor 公式 \t13
1.3.1 多元函数的微分中值定理 \t13
1.3.2 多元函数的 Taylor 公式 \t15
1.4 凸集 \t16
1.4.1 仿射集 \t16
1.4.2 凸集 \t17
1.4.3 凸集分离定理 \t18
1.5 锥 \t25
1.5.1 锥和凸锥 \t25
1.5.2 广义不等式 \t26
1.5.3 最小元与极小元 \t27
1.6 对偶锥.\t28
1.6.1 对偶锥 \t28
1.6.2 对偶广义不等式 \t30
拓展阅读建议 \t31
第 1 章习题 \t31
第 2 章 凸函数\t34
2.1 凸函数的定义及判定 \t34
2.1.1 凸函数的定义 \t34
2.1.2 一元凸函数的判定 \t35
2.1.3 多元凸函数的判定 \t36
2.2 凸函数的性质 \t41
2.2.1 一元凸函数的连续性与单边导数 \t41
2.2.2 多元凸函数的连续性\t43
2.2.3 上图与下水平集 \t46
2.2.4 凸函数的极值 \t47
2.3 保持凸性的运算\t48
2.4 应用及例子 \t52
2.4.1 .-范数 \t52
2.4.2 Jensen 不等式 \t56
2.4.3 凸函数/凹函数的例子\t59
2.5 共轭函数 \t62
2.5.1 共轭函数的定义与计算实例 \t62
2.5.2 共轭函数的性质 \t68
2.6 矩阵的核范数 \t70
拓展阅读建议 \t73
第 2 章习题 \t74
第 3 章 优化问题 \t80
3.1 优化问题 \t80
3.2 凸优化问题 \t82
3.2.1 凸优化问题的概念 \t82
3.2.2 凸优化问题的性质 \t82
3.3 Lagrange 对偶函数 \t85
3.3.1 Lagrange 对偶函数的定义 \t85
3.3.2 很优值的下界估计 \t87
3.3.3 Lagrange 对偶函数与共轭函数的关系 \t88
3.4 Lagrange 对偶问题 \t90
3.4.1 对偶问题的概念及例子 \t90
3.4.2 强对偶性 \t92
3.5 很优性条件 \t97
3.5.1 无约束优化问题的很优性条件 \t97
3.5.2 只含等式约束的优化问题的很优条件 \t98
3.5.3 只含不等式约束的优化问题的很优条件 \t101
3.5.4 一般形式的 Karush-Kuhn-Tucker 定理 \t103
3.5.5 凸优化问题的 Karush-Kuhn-Tucker 定理 \t109
拓展阅读建议 \t109
第 3 章习题 \t109
第 4 章 广义不等式约束与向量优化 \t116
4.1 广义单调性与凸性 \t116
4.1.1 相关概念回顾 \t116
4.1.2 在偏序集上取值的函数 \t117
4.1.3 可微函数的单调性和凸性条件 \t120
4.2 效用函数相关知识 \t122
4.2.1 偏序、全序和预序 \t122
4.2.2 效用函数 \t124
4.2.3 连续效用函数 \t126
4.2.4 von Neumann-Morgenstern 期望效用函数 \t132
4.3 广义不等式约束的凸优化问题 \t135
4.3.1 问题的一般形式 \t135
4.3.2 半定规划 \t136
4.3.3 一些例子 \t137
4.4 向量优化 \t141
4.4.1 向量优化问题 \t141
4.4.2 向量优化问题的标量化 \t143
4.4.3 凸向量优化问题 \t144
4.5 福利经济学基本定理 \t146
4.5.1 产品经济系统 \t146
4.5.2 福利经济学基本定理 \t148
拓展阅读建议 \t150
第 4 章习题 \t151
第 5 章 优化算法基础知识 \t152
5.1 算法的收敛性与收敛速度 \t152
5.2 一维牛顿法与割线法 \t154
5.3 区间分割法 \t157
5.4 线搜索.\t161
拓展阅读建议 \t172
第 5 章习题 \t172
第 6 章 梯度下降法与共轭梯度法 \t174
6.1 梯度下降法 \t174
6.1.1 梯度下降法的基本思想与算法 \t174
6.1.2 强凸性 \t177
6.1.3 梯度下降法的收敛性与误差分析 \t179
6.2 共轭梯度法 \t183
6.2.1 无约束二次优化问题的共轭梯度法 \t183
6.2.2 非线性共轭梯度法 \t190
6.3 信赖域子问题\t192
6.3.1 信赖域子问题及其很优性条件 \t192
6.3.2 截断共轭梯度法 \t194
6.4 逻辑回归问题\t196
6.4.1 逻辑回归模型 \t196
6.4.2 模型参数估计 \t197
6.4.3 计算实例 \t202
6.4.4 多分类问题 \t206
拓展阅读建议 \t210
第 6 章习题 \t210
第 7 章 牛顿法与拟牛顿法 \t212
7.1 牛顿法.\t212
7.1.1 牛顿法的基本思想 \t212
7.1.2 Hesse 矩阵不正定时的处理 \t213
7.1.3 牛顿法的收敛性 \t217
7.1.4 计算实例 \t220
7.2 拟牛顿法 \t226
7.2.1 拟牛顿法的基本思想 \t226
7.2.2 几种常用的拟牛顿法 \t228
7.2.3 计算实例 \t233
7.3 正交距离回归\t238
7.3.1 变量带误差模型 \t238
7.3.2 正交距离回归模型 \t239
7.3.3 参数估计算法 \t240
拓展阅读建议 \t245
第 7 章习题 \t246
第 8 章 线性规划与二次规划 \t249
8.1 线性规划 \t249
8.1.1 线性规划的标准形式 \t249
8.1.2 线性规划的对偶问题与很优性条件 \t250
8.1.3 可行集的几何性质 \t251
8.1.4 单纯形法 \t252
8.1.5 启动点的计算 \t254
8.2 等式约束二次规划 \t255
8.2.1 等式约束二次规划及其很优性条件 \t255
8.2.2 等式约束二次规划算法 \t257
8.2.3 计算实例 \t260
8.3 不等式约束二次规划 \t261
8.3.1 不等式约束二次规划的很优性条件 \t261
8.3.2 积极集方法 \t262
8.3.3 启动点的计算 \t265
拓展阅读建议 \t267
第 8 章习题 \t267
第 9 章 约束非线性优化 \t269
9.1 等式约束凸优化 \t269
9.1.1 等式约束凸优化的很优性条件 \t269
9.1.2 等式约束凸优化的牛顿法 \t269
9.1.3 初始点不是可行点的牛顿法 \t271
9.1.4 计算实例 \t274
9.2 内点法 \t276
9.2.1 一个具体的例子 \t276
9.2.2 凸优化问题的内点法 \t280
9.2.3 两阶段法 \t283
9.3 支持向量机 \t284
9.3.1 支持向量机模型 \t284
9.3.2 求解方法 \t286
9.3.3 核支持向量机 \t293
9.3.4 计算实例 \t297
拓展阅读建议 \t301
第 9 章习题 \t302
第 10 章 机器学习中常用的复合优化算法 \t303
10.1 增广 Lagrange 函数法 \t303
10.1.1 对偶上升法 \t303
10.1.2 增广 Lagrange 乘数法 \t304
10.2 次梯度与次微分 \t306
10.2.1 扩展实值函数 \t306
10.2.2 闭函数 \t307
10.2.3 次梯度与次微分 \t307
10.2.4 次微分的性质 \t309
10.2.5 次微分的运算法则 \t314
10.3 交替方向乘数法 \t314
10.3.1 算法 \t314
10.3.2 收敛性分析 \t316
10.4 近似点算法 \t320
10.4.1 邻近算子 \t320
10.4.2 近似点梯度法 \t326
10.4.3 LASSO 回归问题 \t328
10.5 坐标下降法与分块坐标下降法 \t335
10.5.1 坐标下降法 \t335
10.5.2 分块坐标下降法 \t340
10.5.3 应用 \t341
拓展阅读建议 \t344
第 10 章习题\t344
附录 A 特征值与特征值分解定理 \t346
A.1 特征值与特征向量.\t346
A.2 n 阶方阵的特征分解 \t347
A.3 实对称矩阵的对角化与特征分解 \t350
A.4 实正定对称矩阵与二次型 \t353
附录 B 奇异值与奇异值分解定理 \t357
B.1 奇异值与奇异向量\t357
B.2 奇异值的存在性及性质 \t358
B.3 奇异值分解定理 \t360
B.4 矩阵的低秩逼近 \t362
B.5 超定线性方程组与矩阵的伪逆 \t365
附录 C 矩阵函数的导数与微分 \t368
附录 D 反函数定理与隐函数存在定理 \t374
附录 E Sherman-Morrison 公式与 Woodbury 公式 \t378
部分习题答案 \t381
参考文献 \t406