前言
第1章 引言
1.1 相关关系
1.2 回归模型的一般形式
1.3 回归模型的建模过程
第2章 预备知识
2.1 一元线性回归
2.1.1 散点图，回归模型，矩阵表达
2.1.2 模型的建立——参数估计
2.1.3 最小二乘估计的性质
2.1.4 一元线性回归模型的显著性检验
2.2 线性模型的最小二乘估计
2.2.1 最小二乘估计
2.2.2 最小二乘估计的统计性质
2.2.3 最小二乘估计的最优性
2.2.4 带约束的最小二乘估计
2.3 假设检验
2.3.1 一般线性检验
2.3.2 回归方程的显著性检验
2.3.3 回归系数的显著性检验
2.4 有偏估计||岭回归和主成分回归
2.4.1 复共线性
2.4.2 岭回归
2.4.3 主成分回归
第3章 变量选择和贝叶斯线性模型
3.1 全模型和选模型
3.1.1 减少自变量对模型参数估计的影响
3.1.2 减少自变量对预测的影响
3.2 变量选择
3.2.1 最优子集回归
3.2.2 逐步回归
3.2.3 前向分段回归
3.3 压缩方法
3.3.1 岭回归
3.3.2 lasso
3.3.3 正交设计下lasso的解
3.3.4 岭回归、lasso和最优子集
3.4 贝叶斯线性模型
3.4.1 最小二乘估计与极大似然估计
3.4.2 贝叶斯线性模型与岭回归
3.4.3 贝叶斯线性模型学习过程
3.4.4 预测分布
第4章 l1正则化逻辑回归的随机坐标下降算法
4.1 引言
4.2 RCSUM算法及其在l1正则化逻辑回归上的应用
4.2.1 问题描述及假设
4.2.2 RCSUM算法
4.2.3 收敛性分析
4.2.4 RCSUM求解l1范数正则化逻辑回归
4.3 加速随机算法APCG求解l1范数逻辑回归
4.4 数值实验
4.4.1 模拟数据
4.4.2 实验结果及分析
4.4.3 乳腺癌数据
4.5 总结
第5章 并行坐标下降
5.1 引言
5.1.1 相关工作
5.1.2 动机
5.1.3 贡献
5.2 PSUM以及RPSUM算法
5.2.1 预备知识
5.2.2 主要假设
5.2.3 PSUM算法
5.2.4 RPSUM算法
5.3 PSUM以及RPSUM的收敛性分析
5.3.1 PSUM 的收敛性分析
5.3.2 RPSUM的收敛性分析
5.4 应用
5.4.1 RPSUM解l1范数正则化逻辑回归
5.4.2 实验
5.4.3 讨论
5.4.4 结论
第6章 随机优化
6.1 随机优化问题
6.2 在线算法
6.2.1 随机梯度法
6.2.2 对偶平均方法
6.3 带正则化项的随机优化问题
6.3.1 向前向后分裂算法简介
6.3.2 向前向后分裂算法的收敛性
6.4 向前向后分裂算法求解l1正则化逻辑回归
6.5 实验
6.6 结论
参考文献
附录 A 凸优化
A.1 介绍
A.2 凸集
A.3 凸函数
A.4 凸优化问题
A.5 拉格朗日对偶
附录 B 常用分布表
B.1 t分布表
B.2 F分布表
B.3 X2分布表

本书主要介绍统计学中的回归分析方法基础以及在机器学习方向上的应用。介绍回归分析的数学基础的同时，以统计学和机器学习相结合的手段介绍回归分析领域在近年来取得的各种重要结果和突破。特别是在大数据背景下，回归分析的正则化问题的快速求解算法。本书在介绍基础知识的同时，也强调回归分析在实际中的应用，书中配有大量的案例及其R语言的实现。
本书可作为数学、统计学及相关专业高年级本科生或研究生的教材使用，也可作为相关专业科研工作者的参考资料。