数学是机器学习和数据科学的基础，任何期望涉足相关领域并切实领悟具体技术与方法的人都无法绕过数学这一关。本书系统地整理并介绍了机器学习中所涉及的推荐数学基础，这些都是笔者从浩如烟海的数学知识中精心萃取的，在学习和研究机器学习技术时所必须的内容。具体包括概率论与数理统计、微积分（主要是与很优化内容相关的部分）、凸优化及拉格朗日乘数法、数值计算、泛函分析基础（例如核方法赖以建立的希尔伯特空间理论），以及蒙特卡洛采样（拒绝与自适应拒绝采样、重要性采样、吉布斯采样和马尔科夫链蒙特卡洛）等内容。此外，为了帮助读者强化所学，本书还从上述数学基础出发介绍了回归、分类（感知机、逻辑回归、朴素贝叶斯、决策树、支持向量机、人工神经网络等）、聚类、降维与流形学习、集成学习，以及概率图模型等机器学习中的重要话题。

章概率论基础
1.1概率论的基本概念
1.2随机变量数字特征
1.2.1期望
1.2.2方差
1.2.3矩与矩母函数
1.2.4协方差与协方差矩阵
1.3基本概率分布模型
1.3.1离散概率分布
1.3.2连续概率分布
1.3.3在R语言中使用内嵌分布
1.4概率论中的重要定理
1.4.1大数定理
1.4.2中心极限定理
1.5经验分布函数
第2章最优化基础
2.1泰勒公式
2.2里塞矩阵
2.3凸函数与詹森不等式
2.3.1凸函数的概念
2.3.2詹森不等式及其证明
2.3.3詹森不等式的应用
2.4泛函与抽象空间
2.4.1线性空间
2.4.2距离空间
2.4.3赋范空间
2.4.4巴拿赫空间
2.4.5内积空间
2.4.6希尔伯特空间
2.5从泛函到变分法
2.5.1理解泛函的概念
2.5.2关于变分概念
2.5.3变分法的基本方程
2.5.4哈密顿原理
2.5.5等式约束下的变分
第3章统计推断
3.1随机采样
3.2参数估计
3.2.1参数估计的基本原理
3.2.2单总体参数区间估计
3.2.3双总体均值差的估计
3.2.4双总体比例差的估计
3.3假设检验
3.3.1基本概念
3.3.2两类错误
3.3.3均值检验
3.4优选似然估计
3.4.1优选似然法的基本原理
3.4.2求优选似然估计的方法
3.4.3优选似然估计应用举例
第4章采样方法
4.1蒙特卡洛法求定积分
4.1.1无意识统计学家法则
4.1.2投点法
4.1.3期望法
4.2蒙特卡洛采样
4.2.1逆采样
4.2.2博克斯-穆勒变换
4.2.3拒绝采样与自适应拒绝采样
4.3矩阵的极限与马尔可夫链
4.4查普曼-柯尔莫哥洛夫等式
4.5马尔可夫链蒙特卡洛方法
4.5.1重要性采样
4.5.2马尔可夫链蒙特卡洛方法的基本概念
4.5.3米特罗波利斯黑斯廷斯算法
4.5.4吉布斯采样
第5章一元线性回归
5.1回归分析的性质
5.2回归的基本概念
5.2.1总体的回归函数
5.2.2随机干扰的意义
5.2.3样本的回归函数
5.3回归模型的估计
5.3.1普通最小二乘法原理
5.3.2一元线性回归的应用
5.3.3经典模型的基本假定
5.3.4总体方差的无偏估计
5.3.5估计参数的概率分布
5.4正态条件下的模型检验
5.4.1拟合优度的检验
5.4.2整体性假定检验
5.4.3单个参数的检验
5.5一元线性回归模型预测
5.5.1点预测
5.5.2区间预测
第6章多元线性回归
6.1多元线性回归模型
6.2多元回归模型估计
6.2.1最小二乘估计量
6.2.2多元回归实例
6.2.3总体参数估计量
6.3从线性代数角度理解最小二乘
6.3.1最小二乘问题的通解
6.3.2最小二乘问题的计算
6.4多元回归模型检验
6.4.1线性回归的显著性
6.4.2回归系数的显著性
6.5多元线性回归模型预测
6.6格兰杰因果关系检验
第7章线性回归进阶
7.1更多回归模型函数形式
7.1.1双对数模型以及生产函数
7.1.2倒数模型与斯曲线
7.1.3多项式回归模型及其分析
7.2回归模型的评估与选择
7.2.1嵌套模型选择
7.2.2赤池信息准则
7.2.3逐步回归方法
7.3现代回归方法的新进展
7.3.1多重共线性
7.3.2岭回归
7.3.3从岭回归到LASSO
7.3.4正则化
第8章逻辑回归与优选熵模型
8.1逻辑回归
8.2牛顿法解Logistic回归
8.3多元逻辑回归
8.4优选熵模型
8.4.1优选熵原理
8.4.2约束条件
8.4.3模型推导
8.4.4优选熵模型的优选似然估计
第9章聚类分析
9.1聚类的概念
9.2k均值算法
9.2.1距离度量
9.2.2算法描述
9.2.3应用实例
9.3优选期望算法
9.3.1算法原理
9.3.2收敛探讨
9.4高斯混合模型
9.4.1模型推导
9.4.2应用实例
9.5密度聚类与DBSCAN算法
0章支持向量机
10.1线性可分的支持向量机
10.1.1函数距离与几何距离
10.1.2优选间隔分类器
10.1.3拉格朗日乘数法
10.1.4对偶问题的求解
10.2松弛因子与软间隔模型
10.3非线性支持向量机方法
10.3.1从更高维度上分类
10.3.2非线性核函数方法
10.3.3机器学习中的核方法
10.3.4默瑟定理
10.4对数据进行分类的实践
10.4.1基本建模函数
10.4.2分析建模结果
1章贝叶斯推断与概率图模型
11.1贝叶斯公式与边缘分布
11.2贝叶斯推断中的重要概念
11.2.1先验概率与后验概率
11.2.2共轭分布
11.3朴素贝叶斯分类器
11.4贝叶斯网络
11.4.1基本结构单元
11.4.2模型推理
11.5贝叶斯推断的应用示例
11.6隐马尔可夫模型
11.6.1随机过程
11.6.2从时间角度考虑不确定性
11.6.3前向算法
11.6.4维特比算法
2章降维与流形学习
12.1主成分分析
12.2奇异值分解
12.2.1一个基本的认识
12.2.2为什么可以做SVD
12.2.3SVD与PCA的关系
12.2.4应用示例与矩阵伪逆
12.3多维标度法
3章决策树
13.1决策树基础
13.1.1Hunt算法
13.1.2基尼测度与划分
13.1.3信息熵与信息增益
13.1.4分类误差
13.2决策树进阶
13.2.1ID3算法
13.2.2C4.5算法
13.3分类回归树
13.4决策树剪枝
13.4.1没有免费午餐定理
13.4.2剪枝方法
13.5分类器的评估
4章人工神经网络
14.1从感知机开始
14.1.1感知机模型
14.1.2感知机学习
14.1.3多层感知机
14.2基本神经网络
14.2.1神经网络结构
14.2.2符号标记说明
14.2.3后向传播算法
14.3神经网络实践
14.3.1核心函数介绍
14.3.2应用分析实践
5章集成学习
15.1集成学习的理论基础
15.2Bootstrap方法
15.3Bagging与随机森林
15.4Boosting与AdaBoost
附录A信息论基础
附录B
参考文献