本书全面、系统地介绍了机器学习领域中的经典方法，并兼顾算法原理与实践运用。本书具体内容涉及回归分析（线性回归、多项式回归、非线性回归、岭回归、LASSO、弹性网络以及RANSAC等）、分类（感知机、逻辑回归、朴素贝叶斯、决策树、支持向量机、人工神经网络等）、聚类（k均值、EM算法、密度聚类、层次聚类以及谱聚类等）、集成学习（随机森林、AdaBoost、梯度提升等）、蒙特卡洛采样（拒绝采样、自适应拒绝采样、重要性采样、吉布斯采样和马尔科夫链蒙特卡洛等）、降维与流形学习（SVD、PCA和MDS等），以及概率图模型（例如，贝叶斯网络和隐马尔科夫模型）等话题。
本书是机器学习及相关课程的教学参考书，可供高等院校人工智能、机器学习或数据挖掘等相关专业的师生使用，也可供从事计算机应用，特別是数据科学相关专业的研发人员参考。

章机器学习初探
1.1初识机器学习
1.1.1从小蝌蚪找妈妈谈起
1.1.2机器学习的主要任务
1.2工欲善其事，必先利其器
1.2.1scikit-learn
1.2.2NumPy
1.2.3SciPy
1.2.4Matplotlib
1.2.5Pandas
1.3最简单的机器学习模型
1.3.1贝叶斯公式与边缘分布
1.3.2先验概率与后验概率
1.3.3朴素贝叶斯分类器原理
1.4泰坦尼克之灾
1.4.1认识问题及数据
1.4.2数据预处理
1.4.3特征筛选
1.4.4分类器的构建
1.4.5分类器的评估
第2章一元线性回归
2.1回归分析的性质
2.2回归的基本概念
2.2.1总体的回归函数
2.2.2随机干扰的意义
2.2.3样本的回归函数
2.3回归模型的估计
2.3.1普通最小二乘法原理
2.3.2一元线性回归的应用
2.3.3经典模型的基本假定
2.3.4总体方差的无偏估计
2.3.5估计参数的概率分布
2.4正态条件下的模型检验
2.4.1拟合优度的检验
2.4.2整体性假定检验
2.4.3单个参数的检验
2.5一元线性回归模型预测
2.5.1点预测
2.5.2区间预测
第3章多元线性回归
3.1多元线性回归模型
3.2多元回归模型估计
3.2.1最小二乘估计量
3.2.2多元回归的实例
3.2.3总体参数估计量
3.3从线代角度理解最小二乘
3.3.1最小二乘问题的通解
3.3.2最小二乘问题的计算
3.4多元回归模型检验
3.4.1线性回归的显著性
3.4.2回归系数的显著性
3.5多元线性回归模型预测
3.6格兰杰因果关系检验
第4章线性回归进阶
4.1更多回归模型函数形式
4.1.1双对数模型以及生产函数
4.1.2倒数模型与斯曲线
4.1.3多项式回归模型及其分析
4.2回归模型的评估与选择
4.2.1嵌套模型选择
4.2.2赤池信息准则
4.3现代回归方法的新进展
4.3.1多重共线性
4.3.2从岭回归到LASSO
4.3.3正则化与没有免费午餐原理
4.3.4弹性网络
4.3.5RANSAC
第5章逻辑回归与优选熵模型
5.1逻辑回归
5.2牛顿法解逻辑回归
5.3应用实例： 二分类问题
5.3.1数据初探
5.3.2建模
5.4多元逻辑回归
5.5优选熵模型
5.5.1优选熵原理
5.5.2约束条件
5.5.3模型推导
5.5.4极大似然估计
5.6应用实例： 多分类问题
5.6.1数据初探
5.6.2建模
第6章神经网络
6.1从感知机开始
6.1.1感知机模型
6.1.2感知机学习
6.1.3多层感知机
6.1.4感知机应用示例
6.2基本神经网络
6.2.1神经网络结构
6.2.2符号标记说明
6.2.3后向传播算法
6.3神经网络实践
6.3.1建模
6.3.2Softmax与神经网络
第7章支持向量机
7.1线性可分的支持向量机
7.1.1函数距离与几何距离
7.1.2优选间隔分类器
7.1.3拉格朗日乘数法
7.1.4对偶问题的求解
7.2松弛因子与软间隔模型
7.3非线性支持向量机方法
7.3.1从更高维度上分类
7.3.2非线性核函数方法
7.3.3机器学习中的核方法
7.3.4默瑟定理
7.4对数据进行分类的实践
7.4.1数据分析
7.4.2线性可分的例子
7.4.3线性不可分的例子
第8章k近邻算法
8.1距离度量
8.2k近邻模型
8.2.1分类
8.2.2回归
8.3在Python中应用k近邻算法
8.4k近邻搜索的实现
8.4.1构建k-d-tree
8.4.2区域搜索
8.4.3最近邻搜索
第9章决策树
9.1决策树基础
9.1.1Hunt算法
9.1.2基尼测度与划分
9.1.3信息熵与信息增益
9.1.4分类误差
9.2决策树进阶
9.2.1ID3算法
9.2.2C4.5算法
9.3分类回归树
9.4决策树剪枝
9.5决策树应用实例
0章集成学习
10.1集成学习的理论基础
10.2Bootstrap方法
10.3Bagging与随机森林
10.3.1算法原理
10.3.2应用实例
10.4Boosting与AdaBoost
10.4.1算法原理
10.4.2应用实例
10.5梯度提升
10.5.1梯度提升树与回归
10.5.2梯度提升树与分类
10.5.3梯度提升树的原理推导
1章聚类分析
11.1聚类的概念
11.2k均值算法
11.2.1算法描述
11.2.2应用实例——图像的色彩量化
11.3优选期望算法
11.3.1算法原理
11.3.2收敛探讨
11.4高斯混合模型
11.4.1模型推导
11.4.2应用实例
11.5密度聚类
11.5.1DBSCAN算法
11.5.2应用实例
11.6层次聚类
11.6.1AGNES算法
11.6.2应用实例
11.7谱聚类
11.7.1基本符号
11.7.2正定矩阵与半正定矩阵
11.7.3拉普拉斯矩阵
11.7.4相似图
11.7.5谱聚类切图
11.7.6算法描述
11.7.7应用实例
2章降维与流形学习
12.1主成分分析
12.2奇异值分解
12.2.1一个基本的认识
12.2.2为什么可以做SVD
12.2.3SVD与PCA的关系
12.2.4应用举例与矩阵的伪逆
12.3多维标度法
3章采样方法
13.1蒙特卡洛法求定积分
13.1.1无意识统计学家法则
13.1.2投点法
13.1.3期望法
13.2蒙特卡洛采样
13.2.1逆采样
13.2.2博克斯-穆勒变换
13.2.3拒绝采样与自适应拒绝采样
13.3矩阵的极限与马尔科夫链
13.4查普曼-柯尔莫哥洛夫等式
13.5马尔科夫链蒙特卡洛
13.5.1重要性采样
13.5.2马尔科夫链蒙特卡洛的基本概念
13.5.3梅特罗波利斯-黑斯廷斯算法
13.5.4吉布斯采样
4章概率图模型
14.1共轭分布
14.2贝叶斯网络
14.2.1基本结构单元
14.2.2模型推理
14.3贝叶斯网络的Python实例
14.4隐马尔科夫模型
14.4.1随机过程
14.4.2从时间角度考虑不确定性
14.4.3前向算法
14.4.4维特比算法