本书深入浅出地介绍了目前机器学习领域中重要的理论和关键的算法，涵盖机器学习的前沿内容，同时提供讨论和证明算法所需的理论基础与概念，并且指出了这些算法在实际应用中的关键点，旨在通过对一些基本问题乃至前沿问题的精确证明，为读者提供新的理念和理论工具。本书注重对算法的分析和理论的关注，涉及的内容包括概率近似正确（PAC）学习框架、基于Rademacher复杂度和VC-维的泛化界、支持向量机（SVM）、核方法、boosting、在线学习、多分类、排序、回归、算法稳定性、降维、学习自动机和语言及强化学习。

梅尔亚·莫里(Mehryar Mohri)，纽约大学库兰特数学科学研究所计算机科学与数学教授，同时任谷歌研究院的研究顾问。主要研究方向包括机器学习理论和算法、语音处理、自动机理论和算法、自然语言处理、计算生物学等。曾在AT＆T实验室研究部担任部门主管和技术负责人。他是多个核心加权自动机和有限状态机算法的作者，在将加权有限状态机应用于语音识别和自然语言处理方面做了开创性的工作。

译者序
前言
第1章 引言
1.1 什么是机器学习
1.2 机器学习可以解决什么样的问题
1.3 一些典型的学习任务
1.4 学习阶段
1.5 学习情境
1.6 泛化
第2章 PAC学习框架
2.1 PAC学习模型
2.2 对有限假设集的学习保证——一致的情况
2.3 对有限假设集的学习保证——不一致的情况
2.4 泛化性
2.4.1 确定性与随机性情境
2.4.2 贝叶斯误差与噪声
2.5 文献评注
2.6 习题
第3章 Rademacher复杂度和VC-维
3.1 Rademacher复杂度
3.2 生长函数
3.3 VC-维
3.4 下界
3.5 文献评注
3.6 习题
第4章 模型选择
4.1 估计误差和近似误差
4.2 经验风险最小化
4.3 结构风险最小化
4.4 交叉验证
4.5 n-折交叉验证
4.6 基于正则化的算法
4.7 凸替换项损失
4.8 文献评注
4.9 习题
第5章 支持向量机
5.1 线性分类
5.2 可分情况
5.2.1 原始优化问题
5.2.2 支持向量
5.2.3 对偶优化问题
5.2.4 留一法
5.3 不可分情况
5.3.1 原始优化问题
5.3.2 支持向量
5.3.3 对偶优化问题
5.4 间隔理论
5.5 文献评注
5.6 习题
第6章 核方法
6.1 引言
6.2 正定对称核
6.2.1 定义
6.2.2 再生核希尔伯特空间
6.2.3 性质
6.3 基于核的算法
6.3.1 具有PDS核的SVM
6.3.2 表示定理
6.3.3 学习保证
6.4 负定对称核
6.5 序列核
6.5.1 加权转换器
6.5.2 有理核
6.6 近似核特征映射
6.7 文献评注
6.8 习题
第7章 boosting
7.1 引言
7.2 AdaBoost算法
7.2.1 经验误差的界
7.2.2 与坐标下降的关系
7.2.3 实践中的使用方式
7.3 理论结果
7.3.1 基于VC-维的分析
7.3.2 L1-几何间隔
7.3.3 基于间隔的分析
7.3.4 间隔最大化
7.3.5 博弈论解释
7.4 L1-正则化
7.5 讨论
7.6 文献评注
7.7 习题
第8章 在线学习
8.1 引言
8.2 有专家建议的预测
8.2.1 错误界和折半算法
8.2.2 加权多数算法
8.2.3 随机加权多数算法
8.2.4 指数加权平均算法
8.3 线性分类
8.3.1 感知机算法
8.3.2 Winnow算法
8.4 在线到批处理的转换
8.5 与博弈论的联系
8.6 文献评注
8.7 习题
第9章 多分类
9.1 多分类问题
9.2 泛化界
9.3 直接型多分类算法
9.3.1 多分类SVM
9.3.2 多分类boosting算法
9.3.3 决策树
9.4 类别分解型多分类算法
9.4.1 一对多
9.4.2 一对一
9.4.3 纠错输出编码
9.5 结构化预测算法
9.6 文献评注
9.7 习题
第10章 排序
10.1 排序问题
10.2 泛化界
10.3 使用SVM进行排序
10.4 RankBoost
10.4.1 经验误差界
10.4.2 与坐标下降的关系
10.4.3 排序问题集成算法的间隔界
10.5 二部排序
10.5.1 二部排序中的boosting算法
10.5.2 ROC曲线下面积
10.6 基于偏好的情境
10.6.1 两阶段排序问题
10.6.2 确定性算法
10.6.3 随机性算法
10.6.4 关于其他损失函数的扩展
10.7 其他的排序准则
10.8 文献评注
10.9 习题
第11章 回归
11.1 回归问题
11.2 泛化界
11.2.1 有限假设集
11.2.2 Rademacher复杂度界
11.2.3 伪维度界
11.3 回归算法
11.3.1 线性回归
11.3.2 核岭回归
11.3.3 支持向量回归
11.3.4 Lasso
11.3.5 组范数回归算法
11.3.6 在线回归算法
11.4 文献评注
11.5 习题
第12章 最大熵模型
12.1 密度估计问题
12.1.1 最大似然解
12.1.2 最大后验解
12.2 添加特征的密度估计问题
12.3 最大熵准则
12.4 最大熵模型简介
12.5 对偶问题
12.6 泛化界
12.7 坐标下降算法
12.8 拓展
12.9 L2-正则化
12.10 文献评注
12.11 习题
第13章 条件最大熵模型
13.1 学习问题
13.2 条件最大熵准则
13.3 条件最大熵模型简介
13.4 对偶问题
13.5 性质
13.5.1 优化问题
13.5.2 特征向量
13.5.3 预测
13.6 泛化界
13.7 逻辑回归
13.7.1 优化问题
13.7.2 逻辑模型
13.8 L2-正则
13.9 对偶定理的证明
13.10 文献评注
13.11 习题
第14章 算法稳定性
14.1 定义
14.2 基于稳定性的泛化保证
14.3 基于核的正则化算法的稳定性
14.3.1 应用于回归算法：以SVR和KRR为例
14.3.2 应用于分类算法：以SVM为例
14.3.3 讨论
14.4 文献评述
14.5 习题
第15章 降维
15.1 主成分分析
15.2 核主成分分析
15.3 KPCA和流形学