本书对机器学习的基础知识和基本算法进行了详细的介绍，对广泛应用的经典算法（如线性回归、逻辑回归、朴素贝叶斯、支持向量机、决策树和集成学习等）进行了深入的分析，并讨论了无监督学习的基本方法。用5章对深度学习和深度强化学习讲行了相当全面的叙述，不仅深人地讨论了反向传播算法、多层感知机、卷积神经网络、循环神经网络和长短期记忆网络等深度神经网络的核心知识和结构，对于一些发展中的专题（如生成对抗网络和Transformer等）也给予了一定深度的介绍。对于强化学习，不仅介绍了经典表格方法，也较详细地讨论了深度强化学习。本书对于基础和前沿、经典方法和热门技术尽可能平衡，使读者不仅能在机器学习领域打下一个良好的基础，同时也可以利用所学知识解决遇到的实际问题并进入学科前沿。
本书是一本面向大学理工科和管理类各专业的宽口径、综合性的机器学习教材，可供高年级本科生和研究生使用，也可帮助科技人员、工程师和程序员自学机器学习的原理和算法。

张旭东，清华大学电子工程系长聘教授，博士生导师，主要研究方向为信号处理和机器学习。先后承担国家级、省部级和国际合作项目数十项，在IEEE、IET、ACM等重要刊物和NIPS、AAAI、ICASSP、SIGIR等重要会议上发表学术论文150余篇，出版著作5部。获得Elsevier的最高引用奖（The Most Cited Paper Award）和IET国际雷达年会最优论文奖，两次获得清华大学教学成果一等奖，3次获得清华大学优秀教材奖。

第1章 机器学习概述
1.1 什么是机器学习
1.2 机器学习的分类
1.2.1 基本分类
1.2.2 监督学习及其功能分类
1.3 构建机器学习系统
1.3.1 机器学习的基本元素
1.3.2 机器学习的一些基本概念
1.3.3 机器学习模型的性能评估
1.4 通过简单示例理解机器学习
1.4.1 一个简单的回归示例
1.4.2 一个简单的分类示例
1.5 训练、验证与测试
1.6 深度学习简介
1.7 本章小结
习题
第2章 统计与优化基础
2.1 概率基础
2.1.1 离散随机变量
2.1.2 连续随机变量
2.1.3 随机变量的基本特征
2.1.4 随机特征的蒙特卡洛逼近
2.2 概率实例
2.2.1 离散随机变量示例
2.2.2 高斯分布
2.2.3 指数族
2.2.4 混合高斯过程
2.2.5 马尔可夫过程
2.3 最大似然估计
2.4 贝叶斯估计——最大后验估计
2.5 随机变量的熵特征
2.5.1 熵的定义和基本性质
2.5.2 KL散度、互信息和负熵
2.6 非参数方法
2.7 优化技术概述
2.7.1 基本优化算法
2.7.2 拉格朗日方法
2.8 本章小结
习题
第3章 贝叶斯决策
3.1 机器学习中的决策
3.2 分类的决策
3.2.1 加权错误率准则
3.2.2 拒绝判决
3.3 回归的决策
3.4 高斯情况下的分类决策
3.4.1 相同协方差矩阵情况的二分类
3.4.2 不同协方差矩阵情况的二分类
3.4.3 多分类情况
3.5 KNN方法
*3.6 概率图模型概述
3.6.1 贝叶斯网络
3.6.2 无向图模型
3.6.3 图模型的学习与推断
3.7 本章小结
习题
第4章 基本回归算法
4.1 线性回归
4.1.1 基本线性回归
4.1.2 线性回归的递推学习
4.1.3 正则化线性回归
4.1.4 多输出线性回归
*4.2 稀疏线性回归Lasso
4.2.1 Lasso的循环坐标下降算法
4.2.2 Lasso的LAR算法
4.3 线性基函数回归
*4.4 奇异值分解
4.5 回归学习的误差分解
4.6 本章小结
习题
第5章 基本分类学习
5.1 基本分类问题
5.2 线性判别函数模型
5.2.1 Fisher线性判别分析
*5.2.2 感知机
5.3 逻辑回归
5.3.1 二分类问题的逻辑回归
5.3.2 多分类问题的逻辑回归
5.4 朴素贝叶斯方法
*5.5 机器学习理论简介
5.5.1 假设空间有限时的泛化误差界
5.5.2 假设空间无限时的泛化误差界
5.6 本章小结
习题
第6章 支持向量机与核函数方法
6.1 线性支持向量机
6.1.1 不等式约束的优化
6.1.2 线性可分情况的SVM
6.1.3 不可分情况的SVM
6.1.4 合页损失函数
6.1.5 SVM用于多分类问题
6.2 非线性支持向量机
6.2.1 SVM分类算法小结
*6.2.2 SMO算法
6.3 支持向量回归
*6.4 核函数方法
6.5 本章小结
习题
第7章 决策树
7.1 基本决策树算法
7.1.1 决策树的基本结构
7.1.2 信息增益和ID3算法
7.1.3 信息增益率和C4.5算法
7.2 CART算法
7.2.1 分类树
7.2.2 回归树
7.3 决策树的一些实际问题
7.3.1 连续数值变量
7.3.2 正则化和剪枝技术
7.3.3 缺失属性的训练样本问题
7.4 本章小结
习题
第8章 集成学习
8.1 Bagging和随机森林
8.1.1 自助采样和Bagging算法
8.1.2 随机森林算法
8.2 提升和AdaBoost算法
8.2.1 AdaBoost算法介绍
*8.2.2 AdaBoost算法分析
8.3 提升树算法
8.3.1 加法模型和提升树
8.3.2 梯度提升树
8.4 本章小结
习题
第9章 神经网络与深度学习之一：基础
9.1 神经网络的基本结构
9.1.1 神经元结构
9.1.2 多层神经网络解决异或问题
9.1.3 多层感知机
9.1.4 神经网络的逼近定理
9.2 神经网络的目标函数和优化
9.2.1 神经网络的目标函数
9.2.2 神经网络的优化
9.3 误差反向传播算法
9.3.1 反向传播算法的推导
9.3.2 反向传播算法的向量形式
9.3.3 反向传播算法的扩展
9.4 神经网络学习中的一些问题
9.4.1 初始化
9.4.2 正则化
9.4.3 几类等价正则化技术
9.5 本章小结
习题
第10章 神经网络与深度学习之二：结构
10.1 卷积神经网络
10.1.1 卷积运算及其物理意义
10.1.2 基本CNN的结构
10.1.3 CNN的参数学习
*10.1.4 卷积的一些扩展结构
*10.1.5 CNN示例介绍
10.2 循环神经网络
10.2.1 基本RNN
10.2.2 RNN的计算和训练
*10.2.3 长短期记忆模型
*10.2.4 门控循环单元
10.3 本章小结
习题
第11章 神经网络与深度学习之三：技术和应用
11.1 深度学习中的优化算法
11.1.1 小批量SGD算法
11.1.2 动量SG