机器学习是当前解决很多人工智能问题的核心技术，自2012年以来，深度学习的出现带来了人工智能复兴。本书是机器学习和深度学习领域的入门与提高教材，紧密结合工程实践与应用，系统、深入地讲述机器学习与深度学习的主流方法与理论。全书由23章组成，共分为三大部分。第1～3章为第一部分，介绍机器学习的基本原理、所需的数学知识（包括微积分、线性代数、最优化方法和概率论），以及机器学习中的核心概念。第4～22章为第二部分，是本书的主体，介绍各种常用的有监督学习算法、无监督学习算法、半监督学习算法和强化学习算法。对于每种算法，从原理与推导、工程实现和应用3个方面进行介绍，对于大多数算法，都配有实验程序。第23章为第三部分，介绍机器学习和深度学习算法实际应用时面临的问题，并给出典型的解决方案。
本书理论推导与证明详细、深入，结构清晰，详细地讲述主要算法的原理与细节，让读者不仅知其然，还知其所以然，真正理解算法、学会使用算法。对于计算机、人工智能及相关专业的本科生和研究生，这是一本适合入门与系统学习的教材；对于从事人工智能和机器学习产品研发的工程技术人员，本书也具有很强的参考价值。

雷明，致力于研发机器学习与深度学习、计算机视觉框架，SIGAI创始人。2009年毕业于清华大学计算机系，获硕士学位，研究方向为机器学习、计算机视觉，发表论文数篇。曾就职于百度公司，任高级软件工程师和项目经理；zmodo/meshare，任CTO与平台研发中心负责人。在机器学习、计算机视觉方向有丰富的学术研究与产品研发经验。

第一部分 基本概念与数学知识
第1章 机器学习简介
1.1 机器学习是什么
1.1.1 一个简单的例子
1.1.2 为什么需要机器学习
1.2 典型应用
1.2.1 语音识别
1.2.2 人脸检测
1.2.3 人机对弈
1.2.4 机器翻译
1.2.5 自动驾驶
1.3 发展历程
1.3.1 历史成就
1.3.2 当前进展
1.4 关于本书
参考文献
第2章 数学知识
2.1 微积分和线性代数
2.1.1 导数
2.1.2 向量与矩阵
2.1.3 偏导数与梯度
2.1.4 雅可比矩阵
2.1.5 Hessian矩阵
2.1.6 泰勒展开
2.1.7 行列式
2.1.8 特征值与特征向量
2.1.9 奇异值分解
2.1.10 二次型
2.1.11 向量与矩阵求导
2.2 最优化方法
2.2.1 梯度下降法
2.2.2 牛顿法
2.2.3 坐标下降法
2.2.4 拉格朗日乘数法
2.2.5 凸优化
2.2.6 拉格朗日对偶
2.2.7 KKT条件
2.2.8 拟牛顿法
2.2.9 面临的问题
2.3 概率论
2.3.1 随机事件与概率
2.3.2 条件概率
2.3.3 随机变量
2.3.4 数学期望与方差
2.3.5 随机向量
2.3.6 最大似然估计
参考文献
第3章 基本概念
3.1 算法分类
3.1.1 监督信号
3.1.2 分类问题与回归问题
3.1.3 判别模型与生成模型
3.1.4 强化学习
3.2 模型评价指标
3.2.1 精度与召回率
3.2.2 ROC曲线
3.2.3 混淆矩阵
3.2.4 交叉验证
3.3 模型选择
3.3.1 过拟合与欠拟合
3.3.2 偏差与方差分解
3.3.3 正则化
参考文献
第二部分 主要的机器学习算法与理论
第4章 贝叶斯分类器
4.1 贝叶斯决策
4.2 朴素贝叶斯分类器
4.2.1 离散型特征
4.2.2 连续型特征
4.3 正态贝叶斯分类器
4.3.1 训练算法
4.3.2 预测算法
4.4 实验程序
4.5 应用
参考文献
第5章 决策树
5.1 树形决策过程
5.2 分类与回归树
5.3 训练算法
5.3.1 递归分裂过程
5.3.2 寻找最佳分裂
5.3.3 叶子节点值的设定
5.3.4 属性缺失问题
5.3.5 剪枝算法
5.3.6 训练算法的流程
5.3.7 计算变量的重要性
5.4 实验程序
5.5 应用
参考文献
第6章 k近邻算法
6.1 基本概念
6.2 预测算法
6.3 距离定义
6.3.1 常用距离定义
6.3.2 距离度量学习
6.4 实验程序
6.5 应用
参考文献
第7章 数据降维
7.1 主成分分析
7.1.1 数据降维问题
7.1.2 计算投影矩阵
7.1.3 向量降维
7.1.4 向量重构
7.2 流形学习
7.2.1 局部线性嵌入
7.2.2 拉普拉斯特征映射
7.2.3 局部保持投影
7.2.4 等距映射
7.2.5 随机近邻嵌入
7.2.6 t分布随机近邻嵌入
7.3 实验程序
7.4 应用
参考文献
第8章 线性判别分析
8.1 用投影进行分类
8.2 投影矩阵
8.2.1 一维的情况
8.2.2 推广到高维
8.3 实验程序
8.4 应用
参考文献
第9章 人工神经网络
9.1 多层前馈型神经网络
9.1.1 神经元
9.1.2 网络结构
9.1.3 正向传播算法
9.2 反向传播算法
9.2.1 一个简单的例子
9.2.2 完整的算法
9.3 实验程序
9.4 理论解释
9.4.1 数学性质
9.4.2 与神经系统的关系
9.5 面临的问题
9.5.1 梯度消失
9.5.2 退化
9.5.3 局部极小值
9.5.4 鞍点
9.6 实现细节问题
9.6.1 输入值与输出值
9.6.2 网络规模
9.6.3 激活函数
9.6.4 损失函数
9.6.5 权重初始化
9.6.6 正则化
9.6.7 学习率的设定
9.6.8 动量项
9.7 应用
参考文献
第10章 支持向量机
10.1 线性分类器
10.1.1 线性分类器概述
10.1.2 分类间隔
10.2 线性可分的问题
10.2.1 原问题
10.2.2 对偶问题
10.3 线性不可分的问题
10.3.1 原问题
10.3.2 对偶问题
10.4 核映射与核函数
10.5 SMO算法
10.5.1 求解子问题
10.5.2 优化变量的选择
10.6 多分类问题
10.7 实验程序
10.8 libsvm简介
10.8.1 求解算法
10.8.2 库的使用
10.9 应用
参考文献
第11章 线性模型
11.1 logistic回归
11.1.1 第一种表述
11.1.2 第二种表述
11.1.3 L2正则化原问题
11.1.4 L2正则化对偶问题
11.1.5 L1正则化原问题
11.1.6 实验程序
11.2 线性支持向量机
11.2.1 L2正则化L1loss SVC原问题
11.2.2 L2正则化L2loss SVC原问题
11.2.3 L2正则化SVC对偶问题
11.2.4 L1正则化L2loss SVC原问题
11.2.5 多类