本书用平实的语言深入浅出地介绍当前热门的机器学习经典算法，包括线性回归、Logistic回归与Softmax回归、决策树（分类与回归）、朴素贝叶斯、支持向量机、K近邻学习、K-Means和人工神经网络，针对每一个算法首先介绍数学模型及原理，然后根据模型和算法描述使用Python编程和Numpy库进行算法实现，最后通过案例让读者进一步体会算法的应用场景以及应用时所需注意的问题。
本书适合准备进入人工智能和数据分析与挖掘领域的初学者，对机器学习算法感兴趣的爱好者、程序员、大学生和各类IT培训班的学员使用。

刘硕，硕士，曾就职于知名外企，从事一线开发工作10年，目前主要从事Python开发与教学工作，在慕课网开设有多门Python课程，深受学员欢迎。

第1章 线性回归
1.1 线性回归模型
1.2 小二乘法
1.3 梯度下降
1.3.1 梯度下降算法
1.3.2 随机梯度下降和小批量梯度下降
1.4 算法实现
1.4.1 小二乘法
1.4.2 梯度下降
1.5 项目实战
1.5.1 准备数据
1.5.2 模型训练与测试
第2章 Logistic回归与Softmax回归
2.1 Logistic回归
2.1.1 线性模型
2.1.2 logistic函数
2.1.3 Logistic回归模型
2.1.4 极大似然法估计参数
2.1.5 梯度下降更新公式
2.2 Softmax回归
2.2.1 Softmax函数
2.2.2 Softmax回归模型
2.2.3 梯度下降更新公式
2.3 编码实现
2.3.1 Logistic回归
2.3.2 Softmax回归
2.4 项目实战
2.4.1 Logistic回归
2.4.2 Softmax回归
第3章 决策树——分类树
3.1 决策树模型
3.2 生成决策树
3.3 切分特征的选择
3.3.1 信息熵
3.3.2 条件信息熵
3.3.3 信息增益
3.3.4 信息增益比
3.4 算法实现
3.5 绘制决策树
3.6 项目实战
3.6.1 准备数据
3.6.2 模型训练与测试
第4章 决策树——分类回归树
4.1 CART算法的改进
4.2 处理连续值特征
4.3 CART分类树与回归树
4.3.1 CART分类树
4.3.2 CART回归树
4.4 算法实现
4.4.1 CART分类树
4.4.2 CART回归树
4.5 项目实战
4.5.1 CART分类树
4.5.2 CART回归树
第5章 朴素贝叶斯
5.1 朴素贝叶斯模型
5.1.1 贝叶斯公式
5.1.2 贝叶斯分类器
5.1.3 朴素贝叶斯分类器
5.2 模型参数估计
5.2.1 极大似然估计
5.2.2 贝叶斯估计
5.3 算法实现
5.4 项目实战
5.4.1 准备数据
5.4.2 模型训练与测试
第6章 支持向量机
6.1 线性可分支持向量机
6.1.1 分离超平面
6.1.2 间隔最大化
6.1.3 拉格朗日对偶法
6.1.4 分类决策函数
6.1.5 线性可分支持向量机算法
6.2 线性支持向量机
6.2.1 软间隔最大化
6.2.2 线性支持向量机算法
6.3 非线性支持向量机
6.3.1 空间变换
6.3.2 核技巧
6.3.3 非线性支持向量机算法
6.4 SMO算法
6.4.1 两个变量最优化问题的求解
6.4.2 变量选择
6.4.3 更新b
6.4.4 更新E缓存
6.5 算法实现
6.6 项目实战
6.6.1 准备数据
6.6.2 模型训练与测试
第7章 k近邻学习
7.1 kNN学习
7.1.1 kNN学习模型
7.1.2 距离的度量
7.1.3 k值的选择
7.2 kNN的一种实现：k-d树
7.2.1 构造k-d树
7.2.2 搜索k-d树
7.3 算法实现
7.3.1 线性扫描版本
7.3.2 k-d树版本
7.4 项目实战
7.4.1 准备数据
7.4.2 模型训练与测试
第8章 K.Means
8.1 K-Means
8.1.1 距离的度量
8.1.2 聚类算法的性能
8.1.3 K-Means算法
8.2 K-Means
8.3 算法实现
8.3.1 K-Means
8.3.2 K-Means
8.4 项目实战
8.4.1 准备数据
8.4.2 模型训练与测试
第9章 人工神经网络
9.1 神经网络
9.1.1 人造神经元
9.1.2 神经网络
9.2 反向传播算法
9.2.1 输出节点的权值更新
9.2.2 隐藏节点的权值更新
9.3 算法实现
9.3.1 神经网络分类器
9.3.2 神经网络回归器
9.4 项目实战
9.4.1 准备数据
9.4.2 模型训练与测试

前言
近年来，机器学习技术已经渗透到我们日常生活的各
个方面，比如网上购物时的商品推荐、浏览网页时的广告
推送、手机拍照后的图像处理、电子邮箱中的垃圾邮件过
滤、停车场出入口的车牌识别、各种游戏中的机器人玩家
以及汽车厂商正在研发的无人驾驶等，机器学习技术的应
用随处可见，并且它的发展极其迅猛，在更多领域令人兴
奋（或恐惧）的应用已被研发出来或正在研发中。尤瓦尔?
赫拉利在其畅销书《未来简史》中表明了一个观点：未来
的世界由机器学习算法掌控。当了解到像谷歌、苹果、亚
马逊、IBM这样的大公司投入巨资用于机器学习的理论和应
用研究，并且时不时就听到AI在某领域把人类打得一败涂
地的新闻时，或许我们就不会认为赫拉利的观点是离谱的
异端邪说，或出于好奇，或出于恐惧，或出于实际的目的
，我们都应有充足的动力学习机器学习。市面上机器学习
的书已经很多了，大体上分为两类：一类是偏重机器学习
理论的书，这种类型的书，算法理论部分大都介绍得很详
细，但对于算法仅给出粗略的伪代码，而没有详尽的编码
实现，也没有提供案例应用，在初学者对机器学习了解甚
少的情况下，直接面对枯燥烦琐的数学推导，难免痛苦与
沮丧。另外，由于初学者很难直接根据理论自己实现算法
以及恰当地运用算法进行项目实践，因此无法验证学习成
果。另一类是偏重机器学习应用的书，这类书对算法的理
论进行了简单的提及，省略了有助于理解的重要数学推导
，且大多数不会带领读者编码实现一个算法，而是直接使
用开源库（如sklearn）中实现的算法，这类书算法的案例
应用部分介绍得很详细，初学者会对机器学习应用有所了
解，但由于理论匮乏且没有亲自动手实现算法，故导致无
法深入理解算法，学习一段时间后大部分内容便忘记了。
本书是一本写给初学者的机器学习算法入门书，试图填补
以上两类书的不足。本书在讲解算法时，首先详细介绍数
学模型及原理，然后带领读者根据模型和算法描述进行算
法实现，最后通过案例让读者进一步体会算法的应用场景
以及应用时所需注意的问题。其中，算法实现部分是本书
的重点，这部分所有算法的实现都基于Numpy这样一个非常
底层的数学库，这就意味着需自己手工实现更多的细节，
例如在计算损失函数的梯度时，需要手工推导计算梯度的
数学公式，然后对照公式编码实现计算梯度的函数，相信
本书的这种做法对初学者来说是一个有益的训练。另外，
书中几乎每一行代码都给出了详尽的注释，通过代码注释
来讲解算法的实现能给读者带来更好的体验，也便于读者
理解编码的思想。本书精选了经典的机器学习算法进行讲
解，主要包括：?\t线性回归?\tLogistic回归与
Softmax回归?\t决策树（分类与回归）?\t朴素贝叶
斯?\t支持向量机?\tk近邻学习?\tK-Means?\t
人工神经网络以上算法涵盖机器学习领域重要的思想，建
议初学者在学完本书后能深入理解并自己实现以上算法，
它们是日后在机器学习领域继续深入学习的基础。本书还
提供了算法示例的源代码，读者可以扫描以下二维码下载
：
如何在下载过程中遇到问题，请联系
booksaga@163.com，邮件主题为“Python机器学习算法：
原理、实现与案例下载资源”。由于笔者水平有限，书中
难免出现纰漏，恳请读者不吝赐教。最后，感谢清华大学
出版社的王金柱编辑对笔者的信任和在写作方面的指点，
我们的第二次合作非常愉快。
刘 硕2019年7月