丁伟雄（1971年生），男，北京航空航天大学毕业，佛山科学技术学院创业学院副院长，不错实验师。研究方向：计算机应用技术。编写的图书实例丰富，实用性强。

章机器学习绪论1
1.1机器学习的定义1
1.1.1绪论1
1.1.2机器学习发展历程2
1.1.3机器学习算法的分类3
1.2学习算法4
1.2.1监督学习4
1.2.2无监督学习5
1.3机器学习应用程序的步骤6
1.4Python语言7
1.4.1Python的风格7
1.4.2Python的优势7
1.4.3Python语言的缺点8
1.5Python的环境搭建9
1.5.1安装10
1.5.2使用pip安装第三方库13
1.6NumPy函数库基础14
1.7Python的基础知识16
1.7.1数和表达式16
1.7.2Python的标识符18
1.7.3Python的保留字符19
1.7.4行和缩进19
1.7.5多行语句20
1.7.6Python引号20
1.7.7Python空行20
1.7.8同一行显示多条语句20
1.7.9Print输出21
第2章线性模型22
2.1一般线性回归23
2.1.1线性回归公式表示法23
2.1.2线性回归的Python实现25
2.2局部加权线性回归27
2.3广义线性模型30
2.4逻辑回归分析36
2.5牛顿法40
2.5.1基本牛顿法的原理40
2.5.2基本牛顿法的流程40
2.5.3全局牛顿法40
2.5.4Armijo搜索42
2.5.5全局牛顿法求解线性回归模型42
2.6缩减法43
2.6.1岭回归44
2.6.2lasso回归46
2.7利用线性回归进行预测47
2.7.1训练线性回归模型47
2.7.2对新数据的预测49
第3章树回归51
3.1构建决策树的准备工作52
3.1.1特征选择52
3.1.2决策树的生成和修剪60
3.2Matplotlib注释绘制树形图60
3.3使用决策树执行分类67
3.4决策树的存储71
3.5Sklearn使用决策树预测隐形眼镜类型73
3.5.1实战背景73
3.5.2使用Sklearn构建决策树73
3.6复杂数据的局部性建模80
3.7连续型和离散型特征的树构建81
3.8分类回归树82
3.8.1构建树83
3.8.2剪枝85
3.8.3模型树87
3.8.4分类回归的Python实现88
第4章K-means聚类算法92
4.1K-means聚类算法的概述92
4.2相似性的度量93
4.2.1闵可夫斯基距离93
4.2.2曼哈顿距离93
4.2.3欧氏距离93
4.3K-means聚类算法的原理94
4.3.1K-means聚类算法的步骤94
4.3.2K-means算法与矩阵分解95
4.3.3K-means聚类算法的实现96
4.4K-近邻算法104
4.5各种聚类算法107
4.5.1划分聚类法107
4.5.2层次聚类法108
4.5.3密度聚类法111
4.5.4谱聚类法116
4.5.5Birch聚类119
4.5.6混合高斯模型121
4.6K-means++算法122
4.6.1K-means算法存在的问题122
4.6.2K-means++算法的思路123
第5章朴素贝叶斯127
5.1朴素贝叶斯理论127
5.1.1贝叶斯决策理论127
5.1.2条件概率128
5.1.3全概率公式128
5.1.4贝叶斯推断129
5.1.5朴素贝叶斯推断130
5.2朴素贝叶斯算法131
5.3朴素贝叶斯算法的优缺点140
第6章数据降维141
6.1维度灾难与降维141
6.2高维数据降维的方法141
6.2.1线性降维142
6.2.2非线性降维146
6.2.3SVD降维153
6.2.4流形学习降维159
6.2.5多维缩放降维166
第7章支持向量机170
7.1支持向量机概述170
7.2分类间隔171
7.2.1函数间距172
7.2.2几何间距173
7.3拉格朗日乘子175
7.3.1拉格朗日对偶性175
7.3.2优化间隔分类器176
7.4核函数178
7.4.1核函数的选择180
7.4.2松弛向量与软间隔优选化180
7.5SOM算法181
7.5.1坐标上升算法182
7.5.2SOM182
7.6SVM的优缺点185
7.7SVM的Python实现185
第8章随机森林192
8.1什么是随机森林192
8.2集成学习192
8.2.1集成学习的思想193
8.2.2集成学习中的典型方法193
8.3Stacking194
8.3.1Stacking的基本思想194
8.3.2Stacking的实现195
8.4随机森林算法198
8.4.1随机森林的特点198
8.4.2随机森林算法流程199
8.5随机森林算法实践201
8.6美国人口普查年收入50k分类207
8.6.1数据预处理208
8.6.2模型训练及验证212
第9章人工神经网络217
9.1感知机模型217
9.1.1感知机的定义217
9.1.2感知机的学习策略218
9.1.3感知机学习算法218
9.1.4感知机的Python实现226
9.2从感知机到神经网络236
9.3多层前馈神经网络238
9.3.1BP网络算法241
9.3.2BP神经网络的学习过程244
9.3.3BP神经网络中参数的设置249
9.4神经网络的Python实现253
0章协同过滤算法272
10.1协同过滤的核心272
10.2协同过滤的分类272
10.3相似性的度量方法273
10.3.1欧氏距离273
10.3.2皮尔逊相关系数273
10.3.3余弦相似度274
10.3.4用Python实现余弦相似度的计算274
10.4基于用户的协同过滤算法275
10.4.1基于物品的协同过滤算法275
10.4.2基于矩阵分解的协同过滤算法276
10.4.3Python实现276
10.5基于项的协同过滤算法280
10.6利用协同过滤算法进行推荐281
10.6.1导入用户-商品数据281
10.6.2利用基于用户的协同过滤算法进行推荐282
10.6.3利用基于项的协同过滤算法进行推荐283
1章基于矩阵分解的推荐算法285
11.1矩阵分解285
11.2利用矩阵分解进行预测286
11.2.1损失函数286
11.2.2损失函数的求解286
11.2.3加入正则项的损失函数即求解方法286
11.2.4预测288
11.2.5程序实现289
11.3非负矩阵分解291
11.3.1非负矩阵分解的形式定义291
11.3.2损失函数291
11.3.3优化问题的求解292
11.3.4利用乘法规则进行分解和预测294
11.4基于矩阵分解的推荐方法295
11.4.1LFM法295
11.4.2SVD法298
11.4.3SVD++法300
2章集成学习304
12.1集成学习的原理及误差304
12.2集成学习方法305
12.2.1Boosting算法305
12.2.2AdaBoost算法305
12.2.3AdaBoost与加法模型309
12.2.4提升树310
12.2.5Bagging算法313
12.2.6误差-分歧分解314
12.2.7多样性增强315
12.2.8Stacking算法316
12.3Python实现317
3章数据预处理322
13.1数据预处理概述322
13.1.1为什么要对数据进行预处理322
13.1.2数据预处理的主要任务323
13.2去除唯一属性323
13.3处理缺失值324
13.3.1直接使用324
13.3.2删除特征324
13.3.3缺失值补全324
13.3.4数据清理328
13.3.5特征编码330
13.3.6数据标准化331
13.3.7正则化332
13.3.8特征选择333
13.3.9稀疏表示和字典学习335
13.4Python实现337
参考文献352

在大数据时代背景下，机器学习是人工智能研究领域中一个极其重要的方向，本书是一本机器学习方面的入门读物，注重理论与实践相结合，书中以Python 3.6.5为编写平台，共分13章，主要包括机器学习绪论、线性模型、树回归、K-means聚类算法、朴素贝叶斯、数据降维、支持向量机、随机森林、人工神经网络、协同过滤算法、基于矩阵分解的推荐算法、集成学习、数据预处理等内容。通过本书的学习，除使读者轻松掌握Python外，还能利用Python简单、快捷地解决各种机器学习问题。本书适合Python初学者，也适合研究Python的广大科研人员、学者、工程技术人员。