本书详细地介绍了机器学习的基本原理，并采用“原理简述+问题实例+实际代码+运行结果”的模式介绍常用算法。全书共11章，主要包括决策树、神经网络、支持向量机、贝叶斯分类器、集成学习、聚类、降维等内容。

李克清，男，博士，教授，苏州大学硕士生导师，中国矿业大学硕士生导师，中国计算机学会会员，江苏省计算机学会监事。

第 1章  导论  1
1.1  引言  1
1.2  基本术语  2
1.3  概念学习与假设空间  3
1.4  归纳偏好  4
1.5  经验误差与过拟合  5
1.6  模型评估与选择  5
1.7  性能度量  6
1.8  发展历程  8
1.9  应用现状  10
习题1  11
第  2章 Python初步  12
2.1  Python概述  12
2.2  NumPy库介绍  12
2.2.1  ndarray对象  12
2.2.2  ufunc函数  14
2.2.3  常用函数库  15
2.3  Matplotlib库介绍  19
2.3.1  快速绘制二维图表  19
2.3.2  Artist对象  21
2.3.3  配置属性  24
2.3.4  绘制三维图表  24
2.4  SciPy库函数  26
2.4.1  线性代数模块  26
2.4.2  优化和拟合模块  28
2.4.3  统计模块  30
2.4.4  稀疏矩阵模块  32
2.5  scikit-learn库函数  35
2.5.1  sklearn.datasets  35
2.5.2  模型选择与评价  36
2.5.3  scikit-learn的机器学习  44
习题2  46
第3章  决策树  48
3.1  引言  48
3.1.1  决策树的基本思想  48
3.1.2  决策树的构造  49
3.1.3  决策树的算法框架  54
3.1.4  信息增益  54
3.2  ID3决策树  57
3.2.1  ID3算法  57
3.2.2  ID3的实现  59
3.3  C4.5决策树  63
3.3.1  C4.5算法  63
3.3.2  C4.5的实现  64
3.4  sklearn与回归树  68
3.4.1  回归算法原理  68
3.4.2  最小剩余方差法  69
3.4.3  剪枝策略  69
3.4.4  sklearn实现  70
习题3  72
第4章  神经网络  73
4.1  引言  73
4.1.1  人工神经网络的发展历程  73
4.1.2  人工神经网络的特点  74
4.1.3  人工神经网络的分类  75
4.2  神经元模型  75
4.3  感知机与多层神经网络  77
4.3.1  感知机  77
4.3.2  梯度下降法  81
4.3.3  随机梯度下降法  85
4.3.4  多层神经网络  86
4.4  误差反向传播算法  90
4.4.1  BP神经网络学习算法  90
4.4.2  BP神经网络实验  93
4.5  玻耳兹曼机  95
4.5.1  BM的拓扑结构  96
4.5.2  BM的学习过程  96
4.6  综合案例  99
习题4  101
第5章  支持向量机  103
5.1  引言  103
5.2  线性分类  104
5.2.1  函数间隔与几何间隔  104
5.2.2  对偶问题  107
5.3  线性支持向量机  108
5.4  非线性支持向量机  111
5.4.1  核技巧  111
5.4.2  sklearn SVC  113
5.5  序列最小优化算法  117
5.6  综合案例  119
习题5  125
第6章  贝叶斯分类器  127
6.1  引言  127
6.2  朴素贝叶斯分类  128
6.2.1  朴素贝叶斯算法  128
6.2.2  朴素贝叶斯分类算法  129
6.2.3  朴素贝叶斯分类算法的Python实现  131
6.2.4  sklearn的朴素贝叶斯方法  135
6.3  极大似然估计  137
6.3.1  EM算法  138
6.3.2  EM算法步骤  140
6.3.3  三硬币的EM求解  140
6.3.4  sklearn的EM方法  142
6.4  贝叶斯网络  146
6.4.1  贝叶斯网络的构造和学习  146
6.4.2  贝叶斯网络应用举例  147
习题6  150
第7章  集成学习  152
7.1  引言  152
7.2  Voting  153
7.3  Bagging  156
7.4  Boosting  161
7.4.1  AdaBoost法  161
7.4.2  Gradient Boosting  165
7.5  综合案例  168
习题7  171
第8章  聚类  172
8.1  引言  172
8.1.1  聚类的概念  172
8.1.2  典型应用  172
8.1.3  常见算法分类  172
8.1.4  聚类算法中存在的问题  173
8.2  距离计算  173
8.2.1  闵可夫斯基距离  173
8.2.2  欧几里得距离  174
8.2.3  曼哈顿距离  174
8.2.4  切比雪夫距离  175
8.2.5  皮尔逊相关系数  175
8.2.6  余弦相似度  175
8.2.7  杰卡德相似系数  176
8.3  k-means聚类  176
8.3.1  算法思想  176
8.3.2  辅助函数  177
8.3.3  编程实现k-means算法  178
8.3.4  scikit-learn中的k-means方法  179
8.3.5  算法评价  181
8.3.6  算法改进k-means++  181
8.4  密度聚类  182
8.4.1  密度聚类算法思想  182
8.4.2  DBSCAN算法  182
8.4.3  密度峰值聚类  185
8.5  层次聚类  187
8.5.1  层次聚类思想  187
8.5.2  层次聚类实现  188
8.6  综合实例  190
8.6.1  聚类算法性能比较  190
8.6.2  算法总结  193
习题8  193
第9章  降维  195
9.1  引言  195
9.1.1  降维的概念  195
9.1.2  常见算法分类  195
9.2  k-近邻学习  196
9.2.1  算法实现  197
9.2.2  算法实例  199
9.2.3  算法关键  200
9.3  主成分分析  201
9.3.1  算法思想  201
9.3.2  算法实例  202
9.4  低维嵌入  205
9.4.1  算法原理  205
9.4.2  算法实例  206
9.4.3  算法评价  208
9.5  奇异值分解  209
9.5.1  SVD算法原理  209
9.5.2  SVD算法及应用示例  210
9.6  综合实例  215
9.6.1  PCA实例  215
9.6.2  SVD实例  218
习题9  219
第  10章 概率图模型  221
10.1  引言  221
10.2  马尔科夫过程  222
10.2.1  基本概念  222
10.2.2  隐马尔科夫模型  225
10.3  Viterbi算法  227
10.4  综合案例  231
习题10  233
第  11章 深度学习初步  235
11.1  引言  235
11.2  表示问题  235
11.3  学习问题  236
11.4  优化问题  238
11.5  认知问题  238
11.6  基本模型  239
11.6.1  自编码器  239
11.6.2  受限玻耳兹曼机  240
11.6.3  卷积神经网络  242
11.7  TensorFlow的简介与安装  243
11.7.1  Python 3环境  243
11.7.2  安装TensorFlow  243
11.7.3  验证  243
11.8  TensorFlow的基本使用  243
11.9  基于卷积神经网络的MNIST手写体识别实验  245
11.9.1  conv2d函数  245
11.9.2  max_pool函数  246
11.9.3  示例程序  246
习题11  249
参考文献  250