史蒂芬·马斯兰（Stephen Marsland），新西兰惠灵顿维多利亚大学数学与统计学院教授，兼任新西兰复杂系统很好研究中心项目主管，负责复杂性、风险与不确定性等相关主题的研究工作。研究兴趣是几何和复杂系统的应用，主要涉及形状空间、机器学习和算法，目前专注于鸟鸣分析工作，目标是自动识别鸟的种类并根据这些信息推断种群密度。

第2版前言
版前言
章绪论1
1.1如果数据有质量，地球将成为黑洞1
1.2学习3
1.2.1机器学习3
1.3机器学习的类别4
1.4监督学习5
1.4.1回归5
1.4.2分类6
1.5机器学习过程7
1.6关于编程的注意事项8
1.7本书的学习路线9
拓展阅读10
第2章预备知识11
2.1专业术语11
2.1.1权重空间11
2.1.2维度灾难12
2.2知你所知：测试机器学习算法13
2.2.1过拟合14
2.2.2训练集、测试集和验证集14
2.2.3混淆矩阵15
2.2.4精度指标16
2.2.5受试者工作特征曲线17
2.2.6不平衡数据集17
2.2.7度量精度18
2.3数据与概率的转换19
2.3.1最小化风险20
2.3.2朴素贝叶斯分类21
2.4基本统计概念22
2.4.1平均值22
2.4.2方差与协方差22
2.4.3高斯分布24
2.5权衡偏差与方差24
拓展阅读26
习题26
第3章神经元、神经网络和线性判别27
3.1大脑和神经元27
3.1.1Hebb法则27
3.1.2McCulloch和Pitts神经元28
3.1.3McCulloch和Pitts神经元模型的局限性29
3.2神经网络30
3.3感知器31
3.3.1学习速率η32
3.3.2输入偏置32
3.3.3感知器学习算法33
3.3.4感知器学习示例34
3.3.5具体实现35
3.4线性可分性39
3.4.1感知器收敛定理40
3.4.2XOR函数41
3.4.3有用的领悟42
3.4.4另一个示例：皮马印第安人数据集43
3.4.5数据预处理44
3.5线性回归45
3.5.1示例46
拓展阅读47
习题48
第4章多层感知器49
4.1前向50
4.1.1偏置50
4.2后向：误差的反向传播50
4.2.1多层感知器算法53
4.2.2初始化权重55
4.2.3不同的输出激活函数56
4.2.4顺序和批量训练57
4.2.5局部最小57
4.2.6利用冲量58
4.2.7小批量和随机梯度下降58
4.2.8其他改善方法59
4.3实践中的MLP59
4.3.1训练数据的量59
4.3.2隐藏层的数目59
4.3.3什么时候停止学习60
4.4MLP应用示例61
4.4.1回归问题61
4.4.2使用MLP分类63
4.4.3分类示例：iris数据集64
4.4.4时间序列预测66
4.4.5数据压缩：自动关联网络68
4.5MLP使用指南69
4.6反向传播的推导70
4.6.1网络输出70
4.6.2网络误差70
4.6.3激活函数的要求71
4.6.4误差的后向传播72
4.6.5输出激活函数74
4.6.6误差函数的另一种形式75
拓展阅读75
习题76
第5章径向基函数和样条函数77
5.1感受野77
5.2径向基函数网络79
5.2.1训练RBF网络80
5.3插值和基函数82
5.3.1基和基扩展83
5.3.2三次样条函数84
5.3.3用样条拟合数据84
5.3.4平滑样条85
5.3.5更高维度86
5.3.6边界之外86
拓展阅读87
习题87
第6章维度约简88
6.1线性判别分析89
6.2主成分分析91
6.2.1PCA算法与多层感知器的关系94
6.2.2核PCA94
6.3因素分析96
6.4独立成分分析97
6.5局部线性嵌入98
6.6ISOMAP算法100
6.6.1多维标度法101
拓展阅读102
习题103
第7章概率学习104
7.1高斯混合模型104
7.1.1期望优选化算法105
7.1.2信息准则107
7.2最近邻法108
7.2.1近邻平滑109
7.2.2有效的距离计算：KD-Tree110
7.2.3距离度量112
拓展阅读114
习题114
第8章支持向量机115
8.1最优分割115
8.1.1间隔和支持向量116
8.1.2约束优化问题117
8.1.3非线性可分问题的松弛变量119
8.2核120
8.2.1选择核121
8.2.2示例：XOR122
8.3支持向量机算法122
8.3.1实现123
8.3.2示例125
8.4支持向量机的拓展126
8.4.1多类分类126
8.4.2支持向量机回归127
8.4.3其他优势128
拓展阅读128
习题128
第9章优化和搜索130
9.1下山法130
9.1.1泰勒展开132
9.2最小二乘优化133
9.2.1Levenberg-Marquardt算法133
9.3共轭梯度法137
9.3.1示例139
9.3.2共轭梯度和MLP139
9.4搜索：三种基本方法141
9.4.1穷举法141
9.4.2贪婪搜索142
9.4.3爬山法142
9.5开发和探索143
9.6模拟退火法143
9.6.1算法比较144
拓展阅读145
习题145
0章进化学习146
10.1遗传算法147
10.1.1字符串表示147
10.1.2评价适应度148
10.1.3种群148
10.1.4产生后代：选择父母149
10.2产生后代：遗传算子150
10.2.1交叉150
10.2.2变异151
10.2.3精英法、比赛法和小生境151
10.3使用遗传算法153
10.3.1图着色153
10.3.2间断平衡154
10.3.3示例：背包问题155
10.3.4示例：四峰问题155
10.3.5遗传算法的缺陷156
10.3.6用遗传算法训练神经网络156
10.4遗传程序157
10.5与采样结合的进化学习158
拓展阅读159
习题160
1章强化学习161
11.1概述161
11.2示例：迷路162
11.2.1状态和动作空间163
11.2.2胡萝卜和棍子：奖赏函数164
11.2.3折扣165
11.2.4动作选择165
11.2.5策略166
11.3马尔可夫决策过程166
11.3.1马尔可夫性166
11.3.2马尔可夫决策过程中的概率167
11.4值167
11.5回到迷路的示例：利用强化学习170
11.6sarsa和Q-learning的不同171
11.7强化学习的用处172
拓展阅读172
习题173
2章树的学习174
12.1使用决策树174
12.2构建决策树175
12.2.1快速入门：信息论中的熵175
12.2.2ID3176
12.2.3基于Python的树和图的实现178
12.2.4决策树的实现178
12.2.5处理连续变量180
12.2.6计算复杂度180
12.3分类和回归树181
12.3.1基尼不纯度181
12.3.2树回归182
12.4分类示例182
拓展阅读184
习题184
3章委员会决策：集成学习186
13.1boosting187
13.1.1AdaBoost187
13.1.2掘根190
13.2bagging190
13.2.1subagging191
13.3随机森林192
13.3.1与boosting方法比较193
13.4组合分类器的不同方法194
拓展阅读195
习题196
4章无监督学习197
14.1k-means算法197
14.1.1处理噪点200
14.1.2k-means神经网络200
14.1.3归一化201
14.1.4一个更好的权重更新规则202
14.1.5示例：iris数据203
14.1.6使用竞争学习来聚类203
14.2向量量化204
14.3自组织特征映射204
14.3.1SOM算法206
14.3.2近邻连接207
14.3.3自组织208
14.3.4网络维度和边界条件208
14.3.5SOM应用示例209
拓展阅读211
习题211
5章马尔可夫链蒙特卡罗方法213
15.1采样213
15.1.1随机数213
15.1.2高斯随机数214
15.2蒙特卡罗216
15.3建议分布216
15.4马尔可夫链蒙特卡罗219
15.4.1马尔可夫链219
15.4.2Metropolis-Hastings算法220
15.4.3模拟退火222
15.4.4Gibbs采样223
拓展阅读224
习题225
6章图模型226
16.1贝叶斯网络227
16.1.1示例：考试恐惧227
16.1.2近似推断230
16.1.3创建贝叶斯网络232
16.2马尔可夫随机场233
16.3隐马尔可夫模型234
16.3.1前向算法236
16.3.2Viterbi算法238
16.3.3Baum-Welch或前向后向算法239
16.4跟踪方法242
16.4.1卡尔曼滤波242
16.4.2粒子滤波247
拓展阅读249
习题250
7章对称权重与深度置信网络251
17.1积极学习:Hopfield网络252
17.1.1联想记忆252
17.1.2实现联想记忆252
17.1.3能量函数255
17.1.4Hopfield网络的容量256
17.1.5连续Hopfield网络257
17.2随机神经元：玻尔兹曼机257
17.2.1受限玻尔兹曼机259
17.2.2CD算法的推导262
17.2.3监督学习265
17.2.4RBM作为定向置信网络267
17.3深度学习268
17.3.1深度置信网络270
拓展阅读273
习题273
8章高斯过程274
18.1高斯过程回归275
18.1.1添加噪声276
18.1.2高斯过程回归的实现（一）278
18.1.3学习参数279
18.1.4高斯过程回归的实现（二）280
18.1.5选择（一组）协方差函数282
18.2高斯过程分类282
18.2.1拉普拉斯近似283
18.2.2计算后验283
18.2.3高斯过程分类的实现285
拓展阅读286
习题287
附录Python入门288

本书不要求读者具备很多统计背景知识，而是旨在帮助读者理解机器学习的算法，并能动手编程和实现。涵盖了大量的不同种类的机器学习算法实现，既给出了数学描述和伪代码，又包含了能执行的源代码。适合作为一学期的机器学习导论教材，鼓励学生自己动手编程实现。