本书创作团队核心成员长期从事机器学习方面的理论研究和工程实践，通过项目实战，积累了大量解决问题的方法和经验，并通过本书将自己的经验整理出来，以满足广大读者希望使用机器学习来解决实际问题的需要。

随着互联网、物联网、云计算等技术的不断发展，许多领域都产生了大量的数据。利用机器学习技术分析海量数据，可以从数据中发现隐含的、有价值的规律和模式，进而用于预测并采取相应动作。在上述背景下，本书从理论、技术和应用三个层面入手，全面讲解如何利用机器学习技术解决实际问题。
本书共分26章，内容包括机器学习解决问题流程、问题分析与建模、数据探索与准备、特征工程、模型训练与评价、模型部署与应用、回归模型、支持向量机、决策树、集成学习、K近邻算法、贝叶斯方法、聚类算法、关联规则学习、神经网络基础、正则化、深度学习中的优化、卷积神经网络、循环神经网络、自编码器、基于深度学习的语音分离方法、基于深度学习的图像去水印方法、基于LSTM的云环境工作负载预测方法、基于QoS的服务组合问题、基于强化学习的投资组合方法、基于GAN模型的大数据系统参数优化方法。
本书内容全面、示例丰富，适合机器学习初学者以及想要全面掌握机器学习技术的算法开发人员，也适合高等院校和培训机构人工智能相关专业的师生教学参考。

第1章机器学习解决问题流程1
1.1机器学习基础1
1.1.1机器学习定义1
1.1.2机器学习流派3
1.1.3机器学习简史7
1.2机器学习解决实际问题的流程8
1.3机器学习平台介绍10
1.3.1阿里PAI10
1.3.2第四范式先知（SageEE）11
1.3.3腾讯智能钛机器学习（TI-ML）12
1.3.4中科院EasyML13
1.3.5百度机器学习BML14
1.3.6华为AI开发平台ModelArts15
1.3.7微软Azure机器学习服务15
1.3.8谷歌CloudAutoML平台16
1.3.9亚马逊SageMaker17
1.4本章小结18
第2章问题分析与建模19
2.1问题分析19
2.1.1明确和理解问题19
2.1.2拆解和定位问题21
2.2数据分析23
2.2.1描述统计分析24
2.2.2相关分析24
2.2.3回归分析25
2.2.4分类分析25
2.2.5聚类分析26
2.3问题建模27
2.4心脏病UCI数据集案例27
2.4.1问题描述28
2.4.2问题分析28
2.4.3数据分析29
2.4.4问题建模30
2.5本章小结31
第3章数据探索与准备32
3.1ETL技术32
3.1.1ETL工作方式32
3.1.2ETL实现模式33
3.1.3ETL发展历程34
3.1.4主流ETL工具37
3.2数据清洗40
3.2.1数据缺失处理40
3.2.2异常值处理41
3.3采样42
3.3.1拒绝采样42
3.3.2重要性采样43
3.3.3马尔可夫链蒙特卡洛采样44
3.4本章小结46
第4章特征工程47
4.1数据预处理47
4.1.1特征缩放47
4.1.2特征编码48
4.2特征选择53
4.2.1过滤式选择Filter53
4.2.2包裹式选择Wrapper59
4.2.3嵌入式选择Embedded61
4.3降维63
4.3.1主成分分析PCA63
4.3.2线性判别分析65
4.4本章小结66
第5章模型训练与评价67
5.1模型选择67
5.1.1基础知识67
5.1.2模型选择的要素68
5.2模型训练68
5.2.1留出法69
5.2.2交叉验证法70
5.2.3自助法71
5.3模型调优71
5.3.1超参数调优71
5.3.2神经架构搜索73
5.3.3元学习76
5.4模型评价78
5.4.1分类问题78
5.4.2回归问题81
5.4.3聚类问题82
5.5本章小结83
第6章模型部署与应用84
6.1机器学习模型格式84
6.1.1scikit-learn84
6.1.2TensorFlow85
6.1.3PyTorch86
6.2机器学习模型部署87
6.2.1模型在平台内应用87
6.2.2将模型封装成可执行脚本88
6.2.3基于容器和微服务的模型部署方式89
6.2.4模型部署方式对比92
6.3模型对外访问接口93
6.3.1REST架构93
6.3.2RPC架构94
6.3.3gRPC架构95
6.3.4模型对外接口对比96
6.4模型更新96
6.4.1如何更新模型97
6.4.2如何进行持续更新97
6.5本章小结99
第7章回归模型100
7.1线性回归100
7.1.1线性回归原理100
7.1.2多项式回归101
7.1.3线性回归案例101
7.2正则线性模型103
7.2.1正则线性模型原理103
7.2.2L1、L2正则化对比103
7.3逻辑回归105
7.3.1逻辑回归原理106
7.3.2逻辑回归案例109
7.4本章小结109
第8章支持向量机110
8.1绪论110
8.2支持向量机原理111
8.2.1函数间隔111
8.2.2对偶问题112
8.2.3软间隔SVM113
8.2.4KKT条件114
8.2.5支持向量115
8.2.6核函数115
8.2.7SMO117
8.2.8合页损失函数117
8.3SVR回归方法117
8.4SVM预测示例119
8.5本章小结120
第9章决策树121
9.1绪论121
9.2决策树基本概念121
9.2.1特征选择122
9.2.2信息增益122
9.2.3信息增益率123
9.2.4基尼系数124
9.3ID3算法124
9.4C4.5算法125
9.4.1决策树生成125
9.4.2决策树剪枝126
9.5CART算法127
9.5.1决策树生成128
9.5.2决策树剪枝129
9.6决策树应用130
9.7本章小结130
第10章集成学习131
10.1bagging与随机森林131
10.1.1bagging131
10.1.2随机森林132
10.1.3随机森林的应用132
10.1.4随机森林的推广135
10.2boosting136
10.2.1Adaboost136
10.2.2前向分步算法142
10.2.3三大框架147
10.3stacking与blending154
10.4本章小结156
第11章K近邻算法157
11.1KNN算法157
11.2距离的表示158
11.3KD树159
11.4KNN心脏病预测实例160
11.5本章小结161
第12章贝叶斯方法162
12.1贝叶斯方法概述162
12.2贝叶斯决策论163
12.3朴素贝叶斯分类器165
12.4贝叶斯网络165
12.4.1贝叶斯网络概念166
12.4.2贝叶斯网络学习167
12.4.3贝叶斯网络推理168
12.4.4贝叶斯网络的应用169
12.5贝叶斯优化169
12.5.1贝叶斯优化框架170
12.5.2概率代理模型170
12.5.3采集函数172
12.5.4贝叶斯优化的应用173
12.6贝叶斯优化迭代过程示例174
12.7本章小结177
第13章聚类算法178
13.1聚类的评价指标178
13.2距离计算179
13.3聚类算法180
13.3.1基于层次的算法180
13.3.2基于分割的算法181
13.3.3基于密度的算法185
13.4本章小结187
第14章关联规则学习188
14.1关联规则学习概述188
14.2频繁项集188
14.3Apriori算法189
14.4FP-growth算法193
14.5本章小结196
第15章神经网络基础197
15.1神经网络概述197
15.2神经网络原理198
15.2.1神经元198
15.2.2损失函数199
15.2.3激活函数201
15.2.4正向传播202
15.2.5反向传播203
15.3前馈神经网络204
15.3.1前馈神经网络概述204
15.3.2MNIST数据集多分类应用205
15.4本章小结206
第16章正则化207
16.1正则化概述207
16.2数据集增强207
16.3提前终止208
16.4Dropout208
16.5BatchNormalization211
16.6本章小结213
第17章深度学习中的优化214
17.1优化技术概述214
17.2优化原理215
17.2.1标准化215
17.2.2梯度下降219
17.2.3参数初始化221
17.3自适应优化方法223
17.4参数初始化方法224
17.5本章小结225
第18章卷积神经网络226
18.1卷积神经网络概述226
18.2卷积神经网络原理226
18.2.1局部连接227
18.2.2权值共享228
18.2.3池化层229
18.3卷积神经网络的新方法230
18.3.11D/2D/3D卷积230
18.3.21×1卷积231
18.3.3空洞卷积231
18.3.4全卷积神经网络231
18.4卷积神经网络的应用232
18.4.1卷积神经网络的发展232
18.4.2MNIST数据集分类示例234
18.5本章小结234
第19章循环神经网络235
19.1循环神经网络概述235
19.2循环神经网络原理236
19.2.1展开计算图236
19.2.2循环神经网络237
19.2.3长期依赖239
19.2.4LSTM240
19.2.5GRU241
19.2.6双向RNN242
19.2.7深度循环网络243
19.2.8基于编码?解码的序列到序列架构244
19.3各种RNN的优缺点及应用场景245
19.4时间序列预测问题示例246
19.5本章小结248
第20章自编码器249
20.1绪论249
20.2自编码器原理250
20.2.1经典自编码器250
20.2.2去噪自编码器251
20.2.3稀疏自编码器252
20.2.4变分自编码器253
20.2.5堆叠自编码器254
20.2.6与神经网络融合的编码器256
20.3自编码器优缺点及应用场景257
20.4自编码器应用258
20.5本章小结259
第21章基于深度学习的语音分离方法260
21.1问题背景260
21.2问题定义261
21.3相关工作262
21.4VoiceFilter的实现方法263
21.4.1说话人编码器264
21.4.2声谱掩码网络269
21.4.3实验效果273
21.5本章小结274
第22章基于深度学习的图像去水印方法276
22.1图像去水印的研究背景276
22.2图像修复问题的定义277
22.3图像修复的相关工作278
22.3.1传统修复方法279
22.3.2基于深度学习的修复方法279
22.3.3修复效果评价指标280
22.3.4常用数据集281
22.4方法实现282
22.4.1基于内容编码器的生成网络模型282
22.4.2损失函数设计286
22.4.3算法步骤288
22.4.4实验结果展示289
22.5本章小结290
第23章基于LSTM的云环境工作负载预测方法291
23.1工作负载预测的研究背景291
23.2工作负载预测问题的定义292
23.3工作负载预测的相关工作293
23.3.1循环神经网络293
23.3.2门控循环单元294
23.4基于LSTM的工作负载预测295
23.4.1负载数据预处理295
23.4.2LSTM预测模型296
23.4.3实验结果与分析297
23.5本章小结300
第24章基于QoS的服务组合问题301
24.1服务组合问题的研究背景301
24.2半自动服务组合问题的定义302
24.3服务组合问题的相关工作305
24.3.1求解很优解的方法305
24.3.2基于元启发式算法的方法305
24.3.3基于强化学习的方法306
24.4Q-learning算法306
24.5Q-learning算法的实现308
24.5.1状态集设计308
24.5.2动作集设计309
24.5.3回报函数设计310
24.5.4Q-learning算法步骤310
24.5.5实验结果展示313
24.6本章小结315
第25章基于强化学习的投资组合方法316
25.1投资组合问题的研究背景316
25.2投资组合指数增强问题的定义319
25.2.1符号定义319
25.2.2基本假设319
25.2.3问题描述319
25.2.4个股收益率和指数收益率320
25.2.5目标函数320
25.2.6约束条件321
25.2.7问题的完整定义321
25.3投资组合问题的研究方法322
25.3.1基于统计模型的方法322
25.3.2启发式算法322
25.3.3基于学习的算法322
25.4深度确定性策略梯度算法323
25.5投资组合问题的实现方法326
25.5.1数据探索与准备326
25.5.2模型训练与评价328
25.5.3实验结果及分析333
25.6本章小结334
第26章基于GAN模型的大数据系统参数优化方法335
26.1大数据系统参数优化的研究背景335
26.2大数据系统参数优化问题的定义336
26.3大数据系统参数优化的方法337
26.3.1基于模型的大数据系统参数优化方法337
26.3.2基于评估的大数据系统参数优化方法338
26.3.3基于搜索的大数据系统参数优化方法338
26.3.4基于学习的大数据系统参数优化方法343
26.3.5大数据系统参数优化问题的流程346
26.4ACTGAN方法347
26.4.1动机347
26.4.2原理348
26.4.3具体过程349
26.4.4实验结果352
26.5本章小结354
26.5.1总结354
26.5.2展望354
附录1名词及解释355
附录2数据集377
参考文献381