部分基础知识
章机器学习的发展和应用2
1.1什么是机器学习2
1.2机器学习的发展3
1.3机器学习的应用5
1.3.1数据挖掘5
1.3.2人脸检测6
1.3.3人机对弈7
1.3.4机器翻译7
1.3.5自动驾驶7
1.3.6其他应用8
1.4本章小结8
第2章Python编程基础9
2.1Python概述9
2.2Python平台搭建9
2.2.1Python环境部署9
2.2.2Python运行方式12
2.3Python语法基础14
2.3.1Python编程规范14
2.3.2基本数据类型15
2.3.3Python编程基础18
2.3.4模块和包21
2.3.5文件操作22
2.4本章小结23
第3章数据分析基础24
3.1数据分析概述24
3.1.1什么是数据分析24
3.1.2数据分析的步骤24
3.1.3常用的数据分析策略26
3.1.4数据分析方法27
3.1.5数据分析工具28
3.2Python中常用的数据分析库29
3.2.1Numpy29
3.2.2Pandas33
3.2.3Matplotlib37
3.2.4SciPy39
3.3利用Python进行数据分析42
3.3.1数据加载、存储42
3.3.2数据清洗和准备46
3.3.3数据规整54
3.3.4数据可视化61
3.3.5数据分组和聚合64
3.3.6数据分析案例70
3.4本章小结77
第4章机器学习基础78
4.1机器学习简介78
4.1.1机器学习中的基本概念78
4.1.2机器学习分类及训练方式79
4.1.3机器学习三要素81
4.2机器学习库83
4.2.1Scikit-learn83
4.2.2StatsModels87
4.3机器学习算法89
4.3.1回归算法89
4.3.2支持向量机91
4.3.3决策树92
4.3.4聚类94
4.3.5降维100
4.3.6集成学习102
4.3.7神经网络106
4.3.8常用模型的特点和应用场景109
4.4本章小结111
第二部分大数据测试
第5章大数据基础114
5.1什么是大数据114
5.2Hadoop生态系统115
5.2.1HDFS116
5.2.2MapReduce118
5.2.3Hive121
5.2.4HBase124
5.2.5Storm、Spark和Flink131
5.3数据仓库与ETL流程133
5.3.1什么是ETL133
5.3.2什么是数据仓库134
5.3.3数据仓库的架构135
5.4本章小结136
第6章大数据测试指南137
6.1大数据测试概述137
6.1.1什么是大数据测试137
6.1.2大数据测试与传统数据测试差异138
6.2大数据ETL测试139
6.2.1ETL测试流程139
6.2.2ETL测试方法140
6.2.3ETL测试场景143
6.3本章小结147
第7章大数据工具实践148
7.1大数据测试工具148
7.1.1大数据测试的痛点148
7.1.2大数据测试工具easy_data_test的设计149
7.1.3大数据测试工具easy_data_test的使用152
7.1.4大数据测试工具展望157
7.2数据质量监控平台157
7.2.1数据质量把控环节158
7.2.2数据质量评估要点158
7.2.3数据质量监控平台设计159
7.3数据调度平台163
7.3.1调度系统概述163
7.3.2Azkaban概述163
7.3.3Azkaban实践164
7.4本章小结168
第三部分模型测试
第8章机器学习测试基础170
8.1机器学习生命周期170
8.2机器学习测试难点173
8.3机器学习测试重点174
8.4模型工程服务测试176
8.4.1单元测试177
8.4.2集成测试178
8.4.3系统测试179
8.5A/B测试180
8.5.1A/B测试180
8.5.2做A/B测试的原因181
8.5.3A/B测试在机器学习模型中的应用181
8.6本章小结182
第9章特征专项测试184
9.1特征工程简介184
9.1.1数据探索184
9.1.2数据预处理185
9.1.3特征构建190
9.1.4特征选择190
9.2特征测试方法191
9.2.1特征指标分析191
9.2.2特征稳定性测试198
9.3特征测试实践199
9.3.1特征指标分析实践199
9.3.2特征可视化实践203
9.3.3特征稳定性测试实践207
9.3.4特征监控实践211
9.4本章小结212
0章模型算法评估测试213
10.1模型算法评估基础213
10.1.1模型算法评估概述213
10.1.2样本数据划分策略214
10.1.3统计学指标与统计图216
10.1.4模型算法评估指标217
10.2模型算法的测试方法223
10.2.1模型蜕变测试223
10.2.2模型模糊测试226
10.2.3模型鲁棒性测试227
10.2.4模型安全测试229
10.2.5模型可解释性测试230
10.2.6模型在线测试233
10.2.7模型监控与迭代234
10.3不同应用场景下模型算法的评测235
10.3.1图像分类应用场景下的模型算法评测235
10.3.2推荐应用场景下的模型算法评测236
10.3.3金融风控应用场景下的模型算法评测239
10.4本章小结241
第四部分模型工程
1章模型评估平台实践244
11.1模型评估平台背景244
11.2模型评估平台的设计245
11.2.1平台需求分析245
11.2.2平台架构设计246
11.3模型评估平台展示253
11.3.1模型配置规则253
11.3.2模型评估指标255
11.3.3模型评估报告261
11.4模型评估平台总结263
11.4.1回顾264
11.4.2展望265
11.5本章小结266
2章机器学习工程技术267
12.1机器学习平台概述267
12.1.1机器学习平台发展历程267
12.1.2主流的机器学习平台269
12.1.3机器学习平台的建设270
12.2数据与建模工程技术272
12.2.1数据采集272
12.2.2数据存储272
12.2.3数据加工273
12.2.4样本数据274
12.2.5特征工程275
12.2.6模型构建275
12.3模型部署工程技术279
12.3.1模型部署概述279
12.3.2模型发布方式279
12.3.3模型线上监控284
12.4本章小结286
3章机器学习的持续交付287
13.1机器学习持续交付的介绍与定义287
13.1.1持续交付287
13.1.2机器学习持续交付的定义289
13.2机器学习持续交付的主要挑战290
13.2.1组织流程的挑战290
13.2.2复杂技术的挑战292
13.3如何构建机器学习管道292
13.3.1机器学习管道概述293
13.3.2构建机器学习管道293
13.3.3Pipeline（管道）设计的关注点307
13.3.4Pipeline的技术组件307
13.4本章小结309
第五部分AIInTest
4章AI在测试领域的探索与实践312
14.1测试发展面临的挑战312
14.2AI在测试领域的应用及优势313
14.3业界智能化测试案例介绍314
14.3.1AI在测试效能方面的探索315
14.3.2AI在自动化测试方面的实践317
14.4主流AI测试工具简介320
14.5本章小结322
5章AI时代测试工程师的未来324
15.1AI对测试未来发展的影响324
15.2AI时代测试工程师的定位325
15.3测试工程师的AI学习路线326
15.4本章小结328
参考文献329

本书全面且系统地介绍了机器学习测试技术与质量体系建设，分为5部分，共15章。部分（～4章）涵盖了机器学习、Python编程、数据分析的基础知识；第二部分（第5～7章）介绍了大数据基础、大数据测试指南及相关工具实践；第三部分（第8～10章）讲解了机器学习测试基础、特征专项测试及模型算法评估测试；第四部分（1～13章）介绍了模型评估平台实践、机器学习工程技术及机器学习的持续交付流程；第五部分（4章和5章）探讨了AI（Artifi Intelligence）在测试领域的实践及AI时代测试工程师的未来。
本书能够帮助读者了解机器学习是如何工作的，了解机器学习的质量保障是如何进行的。工程开发人员和测试工程师通过阅读本书，可以系统化地了解大数据测试、特征测试及模型评估等知识；算法工程师通过阅读本书，可以学习模型评测的方法和拓宽模型工程实践的思路；技术专家和技术管理者通过阅读本书，可以了解机器学习质量保障与工程效能的建设方案。