近年来，大数据已在公共管理、医疗卫生、金融与商务等领域得到了广泛应用。如何对海量和高速增长的数据进行有效处理以及如何针对不同领域特点有效应用大数据，倍受广大科研工作者的广泛关注。本书集结了作者近年来在大数据及其应用领域的研究成果，针对大数据高效处理问题，从点排序识别聚类、多标签排序、不平衡数据采样、主动学习、增量学习等方面研究并设计了相关算法。在此基础上，对大数据环境下电信客户价值评价、客户换机预测和客户流失预测等问题，设计了相关算法、流程和仿真实验，并提出了一些合理化的建议，为大数据分析与在相关行业的应用提供了参考。

第1章 大数据处理概述\t1
1.1 大数据的定义\t1
1.2 大数据带来的挑战与机遇\t3
1.3 大数据研究的现状\t5
1.3.1 大数据处理平台\t5
1.3.2 大数据处理算法\t6
1.3.3 大数据应用研究\t9
1.4 大数据研究的挑战与趋势\t10
1.5 本章小结\t11
参考文献\t12
第2章 Spark点排序识别聚类结构算法\t19
2.1 引言\t19
2.2 点排序识别聚类结构算法\t21
2.3 Spark并行内存计算框架\t23
2.4 基于Spark的OPTICS算法\t25
2.5 仿真实验与结果分析\t27
2.5.1 度量标准\t27
2.5.2 数据集与运行环境\t28
2.5.3 实验方法\t29
2.5.4 实验结果与分析\t29
2.6 本章小结\t32
参考文献\t33
第3章 Spark标签校准排序多标签算法\t35
3.1 引言\t35
3.2 校准标签排序算法与并行化研究\t36
3.2.1 校准标签排序算法介绍\t36
3.2.2 校准标签排序算法研究现状\t37
3.3 朴素贝叶斯校准标签排序方法\t37
3.3.1 朴素贝叶斯概率模型\t37
3.3.2 朴素贝叶斯校准标签排序算法\t38
3.3.3 仿真实验与结果分析\t40
3.4 朴素贝叶斯校准标签排序方法的并行化研究\t44
3.4.1 Spark并行化内存计算\t44
3.4.2 朴素贝叶斯校准标签排序算法的并行化研究\t45
3.4.3 仿真实验与结果分析\t47
3.5 本章小结\t51
参考文献\t52
第4章 不平衡数据的样本权重欠采样方法\t54
4.1 引言\t54
4.2 不平衡数据处理的相关方法\t55
4.2.1 K-means聚类算法\t55
4.2.2 AdaCost算法\t56
4.2.3 Bagging算法\t58
4.3 基于样本权重的欠采样方法\t59
4.3.1 样本权重的确定\t59
4.3.2 分类器加权投票\t60
4.4 仿真实验与结果分析\t61
4.4.1 分类的评价方法\t61
4.4.2 非参数统计检验方法\t62
4.4.3 UCI数据集检验\t63
4.5 本章小结\t67
参考文献\t68
第5章 不平衡数据的三支决策过采样算法\t70
5.1 引言\t70
5.2 三支决策粗糙集\t71
5.2.1 邻域模型\t71
5.2.2 邻域三支决策模型\t71
5.3 不平衡数据的三支决策过采样算法\t74
5.3.1 算法思路\t74
5.3.2 算法描述与分析\t76
5.4 仿真实验与结果分析\t77
5.4.1 数据集选择\t77
5.4.2 实验方法\t78
5.4.3 实验结果分析\t79
5.5 本章小结\t84
参考文献\t84
第6章 三支决策主动学习方法\t87
6.1 引言\t87
6.2 主动学习理论\t88
6.2.1 主动学习工作机制\t88
6.2.2 主动学习方法的分类\t88
6.3 三支决策主动学习\t89
6.3.1 对冗余信息的删减\t89
6.3.2 对无标签样本的区域划分\t90
6.3.3 对不同区域样本的处理\t91
6.3.4 算法描述\t92
6.4 仿真实验与结果分析\t95
6.4.1 数据集选择\t95
6.4.2 实验方法\t95
6.4.3 实验结果分析\t96
6.5 本章小结\t100
参考文献\t100
第7章 邻域粗糙集主动学习方法\t104
7.1 引言\t104
7.2 邻域粗糙集基本理论\t104
7.3 邻域粗糙集主动学习算法\t106
7.3.1 算法思路\t106
7.3.2 算法描述\t109
7.4 仿真实验与结果分析\t110
7.4.1 数据集与实验方法\t110
7.4.2 结果与分析\t111
7.5 本章小结\t117
参考文献\t118
第8章 决策熵增量学习方法\t120
8.1 引言\t120
8.2 粗糙集的基本概念\t121
8.3 决策熵增量知识获取算法\t123
8.3.1 算法复杂度分析\t126
8.3.2 实例分析\t126
8.4 仿真实验与结果分析\t128
8.4.1 UCI数据集测试\t128
8.4.2 KDDCUP99数据集测试\t130
8.4.3 KDDCUP99数据集连续增量测试\t130
8.5 本章小结\t131
参考文献\t131
第9章 MapReduce并行增量FP-Growth算法\t133
9.1 引言\t133
9.2 MapReduce编程模型与Hadoop平台\t135
9.2.1 MapReduce编程模型\t135
9.2.1 Hadoop平台介绍\t136
9.3 MapReduce增量FP-Growth算法\t138
9.3.1 增量学习\t138
9.3.2 FP-Growth算法\t139
9.3.3 MapReduce并行FP-Growth算法\t140
9.3.4 MapReduce并行增量FP-Growth算法\t141
9.4 仿真实验与结果分析\t143
9.4.1 MapReduce并行增量FP-Growth算法单机效率测试\t143
9.4.2 MapReduce并行增量FP-Growth算法集群效率测试\t143
9.4.3 Mapreduce并行增量FP-Growth算法性能测试\t146
9.5 本章小结\t149
参考文献\t149
第10章 电信客户价值评价\t151
10.1 引言\t151
10.2 客户价值与评价\t152
10.2.1 客户价值的概念\t152
10.2.2 电信客户价值与评价\t153
10.3 优势关系粗糙集的基本概念\t155
10.4 领域及数据驱动的数据挖掘模型\t156
10.4.1 数据驱动的数据挖掘\t156
10.4.2 领域驱动的数据挖掘\t157
10.4.3 面向领域的数据驱动的数据挖掘\t158
10.5 领域及数据驱动的电信客户价值评价方法\t159
10.5.1 电信客户价值评价的特征提取\t159
10.5.2 电信客户价值评价流程\t161
10.5.3 电信客户价值评价算法\t162
10.6 仿真实验\t163
10.6.1 算法效果验证\t163
10.6.2 算法应用\t165
10.7 本章小结\t167
参考文献\t167
第11章 电信客户换机预测\t171
11.1 引言\t171
11.2 优势关系粗糙集换机预测方法\t172
11.2.1 算法描述\t172
11.2.2 仿真实验\t174
11.3 数据驱动的电信客户换机预测方法\t179
11.3.1 手机客户特征提取\t179
11.3.2 算法描述\t180
11.3.3 仿真实验\t182
11.4 本章小结\t185
参考文献\t186
第12章 电信客户流失预测\t188
12.1 引言\t188
12.2 C4.5决策树及其改进算法\t189
12.2.1 C4.5决策树\t189
12.2.2 改进C4.5决策树算法\t190
12.3 改进C4.5决策树不平衡数据抽样方法\t191
12.3.1 算法思路\t191
12.3.2 算法描述\t192
12.4 实验与结果分析\t193
12.4.1 电信客户流失预测流程\t194
12.4.2 实验数据选择\t195
12.2.3 实验结果与分析\t196
12.5 本章小结\t198
参考文献\t198