第1篇 基础篇

第1章 绪论 2

1．1 量化投资与数据挖掘的关系 2

1．1．1 什么是量化投资 2

1．1．2 量化投资的特点 3

1．1．3 量化投资的核心――量化模型 4

1．1．4 量化模型的主要产生方法――数据

挖掘 6

1．2 数据挖掘的概念和原理 7

1．2．1 什么是数据挖掘 7

1．2．2 数据挖掘的原理 8

1．3 数据挖掘在量化投资中的应用 9

1．3．1 宏观经济分析 9

1．3．2 估价 11

1．3．3 量化选股 11

1．3．4 量化择时 11

1．3．5 算法交易 12

1．4 本章小结 13

参考文献 13

第2章 数据挖掘的内容、过程及

工具 14

2．1 数据挖掘的内容 14

2．1．1 关联 14

2．1．2 回归 15

2．1．3 分类 16

2．1．4 聚类 17

2．1．5 预测 18

2．1．6 诊断 19

2．2 数据挖掘的过程 20

2．2．1 数据挖掘过程的概述 20

2．2．2 目标的定义 20

2．2．3 数据的准备 21

2．2．4 数据的探索 22

2．2．5 模型的建立 24

2．2．6 模型的评估 27

2．2．7 模型的部署 28

2．3 数据挖掘工具 29

2．3．1 MATLAB 29

2．3．2 SAS 30

2．3．3 SPSS 31

2．3．4 WEKA 32

2．3．5 R 33

2．3．6 工具的比较与选择 34

2．4 本章小结 35

参考文献 35

第3章 MATLAB快速入门及

实用技巧 36

3．1 MATLAB快速入门 36

3．1．1 MATLAB概要 36

3．1．2 MATLAB的功能 37

3．1．3 快速入门案例 38

3．1．4 入门后的提高 45

3．2 MATLAB常用技巧 45

3．2．1 常用标点的功能 45

3．2．2 常用操作指令 45

3．2．3 指令编辑操作键 46

3．2．4 MATLAB中的数据类型 46

3．3 MATLAB的开发模式 47

3．3．1 命令行模式 47

3．3．2 脚本模式 47

3．3．3 面向对象模式 47

3．3．4 三种模式的配合 48

3．4 本章小结 48

第2篇 技术篇

第4章 数据的准备 51

4．1 数据的收集 51

4．1．1 认识数据 51

4．1．2 数据挖掘的数据源 52

4．1．3 数据抽样 53

4．1．4 量化投资的数据源 54

4．1．5 从雅虎获取交易数据 56

4．1．6 从大智慧获取公司财务数据 58

4．1．7 从Wind中获取高质量数据 59

4．2 数据质量分析 61

4．2．1 数据质量分析的必要性 61

4．2．2 数据质量分析的目的 61

4．2．3 数据质量分析的内容 61

4．2．4 数据质量分析的方法 62

4．2．5 数据质量分析的结果及应用 66

4．3 数据预处理 66

4．3．1 为什么需要数据预处理 66

4．3．2 数据预处理的主要任务 67

4．3．3 数据清洗 68

4．3．4 数据集成 71

4．3．5 数据归约 72

4．3．6 数据变换 73

4．4 本章小结 74

参考文献 75

第5章 数据的探索 76

5．1 衍生变量 77

5．1．1 衍生变量的定义 77

5．1．2 变量衍生的原则和方法 77

5．1．3 常用的股票衍生变量 78

5．1．4 评价型衍生变量 82

5．1．5 衍生变量数据的收集与集成 83

5．2 数据的统计 84

5．2．1 基本描述性统计 85

5．2．2 分布描述性统计 86

5．3 数据可视化 86

5．3．1 基本可视化方法 86

5．3．2 数据分布形状可视化 87

5．3．3 数据关联情况可视化 89

5．3．4 数据分组可视化 90

5．4 样本选择 91

5．4．1 样本选择的方法 91

5．4．2 样本选择应用实例 91

5．5 数据降维 93

5．5．1 主成分分析（PCA）的基本原理 93

5．5．2 PCA应用实例：企业综合实力

排序 96

5．5．3 相关系数降维 98

5．6 本章小结 99

第6章 关联规则方法 101

6．1 关联规则概要 101

6．1．1 关联规则的提出背景 101

6．1．2 关联规则的基本概念 102

6．1．3 关联规则的分类 103

6．1．4 关联规则挖掘常用算法 104

6．2 Apriori算法 104

6．2．1 Apriori算法的基本思想 104

6．2．2 Apriori算法的步骤 105

6．2．3 Apriori算法的实例 105

6．2．4 Apriori算法的程序实现 107

6．2．5 Apriori算法的优缺点 110

6．3 FP-Growth算法 110

6．3．1 FP-Growth算法的步骤 110

6．3．2 FP-Growth算法的实例 111

6．3．3 FP-Growt

前言|

中国金融业飞速发展，尤其是2010年股指期货的推出，使得量化投资和对冲基金逐步进入国内投资者的视野。2012年丁鹏博士所著的《量化投资——策略与技术》出版后，更是推动了量化投资技术在国内的普及。目前，量化投资、对冲基金已经成为中国资本市场热门的话题之一，各投资机构纷纷开始着手打造各自的量化投资精英团队。

量化投资将投资理念及策略通过具体指标、参数的设计融入具体的模型中，用模型对市场进行不带任何情绪的跟踪，简单而言，就是用数量化的方法对股票、期货等投资对象进行估值，选取合适的对象进行投资。目前，量化投资的书籍主要集中在模型、策略及工具的使用上，但关于如何产生这些量化模型、量化策略的书籍的确非常少。金融市场瞬息万变，为了更好地进行量化投资，我们要不断去验证既有模型的有效性，同时要想在金融行业保持自己的竞争力，又必须不断开发新的模型，而验证模型、开发模型这些量化投资的主要内容都需要数据的支撑。另外，金融领域是数据资源保存较好且较为丰富的行业，在金融领域已经积累了大量的数据，同时每天还在产生大量的交易数据、价格数据等信息。这些数据资源正好为量化投资提供了很好的数据基础，那么问题的关键就是如何利用金融行业丰富的数据资源更好地进行量化投资。

数据挖掘技术是从数据中挖掘有用知识的一门系统性的技术，刚好解决了数据利用的问题，所以，数据挖掘与量化投资便很自然地结合在一起。但数据挖掘在国内是一个新的领域，所以还没有关于量化投资与数据挖掘相结合的书籍。另外，目前关于数据挖掘的几本书大多数是译著，由于语言和文化的差异，国内读者读起来相对吃力。在这样的背景下，能有一本书介绍如何利用数据挖掘技术进行量化投资还是很好的。

笔者在MathWorks平时的工作职责之一是支持金融客户，相当比例的工作是关于量化投资的，另外的职责是支持其他商业客户的数据挖掘，所以对这两个领域都有一定的了解。在一次研讨会上，丁鹏博士与笔者讨论了数据挖掘在量化投资中的应用，他认为这是个非常好的课题，并建议笔者写一本这样的书。笔者对这个课题也非常感兴趣，于是就开始了本书的创作。

本书的第1版于2015年6月出版，一年内印刷了四次，不少热心的读者发来电子邮件与作者讨论书中的内容，并反馈一些建议和不足。为了回馈读者，也为了让本书质量更好，在原来的基础上修改了一些问题，并加入一些新的内容。

本书内容

全书内容分为三篇。

第1篇为基础篇，主要介绍一些基本概念和知识，包括量化投资与数据挖掘的关系，以及数据挖掘的概念、实现过程、主要内容、主要工具等，并在第3章中介绍了MATLAB快速入门及实用技巧。

第2篇为技术篇，是本书的主体，系统介绍了数据挖掘的相关技术及这些技术在量化投资中的应用实例。这部分又分为如下三个层次：

（1）数据挖掘前期的一些技术，包括数据的准备（收集数据、数据质量分析、数据预处理等）和数据的探索（衍生变量、数据可视化、样本选择、数据降维等）。

（2）数据挖掘的六大类核心方法，包括关联规则、回归、分类、聚类、预测和诊断。对于每类方法，详细介绍了其包含的典型算法，包括基本思想、应用场景、算法步骤、MATLAB实现程序。同时，对每类方法还介绍了一个在量化投资中的应用案例，以强化这些方法在量化投资中的实用性。

（3）数据挖掘中特殊的实用技术，包含两章内容，一是关于时序数据挖掘的时间序列方法，二是关于优化的智能优化方法。这个层次也是数据技术体系中不可或缺的技术。时序数据是数据挖掘中的一类特殊数据，并且金融数据往往具有时序性，所以针对该类特殊的数据，介绍了时间序列方法。另外，数据挖掘离不开优化，量化投资也离不开优化，所以又以一章介绍了两种比较常用的智能优化方法——遗传算法和模拟退火算法。

第3篇为实践篇，主要介绍数据挖掘技术在量化投资中的综合应用实例，包括统计套利策略的挖掘与优化、配对交易策略的挖掘与实现、基于Wind数据的程序化交易、基于Quantrader平台的量化投资、趋势跟踪策略及实现过程。最后一章——基于数据挖掘技术的量化交易系统，给出了集成主流数据挖掘技术的量化投资系统的框架。读者可以利用该框架，依据书中介绍的数据挖掘技术，结合自己的情况，开发出属于自己的量化交易系统，从而轻松实现从理论到实践的跨越，更好地利用数据挖掘技术在量化投资领域乘风破浪，不断创造佳绩。

本书特色

纵观全书，可发现本书的特点鲜明，主要表现在如下几方面。

（1）方法务实，学以致用。本书介绍的方法都是数据挖掘中的主流方法，都经过实践的检验，具有较强的实践性。对于每种方法，本书都给出了完整、详细的源代码，这对读者来说，具有非常大的参考价值，很多程序可供读者直接套用并加以学习，读者可以将其直接转化为自己的量化投资实战工具。

（2）知识系统，易于理解。本书的知识体系应该是当前数据挖掘书籍中较全、较完善的，不仅包含详细的数据挖掘流程、数据准备方法、数据探索方法，还包含六大类数据挖掘核心方法、时序数据挖掘