大数据战略，重新洗牌全球格局：美国，再一次领跑世界；中国，却很可能再失良机而浑然不知！中国迷局如何解开？涂子沛，最具海归视野、近20年中美职业生涯的作者，从太平洋对面看到中美两国的差距，披露大量美国真实案例，最先为华文世界开启大数据重要话题，写成这本意在兴邦治国的战略之书《大数据(正在到来的数据革命以及它如何改变政府商业与我们的生活3.0升级版)(精)/理想国》，图文并茂，老百姓也看得懂。

涂子沛所著的《大数据(正在到来的数据革命以及它如何改变政府商业与我们的生活3.0升级版)(精)/理想国》通过讲述美国半个多世纪信息开放、技术创新的历史，以别开生面的经典案例——奥巴马建设“前所未有的开放政府”的雄心、公共财政透明的曲折、《数据质量法》背后的隐情、全民医改法案的波澜、统一身份证的百年纠结、隐私危机、街头警察的创新传奇、美国矿难的悲情历史、商务智能的前世今生、数据开放运动的全球兴起，以及云计算、Facebook和推特等社交媒体、Web3.0与下一代互联网的未来图景等等，为您一一细解，数据创新给公民、政府、社会带来的种种挑战和变革。

第三版自序 数据可以治国，还可以强国

序言一 大数据：为华文世界提出一个重要话题/许倬云

序言二 中国的雄心应该拓展到大数据领域/达文波特

序幕 新总统的第一天

一人一票：把“黑”人送进“白”宫

大国新政：阳光是最好的防腐剂

上篇 帝国风云：得数据者得天下——美国的成功经验

 第一章 历史争战《信息自由法》

第四股力量：知情权的起点

国会议员：孤独的战争

白宫当家人：一个妥协者和机动者

政府VS社会：旧剧情重现新时代

 第二章 数据帝国的兴起

摩尔定律：全世界半个世纪的发展规律

最小数据集：上升到立法高度的开路先锋

民意几时有：选票催生的创新

普适计算：计算机本身将从人们的视线中消失

“大数据”战略：争夺全世界的下一个前沿

 第三章 数据治国

循“数”管理：平安大道怎样铺

数据“验”平权：民权史上的碑石

数据“打”假：最大的争议就是福利滥用

CompStat ：街头警察的创新传奇

 第四章 商务智能的前世今生

起源：从数据到知识的挑战和跨越

结蛹：数据仓库之厚积薄发

蚕动：联机分析之惊艳

破茧：数据挖掘之智能生命的产生

化蝶：数据可视化的华丽上演

中篇 法则博弈：大数据时代的发展与危机

 第五章 帝国的法则

收集法则：减负，为人民减负

使用法则：隐私，文明社会的共识

发布法则：免费，人民已经交税

管理法则：质量，互联网时代的根本

 第六章 《数据质量法》的困局

产业界“俘虏”政府：数据背后的政经战争

美式“旋转门”：权、名、利大串场

“掺沙子”法案：国会对付总统的独门秘器

环保“风险门”：公共利益常常无人代表

集体行动的逻辑：人人都想“搭便车”

三权之歧：什么是真正的“和谐”

 第七章 全国隐私风波

《一九八四》：零隐私的恐惧

大数据就是“老大哥”：中央数据银行之争

百年纠结：统一身份证

“9·11”大拐点：以反恐的名义向左转

万维信息触角计划：追踪恐怖分子的“数据脚印”

6种改变政府的力量：山姆大叔大退让

下篇 公民故事：公民社会与数据互动之双赢时代

 第八章 数据开放运动

一个新的世界：从软件开源到数据开放

总统的雄心：公共财政支出透明

数据民主：印裔首席信息官的崛起

Data.Gov：从旗舰初航到保“数”运动

大众创新：航班延误之候机经济学

 第九章 试金石：白宫访客记录

总统在见谁：大医改中的“小”插曲

全体美国人的房子：白宫

步步妥协：总统与草根的对决

从白宫安保到政治监督：执著的公民改变世界

 第十章 矿难中的歌声和数据

集体行动的号角：你站在哪一边

可以避免的悲剧：数据揭示的全景式真相

默认公开推定：和矿难赛跑的原则

唯一的道路：民主时时都要“争”

外篇 天下趋势：大数据社会未来之世界走向

 第十一章 大趋势

数据权：大不列颠的硕果

大合流: 国际开放联盟

云计算：新的航向

再造互联网：从网页相连到数据相“联”

 第十二章 大挑战

逐鹿政坛：得数据者得天下

数据竞争：企业赢之道

下一波浪潮：从大数据到大社会

 第十三章 大变革（2.0升级版新增）

微学位：教育领域正在发生的革命

大数据：再谈教育领域正在发生的革命

微学校：三谈教育领域正在发生的革命

尾声 挑战中国：摘下“差不多先生”的文化标签

大事记 20世纪大萧条后美国信息开放、技术创新之路

后记 搭建“大数据”的世界

建言 中国如何应对大数据时代的挑战

访谈 大数据时代的“中国梦”

演讲 大数据、大计算：新经济的土壤

专题 什么是“数据的外部性”？

索引

前面的例子说明数据正在成为组织的财富和创新的基础，也证明大数据确实在催生一个更加智能的社会。那么，又该如何理解我们正在迈进的这个智能型社会呢?

理解这个问题的关键在于，无论是信息、知识还是智能，在我们这个时代，都是以数据为载体存在的。数据是对客观世界的记录，当我们对数据赋予背景时，它就成为信息；信息是知识的来源，当把信息提炼出规律的时候，它就上升为知识；知识是智能的基础，当电脑、网络能够利用某种知识作出自动判别，采取行动为人类服务的时候，机器智能就产生了。目前，人类记录周围世界的范围正在不断扩大，过去，我们是决定记录什么，现在及将来，我们要进入一个决定不记录什么的时代，同时数据分析的能力不断增强，这都将加速我们迈向智能时代的步伐。智能时代的特点，是无处不在的计算机和网络将像有智商的人一样为人类工作和服务。换句话说，越来越多的工作将被计算机或者机器人所代替。此外，由于精准的计算和预测，整个社会可以像无数个大大小小的齿轮轴承一样，环环相扣，齿齿吻合，日常管理通过数据更加优化，各种任务、合作可以无缝对接，社会运行的成本可大幅降低。

回到上面的例子，不难想象，这种智能学习平台将会给教育行业带来怎样的影响。学校曾经是最重要的教育资源，好的学校更是异常稀缺，由于这种智能平台的普及，在不远的将来，名校将人人可上，也就是说，如果应对得当，中国教育资源匮乏的问题将很快得到有效缓解。对个人来说，随时随地地学习、终身学习都将成为可能，例如，高中生可以尝试大学的课程，离开了校园的人，也可以登录在线平台再和在校生一起听课。这些都是教育工作者探讨多年、孜孜以求的梦想。但硬币的另一面，是中国的教育行业要面对更加激烈的全球化竞争和挑战。过去，是学生争学校；将来，可能是学校在全球范围中争夺学生。发达国家的一流大学会挤压发展中国家普通大学的生存和发展空间，普通大学该如何来吸引生源?它们会不会因此衰落?既然最好的教学视频等学习资源都可以免费获得，教师的角色又需不需要调整?又该如何调整?这些问题，都是大数据时代催生的重大挑战。

智能学习平台只是大数据大潮在教育领域掀起的一朵浪花。毫不夸张地说，大数据将影响人类社会发展的方方面面、优化改造每一个行业，其作用难以限量。我们再以时下另外一个热门名词“智慧城市”为例。近几年来，国内外都兴起了建设智慧城市的浪潮。据国内智慧城市的领军公司神卅I数码董事局主席郭为介绍：目前，国内已经有60多个城市把建设智慧城市纳入了“十二五”规划，他相信，智慧城市将成为推动中国经济可持续发展的主动力。但从一个更高的角度来看，智慧城市的建设问题，其实是一个城市的大数据综合治理问题：一是要在以前没有收集数据的地方收集数据，这主要是利用物联网的技术；二是要让不同系统的数据有效对接起来，这是系统整合的任务；最后，还要利用数据可视化的技术把海量数据中隐藏的知识揭示、展现出来，让数据中的智慧能够以一种直观的形式流向城市的管理者、决策者和市民大众。也就是说，数据的收集、整合、分析、展现才是智慧城市的核心，未来的智能型城市，必将是数据驱动的城市，而大数据则相当于智慧城市的大脑。郭为还指出，智慧城市的建设，是在用信息技术解决社会治理中的难题，提高人民的幸福指数，这又证明，大数据的应用和价值，绝对不仅仅是在商业领域这么简单。

P348-P349

今年春节期间，出版社告诉我，作为中国大数据领域的开山之作，《大数据》很受欢迎，他们希望满足市场的需求，推出第三个版本，嘱咐我写点东西。

之所以受到欢迎，可能是因为独树一帜。一提到大数据，很多人的第一反应，是数据在商业领域中的作用，所津津乐道的，也是精准营销，即通过数据分析增强对用户的洞察、扩大营销收入。但本书所强调的，却是“数据不仅可以治国，还可以强国”。

数据治国，是指要凭借对数据的有效收集、处理和分析来治理国家，决定国家的大政方针和具体政策。

从定义看，数据是对客观世界进行量化和记录的结果。量化，是人类进行科学研究最根本的手段，就此而言，数据治国也可以理解为“用定量分析、实证研究的科学方法来治理国家”。此外，数据表示的是过去，关注、表达的却是未来。数据之中蕴藏着社会发展的规律，“数据治国”的提法，也暗含着“人类可以更好地把握未来”之意。

回顾人类的历史，任何一个国家的治理，都需要参照数据，但由于信息技术的进步、记录手段的普及，物理世界的状态、个人的社会行为得到了前所未有的记录，这种记录的粒度越来越细、维度越来越多、频度越来越密，形成了“大数据”。今天的数据治国，含义远远超出了“参照数据”。

例如，当前国人关心的头号问题，莫过于空气质量。要解决好这个问题，从环境的监测、传感器的安装，到空气标准的设立、污染原因的分析，再到高污染、高能耗、低产值传统产业的转型，和智能电网、智能电表的使用和普及，整个治理链条都贯穿了数据。又例如交通拥堵，如今很多城市，立交桥高达三四层、地铁线也在快速扩张，却赶不上车辆增加的速度，在资源增长、空间有限的情况下，唯一的出路，是用好大数据，对城市的状态进行实时的分析和预测，不断优化现有资源的使用情况。还有当下智慧城市的建设，大数据的作用可谓重中之重。

今天的政府，无论是东方、西方，都有人在不断尝试，试图把“凭借数据来治理社会”的模式推到极致。本书第七章“全国隐私风波”重点阐述了十几年前美国各方力量围绕“万维信息触角计划”（TIA）产生的纠结和较量。2002年，在国防部长拉姆斯菲尔德、海军中将波因德克斯特的主导下，美国国防部高级项目研究所（DARPA）试图建立一个超级数据库，把全社会每一个人的基本资料、信用卡交易信息、医疗保险记录、出入境记录、航空和酒店信息、电子邮件、电话记录、网络搜索记录等等数据都整合到一起，然后通过数据挖掘和监控，在大量的信息当中发现“信号”，实现有效的社会治理和管控。这个计划，因为可能侵犯公民的隐私，在美国国会不断受阻，但美国国防部却屡次变换名目、暗中推动项目进展。这段历史，堪称2013年“斯诺登事件”的前传，因为后来大面积曝光，最终震惊世界。

西方不亮东方亮。这期间，新加坡的国防部长Peter Ho在美国访问，他获知万维信息触角计划之后，大为赞赏。不久后，该计划在美国触礁流产，波因德克斯特被迫辞职，新加坡却重金引进了这个项目组的一批人员，并聘波因德克斯特为国防部顾问，视为上宾。在波因德克斯特的指导下，新加坡快速建立了一套万维信息触角，命名为“风险评估和全景扫描”（RAHS）。

RAHS最初的目的，是通过全社会的数据联通和挖掘，在错综复杂的社会现象中发现恐怖袭击、流行病疫情等突发事件的“信号”，达到未雨绸缪、有效治理的目的。之后，由于行之有效，新加坡政府将系统不断扩大，推广到经济、文化、社会管理的种种领域。房屋管理局用它来了解人们对于住房体系的批评和期待，人口部门通过它掌握大众的生育态度变化，旅游部门用它来预测各地游客数量的周期，食品部门通过它决策是否应该减少对进口食品的依赖等等。从这个角度说，新加坡是数据治国的一个实验室，它不仅将大数据用于情报和反恐，还用于构建和谐社会。

在中国，特别要强调的是，数据治国不是“数字治国”。一些官员一谈起辖区人口面积、GDP增长幅度、项目投资多少、惠及领域若干、利税增加几何都有“数”在胸，还特别喜欢用“三项原则”、“五个重点”、“八项规定”等等数字范式对工作进行总结，各项工作的考核也都与数据挂钩，大有唯“数据”盛行之势。这不是不好，但这些都是孤立的、静态的数字，并不是“数据治国”的真义。大数据时代，数据治国更关注的是动态的数据、系统化的数据，以不间断“流”的形式存在的、成片的、活的数据，它们应该成为公共决策的资源为政府和社会所广泛使用。归根结底，公共决策最重要的依据将是系统的、成片的、动态的数据流，而不是个人经验或长官意志，过去深入群众、实地考察的工作方法虽仍然有效，但对社会治理而言，系统采集的数据、科学分析的结果更为重要。

我认为，数据不仅可以治国，还可以强国。其中的原因，是因为数据正在成为各行各业最重要的创新资源。

以农业为例，来自天气、土壤和农作物的数据，可以实现自动化的灌溉、防治虫灾、决定如何种植和收割、节省水利资源、提高单位产量；在教育领域，以大数据为基础的在线智能学习平台（MOOC），可以突破教室的限制，让成千上万的学生同时得到个性化的教学和辅导；再以医疗领域为例，IBM公司的Watson系统可以快速地检索几百万名患者的病例、最新的医疗研究报告和成果，做出更快、更准确的诊断；工业领域更不待言，汽车、飞机正在被大数据改造，成为无人驾驶汽车、无人驾驶飞机；还有金融领域，利用电商平台的交易数据，“阿里小贷”可以在几分钟之内判断企业的信用，为近百万小微企业发放贷款。今年年初，阿里巴巴又推出了基于个体消费者的“芝麻信用”，用的创新资源还是数据。一百年前的美国，用了几十年的时间才建立全民信用体系。因为拥有无处不在的充沛数据，今天中国的全民信用体系可能在更短的时间内、以更低的成本就可以建立起来。

毫不夸张地说，基于数据的创新将带动人类社会的各个领域都实现巨大的飞跃，这种飞跃是前人难以想象的。今天的年轻人面临的创新机会要远远多于前几代人，因为他们拥有人类有史以来最伟大的创新资源：数据。

和其他的创新资源相比，数据之所以伟大，是因为它不会被它所激发的思想和创新所消耗，它可以重复使用，可以同时被无数人使用，此数据和彼数据整合，还可以产生新的价值和效用。在空间的拓展中和时间的延伸中，数据的能量将在人类社会层层放大，数据的不断积累是资源和知识的持续增加。

但要成就数据的“伟大”，还有个前提，这就是数据的开放。正是出于这个原因，本书用了相当的篇幅来讨论“开放数据”。

对于“开放数据”，中国社会目前还存在不少误解。一是将开放等同于公开，其实开放和公开是两个完全不同的概念。公开是信息层面的，是一条一条的；开放是数据库资源层面的，是一片一片的。开放数据，指的是将原始的数据及其相关的元数据以可以下载的电子格式让第三方自由使用。开放也不一定代表免费，因为开放是有成本的，企业可以以收费的形式开放数据。开放也可以有层次、有范围，针对某个特定的组织和群体开放，不一定面对全体社会大众。

开放数据之于当下中国社会的意义，在于推动知识经济和网络经济的发展，在于促进中国经济由粗放向精细、从“制造”向“创造”的转型升级，在于释放社会生产力、催生创新。通过开放更多的数据，让创新的资源自由地流动，李克强总理提出的“大众创业，万众创新”才能更快、更好地在中国大地形成燎原之势。

大众创新、创业的趋势，也可以在美国社会的发展过程中观察到。根据美国科学基金会（NSF）的数据，1981年，大公司（超过25000人）的研发投入占全美研发投入的70%，可谓主导了美国的创新；到2007年，大公司的研发投入仍然在上升，但格局却发生了改变，尽管绝对数量增长了4倍，其占全美研发投入的比例却下降到35%。同期，1000人以下小公司的研发投入增长了50倍，其占全美的比例从1981年的4%上升到2007年的24%。这些数据表明，研发和创新呈现分散化，在向小公司和个人转移，其中最根本的原因，就是知识、信息特别是数据资源的深度开放，不再受大公司、大组织的垄断，不再是精英阶层的专利。  文化靠沉淀，文明靠创新。创新，才是一个国家持续发展、不断迈向强大的真正动力。今天的中国，创新已经成为共识。就此而言，数据强国我们正在路上。

记得《大数据》首版上市，是2012年7月。当时我在美国，半年多之后，美国才出版了第一本有影响力的专著《大数据时代》，比中国晚了整整半年。抚今追昔，我感叹不已，新的思想和观念在全球自由地流动，在奔涌的浪潮之中，我也从美国硅谷回到了中国的杭州。

除了增补自序、重要的专栏文章以及我在第一届世界互联网大会上的演讲等，本版还增加了索引。一本好书不能没有索引，这是我一直的观点。几经曲折，《大数据》第三版终于加上了索引，除了出版社的支持，还要感谢冯启娜、赵瀚林、陈竞芬等志愿者，因为他们的协助，这个心愿得以达成。

涂子沛

2015年3月22日于杭州

2008年12月，我刚从卡内基梅隆大学毕业，就碰上了美国的金融危机，被卷进了失业大军。

两年多的留学生活，既紧张又辛苦，结果却没工作，不免郁闷。但“宅”在家里，却有了和女儿一起玩耍、抒情咏志的时间。我开始写博客，记录自己在异国他乡的生活和感受。后来，一篇文章被中山大学的郭巍青教授读到，经他推荐，发表在2009年9月的《时代周报》上。

没想到，一个崭新的写作空间，就此豁然打开。

此后，我陆续接受了《新快报》、《南方都市报》、艾瑞网等报纸网站的邀约，写了近一年的专栏。期间，郭巍青教授、《新快报》的杨震编辑、《南方都市报》的邓志新编辑和《时代周报》的彭晓芸编辑都对我的写作有过帮助，令我受益匪浅。

但促成本书最重要的原因，是我们这个时代的迅猛发展，以及我在其中的职业经历。

1996年，作为计算机专业的毕业生，我的第一份工作是数据库程序员。后来担任了边防巡逻艇的指挥官，从事过政府部门的统计工作。但没想到，在美国的工作，又和数据、政府发生了关系。我所在的美国公司，是政府合同商，致力于为各级政府部门提供数据解决方案。我的新职位，和十几年前在中国的第一份工作极为相似，但所使用的技术已经无法同日而语。通过和一个又一个项目的“亲密”接触，我真真切切地“透视”到数据在美国政府和企业当中的重要作用。在深入了解其成因、背景和趋势的过程中，我常常被数据的力量和美感所震撼。

我将这种新的特点和趋势概括为“大数据时代”的“循数管理”和“数据竞争”。

作为一名曾经在中国工作过10年的公务人员，我知道，这种管理方法和竞争态势还不为我们的政府、企业和大众所熟悉。

这触发我产生了一个系统的中文写作计划。

就在我决心暗下之时，我的职业发展突然峰回路转：2010年下半年，被公司提拔成技术部门的主管。在美国带队伍——立刻又成为一个挑战。为了做好本职工作，我无暇他顾，本书的设想，甚至专栏写作，都被迫搁置。

次年3月，在回国期间，我和东西网的张文武总编提到了这本书的构思。他听后眼睛一亮，说这是一本好书，建议我快快写出来。

他的眼神，又拨动了我心底那根弦。加上新岗位的工作慢慢驾轻就熟，写作的计划，于是重上日程。

从2011年6月起，全书历经8个月。这8个月当中，我几乎断绝了一切的社交、娱乐和休闲，投入了全部的业余时间。如精卫填海、乌鹊衔枝，每晚夜深人静之时，我就坐在书桌和电脑前，一点一点搭建“大数据”的世界。无论白天黑夜，一有空，谋篇布局、遣词造句的问题就在脑中盘旋。记得好几次，下班回家，过了家门的路口，还浑然不觉，一直把车往前开，最后绕了个大弯才调头回来。

本书的完成，首先要感谢我在华中科技大学的同窗王怡河。虽然都是理工科出身，但在校期间，我们就对文、史、哲很感兴趣，常常聚在一起讨论国家和社会的问题。怡河博闻强记，对我的写作，给予了很大帮助。本书的每一篇章，他都是第一读者，一些精彩片段，凝聚有他的智慧。挚友张炳剑也曾阅读过部分章节，提出过很好的意见。我还要感谢KIT solutions软件公司的总裁张小彦博士。小彦在美国工作、生活了30多年，对美国的政治、经济、文化都有深入的体察和了解。与他的日常交流和思想碰撞，是我写作灵感的重要来源。

广西师范大学出版社的曹凌志主编、王家胜编辑对本书的编辑和出版倾注了心血。戚丽艳、肖准对个别文本和图片的翻译有贡献。杨文卓、王玺等好友曾关心过本书的写作。在这里，无法列出所有我心存感激的人员。我在34岁的时候，下决心负笈海外，中山大学的周超教授、华中科技大学的梁木生教授都曾在我人生的这个关键点上对我指点、关心、鼓励良多。

除了辛苦和感激，在我的心里，还堆积了愧疚。

这8个月中，记不清有多少次，5岁的女儿奕奕拿着玩具、来到我的书房门口，轻声地问：

“爸爸，你可以跟我一起玩吗?”

我总是保持统一的口径，转过身、硬着心肠回答说：

“爸爸在工作，没时间……”

带着失望的表情，她怏怏地离开。

一个周末的下午，大雪初晴。我坐在电脑前修改最后一个章节。起身休息，踱步到窗口，忽然看见女儿和太太俩人正在给我停在院子中的车清扫积雪。奕奕的身高，刚过车头，她穿着大衣、戴着手套，站在厚实的雪地中，一下一下挥动着小铲。隔着玻璃窗，我听不到声音，第一反应是抬脚下楼，一转念，又不忍打扰这个画面。我静静地靠在窗口，看着红色的车身慢慢从白色的积雪当中露出来，心，像被抚摸了一样，感到特别的温暖。

我知道，很多事难以周全。我期望这本书，能为他人带去知识和视野。

旅居海外的经历，让我深深感到，美国，是一个值得中国人认真学习的国家。所谓的“中国崛起”，我认为现阶段还是要证明我们有正确的学习态度和敏锐的学习能力。不要有桥不走，硬要下河摸石头。

要学习、要上路，这是中国的当务之急。我们的进步，应该以全世界的文明为基础。在这个过程中，中国需要对西方世界客观的观察者、理性的思考者和开放的分享者。

海外的华人、留学生拥有这样的历史机遇。我也愿把这作为自己的坐标，为国家的进步尽绵薄之力。

为了确保本书引用的资料和数据准确，我查对了很多资料。语言表达上，也做了反复的修改。尽管如此，肯定还有错漏和不足。感谢您的阅读，也欢迎您的意见和评点，以备再版时修订完善。

涂子沛于美国匹兹堡

2012年2月28日