本书详细阐述了腾讯大数据平台系统架构，以及多年来平台建设的思考与沉淀，涵盖腾讯大数据的起源、技术理念及发展历程、开源路线选择的思考以及三代大数据平台架构的技术演进，涉及数据实时采集平台、下一代分布式存储平台、分布式计算平台、资源调度平台、机器学习平台、数据内容挖掘、大数据平台的运营、大数据套件TBDS、一站式机器学习平台智能钛TI等核心技术内容。大数据生态发展与演进需要各界数据人的共同努力，相信本书中详尽的大数据平台案例与建设思路可以给各位同行朋友带来很大的启发并提供借鉴。本书适合大数据从业人员、大数据技术爱好者、相关专业院校学生阅读。

蒋杰，北京大学博士，腾讯公司副总裁，中国人工智能产业发展联盟（AIIA）副理事长，中国计算机学会（CCF）大数据专家委员会委员。
2012年起在腾讯负责大数据平台建设，主导研发了离线计算、实时计算、机器学习、数智融合四代腾讯大数据平台，并推动大数据技术开源。带领腾讯完成了腾讯广告投放端整合，实现了腾讯全流量的一站式投放。在人工智能领域，打造了腾讯AI学习平台，获得多项顶级赛事奖项。

前言
第1章 打造腾讯大数据平台
1.1 腾讯大数据的缘起
1.2 腾讯大数据的构建理念
1.3 腾讯大数据的总体架构
第2章 数据实时采集平台
2.1 接入层挑战
2.2 接入管理层TDManager
2.3 数据采集
2.4 数据总线
2.5 消息中间件
2.6 数据分拣
2.7 接入层展望
第3章 分布式存储平台
3.1 文件存储HDFS
3.2 统一存储Ceph
3.3 下一代大数据存储Ozone
3.4 KV存储HBase
第4章 分布式计算平台
4.1 批处理MapReduce
4.2 批处理Spark
4.3 批处理漂移计算SuperSQL
4.4 流处理Flink
4.5 SQL数据仓库Hive
4.6 任务调度
第5章 数据分析引擎
5.1 关系型OLAP：腾讯实时多维分析平台
5.2 关系型OLAP：ClickHouse
5.3 多维OLAP：Kylin
5.4 多维OLAP：Druid
第6章 资源调度平台
6.1 Yarn项目背景
6.2 调度器性能优化
6.3 集群的高可用性
6.4 多资源维度弹性管理
第7章 数据治理体系
7.1 元数据
7.2 数据资产管理
7.3 大数据安全
第8章 机器学习平台
8.1 图智能平台
8.2 Angel
8.3 联邦学习
第9章 数据内容挖掘
9.1 概览
9.2 广告内容挖掘
9.3 用户画像数据体系
9.4 用户画像构建方法
9.5 数据内容挖掘与推荐
9.6 数据内容挖掘与AI创作
第10章 大数据平台运营
10.1 大数据服务规划
10.2 大数据平台治理
10.3 自动化运维体系构建
10.4 平台运营成本优化
10.5 大数据运营分析与应用体系
第11章 大数据平台产品设计
11.1 TBDS大数据处理套件
11.2 Oceanus实时流式数据处理平台
11.3 ideX数据分析与探索挖掘工具
11.4 智能钛TI机器学习平台
第12章 企业级容器云平台GaiaStack
12.1 GaiaStack产品背景和目标
12.2 GaiaStack架构和技术特点
12.3 GaiaStack核心技术
第13章 大数据应用服务
13.1 智能客服机器人
13.2 移动推送
13.3 数据可视化产品小马BI
参考文献

腾讯作为一家以互联网
为基础的科技与文化公司，
其互联网业务与亿万网民的
日常生活息息相关，从社交
平台出发，已拓展至娱乐、
金融、资讯、工具、流量平
台等多个业务板块。2019
年，马化腾公布腾讯公司的
新愿景为“用户为本，科技
向善”，目前已经践行多个“
科技向善”落地方案，例如
与政府合作的AI寻人、AI医
学影像产品“腾讯觅影”，以
及培育高产量AI黄瓜等项目
，而这些项目的背后无不是
以腾讯大数据作为底层支撑
，通过AI赋能创造可以为社
会带来实际价值的产品。
腾讯数据人每天不得不
面对海量的数据处理需求，
例如用户每天在微信朋友圈
和QQ空间上传的图片超过
10亿张，腾讯视频每天播放
量超过20亿次，除夕当天红
包支付超过25亿笔，每天移
动支付超过5亿笔，这些数
据规模在国内均居行业前列
。
伴随着业务的迅猛发展
，腾讯大数据平台十年磨一
剑，已经初步搭建完成了数
据采集、存储、计算、应用
、运维、治理等一整套大数
据业务处理平台。本书正是
在此背景下应运而生的，首
次对外详细阐述了腾讯大数
据平台系统架构，以及多年
来平台建设的思考与沉淀。
本书内容总体分成两大
部分，第一部分主要讲述腾
讯大数据平台的技术体系，
第二部分主要讲述腾讯大数
据通过腾讯云对外开放的一
系列产品。主要包括：
一、腾讯大数据的起源
、技术理念及发展历程：重
点讲述腾讯大数据从无到有
的故事、开源路线选择的思
考以及三代大数据平台架构
的技术演进。
二、数据实时采集平台
：重点讲述腾讯自主研发的
高并发消息中间件，该平台
在腾讯内部使用超过十年，
每天接入数十万亿级的消息
。
三、分布式存储平台：
讲述广受欢迎的HDFS、
Ceph、HBase等开源组件，
并重点阐述下一代分布式存
储平台Ozone。
四、分布式计算平台：
重点讲述腾讯大数据历经十
年发展的变迁史，从
Hadoop到Spark，从Storm
到Flink的发展史，同时也讲
述任务调度系统及多种计算
分析引擎。
五、资源调度平台：重
点讲述如何实现十万节点级
别的大规模集群的调度管理
，阐述CPU、GPU、内存、
磁盘、网络等资源调度的优
化。
六、数据治理体系：涉
及元数据、数据资产管理、
数据安全等内容。
七、机器学习平台：介
绍腾讯大数据自主研发的高
性能分布式机器学习平台
Angel，这是国内首个在全
球范围的顶级开源社区毕业
的机器学习平台。
八、数据内容挖掘：主
要讲述对数据价值的挖掘、
以用户画像为核心的数据内
容的挖掘。
九、大数据平台运营：
大数据平台的核心竞争力很
大一部分来自平台的运维与
运营，腾讯大数据平台的机
器节点规模超过十万台，但
腾讯大数据运维团队只有二
三十人，这里主要讲述运维
团队经历的方方面面。
十、对外开放的腾讯大
数据能力：讲述腾讯大数据
套件TBDS、一站式机器学
习平台智能钛TI，也讲述每
天推送量达到数百亿的移动
推送平台，重点披露承载了
腾讯大数据超过500万核的
底层算力平台的技术实践细
节，还有智能客服机器人、
数据可视化产品等。
本书由腾讯数据平台部
组织编写，详尽地记录了腾
讯大数据技术发展与演进各
个阶段所使用的技术，也记
录了腾讯大数据团队经历过
的各种考验，希望可以给各
位同行及有志于从事大数据
行业的朋友一些启发与借鉴
。