内容推荐 吴斌主编的《大数据实时计算与应用(高等院校数据科学与大数据技术系列规划教材)》定位于大数据专业核心技术——实时计算,重点讨论大数据应用场景中的数据特点和应用需求的实时流计算技术。 本书通过对分布式实时计算系统的分析,将学习部分按功能性质划分成四个模块,分别为Kafka数据流处理模块、Strom实时计算模块、HBase数据存储模块和Zookeeper分布式协调模块。对此四个工作模块进行教学化处理,形成HBase基础操作、Zookeeper集群管理、配置Storm集群等核心课程体系,并配以实例使学习者便于理解,易于上手,掌握实时计算Storm相关的基础知识和实际业务系统的开发能力。 本书主要针对具有一定软件编程基础(特别是数据技术)的学生和专业工程师,特别是数据科学、数据分析专业的高年级本科学生以及从事与数据相关的高级技术人员的读者人群。 目录 第1章 分布式实时计算系统 1.1 分布式的概念 1.1.1 分布式系统 1.1.2 分布式计算 1.2 分布式通信 1.2.1 分布式通信基础 1.2.2 消息队列 1.2.3 Storm计算模型 1.3 分布式实时计算系统架构 1.3.1 数据获取——Kafka 1.3.2 数据处理——Storm 1.3.3 数据存储——HBase 1.4 系统架构 本章小结 习题 第2章 初识Kafka 2.1 什么是Kafka 2.1.1 Kafka概述 2.1.2 使用场景 2.1.3 Kafka基本特性 2.1.4 性能 2.1.5 总结 2.1.6 Kafka在LinkedIn中的应用 2.2 Topics和logs 2.3 分布式——consumers和producers 本章小结 习题 第3章 Kafka环境搭建 3.1 服务器搭建 3.2 开发环境搭建 本章小结 习题 第4章 Kafka消息传送 4.1 消息传输的事务定义 4.2 性能优化 4.2.1 消息集 4.2.2 数据压缩 4.3 生产者和消费者 4.3.1 Kafka生产者的消息发送 4.3.2 Kafka consumer 4.4 主从同步 4.5 客户端API 4.5.1 Kafka producer API 4.5.2 Kafka consumer API 4.6 消息和日志 本章小结 习题 第5章 Zookeeper开发 5.1 Zookeeper的来源 5.2 Zookeeper基础 5.2.1 基本概念 5.2.2 Zookeeper架构 5.3 Zookeeper的API 5.3.1 建立会话 5.3.2 管理权 5.3.3 节点注册 5.3.4 任务队列化 5.4 状态变化处理 5.5 故障处理 5.6 Zookeeper集群管理 5.6.1 集群配置 5.6.2 集群管理 本章小结 习题 第6章 初识HBase 6.1 什么是HBase 6.1.1 大数据的背景 6.1.2 HBase架构 6.1.3 HBase存储API 6.2 HBase部署 6.2.1 HBase配置及安装 6.2.2 运行模式 6.2.3 集群操作 本章小结 习题 第7章 HBase基础操作 7.1 CRUD操作 7.1.1 Put操作 7.1.2 Get操作 7.1.3 Delete操作 7.2 批处理操作 7.3 行锁 7.4 扫描 7.5 其他操作 7.5.1 HTable方法 7.5.2 Bytes方法 本章小结 习题 第8章 HBase高阶特性 8.1 过滤器 8.1.1 什么是过滤器 8.1.2 比较过滤器 8.1.3 专用过滤器 8.1.4 附加过滤器 8.2 计数器 8.2.1 什么是计数器 8.2.2 单计数器及多计数器 8.3 协处理器 8.3.1 什么是协处理器 8.3.2 协处理器API应用 本章小结 习题 第9章 管理HBase 9.1 HBase数据描述 9.1.1 表 9.1.2 列簇 9.1.3 属性 9.2 表管理API 9.2.1 基础操作 9.2.2 集群管理 本章小结 习题 第10章 初识Storm 10.1 什么是Storm 10.1.1 Storm能做什么 10.1.2 Storm的特性 10.1.3 Storm分布式计算结构 10.2 构建topology 10.2.1 Storm的基本概念 10.2.2 构建topology 10.2.3 示例: 单词计数 10.3 Storm并发机制 10.3.1 topology并发机制 10.3.2 给topology增加Worker 10.3.3 配置Executor和task 10.4 数据流分组的理解 10.5 消息的可靠处理 10.5.1 消息被处理后会发生什么 10.5.2 Storm可靠性的实现方法 10.5.3 调整可靠性 本章小结 习题 第11章 配置Storm集群 11.1 Storm集群框架介绍 11.1.1 理解nimbus守护进程 11.1.2 supervisor守护进程的工作方式 11.1.3 DRPC服务工作机制 11.1.4 Storm的UI简介 11.2 在Linux上安装Storm 11.2.1 搭建Zookeeper集群 11.2.2 安装Storm依赖库 11.2.3 下载并解压Storm发布版本 11.2.4 修改storm.yaml配置文件 11.2.5 启动Storm后台进程 11.3 将topology提交到集群上 本章小结 习题 第12章 Trident和TridentML 12.1 Trident topology 12.1.1 Trident综述 12.1.2 Reach 12.1.3 字段和元组 12.1.4 状态 12.1.5 Trident topology的执行 12.2 Trident接口 12.2.1 综述 12.2.2 本地分区操作 12.2.3 重新分区操作 12.2.4 群聚操作 12.2.5 流分组操作 12.2.6 合并和连接 12.3 Trident状态 12.3.1 事务spouts 12.3.2 透明事务spouts 12.3.3 非事务spouts 12.3.4 Spout和State总结 12.3.5 State应用接口 12.3.6 MapState的更新 12.3.7 执行MapState 12.4 TridentML: 基于storm的实时在线机器学习库 本章小结 习题 第13章 DRPC模式 13.1 DRPC概述 13.2 DRPC自动化组件 13.3 本地模式DRPC 13.4 远程模式DRPC 13.5 一个更复杂的例子 本章小结 习题 第14章 Storm实战
|