网站首页  软件下载  游戏下载  翻译软件  电子书下载  电影下载  电视剧下载  教程攻略

请输入您要查询的图书:

 

书名 Spark实时大数据分析(基于Spark Streaming框架)
分类
作者 (美)祖贝尔·纳比
出版社 清华大学出版社
下载
简介
内容推荐
祖贝尔·纳比著的《Spark实时大数据分析(基于Spark Streaming框架)》详细阐述了与Spark实时大数据分析以及Spark Streaming框架相关的基本解决方案,主要包括大数据漫游指南,实时RDD,高速流:链接外部数据源,边界效应,实时ETL和分析技术,大规模机器学习,云、Lambda及Python等内容。此外,本书还提供了丰富的示例以及代码,以帮助读者进一步理解相关方案的实现过程。
本书适合作为高等院校计算机及相关专业的教材和教学参考书,也可作为相关开发人员的自学教材和参考手册。
作者简介
祖贝尔·纳比,在学术界、研究界和工业界三大领域中,Zubair Nabi是少数几位在这些领域中解决大数据问题的计算机科学家之一。他目前就职于一家初创公司Qubit,这家公司位于英国伦敦,它背后有Goldman Sachs,Accel Partners,Salesforce Ventures和Balderton Capital四家风险投资机构作为强大后盾。Qubit致力于帮助零售商了解他们的客户并提供个性化的客户体验。现在Qubit的客户群增长快速,其中不乏Staples,Emirates,Thomas Cook和Topshop等这些知名公司。Nabi先生加入Qubit之前,曾在IBM研究院担任研究员,从事大数据系统和分析工作,解决电信、电力和城市动态空间中的现实问题。
MIT Technology Review,SciDev,CNET和Asian Scientist这些传媒或刊物对Nabi先生的工作都有报道,而且瑞典国家广播电台也报道过。此外,Nabi先生撰写了20多篇研究论文,都发表在一些顶级计算机科学领域的出版刊物上,如USENIX Middleware,ECMLPKDD和IEEE BigData等。而且他还拥有多项专利。
Nabi先生毕业于剑桥大学并获得高级计算机科学硕士学位。
目录
第1章 大数据漫游指南
1.1 Spark前传
1.1.1Web 2.0时代
1.1.2 无处不在的传感器
1.2 Spark Streaming:MapReduce和CEP的交集
第2章 Spark简介
2.1 安装
2.2 执行
2.2.1 独立集群模式(Standalone Cluster)
2.2.2 YARN模式
2.3 第一个应用程序
2.3.1 构建
2.3.2 执行
2.4 SparkContext
2.4.1 RDDs创建
2.4.2 处理依赖关系
2.4.3 创建共享变量
2.4.4 作业执行
2.5 RDD
2.5.1 持久化
2.5.2 转换
2.5.3 行动(Action)
小结
第3章 实时RDD:DStream
3.1 从连续流到离散流
3.2 第一个Spark Streaming应用程序
3.2.1 构建和执行
3.2.2 Streaming Context
3.3 DStreams
3.3.1 Spark Streaming应用程序剖析
3.3.2 转换
小结
第4章 高速流:并行化及其他
4.1 流数据的一大飞跃
4.2 并行化
4.2.1 Worker
4.2.2 执行器(Executor)
4.2.3 任务(Task)
4.3 批处理间隔
4.4 调度
4.4.1 应用程序间调度
4.4.2 批处理调度
4.4.3 作业间调度
4.4.4 一个行动,一个作业
4.5 内存
4.5.1 序列化
4.5.2 压缩(Compression)
4.5.3 垃圾收集
4.6 Shuffle
4.6.1 早期投影和过滤
4.6.2 经常使用组合器
4.6.3 大量运用平行化
4.6.4 文件合并(File Consolidation)
4.6.5 更多内存
小结
第5章 链接外部数据源
5.1 智慧城市,智慧地球,一切更智慧
5.2 ReceiverInputDStream
5.3 套接字
5.4 MQTT
5.5 Flume
5.5.1 基于推模式的Flume数据摄取
5.5.2 基于拉模式的Flume数据摄取
5.6 Kafka
5.6.1 基于接收器的Kafka消费者
5.6.2 直接Kafka消费者
5.7 Twitter
5.8 块间隔
5.9 自定义接收器
小结
第6章 边界效应
6.1 盘点股市
6.2 foreachRDD
6.2.1 为每条记录创建一个连接
6.2.2 为每个分区创建一个连接
6.2.3 静态连接
6.2.4 惰性静态连接
6.2.5 静态连接池
6.3 可扩展流存储
6.3.1 HBase
6.3.2 股市控制台(Dashboard)
6.3.3 SparkOnHBase
6.3.4 Cassandra
6.3.5 Spark Cassandra连接器
6.4 全局状态(Global State)
6.4.1 静态变量
6.4.2 updateStateByKey()
6.4.3 累加器
6.4.4 外部解决方案
小结
第7章 充分准备
7.1 每个点击都异乎重要
7.2 Tachyon(Alluxio)
7.3 Spark Web UI
7.3.1 历史分析
7.3.2 RESTful度量
7.4 日志记录
7.5 外部度量
7.6 系统度量
7.7 监控和报警
小结
第8章 实时ETL和分析技术
8.1 交易数据记录的强大功能
8.2 第一个流式Spark SQL应用程序
8.3 SQLContext
8.3.1 创建数据框
8.3.2 执行SQL
8.3.3 配置
8.3.4 用户自定义函数
8.3.5 Catalyst:查询执行和优化
8.3.6 HiveContext
8.4 数据框(Data Frame)
8.4.1 类型
8.4.2 查询转换
8.4.3 行动
8.4.4 RDD操作
8.4.5 持久化
8.4.6 最佳做法
8.5 SparkR
8.6 第一个SparkR应用程序
8.6.1 执行
8.6.2 流式SparkR
小结
第9章 大规模机器学习
9.1 传感器数据风暴
9.2 流式MLlib应用程序
9.3 MLlib
9.3.1 数据类型
9.3.2 统计分析
9.3.3 预处理
9.4 特征选择和提取
9.4.1 卡方选择
9.4.2 主成分分析
9.5 学习算法
9.5.1 分类
9.5.2 聚类
9.5.3 推荐系统
9.5.4 频繁模式挖掘
9.6 流式ML管道应用程序
9.7 ML
9.8 管道交叉验证
小结
第10章 云、Lambda及Python
10.1 一条好评胜过一千个广告
10.2 Google Dataproc
10.3 基于Dataproc应用程序创建的第一个Spark
10.4 PySpark
10.5 Lambda架构
10.6 流式图分析
总结
随便看

 

霍普软件下载网电子书栏目提供海量电子书在线免费阅读及下载。

 

Copyright © 2002-2024 101bt.net All Rights Reserved
更新时间:2025/3/24 12:11:49