![]()
内容推荐 本书将系统介绍Hadoop、Spark两种大数据处理框架,全书共12章,内容包括Hadoop大数据开发环境、HDFS大数据分布式存储、MapReduce分布式计算框架、HBase分布式数据库、Scala基础编程、Spark大数据处理框架、Spark RDD编程、Windows环境下Spark综合编程、Spark SQL结构化数据处理、Spark Streaming流计算、Spark GraphX图计算以及《平凡的世界》中部分人物关系图分析的项目实训。 本书可作为高等院校计算机、信息管理、软件工程、大数据、人工智能等相关专业的大数据课程的教材,也可供从事大数据开发的工程师和科技工作者参考。 目录 第1章 Hadoop大数据开发环境 1.1 Hadoop概述 1.1.1 Hadoop简介 1.1.2 Hadoop的优势 1.2 在VirtualBox上安装虚拟机 1.2.1 Master节点的安装 1.2.2 复制虚拟机 1.3 Hadoop安装前的准备工作 1.3.1 Linux主机的配置 1.3.2 安装SSH、配置SSH免密码登录 1.3.3 安装Java环境 1.4 Hadoop的安装与配置 1.4.1 Hadoop的安装 1.4.2 Hadoop单机模式的配置 1.4.3 Hadoop伪分布式模式的配置 1.4.4 Hadoop分布式模式的配置 1.5 习题 第2章 HDFS大数据分布式存储 2.1 HDFS的基本特征 2.2 HDFS的存储架构及组件 2.2.1 HDFS的存储架构 2.2.2 数据块 2.2.3 DataNode 2.2.4 NameNode 2.2.5 SecondaryNameNode 2.2.6 心跳消息 2.2.7 客户端 2.3 HDFS的Shell操作 2.3.1 查看命令的使用方法 2.3.2 HDFS常用的Shell操作 2.3.3 HDFS的管理员命令 2.3.4 HDFS的Java API操作 2.3.5 HDFS的Web管理界面 2.4 案例实战:HDFS编程 2.4.1 安装Eclipse 2.4.2 在Eclipse中创建项目 2.4.3 为项目添加需要用到的JAR包 2.4.4 编写Java应用程序 2.4.5 编译与运行程序 2.4.6 应用程序的部署 2.5 习题 第3章 MapReduce分布式计算框架 3.1 MapReduce概述 3.1.1 并发、并行与分布式编程的概念 3.1.2 MapReduce并行编程模型 3.1.3 Map函数和Reduce函数 …… 第4章 HBase分布式数据库 第5章 Scala基础编程 第6章 Spark大数据处理框架 第7章 Spark RDD编程 第8章 Windows环境下Spark综合编程 第9章 Spark SQL结构化数据处理 第10章 Spark Streaming流计算 第11章 Spark GraphX图计算 第12章 项目实训:《平凡的世界》中部分人物关系图分析 参考文献 |