内容推荐 本书以Hadoop 3.3.0为核心,涵盖Hadoop生态系统的常用组件,主要介绍各组件的架构原理、Shell命令、常用API及编程等,并配有较多例题。全书共7章,内容包含Hadoop概述、Hadoop伪分布式安装、Hadoop分布式文件系统HDFS、分布式计算框架MapReduce、分布式数据库HBase、数据仓库Hive和内存计算框架Spark,第2~7章还设计了相关实验。 本书可以作为高等院校大数据、计算机、应用统计等相关专业的教材,也可作为Hadoop爱好者的入门教程或自学参考用书。 本书配有电子课件,欢迎选用本书作教材的教师登录www.cmpedu.com注册后下载,或加微信13910750469索取。 目录 前言 第1章 Hadoop概述 1.1 大数据简介 1.2 Hadoop简介 1.3 Hadoop特性 1.4 Hadoop核心组件 1.4.1 HDFS 1.4.2 MapReduce 1.4.3 YARN 1.5 Hadoop生态系统 1.5.1 HBase 1.5.2 Hive 1.5.3 Pig 1.5.4 Spark 1.5.5 ZooKeeper 1.5.6 Sqoop 1.5.7 Flume 1.5.8 Mahout 1.5.9 Ambari 1.6 本章小结 习题 第2章 Hadoop伪分布式安装 2.1 Linux操作系统 2.1.1 概述 2.1.2 Linux的组成 2.1.3 Linux的内核版本与发行版本 2.1.4 Linux基本命令 2.2 CentOS的安装 2.2.1 安装VMware Workstation 2.2.2 在VMware上安装CentOS 7 2.2.3 配置CentOS 7 2.3 Hadoop伪分布式安装与配置 2.3.1 安装WinSCP 2.3.2 安装JDK 2.3.3 安装Hadoop 2.4 本章小结 习题 实验 Hadoop伪分布式安装与配置 第3章 Hadoop分布式文件系统HDFS 3.1 HDFS的架构和原理 3.1.1 计算机集群结构 3.1.2 HDFS的假设前提和设计目标 3.1.3 HDFS的相关概念 3.1.4 HDFS体系结构 3.1.5 HDFS存储原理 3.2 HDFS Shell 3.3 HDFS Java API 3.3.1 搭建Linux操作系统下的Eclipse开发环境 3.3.2 HDFS Java API常用的类 3.3.3 HDFS Java API编程 3.4 本章小结 习题 实验 HDFS基本命令的使用和HDFS的Java编程 第4章 分布式计算框架MapReduce 4.1 认识MapReduce 4.1.1 分布式并行编程 4.1.2 MapReduce核心思想 4.1.3 MapReduce运行环境 4.1.4 Hadoop内置数据类型 4.2 MapReduce工作流程 4.2.1 MapReduce工作流程概述 4.2.2 Shuffle过程分析 4.3 MapReduce入门示例:WordCount 4.3.1 WordCount程序任务 4.3.2 准备被统计的文件 4.3.3 WordCount执行过程分析 4.3.4 WordCount编程实践 4.4 MapReduce应用实例 4.4.1 求平均值 4.4.2 简单查询功能的实现 4.5 本章小结 习题 实验 简单排序的实现 第5章 分布式数据库HBase 5.1 概述 5.1.1 BigTable简介 5.1.2 HBase简介 5.1.3 HBase具有的特点 5.2 HBase数据模型 5.2.1 数据模型概述 5.2.2 数据模型的相关概念 5.3 HBase系统架构 5.4 HBase伪分布式安装 5.4.1 安装并配置环境变量 5.4.2 配置HBase参数 5.4.3 验证HBase 5.5 HBase Shell 5.5.1 HBase Shell常用命令 5.5.2 HBase Shell应用实例 5.6 HBase Java API 5.6.1 HBase Java API简介 5.6.2 HBase Java API编程 5.7 本章小结 习题 实验 HBase编程实践 第6章 数据仓库Hive 6.1 概述 6.1.1 数据仓库简介 6.1.2 Hive简介 6.1.3 Hive与关系型数据库的区别 6.1.4 Hive系统架构 6.2 Hive伪分布式安装 6.2.1 MySQL的安装和配置 6.2.2 Hive的安装和配置 6.3 Hive编程基础 6.3.1 Hive的数据类型 6.3.2 数据库相关操作 6.3.3 表相关操作 6.3.4 表中数据的加载 6.3.5 HiveQL基本查询 6.3.6 Hive函数 6.4 Hive编程实例 6.4.1 雇员表统计 6.4.2 词频统计 6.5 本章小结 习题 实验 Hive的编程实践 第7章 内存计算框架Spark 7.1 Spark基础知识 7.1.1 Spark简介 7.1.2 Spark生态系统 7.1.3 Spark运行架构 7.2 Scala基础知识 7.2.1 Scala简介 7.2.2 Scala安装 7.2.3 Scala编程 7.3 Spark伪分布式安装 7.3.1 Spark的安装模式 7.3.2 Spark的安装 7.4 RDD编程基础 7.4.1 Spark Shell的启动和退出 7.4.2 RDD创建 7.4.3 常用的RDD操作 7.4.4 RDD编程实例 7.5 IDEA的安装和使用 7.5.1 IDEA的安装 7.5.2 IDEA的使用 7.5.3 独立应用程序实例 7.6 本章小结 习题 实验 Spark Shell交互式编程 参考文献 |