![]()
内容推荐 大数据时代的到来,迫切需要高校及时建立大数据技术课程体系,为社会培养和输送一大批具备大数据专业素养的高级人才,满足社会对大数据人才目益旺盛的需求。本书定位为大数据技术入门教材,旨在为读者搭建起通向“大数据知识空间”的桥梁。本书将系统地梳理总结Apache Hadoop大数据相关技术,介绍大数据存储、并行计算、数据处理等内容,帮助读者形成对大数据知识体系及其应用领域的轮廓性认识,为读者在大数据领域进行更深入的学习和研究奠定基础、指明方向。在本书的基础上,感兴趣的读者可以通过其他诸如《大数据技术原理及应用》《Hadoop权威指南》等工具书,深入学习和实践大数据相关技术。 本书可作为高等院校计算机、信息管理等相关专业的大数据课程教材,也可供相关技术人员参考、学习、培训之用。 目录 第1章 .Hadoop大数据平台概述 1.1 Hadoop大数据平台起源 1.1.1 Hadoop发展历程 1.1.2 Hadoop核心组件 1.1.3 Hadoop与云计算的关系 1.2 Hadoop集群搭建和简单应用 1.2.1 集群服务器规划 1.2.2 Hadoop软件安装 1.2.3 Hadoop命令行的基本使用 本章小结 第2章 Hadoop分布式文件系统 2.1 HDFS概述 2.1.1 HDFS的概念和特性 2.1.2 HDFS的局限性 2.1.3 HDFS保证可靠性的措施 2.1.4 单点故障(单点失效)问题 2.2 HDFS Shell命令 2.2.1 常见Shell命令 2.2.2 其他HDFS Shell命令 2.3 对HDFS的深入理解 2.3.1 HDFS的优点和缺点 2.3.2 HDFS的辅助功能 2.4 HDFS读写过程 2.4.1 HDFS写入数据过程 2.4.2 HDFS读取数据过程 2.5 分布式集群中HDFS的各种角色 2.5.1 NameNode的可靠性 2.5.2 DataNode的可靠性 2.5.3 元数据的CheckPoint 本章小结 第3章 MapReduce并行计算框架 3.1 MapReduce概述 3.1.1 为什么需要MapReduce 3.1.2 MapReduce程序运行演示 3.1.3 WordCount.java源码分析 3.i.4编写自己的WordCount程序 3.2 MapReduce的核心运行机制 3.3 MapReduce的多Job串联和全局计数器 3.3.1 MapReduce的多Job串联 3.3.2 全局计数器 3.3.3 计数器该如何使用 3.3.4 MapReduce框架Partitioner分区 3.3.5 MapReduce框架Combiner分区 3.4 YARN的资源调度 本章小结 第4章 HBase分布式数据库 4.1 HBase数据库概述 4.1.1 HBase数据库的使用场景 4.1.2 HBase数据库的安装 4.2 HBase数据库物理架构 4.2.1 HBase集群节点类型 4.2.2 HBase数据存储 4.3 HBase数据库操作 4.3.1 HBase命令行的启动 4.3.2 HBase表的操作 4.3.3 HBase表中数据的操作 4.4 HBase数据库的API操作 本章小结 第5章 Hive数据仓库 5.1 Hive简介 5.1.1 什么是Hire 5.1.2 Hive的数据组织 5.1.3 Hive的表类型 5.2 Hive的安装与使用 5.2.1 Hive的安装配置 5.2.2 Hive的基本使用 5.2.3 Hive的连接方式 5.3 Hive数据结构 5.3.1 Hive数据类型 5.3.2 Hive数据存储格式 5.3.3 数据格式 5.4 Hive数据操作 5.4.1 管理库 5.4.2 表操作 5.5 Hive应用案例 5.5.1 统计单月访问次数和总访问次数 5.5.2 学生课程成绩统计 本章小结 第6章 Kafka消息系统 6.1 Kafka消息系统的功能 6.1.1 Kafka概述 6.1.2 Kafka组件架构 6.1.3 Kafka软件安装 6.1.4 Kafka服务的启动 6.2 Kafka组件术语 6.2.1 主题与日志 6.2.2 Kafka H志处理 6.2.3 消息副本 6.2.4 数据处理场景 6.2.5 生产者 6.2.6 消费者 本章小结 第7章 Flume日志处理系统 7.1 F、lume的简介 7.1.1 Flume概述 7.1.2 Flume NG的介绍 7.1.3 Flume的部署类型 7.2 F、lume的安装与配置 7.2.1 Flume的下载与安装 7.2.2 Flume Sources描述 7.3 Flume代理流配置 7.3.1 单一代理流配置 7.3.2 单代理多流配置 7.3.3 配置多代理流程 7.3.4 多路复用流 本章小结 第8章 ZooKeeper分布式协调系统 8.1 分布式协调技术概述 8.2 ZooKeeper概述 8.3 ZooKeeper监听机制 8.3.1 Watch触发器 8.3.2 监听原理 8.3.3 ZooKeeper应用举例 8.4 ZooKeeper的安装与集群配置 8.4.1 ZooKeeper的安装 8.4.2 使用ZooKeeper命令的简单操作步骤 本章小结 第9章 Sqoop数据迁移工具 9.1 Sq00p功能概述 9.1.1 Sqoop软件介绍 9.1.2 Sqoop软件安装 9.2 Sqoop命令操作 9.2.1 Sqoop的基本命令 9.2.2 Sqoop的数据导入 9.2.3 将MysQL数据库中的表数据导入Hive 9.2.4 将MysQL数据库中的表数据导入HBase 本章小结 参考文献 |