紫光股份旗下新华三集团作为数字化解决方案，致力于成为客户业务创新、数字化转型很可信赖的合作伙伴。新华三拥有计算、存储、网络、5G、安全等多方面的数字化基础设施整体能力，提供云计算、大数据、人工智能、工业互联网、信息安全、智能联接、新安防、边缘计算等在内的一站式数字化解决方案，以及端到端的技术服务。同时，新华三也是HPE?服务器、存储和技术服务的中国定制提供商。

部分大数据平台安装
章平台操作系统的使用
1.1Linux操作系统概述
1.1.1Linux操作系统的起源
1.1.2Linux操作系统的特点
1.1.3Linux操作系统的应用场景
1.1.4Linux版本
1.2Linux常用命令
1.2.1文件与目录操作
1.2.2用户操作
1.2.3文本操作
1.2.4系统操作
1.3Linux操作系统用户信息
1.3.1用户和组
1.3.2文件类型和权限
1.4本章小结
第2章Hadoop平台安装
2.1Hadoop概述
2.1.1Hadoop的起源
2.1.2Hadoop的生态圈
2.1.3Hadoop的版本
2.1.4Hadoop的优点
2.1.5Hadoop的应用场景
2.1.6Hadoop的运行模式
2.2Hadoop的核心组件
2.2.1HDFS
2.2.2MapReduce
2.2.3YARN
2.3平台操作系统环境设置
2.3.1配置Linux操作系统基础环境
2.3.2安装Java环境
2.4安装Hadoop软件
2.4.1获取Hadoop安装包
2.4.2安装Hadoop软件
2.4.3修改目录所有者和所有者组
2.5安装单机版Hadoop系统
2.5.1配置Hadoop配置文件
2.5.2测试Hadoop本地模式的运行
2.6本章小结
第3章平台基础环境配置
3.1集群网络连接
3.1.1实验环境下的大数据Hadoop平台集群网络
3.1.2生产环境下的大数据Hadoop平台集群网络
3.2SSH无密码登录
3.2.1SSH简介
3.2.2SSH特点介绍
3.2.3非对称加密机制
3.2.4SSH安全机制
3.2.5SSH基于口令的安全验证
3.2.6基于密钥的安全验证
3.3集群网络配置
3.3.1实验环境下的集群网络配置
3.3.2生产环境下的集群网络配置
3.4SSH无密码验证配置
3.4.1生成SSH密钥
3.4.2交换SSH密钥
3.4.3验证SSH无密码登录
3.5本章小结
第二部分大数据平台配置
第4章Hadoop文件参数配置
4.1Hadoop配置文件说明
4.1.1Hadoop环境配置
4.1.2Hadoop守护进程环境配置
4.1.3Hadoop配置参数格式
4.1.4获得Hadoop集群全部配置信息
4.2在master节点上安装Hadoop
4.3配置hdfs-site.xml文件参数
4.4配置core-site.xml文件参数
4.5配置mapred-site.xml
4.6配置yarn-site.xml
4.7Hadoop其他相关配置
4.8本章小结
第5章Hadoop集群运行
5.1Hadoop运行状态
5.2配置Hadoop格式化
5.3查看Java进程
5.4查看HDFS的报告
5.5使用浏览器查看节点状态
5.6停止Hadoop
5.7本章小结
第三部分大数据平台组件的安装与配置
第6章Hive组件的安装与配置
6.1Hive相关知识
6.2Hive组件架构
6.3下载和解压安装文件
6.3.1基础环境和安装准备
6.3.2解压安装文件
6.4设置Hive环境
6.4.1卸载MariaDB数据库
6.4.2安装MySQL数据库
6.4.3配置Hive组件
6.5初始化Hive元数据
6.6启动Hive
6.7本章小结
第7章HBase组件的安装与配置
7.1HBase相关知识
7.2HBase功能应用
7.3HBase组件设置
7.4HBase安装与配置
7.5HBase常用Shell命令
7.6本章小结
第8章ZooKeeper组件的安装与配置
8.1ZooKeeper相关知识
8.1.1ZooKeeper的重要概念
8.1.2ZooKeeper的特点
8.2ZooKeeper选项设置
8.3ZooKeeper角色选举
8.4下载和安装ZooKeeper
8.5ZooKeeper的配置选项
8.5.1master节点配置
8.5.2slave节点配置
8.5.3系统环境变量配置
8.6启动ZooKeeper
8.7本章小结
第9章Sqoop组件的安装与配置
9.1Sqoop相关知识
9.2Sqoop的功能应用
9.2.1Sqoop架构
9.2.2Sqoop导入原理
9.2.3Sqoop导出原理
9.3下载和解压Sqoop
9.4配置Sqoop环境
9.5启动Sqoop
9.6Sqoop模板命令
9.7Sqoop组件应用
9.8本章小结
0章Flume组件的安装与配置
10.1Flume相关知识
10.2Flume功能应用
10.2.1Flume功能
10.2.2Flume结构
10.3Flume组件设置
10.4下载和解压Flume
10.5Flume组件部署
10.6使用Flume发送和接收信息
10.7本章小结
第四部分大数据平台实施
1章大数据平台实施方案的理解
11.1系统实施方案概述
11.1.1方案概述
11.1.2项目实施思路
11.1.3项目实施流程
11.2确认客户需求
11.2.1确认需求分析准备
11.2.2进行确认需求调研
11.2.3系统详细需求分析
11.3编写大数据平台实施方案
11.3.1大数据平台规划
11.3.2大数据平台部署
11.3.3项目实施计划
……

本书为“1+X”职业技能等级证书配套教材，按国家“1+X”大数据平台运维职业技能等级标准编写。本书属于大数据平台运维初级教材，从大数据平台运维工程师角度由浅入深、多方面地介绍大数据平台运维的相关基础知识和基本实操。本书共分6个部分18章，部分为大数据平台安装，涉及平台操作系统的使用、Hadoop平台安装、平台基础环境配置；第二部分为大数据平台配置，涉及Hadoop文件参数配置、Hadoop集群运行；第三部分为大数据平台组件的安装与配置，涉及Hive、HBase、ZooKeeper、Sqoop和Flume组件的安装与配置；第四部分为大数据平台实施，涉及大数据平台实施方案、培训方案；第五部分为大数据平台监控，涉及基于大数据平台的监控命令、监控界面和报表、日志和告警信息监控；第六部分为大数据运维综合实战案例，以实际项目为例介绍从平台部署、数据业务采集、数据分析到数据可视化的整体基础实施过程，并介绍了大数据平台运维的常见故障及处理流程。本书可作为中高职院校大数据及计算机类相关专业的教材，也可作为大数据平台运维人员的参考用书。