![]()
内容推荐 一、选题背景习近平总书记在十九届中共中央政治局第二次集体学习时的重要讲话中指出:“大数据是信息化发展的新阶段”,并做出了“推动大数据技术产业创新发展、构建以数据为关键要素的数字经济、运用大数据提升国家治理现代化水平、运用大数据促进保障和改善民生、切实保障国家数据安全”的战略部署,为我国构筑大数据时代国家综合竞争新优势指明了方向。2019年,人力资源社会保障部、市场监管总局和统计局联合下发了《人力资源社会保障部办公厅市场监管总局办公厅统计局办公室关于发布人工智能工程技术人员等职业信息的通知》(人社厅发〔2019〕48号),正式将大数据工程技术人员列为新职业。落实《专业技术人员继续教育规定》(人力资源社会保障部令第25号)的要求,为进一步加强大数据工程技术人员队伍建设,开展全国范围内的人员培训,人力资源社会保障部委托中国机械工程学会组织有关专家,制定了《大数据工程技术人员国家职业标准》,并组织开展《大数据工程技术人员培训教程》(以下简称“《教程》”)的编写工作。二、指导思想与开发原则《教程》开发工作是落实国家专业技术类新职业开发重要部署,服务和保障大数据工程技术人员队伍快速稳步发展的必要举措,是开展培训工作的重要基础和有力支撑,是大数据工程技术人员继续教育工作的重要抓手。《教程》根据职业标准与培训大纲编写,充分体现大数据行业特色,是对初、中、高不同专业等级人员实施培训的内容载体,是培训考核命题的基础素材,也将作为专业水平考核评价的重要参考。《教程》开发工作坚持以下原则:(一)科学性。充分考虑大数据技术发展现状和趋势,注重大数据工程技术人员知识要求的基础性,尊重客观规律 目录 第一章 网络数据处理/001 第一节 网络数据处理系统需求/003 第二节 网络数据处理系统设计/007 第三节 数据采集/015 第四节 数据仓库实现/049 第五节 即席查询/073 第六节 网络数据任务调度/080 第二章 离线数据处理/087 第一节 离线数据处理系统需求/089 第二节 网络数据处理系统设计/092 第三节 业务系统实现/107 第四节 数据导入/123 第五节 数据仓库实现/129 第六节 使用Spark分析/150 第七节 离线数据任务调度/163 第三章 实时数据处理/171 第一节 实时数据处理背景/173 第二节 网页埋点开发/176 第三节 Flume日志收集/194 第四节 Kafka消息队列/210 第五节 Spark Streaming实时计算/218 第六节 Druid实时查询/227 第四章 交互式数据处理/239 第一节 交互式数据处理背景/241 第二节 Kylin基本应用/245 第三节 Kylin流式应用/269 第四节 Cube优化/289 第五节 BI集成/292 第五章 数据检索/303 第一节 数据检索背景/305 第二节 Lucene基础入门/311 第三节 ElasticSearch应用/337 第四节 ELK日志分析/374 参考文献/387 后记/389 |