![]()
内容推荐 本书介绍Kafka的技术原理和应用技巧。内容包括如何安装和配置Kafka、如何使用Kafka API、Kafka的设计原则和可靠性保证,以及Kafka的一些架构细节,如复制协议、控制器和存储层。本书列举了一些非常流行的Kafka应用场景,比如基于事件驱动的微服务系统的消息总线、流式处理应用程序和大规模数据管道。通过学习本书,你不仅能够深入理解这项大数据核心技术,还能够将所学知识付诸实践,在生产环境中更好地运行Kafka,并基于它构建稳健的高性能应用程序。 目录 本书赞誉 第2版序 第1版序 前言 第1章 初识Kafka 1.1 发布与订阅消息系统 1.1.1 如何开始 1.1.2 独立的队列系统 1.2 Kafka登场 1.2.1 消息和批次 1.2.2 模式 1.2.3 主题和分区 1.2.4 生产者和消费者 1.2.5 broker和集群 1.2.6 多集群 1.3 为什么选择Kafka 1.3.1 多个生产者 1.3.2 多个消费者 1.3.3 基于磁盘的数据保留 1.3.4 伸缩性 1.3.5 高性能 1.3.6 平台特性 1.4 数据生态系统 1.5 起源故事 1.5.1 LinkedIn的问题 1.5.2 Kafka的诞生 1.5.3 走向开源 1.5.4 商业化 1.5.5 命名 1.6 开始Kafka之旅 第2章 安装Kafka 2.1 环境配置 2.1.1 选择操作系统 2.1.2 安装Java 2.1.3 安装ZooKeeper 2.2 安装broker 2.3 配置broker 2.3.1 常规配置参数 2.3.2 主题的默认配置 2.4 选择硬件 2.4.1 磁盘吞吐量 2.4.2 磁盘容量 2.4.3 内存 2.4.4 网络 2.4.5 CPU 2.5 云端的Kafka 2.5.1 微软Azure 2.5.2 AWS 2.6 配置Kafka集群 2.6.1 需要多少个broker 2.6.2 broker配置 2.6.3 操作系统调优 2.7 生产环境的注意事项 2.7.1 垃圾回收器选项 2.7.2 数据中心布局 2.7.3 共享ZooKeeper 2.8 小结 第3章 Kafka生产者——向Kafka写入数据 3.1 生产者概览 3.2 创建Kafka生产者 3.3 发送消息到Kafka 3.3.1 同步发送消息 3.3.2 异步发送消息 3.4 生产者配置 3.4.1 client.id 3.4.2 acks 3.4.3 消息传递时间 3.4.4 linger.ms 3.4.5 buffer.memory 3.4.6 compression.type 3.4.7 batch.size 3.4.8 max.in.flight.requests.per.connection 3.4.9 max.request.size 3.4.10 receive.buffer.bytes和send.buffer.bytes 3.4.11 enable.idempotence 3.5 序列化器 3.5.1 自定义序列化器 3.5.2 使用Avro序列化数据 3.5.3 在Kafka中使用Avro记录 3.6 分区 3.7 标头 3.8 拦截器 3.9 配额和节流 3 导语 Kafka核心作者Jay Kreps作序推荐,由Kafka项目一线开发人员共同执笔打造,通过详细的示例,帮助你排除疑难杂症,快速掌握大数据核心技术 |