第1章 认识Apache Kafka

1.1 Kafka快速入门

1.1.1下载并解压缩Kafka二进制代码压缩包文件

1.1.2启动服务器

1.1.3创建topic

1.1.4发送消息

1.1.5消费消息

1.2消息引擎系统

1.2.1消息设计

1.2.2传输协议设计

1.2.3消息引擎范型

1.2.4 Java消息服务

1.3 Kafka概要设计

1.3.1吞吐量/延时

1.3.2消息持久化

1.3.3负载均衡和故障转移

1.3.4伸缩性

1.4 Kafka基本概念与术语

1.4.1消息

1.4.2 topic和partition

1.4.3 offset

1.4.4 replica

1.4.5 leader和follower

1.4.6 ISR

1.5 Kafka使用场景

1.5.1消息传输

1.5.2网站行为日志追踪

1.5.3审计数据收集

1.5.4日志收集

1.5.5 Event Sourcing

1.5.6流式处理

1.6本章小结

第2章 Kafka发展历史

2.1 Kafka的历史

2.1.1背景

2.1.2 Kafka横空出世

2.1.3 Kafka开源

2.2 Kafka版本变迁

2.2.1 Kafka的版本演进

2.2.2 Kafka的版本格式

2.2.3新版本功能简介

2.2.4旧版本功能简介

2.3如何选择Kafka版本

2.3.1根据功能场景

2.3.2根据客户端使用场景

2.4 Kafka与Confluent

2.5本章小结

第3章 Kafka线上环境部署

3.1集群环境规划

3.1.1操作系统的选型

3.1.2磁盘规划

3.1.3磁盘容量规划

3.1.4内存规划

3.1.5 CPU规划

3.1.6带宽规划

3.1.7典型线上环境配置

3.2伪分布式环境安装

3.2.1安装Java

3.2.2安装ZooKeeper

3.2.3安装单节点Kafka集群

3.3多节点环境安装

3.3.1安装多节点ZooKeeper集群

3.3.2安装多节点Kafka

3.4验证部署

3.4.1测试topic创建与删除

3.4.2测试消息发送与消费

3.4.3生产者吞吐量测试

3.4.4消费者吞吐量测试

3.5参数设置

3.5.1 broker端参数

3.5.2 topic级别参数

3.5.3 GC参数

3.5.4 JVM参数

3.5.5 OS参数

3.6本章小结

第4章 producer开发

4.1 producer概览

4.2构造producer

4.2.1 producer程序实例

4.2.2 producer主要参数

4.3消息分区机制

4.3.1分区策略

4.3.2自定义分区机制

4.4消息序列化

4.4.1默认序列化

4.4.2自定义序列化

4.5 producer拦截器

4.6无消息丢失配置

4.6.1 producer端配置

4.6.2 broker端配置

4.7消息压缩

4.7.1 Kafka支持的压缩算法

4.7.2算法性能比较与调优

4.8多线程处理

4.9旧版本producer

4.10本章小结

第5章 consumer开发

5.1 consumer概览

5.1.1消费者（consumer）

5.1.2消费者组（consumer group）

5.1.3位移（offset）

5.1.4位移提交

5.1.5 _consumer_offsets

5.1.6消费者组重平衡（consumer group rebalance）

5.2构建consumer

5.2.1 consumer程序实例

5.2.2 consumer脚本命令

5.2.3 consumer主要参数

5.3订阅topic

5.3.1订阅topic列表

5.3.2基于正则表达式订阅topic

5.4消息轮询

5.4.1 poll内部原理

5.4.2 poll使用方法

5.5位移管理

5.5.1 consumer位移

5.5.2新版本consumer位移管理

5.5.3自动提交与手动提交

5.5.4旧版本consumer位移管理

5.6重平衡（rebalance）

5.6.1 rebalance概览

5.6.2 rebalance触发条件

5.6.3 rebalance分区分配

5.6.4 rebalance generation

5.6.5 rebalance协议

5.6.6 rebalance流程

5.6.7 rebalance监听器

5.7解序列化

5.7.1默认解序列化器

5.7.2自定义解序列化器

5.8多线程消费实例

5.8.1每个线程维护一个KafkaConsumer

5.8.2单KafkaConsumer实例＋多worker线程

5.8.3两种方法对比

5.9独立consumer

5.10旧版本consumer

5.10.1概览

5.10.2 high-level consumer

5.10.3 low-level consumer

5.11本章小结

第6章 Kafka设计原理

6.1 broker端设计架构

6.1.1消息设计

6.1.2集群管理

6.1.3副本与ISR设计

6.1.4水印（watermark）和leader epoch

6.1.5日志存储设计

6.1.6通信协议（wire protocol）

6.1.7 controller设计

6.1.8 broker请求处理

6.2 producer端设计

6.2.1 producer端基本数据结构

6.2.2工作流程

6.3 consumer端设计

6.3.1 consumer group状态机

6.3.2 group管理协议

6.3.3 rebalance场景剖析

6.4实现精确一次处理语义

6.4.1消息交付语义

6.4.2幂等性producer （idempotentproducer）

6.4.3事务（transaction）

6.5本章小结

第7章 管理Kafka集群

7.1集群管理

7.1.1启动broker

7.1.2关闭broker

7.1.3设置JMX端口

7.1.4增加broker

7.1.5升级broker版本

7.2 topic管理

7.2.1创建topic

7.2.2删除topic

7.2.3查询topic列表

7.2.4查询topic详情

7.2.5修改topic

7.3 topic动态配置管理

7.3.1增加topic配置

7.3.2查看topic配置

7.3.3删除topic配置

7.4 consumer相关管理

7.4.1查询消费者组

7.4.2重设消费者组位移

7.4.3删除消费者组

7.4.4 kafka-consumer-offset-checker

7.5 topic分区管理

7.5.1 preferred leader选举

7.5.2分区重分配

7.5.3增加副本因子

7.6 Kafka常见脚本工具

7.6.1 kafka-console-producer脚本

7.6.2 kafka-console-consumer脚本

7.6.3 kafka-run-class脚本

7.6.4查看消息元数据

7.6.5获取topic当前消息数

7.6.6查询_consumer_offsets

7.7 API方式管理集群

7.7.1服务器端API管理topic

7.7.2服务器端API管理位移

7.7.3客户端API管理topic

7.7.4客户端API查看位移

7.7.5 0.11.0.0版本客户端API

7.8 MirrorMaker

7.8.1概要介绍

7.8.2主要参数

7.8.3使用实例

7.9 Kafka安全

7.9.1 SASL＋ACL

7.9.2 SSL加密

7.10常见问题

7.11本章小结

第8章 监控Kafka集群

8.1集群健康度检查

8.2 MBean监控

8.2.1监控指标

8.2.2指标分类

8.2.3定义和查询JMX端口

8.3 broker端JMX监控

8.3.1消息入站/出站速率

8.3.2 controller存活JMX指标

8.3.3备份不足的分区数

8.3.4 leader分区数

8.3.5 ISR变化速率

8.3.6 broker I/O工作处理线程空闲率

8.3.7 broker网络处理线程空闲率

8.3.8单个topic总字节数

8.4 clients端JMX监控

8.4.1 producer端JMX监控

8.4.2 consumer端JMX监控

8.5 JVM监控

8.5.1进程状态

8.5.2 GC性能

8.6 OS监控

8.7主流监控框架

8.7.1 JmxTool

8.7.2 kafka-manager

8.7.3 Kafka Monitor

8.7.4 Kafka Offset Monitor

8.7.5 CruiseControl

8.8本章小结

第9章 调优Kafka集群

9.1引言

9.2确定调优目标

9.3集群基础调优

9.3.1禁止atime更新

9.3.2文件系统选择

9.3.3设置swapiness

9.3.4 JVM设置

9.3.5其他调优

9.4调优吞吐量

9.5调优延时

9.6调优持久性

9.7调优可用性

9.8本章小结

第10章 Kafka Connect与Kafka Streams

10.1引言

10.2 Kafka Connect

10.2.1概要介绍

10.2.2 standalone Connect

10.2.3 distributed Connect

10.2.4开发connector

10.3 Kafka Streams

10.3.1流处理

10.3.2 Kafka Streams核心概念

10.3.3 Kafka Streams与其他框架的异同

10.3.4 Word Count实例

10.3.5 Kafka Streams应用开发

10.3.6 Kafka Streams状态查询

10.4本章小结