Kafka基本概念
Kafka是分布式、多副本、基于Zookeeper的分布式消息流平台。它是基于发布订阅模式的消息引擎系统。
基础定义
- 消息：Kafka 中的数据单元被称为
消息，也被称为记录 - 批次：为了提高效率， 消息会
分批次写入 Kafka，批次就代指的是一组消息。 - 主题：消息的种类称为
主题（Topic）,可以说一个主题代表了一类消息。相当于是对消息进行分类。主题就像是数据库中的表。 - 分区：主题可以被分为若干个分区（partition），同一个主题中的分区可以不在一个机器上，有可能会部署在多个机器上，由此来实现 kafka 的
伸缩性，单一主题中的分区有序，但是无法保证主题中所有的分区有序 - 生产者：向主题发布消息的客户端应用程序称为
生产者（Producer），生产者用于持续不断的向某个主题发送消息。 - 消费者：订阅主题消息的客户端程序称为
消费者（Consumer），消费者用于处理生产者产生的消息。 - 消费者群组：生产者与消费者的关系就如同餐厅中的厨师和顾客之间的关系一样，一个厨师对应多个顾客，也就是一个生产者对应多个消费者，
消费者群组（Consumer Group）指的就是由一个或多个消费者组成的群体。 - 偏移量：
偏移量（Consumer Offset）是一种元数据，它是一个不断递增的整数值，用来记录消费者发生重平衡时的位置，以便用来恢复数据。 - broker: 一个独立的 Kafka 服务器就被称为
broker，broker 接收来自生产者的消息，为消息设置偏移量，并提交消息到磁盘保存。 - broker 集群：broker 是
集群的组成部分，broker 集群由一个或多个 broker 组成，每个集群都有一个 broker 同时充当了集群控制器的角色（自动从集群的活跃成员中选举出来）。 - 副本：Kafka 中消息的备份又叫做
副本（Replica），副本的数量是可以配置的，Kafka 定义了两类副本：领导者副本（Leader Replica） 和 追随者副本（Follower Replica），前者对外提供服务，后者只是被动跟随。 - 重平衡：Rebalance。消费者组内某个消费者实例挂掉后，其他消费者实例自动重新分配订阅主题分区的过程。Rebalance 是 Kafka 消费者端实现高可用的重要手段。
Broker 中间者、代理者
一台Kafka服务器就是一个Broker，一个集群由多个broker组成，一个broker可以有多个topic。broker承担着中间缓存和分发的作用，broker将producer发送的数据分发到注册consumer中
Consumer Group 消费者群组
由多个消费者组成的群组，每个消费者都在一个group当中。
- 程序a和程序b都在同一个group当中，此时一个他们订阅的topic发了一条消息，程序a消费了，那么程序b就不能再消费了，所以在同一个消费组中，一个消息只能被一个消费者消费。
Partition 分区
Kafka内在就是分布式的，一个broker中可以有多个topic，一个topic可以设置多个partition（分区），每个Partition在物理上都对应一个文件夹，该文件夹存储这个Partition的所有消息和索引文件。所以，Topic 是一个逻辑概念，Partition 是最小的存储单元，掌握着一个 Topic 的部分数据。
offset 偏移
在每个partition分区下的消息都是顺序保存的，kakfa使用一个唯一的标识来记录它们在该分区下的位置，这个位置标识被称为offset（位移），位移是顺序递增的，一旦确定下来之后就不能修改。Kafka会维护分区下的消息顺序，但是不会维护跨partition（分区）间的顺序（假如，我们往topic1分别发送三条消息1，2，3 那么，1和3发送到了partition1中，2发送到了partition2中，那么kafka consumer在消费时，会按照1 然后 3的顺序消息，但是不保证 2 会在消费1之后在消费 ）
Kafka基本行为模式
分区和偏移
分区中每条记录都会被分配一个唯一的序号，就是offset。当一条记录写入 Partition 的时候，它就被追加到 log 文件的末尾，并被分配一个序号，作为 Offset。 当topic发送消息时，消息会被发送到topic下任意一个partition当中，并被赋予offset。
消息的顺序性需要注意，一个 Topic 如果有多个 Partition 的话，那么从 Topic 这个层面来看，消息是无序的。但单独看 Partition 的话，Partition 内部消息是有序的。所以，一个 Partition 内部消息有序，一个 Topic 跨 Partition 是无序的。如果强制要求 Topic 整体有序，就只能让 Topic 只有一个 Partition。
写入partition
一个 Topic 有多个 Partition，那么，向一个 Topic 中发送消息的时候，具体是写入哪个 Partition 呢？有3种写入方式。
使用 Partition Key 写入特定 Partition
Producer 发送消息的时候，可以指定一个 Partition Key，这样就可以写入特定 Partition 了。 Partition Key 可以使用任意值，例如设备ID、User ID。 Partition Key 会传递给一个 Hash 函数，由计算结果决定写入哪个 Partition。
所以，有相同 Partition Key 的消息，会被放到相同的 Partition。 例如使用 User ID 作为 Partition Key，那么此 ID 的消息就都在同一个 Partition，这样可以保证此类消息的有序性。 这种方式需要注意 Partition 热点问题。 例如使用 User ID 作为 Partition Key，如果某一个 User 产生的消息特别多，是一个头部活跃用户，那么此用户的消息都进入同一个 Partition 就会产生热点问题，导致某个 Partition 极其繁忙
由Kafka决定
如果没有使用 Partition Key，Kafka 就会使用轮询的方式来决定写入哪个 Partition。 这样，消息会均衡的写入各个 Partition。 但这样无法确保消息的有序性。
自定义规则
Kafka 支持自定义规则，一个 Producer 可以使用自己的分区指定规则。
读取Partition
Kafka 不像普通消息队列具有发布/订阅功能，Kafka 不会向 Consumer 推送消息。 Consumer 必须自己从 Topic 的 Partition 拉取消息。 一个 Consumer 连接到一个 Broker 的 Partition，从中依次读取消息。
消息的 Offset 就是 Consumer 的游标，根据 Offset 来记录消息的消费情况。 读完一条消息之后，Consumer 会推进到 Partition 中的下一个 Offset，继续读取消息。
分区和消费组
Kafka 中有一个 Consumer Group（消费组）的概念，多个 Consumer 组团去消费一个 Topic。同组的 Consumer 有相同的 Group ID。Consumer Group 机制会保障一条消息只被组内唯一一个 Consumer 消费，不会重复消费。消费组这种方式可以让多个 Partition 并行消费，大大提高了消息的消费能力，最大并行度为 Topic 的 Partition 数量。 当消费组订阅一个主题时，意味着主题下的所有分区都会被组中的消费者消费到，如果按照从属关系来说的话就是，主题下每个分区只从属于组中的一个消费者，不可能出现组中的两个消费者负责同一个分区。可以通过自定义分配策略来决定消费者和分区是如何分配的。 那么，问题来了。如果分区数大于或者等于组中的消费者实例数，那自然没有什么问题，无非一个消费者会负责多个分区，（PS：当然，最理想的情况是二者数量相等，这样就相当于一个消费者负责一个分区）；但是，如果消费者实例的数量大于分区数，那么按照默认的策略（PS：之所以强调默认策略是因为你也可以自定义策略），有一些消费者是多余的，一直接不到消息而处于空闲状态。 话又说回来，假设多个消费者负责同一个分区，那么会有什么问题呢？ 我们知道，Kafka它在设计的时候就是要保证分区下消息的顺序，也就是说消息在一个分区中的顺序是怎样的，那么消费者在消费的时候看到的就是什么样的顺序，那么要做到这一点就首先要保证消息是由消费者主动拉取的（pull），其次还要保证一个分区只能由一个消费者负责。倘若，两个消费者负责同一个分区，那么就意味着两个消费者同时读取分区的消息，由于消费者自己可以控制读取消息的offset，就有可能C1才读到2，而C1读到1，C1还没处理完，C2已经读到3了，则会造成很多浪费，因为这就相当于多线程读取同一个消息，会造成消息处理的重复，且不能保证消息的顺序，这就跟主动推送（push）无异。