Kafka Topic创建三步曲

通常在生产环境新增业务主题，我们都需要提前预测到，然后做好充分的准备，本文将介绍在生产环境中创建Topic时需要考虑的所有参数。

首先创建新Topic的时候，我们需要设置合理的分区数和副本数，不合理的设置将会给系统的性能和可靠性带来影响。

创建一个Topic

kafka/bin/kafka-topics.sh --create \
--zookeeper localhost:2181 \
--replication-factor 2 \
--partitions 3 \
--topic unique-topic-name

分区(Partitions)

Kafka主题分为多个分区，其中包含以不变顺序排列的消息。分区中的每个消息均通过其唯一偏移量进行分配和标识。

分区使我们可以在多个Broker之间分配主题数据，从而平衡Broker之间的负载。每个分区只能由一个Consumer Group使用，因此，服务的并行性受Topic拥有的分区数约束。

分区数受两个主要因素的影响，即消息数和每条消息的平均大小。如果交易量很大，您将需要使用代理数量作为乘法倍数，以允许在所有使用者上共享负载，并避免创建热分区，该分区会对特定代理造成高负载。我们的目标是使分区吞吐量达到1MB/s。

设置分区数:

--partitions [number]

副本(Replicas)

如果leader分区发生故障并且需要跟随者(follower)副本替换它并成为领导者(leader)，则Kafka可以选择复制Topic分区。在配置Topic时，请记住，分区是为实现快速读写速度，可伸缩性和分发大量数据而设计的。

另一方面，复制因子(RF)旨在确保指定的容错目标。副本不会直接影响性能，因为在任何给定时间，只有一个(leader)领导者分区负责通过Broker服务器处理生产者和使用者请求。

在决定复制因子时的另一个考虑因素是，为了满足生产容量会话，需要考虑服务需要的消费者数量。

设置复制因子(RF):
如果你的Topic承载的是关键业务，推荐你设置复制因子为3，其他的设置为2就够了。

--replication-factor [number]

Tips:  但这里需要注意一点的是, RF <= Broker Number

保留(Retention)

将消息保留在Topic中的时间或最大Topic大小。根据你的用例确定。默认情况下，保留期限为7天，但这是可配置的。

设置Retention:

--config retention.ms=[number]

压缩(Compaction)

为了释放空间并清理不需要的记录，Kafka压缩可以根据记录的日期和大小删除记录。它还可以删除具有相同键的每个记录，同时保留该记录的最新版本。基于键的压缩对于控制Topic的大小非常有用，其中只有最新的记录版本才是重要的。

启用压缩:

log.cleanup.policy=compact

分享阅读原文: http://suo.im/5W8p1p