kafka __consumer_offsets过大造成磁盘满问题

情况是这样的,一个kafka集群,提供队列服务的
现在集群磁盘快满了,排查原因是由于__consumer_offsets过大造成,已初步定位出了是哪几个topic造成(写offset频率高出其他topic有2个数量级)
原因大概是由于有几个topic往__consumer_offsets里提交数据太频繁
首先,排除了__consumer_offsets没压缩的原因
然后,也排除了消费方式是同步的原因,消费程序是使用的默认配置,intervals=5000ms
 
自己消费了一下过大的__consumer_offsets显示,确实增大得很快,一个小时达到39G,感觉完全不是5s的intervals
有大神碰到过类似的情况吗?求指教!
已邀请:

采菊篱下 - 无分享不快乐 助力技术开源分享 运维一枚

赞同来自:

elysianwu

赞同来自:

有帮助

要回复问题请先登录注册