kafka __consumer_offsets过大造成磁盘满问题
情况是这样的,一个kafka集群,提供队列服务的
现在集群磁盘快满了,排查原因是由于__consumer_offsets过大造成,已初步定位出了是哪几个topic造成(写offset频率高出其他topic有2个数量级)
原因大概是由于有几个topic往__consumer_offsets里提交数据太频繁
首先,排除了__consumer_offsets没压缩的原因
然后,也排除了消费方式是同步的原因,消费程序是使用的默认配置,intervals=5000ms
自己消费了一下过大的__consumer_offsets显示,确实增大得很快,一个小时达到39G,感觉完全不是5s的intervals
有大神碰到过类似的情况吗?求指教!
没有找到相关结果
已邀请:
1 个回复
空心菜 - 心向阳光,茁壮成长
https://www.cnblogs.com/huxi2b/p/6061110.html 看看是否对你有帮助。