Elasticsearch应用在数据中心的实时协议分析和安全威胁检测

数据中心面临的挑战


  1. 被DDOS攻击: 网络瘫痪,大面积影响业务
  2. 植入后门发包: 占用带宽资源,消耗成本
  3. 运营“黑盒子”: 无法分辨“好人”、“坏人”
  4. 监控粒度粗: 无法及时响应并定位事件

 
早期解决方案 
  • Cacti 利用SNMP监控交换 机出入口流量
  • 交换机推送Sflow流量采样 数据,使用Solarwids监控
  • 遇到DDOS时,使用手动 Sniffer抓包分析

 
第一期改造后 
arch.png

 
推送Netflow/Sflow 劣势
  • 消耗路由器CPU资源
  • 100-1000:1采样比,监测粒度粗
  • 业务和应用识别依赖端口号,无法识别日新月异 的业务类型 

 
如何用数据驱动IDC运营 
nsm.png

 
NSM架构设计 
nsmarch.png

 
第二期改造后 
erqi.png

 
10G下的NSM :
nsm10g.png

 

实际效果展示 


NSM架构解析 
nsmp.png

实时协议分析:Bro日志类型 
bro.png

Flow: 数据格式 
format.png

实时安全威胁检测引擎 
sbro.png

Suricata Today 
suricata.png

实时流量 +ELK + VirusTotal 
ELK.png

构建10G+ NSM的几个关键点 
1、抓包网卡   
2、内核优化 
3、驱动与rss 
4、PF-Ring_zc 
5、ntop、nprobe、ndpi 
6、跨数据中心es 
流量抓包与网卡 
ll.png

ELK部分的关键点 
1、用Logstash Kafka input接收数据
2、数据量大,处理结构复杂时:
      预设Kafka分区 
      开启多个Logstash实例,分别读取Kafka分区数据 
      分别写入不同es节点
3、多集群互联 
跨数据中心es集群 
zone.png

10G NSM平台样例 
10g.png

万兆 实时 安全大数据架构 
WZ.png

作者:张磊@Zooboa 


0 个评论

要回复文章请先登录注册