周一一大早巡检,一个业务系统的日志报告了一些异常,主要是文件访问中断。
查看了一下一周的类似日志数量,发现是从周日晚上19:00时左右开始的,异常日志频率大约5000pps,而日常大约只有个位数或者没有。
在研发群里,跟大家说了一下。
平台的同事说可能是后端fdfs问题,安卓端同事在查调用的是什么文件。
于是,看了一下夜莺监控该云主机的监控信息。其中,网络状态与该异常日志有正相关关系。
又看了一下阿里云的监控图,情况与上述图形类似。
根据日志查找对应服务的log,发现了总是访问该服务的一个来源IP地址。分析日志发现,该IP持续不断地在请求一个zip文件,且下载不完的时候就中断传输。
将该IP地址加入路由黑洞
ip route add blackhole x.x.x.x
几分钟后,监控图形就恢复了正常。
在整个过程中,时间段从21日19:00到22日10:00,近14小时。且该app服务涉及到的公网ip地址使用的是按流量收费。按照1元/GB计算,大约消耗1MB/s*3600*14*1元/GB=50元
。
另外,也可以看出,虽然该公网IP地址采用按流量收费,带宽限制25Mbps,但是流量最高也就10Mbps左右,所以可以猜测该攻击源也有带宽限制。