故障网段拓扑
运行控制中心网络结构为两台3com switch3300以10Mbps速率级连,为便于区分我们下面以3300A/3300B命名,其中3300A级连到中心路由器上。某台重要的网管服务器(IP202.112.0.106)及众多服务器连接于3300B上,控制中心的控制平台(Console202.112.0.123)都连接于3300A上。
故障现象
Console访问网管服务器和其他所有设备的速度极慢,PING其它设备几乎都没有回应。如果将3300B脱离3300A,则上述现象全部消失,恢复连接后现象又重复出现。
测试与分析
根据上述故障现象,我们初步判断问题可能同3300B及其所连接的设备有关。
为了进一步判断故障是由硬件造成还是由于带宽阻塞造成,我们将一10M的HUB串在了3300A和3300B之间,然后将测试仪Optiview接入HUB,这样可以通过仪器来监测两个交换机之间的流量。
当仪器一接入HUB,流量指示灯立刻显示网络的带宽利用率达到了100%。
但没有报告任何帧错误,也没发现过多碰撞。为了确定这一现象不是由串入的HUB同交换机协商的速率不匹配造成的。我们分别用测试仪FLUKE OneTouch测试3300A和3300B互连的两个端口,结果3300A端口为10Mbps,3300B为10/100Mbps自适应,结合刚刚流量信息并未发现任何错误帧和冲突,我们可以判断HUB的连接状态是正确的。
由此看来,故障可能是由网络拥塞造成的。那么为什么会有如此高的流量?是什么应用导致如此高的流量?是谁造成的这样高的流量?这一连串的问题都是我们迫切需要的知道的。为了得到准确的答案,我们又进行了下述测试:
1. 将连接3300B到HUB的跳线去掉,利用OptiView中的协议分析功能捕捉从3300A过来的流量并进行解码分析,见下图:
通过对捕捉到的大量数据帧分析,我们发现大部分帧都是从202.112.0.123到网管服务器202.112.0.206的ICMP Request帧。而这是因为Console202.112.0.123为了配合我们的测试在一直不停的PING网管服务器202.112.0.206造成的,由于此时断掉了同3300B的连接,所以只有请求而无应答。还有两帧来自162.105.73.23到202.112.0.104 TCP SYN(同步请求帧),其它帧的数量很少,并不存在异常流量。此时的带宽利用率为3%左右。
2. 恢复3300B到HUB的条线,将连接3300A到HUB的跳线去掉,利用OptiView中的协议分析功能捕捉从3300B过来的流量并进行解码分析,如下图:
我们发现大部分帧(84%)都是从网管服务器202.112.0.206发出的到不同设备的ICMP Request帧和SNMP GET帧。经网络管理员核实,这些目的地址都是合法的网络设备,因为网管需要不停的轮询各个网络设备,所以这些帧的存在是合理的。同时还发现有从202.112.0.99发出的ARP广播包解析默认网关202.112.0.126的MAC,如图:
ARP占到了总帧数的5%。此时测得的带宽利用率也仅为2%左右。
这样看来3300B也不存在明显问题,那么为什么恢复两个交换机的连接后就会出现拥塞呢?为此我们又进行第三步测试:
3. 将两台交换机都连接到HUB,同时将测试仪OptiView接入HUB。这样就可以通过仪器捕捉二者之间的流量,如图:
仔细观察所捕捉到的帧,问题出现了:所有帧都是TCP SYN(同步请求帧),并且目的地址都是同一个——193.13.70.249,而源地址“天南地北”,哪的都有(经网管核实均非本网地址),更奇怪的是这些来自不同IP地址的TCP流量发到193.13.70.249的TCP端口号却是从低到高非常有序的递增。是“病毒”,直觉告诉我们这是网络病毒在捣鬼。
为了证实这一判断,我们进一步进行解码分析发现,所有流量在数据链路层的封装完全相同,也就是说,所有帧的源地址(SA)都相同,所有帧的目的地址(DA)也都是相同的,如下图:
目的地址经查证确认为路由器202.112.0.126,源地址为MAC:006008D53E03(3com网卡地址)。那么这源地址是谁呢?
通过测试仪OptiView的网管功能,我们发现了它,见下图:
屏幕上清楚的显示出这块网卡所绑定的IP为202.112.0.99,网卡地址为3com-d53e03。
经过一番查找,终于我们在服务器架上找到了IP为202.112.0.99的设备。当我们把它的网线拔掉时,网络恢复了正常。
结论:
由于该服务器感染了具有攻击性的网络病毒,服务器通过伪装IP地址针对某一网络设备所有TCP端口发出大量流量以实现对该服务器的攻击。如此大的攻击性流量几乎占用了全部网络带宽,造成了网络拥塞。而当路由连接中断时由于链路中断,该服务器只是发出极少的ARP进行地址解析寻找默认网关,所以测试2并未能发现,可见此“病毒”的狡诈。
文章转载地址:http://www.365master.com/kt_article_show.php?article_id=1580&categ_code=10151002