(小康巡诊日记)
　　
　　[引言]网络正以空前的速度走进我们每个人的生活。网络的规模越来越大，结构越来越复杂，新的设备越来越多。一个正常工作的网络给人们带来方便和快捷是不言而喻的，但一个带病工作的网络也常常给人带来无穷的烦恼甚至是巨大的损失。网络世界中最忙乱、心里最感底气不足的人恐怕要数网络管理人员和运行维护人员了。他们时时刻刻都在为他们的网络担心，病毒、黑客、速度变慢、网络崩溃....
　　
　　[小康档案]：三年前负责管理Coneill公司，一家快速成长的公司的网络，曾自认为是NT和Novell、Unix等平台以及Oracle方面的专家，擅长协议分析和网管软件的使用，每天忙于安装设置不断加入网络的设备和系统，应付不断增加的各种意外事件、报警和陷井，处理网络设备经常性的增加、删除、更改和系统设置、连接等方面的故障和问题。至于如何提高网络的运行效率、如何合理调整网络流量并配置网络设备、如何防止网络问题的发生、如何采用宽带网络设备组网及应用等则基本上无暇顾及。一年前，小康从网络健康学院毕业后到网络医院就职，负责网络的体检(测试)和故障诊断，专门为哪些网络发生严重问题的“病人”提供帮助。现在他已经是一位经验丰富的网络健康维护的医生，巡诊故事多多。
　　
　　第一部：网络经脉篇
　　
　　[故事之一]三类线仿冒5类线，加上网卡出错，升级后比升级前速度反而慢
　　
　　[症状]今天是我第一次巡诊，病人抱怨他的大多数站点上网连接速度比系统升级前还慢，有的站点时断时续，有的则根本不能上网。原来用的是10M以太网，工作非常稳定，性能优良。升级后全部更换为100M系统，出现上述症状。用户总数未有增加，也没有启用大型软件或多媒体应用软件。重装系统软件、应用软件，重新设置服务器和网站，查杀病毒，Reset所有联网设备均不奏效。其中，有两台机器换到另一地点后能基本正常工作。用笔记本连接到这两个不正常链路的集线器端口上网，也能正常工作。更换这两根网线后现象依旧。将机器还原到原位置，更换网卡(原卡商标为3COM卡)后恢复正常，不知何故。由于以太网大多数用户不能工作，只好暂时退回到10M以太网系统。
　　
　　[诊断过程]从10M系统的网管上观察，网络的平均流量为3%，低于40％，由于未运行大型软件和多媒体软件，应该不会感到任何速度上的“折扣”。将FLUKE的F683网络测试仪接入Hub端口，测试网络流量为35％。碰撞率为23％，远远高于5％的健康标准。报告的错误类型有：延迟碰撞、FCS帧错误、少量本地错误。基本可以断定是布线系统的严重问题。遂对线缆进行测试，结果显示除了测试点的两根电缆线外，其余所有布线链路的衰减和近端串扰均不合格，用3类标准测试这些电缆则显示全部合格。查看线缆外包装上印有Lucent Cat5的字样，可以断定是仿冒产品。测试两台工作站的链路长度分别为78米和86米，测试其网卡端口，显示网卡发射能力(信号幅度)不足，并且仪器上没有内置的3COM厂商标记显示。
　　
　　　
　　
　　[诊断点评]用3类线外覆5类线产品标记在假冒伪劣产品中为数不少。用户在10M以太网环境中不会出现应用上的问题，一旦升级到100M环境在只有少数短链路能勉强使用。对于两台更换地点后能正常工作的网站，查明链路长度只有3米，且为标准的5类线(平时此站点用于临时测试)。原地点测试长度为45米和37米，由于网卡发射能力弱，信号在100M系统衰减大，造成上网困难。改在3米链路连接时，衰减的影响小，故可以正常上网。网卡测试显示为仿冒卡。
　　
　　　
　　
　　[后记]一个月后，“病人”打电话告述我，重新布线后网络工作完全正常，即使跑一些多媒体软件也丝毫没有停顿的感觉。不好的消息是，原来的系统集成商已不知去向，无法索赔了。
　　　
　　
　　[故事之二]UPS电源滤波质量下降，接地通路故障，谐波大量涌入系统，导致网络变慢、数据出错
　　
　　[症状]今天的病人是一家著名的证券公司。上午9:45，用户来电请求紧急救援，说大户室中的一群声称遭受巨额无端损失的愤怒的股民们正聚集在营业部计算中心的机房门前，质问为什么实时交易的动态信息显示屏幕出现大片空白，数据刷新和交易的速度都极慢，且经常中断，根本无法进行交易。扬言如果不立即恢复交易，将砸掉证券交易所的计算机。交易大厅的散户门也开始向机房云集，如果不及时处理，情绪激动的股民们很可能真的会将营业部计算中心的网络设备砸个希巴烂。放下电话直立即直奔该营业部，途中继续用移动电话了解得知，该网络为10M以太网，用户数为230个。从卫星接收广播的行情数据，并回传交易信息。由于从卫星接收机监测口观察接收数据完全正常，故网管人员初步判定是网络系统的问题。两个月前就开始有传输数据错误的现象出现，有时数据更新出现空白，数据更新速度偶尔变慢，有时出现断续。虽用网管和协议分析仪检查过，但因这种“症状”并不连续出现，且对网络的速度和股民的交易基本没有影响，故一直心存侥幸，没有彻底查找真正的故障根源。前天参加“第二轮证券系统Y2K统一认证测试”，顺利通过。利用剩余时间对硬件设备进行了检测和维护，之后进行联网检查，网络表现正常。不料今天开市就出现严重问题。
　　
　　　
　　
　　[诊断过程]用F683网络测试仪监测网络30秒，观察网络流量为81％(但网管报告为0.2%)，错误帧97.6%。错误类型为Ghosts(占93％)、FCS错误(又称CRC错误)和Jabber，即幻象干扰、帧校验错误和超长帧，这表明网络中有大量的非法数据包存在。此类症状一般以电磁干扰和接地回路方面的问题居多。为了确定干扰源的准确位置，将大部分与工作站相连的集线器组电源关断，服务器继续工作，观察错误率降为87％，仍然很高。重新打开集线器组电源，用F43电源谐波测试仪观察，发现谐波含量严重超标(最高970mV)。该网络用一台大型UPS电源给所有网络设备供电，测试UPS输入电源谐波，约为输出电源谐波含量的30％，明显低于输出端的指标，断定为内谐波含量超标。启动小型备用UPS后，网络恢复正常工作(为减少负荷，网络设备分批轮换接入)，但网络测试仪显示仍有错误存在，错误率(幻象干扰)下降为1.3％。再次关断集线器组的电源，类型为Ghosts的幻象干扰错误率下降为0.8％，证实仍存在由接地回路串入的幻象干扰，且应该是从主通道进入。摇动卫星接收机的数据输出电缆，幻象干扰时有时无，拔下电缆则干扰消失。网管人员回忆前日维护机器时曾动过该电缆。由此造成连接不良。为使股民能继续交易，稳定情绪，在更换电缆后又将原UPS启动继续工作提供服务。收市后再更换大型UPS，故障彻底排除。
　　
　　　
　　[诊断点评]故障原因有二，一是UPS对电源的净化能力下降，网络外谐波容易从电源系统串入网络系统，为重大故障的发生提供了基础，但只是累积的内谐波超标还不足以引发致命问题。二是接地回路问题，给大量的内谐波串入网络提供了通道。内谐波是指从电源净化设备的输出端比如UPS的输出端测得的谐波功率，由各种用电设备产生(网络设备绝大多数都采用开关电源，本身就是一个较大的谐波源)。本案中，大量的内谐波功率叠加后从卫星接收机数据输出电缆串入交易网络，一方面以幻象干扰的形式侵蚀网络带宽(此时网络测试仪监测到的错误类型即为Ghosts)，当以太网的网络总流量高于80％时，会导致绝大多数的网络瘫痪；另一方面，串入的内谐波将干扰正常数据传输(与正常的卫星广播数据叠加，表现为FCS帧错误和少量长帧)，使卫星接收机接收到的数据出错，显示屏出现大片空白或不能实时更新数据。本故障为累积故障，两个月前因UPS性能下降就开始出现少量干扰超标，不过这没有引起网管人员的足够重视。前天维护设备后又增加了电缆接地回路的干扰问题。但因当时未将卫星接收机连入网络，网管人员仅检查了网络部分的工作状况，所以此时的网络表现肯定是正常的。直到今天临近股市开市，当接通卫星广播数据的输入通道时，问题才爆发出来。此时内谐波干扰信号大举入侵网络，几乎造成网络瘫痪。
　　
　　关断集线器组电源，内谐波总功率下降，干扰信号强度减弱，错误率自然有所下降。更换UPS电源后，错误率大幅下降(理论上应降为零)。但因接地回路问题使50Hz电源及其高次谐波感应信号仍能进入网络形成较小数量的错误帧。需要注意的一点是，一般人在更换UPS后看到网络恢复正常工作即认为故障已经排除，因此很容易忽视仪器监测指示仍存在的少量错误(1.3％)，这可能使“接地回路问题”这一重大故障隐患得以长期存在下去。
　　
　　此故障的诊断网管系统基本上无能为力。
　　
　　
　　[建议]电源谐波功率含量和网络错误率要定期测试，当发现错误帧时一定不要掉以轻心。另外，一路电源能带动的工作站建议不要超过30台，否则应象划分网段那样重新划定供电区域。以免内谐波功率累积过大，超过设备的容许范围。如果您的网络可靠性要求很高，或者您的网络对您来说非常重要，那么建议您将主要的网络设备如服务器、路由器等，在网络规划设计时就选择由单独的UPS供电。
　　
　　　
　　
　　
　　[故事之三]光纤链路造侵蚀损坏
　　
　　
　　[症状]周末，要下班了，我正在计划如何安排假期，接某银行来电，报告该行某支行下辖的西区营业部网络瘫痪，营业部所管理的33台ATM取款机也全部不能提供取款服务，用户反响强烈。已经两天了，解决都没有问题，要求网络医院立即派人帮助排除。
　　
　　西区营业部和支行在同一个大院的两幢大楼内，之间用一对90米的光纤将营业部的网络与支行的网络连接起来，路由器、服务器等都设在支行计算中心(100BaseT以太网)。营业部的网络结构为10BaseT以太网，五天前发现网络速度变慢，用户抱怨ATM取款机等待时间太长。由于营业部没有配备任何网络测试和维护的工具，为了定位故障，请支行计算中心的网管人员协助检查。从支行一端的网络监测显示，一切正常。从计算中心打开营业部交换器的Mib，观察流量正常，

文章转载地址：http://cisco.chinaitlab.com/trouble/273.html