万泰娱乐注册前几天，我看到新闻，说是日本、加拿大等地接连爆出通信网络故障，引发了大规模的网络中断。心惊之余，我也想起，就在不久前，我也遇到了一个非常诡异的网络故障，差点引发重大事故。

　　在我单位的网络中，有各种不同的业务，有的业务对网络实时性和可靠性要求很高。

　　因为年代久远，单位大部分业务所使用的网络设备，是某国外大厂的设备（姑且称之为S司设备吧，下同）。

　　我们单位的网络规模极其庞大，因S司的私有生成树协议已经先入为主，所以，目前很难将整张网进行国产设备替换。

　　那天，单位轮岗上班，在岗人员较少。临近下班时，我正在执行巡检任务。突然，单位的综合监控系统开始“铛铛铛”的告警，对话框点完一个又出来另一个，冒个没完。

　　仔细一看，告警的设备一大堆，其中一个提示：某业务核心网络交换机（姑且称之为9型机吧）-B机的IP地址可用性异常！

　　情况紧急，我和办公室的几个同事赶紧下楼，直奔机房。慌乱之中，同事的鞋都差点跑丢了。

　　来到核心交换机B机的机柜前，定睛一看：我擦，整个设备除了电源灯，其它灯全都不亮了！啥情况这是？！

　　同事赶紧拿来了笔记本，接上Console线，登陆系统。结果，屏幕上只有“”符号，根本没有出现熟悉的命令交互界面！

　　这套系统是A机和B机双机备份。我们赶紧用Console线接A机——谢天谢地，A机一切正常。

　　这些年，我们定期会对核心设备做切换演练，验证单机独立支撑网络。现在看来，没有白做。

　　心理踏实些之后，我们赶紧就联系了保修公司。在等待之余，我们也在机房想办法，进行一些故障恢复尝试。

　　坦率地说，我干了十多年的网工，交换机板卡故障遇到了不少，整个设备宕机还是第一次遇到呢。

　　我先尝试把引擎拔出来，又重新插回去，设备没有反应。干脆，我祭出了重启，直接对整个设备进行断电。

　　薅掉四条电源线，等了半分钟，然后，重新插回去。运气不错，console界面开始显示自检。十多分钟后，设备启动完毕，一切恢复正常！果然……还是重启最好用啊！

　　故障虽然恢复了，问题原因要找到啊。于是，show tech，把日志啊配置啊一堆材料收集齐，发给了保修公司。保修公司再去找S司开“case”（上报问题，建立故障单）。

　　有了上次的经验，这次我们直接断电重启。十多分钟后，A机恢复正常，生成树切了，热备网关切了，对业务稍稍有影响，但总体可控，影响不大。

　　这就让人很纳闷了——上次是B机，这次是A机。难不成，这个故障和新冠一样，还会相互传染？A机B机变成了难兄难弟？S司设备现在这么不靠谱了吗？这才用了三年多，怎么就宕机罢工了呢？

　　因为，此前曾经有一次，使用S司的另外一型号设备，出现业务板卡故障。“case”给出的结论，就是近期太阳活动频繁，黑子耀斑啥的，造成设备内部信号紊乱，引发业务板卡重启（囧）。为此，我还特意收藏了中科院国家天文台太阳活动预报中心的网站，有事没事就上去看看（又囧）。

　　原来，在这个9型机系列交换机的引擎上，使用了某光的某版本固态硬盘。这个硬盘在累计使用28224小时后，会自动锁死，从而导致引擎宕机。注意，是累计小时，就算关机重启也不会清零。

　　我们这两个发生故障的核心网络交换机，就是三年前启动的。相差几天宕机，可能是当时进机房加电时间不一样。

　　无语之外，我们赶紧排查了所有的在网运行设备。结果发现，同样还有几台这个系列交换机，正在使用。

　　我们用case给出的命令，查看了一下累计小时。我勒个去，果然有一对支撑重要业务的交换机，到28224小时还有两天！更要命的是，这对交换机的累计时间是完全一样！也就是说，两天后，两台机器很可能会同时宕机！

　　短时间内对关键交换机进行关停升级是不现实的。于是，我们选择了升级SSD固件的方案。

　　到了临近28224小时的那天，大伙儿在办公室里如坐针毡，简直就是等待宣判。我坐不住，干脆跑去机房，蹲在机柜前，等着薅电源线小时，系统一切正常！看来，升级固件还是有用的！我们同事瞬时欢呼雀跃！

　　事实上，S司的这个故障隐患是极大的。这个9型机系列交换机，定位就是数据中心级核心网络交换，各大企业都会将它用在非常重要的业务上。

　　况且，核心设备基本上都是双机同时加电测试。三年内，基本不会主动去升级软件版本。这个重大缺陷，极有可能导致双机同时宕机，带来的危害是难以想象的！

　　让人生气的是，S司明明知道这个bug，却不告知客户！他们卖出这么多设备，难道就没有建立客户档案吗？就没有进行设备售后跟踪吗？小设备就算了，这种大型关键设备，难道卖出去就啥事也不管了吗？

　　作为一家正常的公司，在发现缺陷后，应该查看产品或客户销售记录，积极主动通知客户，尽快规避或解决吧？下个通知单，有那么难吗？

　　我个人认为，通信网络设备也应该像汽车领域一样，建立召回机制。如果发生重大缺陷，厂商应该给国家有关部门备案，然后启动召回机制。

　　现在，通信网络设备是和水、电一样重要的基础设施，关乎国家安全、企业安全和消费者安全。厂商有义务建立更完善的跟踪和回访机制，监督售出设备的运行健康，保证网络安全。

　　此外，也希望外界对我们网工多一些理解，多一些支持。现在网络产品很多，故障现象层出不穷，厂商有时候也有意无意回避一些产品缺陷，给我们挖坑。