
交换机紧急处理流程交换机紧急故障处理核心网元发生下列故障属于紧急(重大)故障:A类:核心网元通信全阻;B类:核心网元至某一局向中继(信令)全阻或以上故障;核心网元重要设备(模块)列表设备厂商中兴MP、MPMP、MPPP、DSN、DSNI、MAP处理机、DB服务器、计费服务器华为MPU、SYS、NET、NDR、PMC、IOC、BAM、OPT、FBI、CTN、BNET、CKS、SNT、MCC、BAU、VLR、CKD、FSN、BAC、AMP、CDP、BCP、CNU、BDR、NCC、QSI、MHI、SPC、VDP、BCC摩托罗拉BSP,GCLK,KSW,KSWX,GCLKX,GPROC2,LAN及相应的连接光纤西门子CP(CP113C、CP113E)、SSNC(CCNC)、MB(MBB、MBD)、SN(SSG、TSG)、CCG爱立信CP、IOG、GSS、选组级(SPM、TSM、CLM)传输设备时钟板、电源板、交叉板交换机紧急处理流程紧急(重大)故障处理流程1、紧急(重大)故障发生后,当地运行维护部门与班组必须立即采取必要措施,保证系统运行和通信 傲世皇朝注册电路及早恢复,避免事故扩大。2、紧急(重大)故障发生后,当地运行维护部门与班组应立即填写故障报告单.对于A类紧急(重大)故障,应在故障发生后20分钟内上报省公司网络部。3、紧急(重大)故障发生后,当地运行维护部门与班组应立即查清原因,确定故障性质和责任,落实今后的防范措施。紧急(重大)故障处理流程见下图:紧急(重大)故障发生应急处理人员到现场处理相关厂商技术支持工程师到现场处理采取紧急措施恢复系统故障恢复故障处理报告分析故障原因,制定防范措施省公司网络部交换机紧急处理流程紧急(重大)故障处理流程图紧急(重大)故障上报要求1、A类紧急(重大)故障,应在故障发生后20分钟内上报省公司网络部。2、B类紧急(重大)故障,如故障未解决,应在故障发生后90分钟内上报省公司网络部。类紧急(重大)故障,如故障未解决,应在故障发生后3小时内上报省公司网络部。4、紧急(重大)故障解决后,当事班组应填写故障处理单,向省公司网络部汇报。5、对于A类紧急(重大)故障,应在故障解决后将整个故障的情况以书面报告的形式在24小时内上报省公司网络部。6、省公司网络部24小时值班电话:***-******7几个典型的故障处理流程CP负荷过高处理流程MSC或BSCCPFAULT的处理(硬件故障)MSC或BSCCPStoppage无法恢复至正常状态处理MSC或BSCIOG故障处理交换机紧急处理流程MSC的CP负荷过高处理流程注意不要关闭统计,以便分析春节各项指标.值班人员发现交换机CP负荷=95%减小MSCATTACH时间,提高手机切换电平关闭鉴权:MGEPC:PROP=AUTHENTICLAI-0;观察CP负荷是否降到95%以下闭掉部分高话务基站,直至负荷稳定在95%之下继续密切关注CP负荷观察CP负荷是否下降到降到95%以下继续密切关注CP负荷MSC或BSCCPFAULT的处理(硬件故障)CPFAULT分类永久性错误(Permanent)电路或器件引起,Updating不能恢复临时性错误(Temparary)由静电干扰引起,Updating可恢复对CPFault的处理REPCI;检测CP故障,按可能性列出框和板REMCI:MAG=,PCB=;参数由上面得到,可得出处理流程关电,换板等处理〉RECCI;检查处理结果,不好重复REMCIREPCE;在上面的操作中想中间退出MSC或BSCCPStoppage无法恢复至正常状态产生原因*循环Restart/Reload*两侧CP处理OPISystemStart/Restart,Manually,Initiate(1)按PHC(2)OPI"SYSTEMRESTART”IO命令RESTART或RELOAD〈SYREI:RANK=;CPT命令RESTART<PTSRI:RANK=APZ212CPT命令RELOADPTCPL:CS=1(CPA)/4(CPB),RP=,FILE=APZ2124。IOG故障处理IOG与CP失去通信处理交换机紧急处理流程交换机紧急处理流程*IOG系统启动如果IOG软件错误、文件错误导致IOG宕机,或者硬盘故障不能通过指令修复时,需用系统小启动解决.具体操作步骤见:OPI“SPG,START”。计费文件导致交换机通信中断处理(1)广元MSCA计费文件导致通信中断处理广元MSCA配置为SPG0+SPG1的双备份结构,平时SPG0负责输入输出、STS统计、CP系统备份管理,SPG1负责计费输出。SPG0可以执行计费功能已备紧急情况使用.计费拥塞通常会因为计费信息无法写入硬盘而导致话务中断,为防止因计费TTFILE拥塞、吊死等异常问题造成话务中断的紧急情况发生,首先必须保证在SPG0和SPG1上都各自有2个计费主文件可以备用,并且相关数据定义完善。必须检查保证在每个spg上定义个计费文件,文件号可以在00—03之间选择,相关数据准备完善(具体参考附件),以备紧急使用,减少此类话务中断造成的损失。在紧急情况下,如出现计费拥塞引起话务阻断,(伴随会立即有commonchargingoutputcongestion”或”infinitewarning”告警出现。可根据告警信息查相关ALEX的OPI来处理。)一般可可根据实际情况决定参照以下步骤打开另一个文件:例如某交换机正常情况下用SPG1作计费输出TTFILE00,某日发现电话全阻,且交换机出现告警"infinitewarning.同时还出现功能块CHOF的SAE500拥塞告警,此时应立即恢复交换机线上已定义了TTFILE01并且数据定义正确.检查sae:saaep:sae=500,block=chof;检查CDR当前输出到哪一个计费文件:chofp:fn=tt;(状态为open”则为当前使用的TTFILE,但是若IOG出现异常则有可能所有文件都为”close或unknown”状态)打开另一个计费文件,如TTFILE01:chofi:fn=tt,1;!reportchofp!交换机紧急处理流程Chofp:fn=tt;(验证TTFILE01已经打开)发现TTFILE01状态为OPEN,同时话务恢复正常.!chobe:fn=tt,;(若需解闭TTFILE用此命令)检查子文件是否生成:INMCT:SPG=X;INFIP:;INFIP:(检查当前子文件长度是否在增加)END;同时在对FPU的检查中,我们建议:DEST应该按照标准定义,即只定义CHARGING00&GYG1FTAM.总之,对于计费中断引起交换机话务阻塞的问题,通常有几种原因:SPG1因软件吊死或硬件原因导致计费无法写入,计费缓冲区会很快溢出,话 务随即中断. 硬盘上有未删除的旧TTFILE 子文件存在,导致计费文件不能创建,同样引起计 费阻塞和话务中断. 硬盘计费 用的卷(VOLUME)因太多文件存在而导致硬盘空间溢出,计费文件 无法写入导致线紧急情况下的计费处理 按照爱立信的标准配置,AP2 配置为计费节点,AP1 配置为O&M 和STS的节点.当AP2 发生紧急故障,并且不能处理计费时,我们需要将计 费功能从AP2切换到AP1 上,以避免计费拥塞导致的话务中断。 准备工作: 检查计费相关SAE,并增加到合适值(建议NI=40000—50000) saaep:sae=500,block=chop; saaii:sae=500,ni=xxxxxx,block=chop; 在激活AP1 计费功能之前,先备份ACABIN CXC137440参数 文件(在AP1 copyc:\program files\ap\acs\conf\cxc137440.par" c:\temp 以下4.1—4.5 步骤,均在AP1 的ACTIVE NODE执行: 4.1 建立计费目录: 交换机紧急处理流程 copy c:\program files\ap\acs\conf\cxc137440.par c:\temp 建立BILLING虚拟目录(两个NODE): ftpls vdls 定义destinationcdhls BillingBil ling cdhls Billing4.3 定义destination Set cdhdsls cdhdsdefBilling Billing 定义transferqueues,删除条件为5天 afpls FyyyymmddHHMMSSpppp localRTRFILES Billing afpls RTRFILESBilling 检查message store 缓存大小: