日立HIACS-5000M型DCS系统网络故障分析及防范措施

日立HIACS-5000M型DCS系统网络故障分析及防范措施

阎亮

许昌龙岗发电有限责任公司河南省许昌市461690

摘要：现今大型火电机组均采用分散控制系统(DCS)，DCS的网络结构构成了机组的神经网络，本文结合日立HIACS-5000M型DCS控制系统，针对DCS网络出现的通讯故障进行实例分析，并提出解决办法和防范措施。

关键词:初始化；环网；离线；网络重构

分类号:TM762文献标识码:A

引言

机组采用的DCS系统是日立HIACS-5000M型分散型控制系统，它包括以下系统及功能：闭环控制系统(MCS)，炉膛安全管理系统(FSSS)，汽机及锅炉侧顺序控制系统(SCS)，数据采集处理监视系统(DAS)，电气侧顺序控制系统(ECS)等。单台机组DCS共由五台操作员站、两台工程师站、一台历史站、54个控制机柜及2台打印机组成。54个控制机柜包括一个DCS总电源柜、一个DCS公用系统电源柜、若干个I/O模件、控制器柜。

HITACH-5000M的系统网络结构：μΣNETWORK100采用了FDDI（FiberiaDistributedDataInterface光纤分布式数据接口）网络技术，FDDI是目前成熟的LAN（局域网）技术中传输速率最高的一种，高达100Mbps，所依据的标准是ANSIX3T9.5，具有定时令牌协议的特性，支持多种拓扑结构，传输媒体为光纤。

1故障现象

故障前机组正常运行，POC4站所有数据变蓝显示离线，失去监视和操作功能，初步怀疑LANBOX(一种采用FDDI方式将控制站与光网之间传输信息)至主机SCSI卡端的数据通讯线存在故障，对数据线进行更换后后，仍无法与环网通讯（所有数据点变兰）。重新启动POC4后发现PP任务窗口显示服务器已停止，即该站无法与网络通讯，同时发现该站的LANBOX状态指示灯不正常，随即对该站LANBOX进行断电复位，断电后发现所有POC站、历史站均失去监视，数据离线变兰，CRT弹出窗口显示“网路故障，重启计算机”提示框，首先对POC1重启后仍无效，立即恢复POC4的LANBOX电源，并依次重启POC5、POC3、POC2、POC1、POC6、HIST，除POC4外均正常。此时操作员站的报警窗口报单网故障。DCS正常后检查所有DCS机柜主控制器发“ERR报警”系统自动将主控制器MDA自动切换至MDB控制。

2故障排查

首先对故障报警进行收集，发现所有操作台均发异常报警，报警信息如下:

2015/07/13Z0004POC4异常

所有控制器主控制器A发CPU故障报警，所有控制器均自动切换至备用控制器，报警信息如下：

2015/07/13Z0049ECS2+MDA系统CPU故障异常

2015/07/13Z0026F3S7+MDB系统CPU故障正常恢复

在操作台重启后，系统仍存在单网故障，对排查单网故障原因进行排查。

1）对电子间所有控制器状态进行查看，确认所有控制器状态正常未出现断网情况。

2）对各POC站、历史站、工程师站（EWS）、CIS站、SIS站的LANBOX状态进行排查，根据LANBOX的指示灯状态（见表2.1）。检查发现历史站、工程师站、POC6站的LANBOX状态异常，判断故障点。其中历史站的LANBOX除正常灯亮外，还有WRAPA灯亮；工程师站的LANBOX除正常灯亮外，还有WRAPA和WRAPB亮，且故障信息显示EC=0X47537271；其中POC6站的LANBOX除正常灯亮外，还有WRAPB灯亮。通过查看LANBOX指示灯信息发现：历史站处的环网状态是A侧断开（环路返回），工程师站处的环网状态是A、B侧均断开，POC6站处的环网状态是B侧断开（环路返回）。根据现场环网拓扑结构说明DCS环网在EWS处出现断点，致使数据传输异常。

3）对EWS的LANBOX进行复位，无效，此时故障代码变为EC=0X07187121；接着，对EWS的电脑主机及LANBOX均断电重启，仍无效。判断为EWS的LANBOX故障，造成DCS网络断点。对EWS的LANBOX进行更换，更换后重启EWS网络正常，且LANBOX状态指示灯正常。DCS网络正常后，我们又逐步对发故障的CPU进行停止、运行操作后，各控制器ERR报警消除。在问题查明后将运行的备用控制器切至主控制器运行，系统恢复正常。

在分析DCS网络故障的同时，及时收集各POC、历史站、EWS站及各故障控制器的错误信息进行原因分析。

3原因分析

3.1LANBOX故障分析:

LANBOX故障码0x47537271是设备故障，含义为：FDDI控制LSI发生异常（因本节点Isolated故障导致总线测试失败），设备处于孤点状态。

LANBOX故障码0x07187121是硬件故障，是LANBOX在BOOT时报出的一个诊断故障，含义为：FDDI芯片组诊断失败。

根据47537271和07187121故障码，可以认定LANBOX故障是硬件故障，设备已损坏。

3.2网络中断后，部分控制器发ERR报警，并切为备用控制器的原因分析

Isolate状态时，系统关键字GR1A_ISOLATION变为ON状态。根据初始化逻辑，系统初始化完毕后，当GR1A_ISOLATION为ON时，会发出CPU_Stop_Request，即ACPU停止指令。这是A控制器ERR的原因。此时，BCPU根据初始化逻辑是不会停的，也就是说控制是持续的。

3.3POC4断电后，所有POC站及HIST站离线失去监控的原因分析

H5000M系统指令下发的流程是：按照SAP任务分配设置（SAP任务分配采用自律分散的思想，把各项任务均分到各操作员站，每项任务指定某台操作员站为主站，这台操作员站故障后，它所承担的任务自动切换到其它站上，切换的顺序就是按照SAP表内设置顺序进行），其它POC站下发的指令都发到SAP任务分配设置的CRT指令下发任务的主站，由CRT指令下发任务的主站统一下发到控制器。根据POC站定义的SAP任务分配，CRT指令下发任务的切换顺序依次为POC2→POC1→POC3→POC4→POC5→POC6→POC2。当所有POC站正常运行时，CRT指令下发任务的主站为POC2，当POC2关机或故障时，CRT指令下发任务的主站自动切为POC1，此时要是POC1也关机或故障，CRT指令下发任务的主站又会自动切为POC3。

从POC站SAP主的切换过程来看：

1）POC4将所有任务切回自己并报SAPcommunicationError!SAPshutdown!

2）重启POC4后，再次将所有任务切回自己，报SAPcommunicationError!SAPshutdown!

3）HIST、所有POC都将任务切回自己。

4）HIST、所有POC都报出SAPcommunicationError!SAPshutdown!

POC站孤点状态后，网络通信中断，各站均将任务切至自己，SAP通讯报异常并停止。CoreView检测到SAP停止后，为避免误操作，主动将SAP停止的操作员站强制离线，从而失去了监控。

3.4网络重构、控制器切换和操作台离线的系统原因

HITACH-5000M的系统是双重化环行网结构，内环的令牌传输方向是逆时针方向，外环路令牌为顺时针方向，令牌环行一周，每个站获得一次发信权。如图3.1所示，一般情况下，外环为主网环路，内环为热备份网络。

当主网(外环)故障时(如网络折断)。主网停止运行，备份网投入运行，不影响数据传输。当内环故障时，站间数据依靠外环传输系统仍可正常工作。

当某站故障时，如站3故障，可将故障站旁路掉，令牌从外送到站2处，再从站2自内环返回到站1，并传送到站4处，从站4自外环返回站1。令牌仍可传送，系统可继续运行，此功能称为环路返回(Loop-Back)功能。

日立控制系统在μΣ100光纤断网/恢复、网络节点增加/减少等传输回路发生变化时，网络会重构。正常情况下，网络重构不会对网络的运行造成影响。但这次POC4的LANBOX复位引发网络重构时，因网络上存在故障节点（EWS的LANBOX硬件故障），环网上的所有节点状态变为瞬时的自系孤立状态（Isolate），触发了系统故障状态下的自动处理程序，即控制器进行切换，POC站报出网络异常需要重新启动的提示。

EWS站LANBOX的FDDI网络相关硬件故障导致网络重构超时，节点自系孤立，是本次事件的主因。这种在节点增加时出现Isolate的概率是非常小的。

4处理对策及防范措施：

4.1由于LANBOX复位引起网络重构,环网上的所有节点状态变为瞬时的自系孤立状态，为防止瞬时的Isolate对CPU影响，对所有控制器的初始化逻辑做出修改，在INITIALLOGIC(初始化逻辑)GR1A_ISOLATION的输出后追加时间延时功能块（TP），TP延时时间设为1s.

4.2日立DCS系统是冗余的光纤网络，一般情况下，只出现单网故障时机组的监控不受影响。但要重视出现的单网报警信息，尽快查明原因，避免出现多个断点导致失去监控。在个别极端情况下，为保证控制持续性，控制器会自动切换并发严重报警，同时POC站给出提示，人工重新启动计算机后可恢复监控。

4.3定期检查DCS网络是否正常，检查方法:首先调出DOS操作界面输入口令：ndfrstat31并回车，系统中所有网络节点及IP地址均会一一列出。当某一节点出现故障时时，该节点显示WRAP，说明网络在单网运行，检查并排除故障点。

4.4针对DCS全部操作员站故障，一条网络或网络设备（包括数据总线）发生故障，发生通信故障时的吹了措施与安全对策。建立高效的热控设备故障应急处理机制，以确保机组运行过程中发生故障时能够迅速、可靠的组织故障处理，最大限度的降低故障造成的影响，结合本次处理的经验，制定切实可操作的应急处理预案，经批准后定期进行反故障演习。

4.5进行通信总线冗余切换试验,试验过程中，通信总线应自动切换至冗余总线运行；指示灯指示和系统工作应正常；检查系统数据不得丢失、通信不得中断、热工设备故障报警正确、诊断画面显示应与试验实际相符。

5结束语

在机组停机后对初始化逻辑进行修改，对lanbox故障报警、单网故障报警进行设置提高报警级别，并断开一个lanbox，未发生操作员站离线、控制器切换状况。此类问题的解决，不管是对于采用日立控制系统的用户，还是在原理、结构上迥异其它DCS用户都有很好的借鉴意义，避免此类问题的发生。

参考文献：

[1]北京日立控制系统有限公司《CoreView系统初始化组态工具使用说明书》

[2]北京日立控制系统有限公司《日立培训教材》

[3]电力行业热工自动化标准化技术委员会《DL(T)774-2004_火力发电厂热工自动化系统检修运行维护规程》