控制网

        随着计算机、通信技术的发展，以传统经典控制理论为基础的模拟控制系统、计算机控制系统正在快速向网络控制系统演进，如何建立稳定、可靠、高实时、高保障的广域控制控制网络，对于输油气管线以及电力、水利等各类专网自动化控制系统至关重要。

当前石油天然气管道输送系统中建立SCADA网络一般可以使用四种方案：光通讯系统直放直连通道、光通讯系统结合路由器与交换机、光通讯系统结合工业以太网交换机、工业以太网交换机直接组建光网络。

        目前第一种方案已被淘汰，光通讯系统直放直连通道方式缺乏使用灵活性，本地SCADA系统接口向以太网转化这两点决定了这一方式退出了主流系统。

        国内近几年建立的系统主要基于光通讯系统结合路由器与交换机，国外近年经常使用工业以太网交换机直接组建光网络方式，两种方案差异很大。这种差异主要起于设计指导要求，由于国内通讯网具有通讯业务需求，因此主干通道必须使用电信方案建立主通道，而国外的专线主要为SCADA系统服务，建立简捷可靠的专用网络，附带提供语音、视频传输服务。由于需求不同，组网技术的选择就不同，一个来自电信，一个来自SCADA控制网的延伸。

        根据国内专网的需求，在确保满足通信业务的同时，借用工业以太网技术，使用光通讯系统结合工业以太网交换机方案来解决广域SCADA组网需求成为一种折中的方案。这一方案与国内常规使用的光通讯系统结合路由器与交换机方案相比，有哪些技术优势？以下加以说明。

以下将两种方案分别简称为工业以太网、路由器。

        在正式说明前，我们先明确广域SCADA网络的需求与特征，SCADA系统是一种集控体制，在站场外的广域通讯中，只存在各站场与调度中心的通讯，站场间禁止互通，其逻辑拓扑相当于一个简单的星状结构，全网只有两层，调度中心一层、站场一层。SCADA通讯需要高可靠，因此每个节点均提供一条以上的通讯链路，包括一条公网备用链路。

路由器方案使用时，先利用交换机解决本地数据交换，再通过路由器实现冗余通道下与调度中心的数据交换。

        工业以太网方案，直接解决本地数据交换，再通过上链接冗余通道实现可靠的上连通讯。

在两种方案中都基于二层交换实现本地交换，虽然工业以太网交换机在性能、可靠性方面均优于一般OA交换机，但是在系统中两方案的主要差异在于多路径选择这一广域组网要求上。

在说明两种方案的差异前，有必要对一些基本技术概念作出澄清。

下文引自《Cisco路由器手册》

        路由器工作在O S I参考模型的网络层（第三层），它完成路由功能，这种设备连接不同的网络并且隔离广播域， R o u t e r是依赖协议的。

        交换机起初是多端口的桥，功能是隔离冲突域。第二层交换机已经代替了H u b，并且通过V L A N提高了性能和功能。第二代交换机将增强其第三层路由决定功能，这样就可以完成一个路由器的功能。

桥接和路由

        桥接这里用透明网桥讨论，而源路由网桥（ So u r c e -Route Bridging, SRB）正好相反，它更接近路由而不是桥接。桥接工作在O S I参考模型的数据链路层、对应的IEEE 802.3/802.5标准提供的M A C子层。路由在O S I参考模型的网络层发生作用。桥把网络看成一个单一的逻辑网，只要一次跳跃就可以到达目的地。路由能在异构网络之间经过多次跳跃到达目的地，这样就导致了路由和桥接有以下四个方面的显著不同：

■ 数据链路报文的头部与网络层报文的头部包含的信息不同。

■ 桥不用通过握手协议建立连接，而网络层设备用这种协议。

■ 桥无需对同一个源的报文进行排序，而网络层协议由于分段要进行排序。

■ 桥定义目标结点用M A C地址，网络层设备，如路由器，用一个网络层地址通过线路到达接入设备。

        尽管在路由和桥之间存在这些不同，有些情况下桥会比路由器更能满足需求，反过来也一样。

        桥与路由器相比，有以下的优势：

■ 透明网桥具有自学习功能。因此，如果需要配置的话，配置也最小。路由器需要为每一个接口分配一个网络地址，这些网络地址在整个网络上必须唯一。

■ 桥在处理报文时，比路由器处理更少的头部信息。

■ 桥是协议独立设备，路由器依赖协议。

■ 桥可以转发所有的L A N协议，路由器用网络层信息，因此只能转发路由报文。

相反，路由器与桥相比，有以下的优势：

■ 路由允许在源和目的之间选择最佳路径，桥只限定为一个特殊路径。

■ 路由器通过在每一个路由结点，保持具有最新的、完全的网络拓扑信息的路由表来路由，而桥保持一张连接到接口上的设备表，这样就导致了桥学习网络的速度慢于路由器，因此路由器可以提供高等级的服务。

■ 路由器利用网络层地址，因此能把一个路由设备归属到一个区域内，从而建立分级的地址结构，这样可以提高支持无限的底层结点；桥保持数据链路层的M A C地址，因此，它们不能被分组，也就导致了只能支持有限的底层结点。

■ 路由器通过阻止广播到所有的接口，从而阻止了广播风暴；桥扩展物理L A N段到多段，因此会转发一个广播到所有相连的L A N段。

■ 路由设备可以把大报文分段成小报文，从而可以分别选定相应的路径，在传送到终点前再重组成原来大小的报文。桥将把发送到本段的太大的报文丢掉，而不给发送方任何说明。

■ 当网络阻塞时，路由设备通知发送方减慢发送的数据（阻塞反馈）；而桥没有这种能力。

交换

        交换是指报文从接入接口到目的接口的这一过程。第二层交换利用帧中的M A C地址，第三层交换是利用帧中的网络地址。

第二层交换本质上是透明网桥。在交换设备中保存一张表来映射M A C地址与相应的接口。这张表是通过检查进入接口帧的源M A C地址而建立起来的。交换机的工作是检查目标M A C地址，并且与交换表上地址相比较。如果找到了匹配，该帧就被发向相应的接口。如果某帧的目的M A C地址在交换表中没找到，则交换机把此帧广播到本交换机的所有接口上。返回帧允许交换机学习这个接口，从而把此M A C地址填入交换表。

        M A C地址是由网卡（Network Interface Card, NIC）制造商预先定义的。制造厂将用I E E E唯一定义分配的号码，给每一块网卡一个唯一的制造号。这种方法最终保证唯一的M A C地址。

这些厂商的地址经常是指固化地址（ Burned-In address, BIA）或者全球管理地址（ U n i v e r s a l l yAdministered Address, UAA ），然而一些销售商不顾U A A而用本地管理地址（L o c a l l y Administered Address, LAA），第二层交换的网络是平面结构。

相比较来说，第三层交换本质上是完成路由器功能。第三层交换设备与第二层设备一样建立一个交换表，不同的只是前者入口映射的是网络层地址，而后者是接口。在物理网上，既然网络层地址被分配了一个逻辑连接，利用第三层交换就可以建立一个层次结构。当报文进入第三层交换的接口时，源网络层地址被存储在表内，在表中接口和网络层地址相互参照。交换机利用它们，分隔广播域和网络拓扑结构表来决定最优路径。

图3-4 第二层和第三层组合的交换和Cisco的路由器

        之所以引用以上章节是因为，这段文字扼要的概括了工业以太网方案与路由器方案的主要技术特征与优劣比对，当然工业以太网交换机由于自身技术特性的不同，与上文所述的常规交换机相比有相当的差异，使工业以太网交换机的实际使用性能得以优于路由技术，下文将加以具体解释。

        上文首先清楚地说明了，不论是二层交换机还是路由器都具有路径选择能力，而第二层交换适于平面结构。事实上，三层能做到的冗余方式，二层交换都可以做到。由于交换机被视作一种桥，我们就引用桥的技术比对加以逐条说明：

        桥与路由器相比，有以下的优势：

■ 透明网桥具有自学习功能。因此，如果需要配置的话，配置也最小。路由器需要为每一个接口分配一个网络地址，这些网络地址在整个网络上必须唯一。

交换机在网络管理中具备简单的结构，更容易管理。

■ 桥在处理报文时，比路由器处理更少的头部信息。

交换机端口时延小于路由器，工业以太网交换机的端口时延更远小于普通交换机，路由的时延是ms级的，工业以太网交换机是us级的。

■ 桥是协议独立设备，路由器依赖协议。

路由器有协议处理时延，这近一步拉大了与工业以太网交换机在这一指标上的性能差距。

■        桥可以转发所有的L A N协议，路由器用网络层信息，因此只能转发路由报文。

        控制系统中实际存在大量的专用协议，这些协议与LAN协议完全兼容，没有理由限制使用这些协议。

        相反，路由器与桥相比，有以下的优势：

■ 路由允许在源和目的之间选择最佳路径，桥只限定为一个特殊路径。

这是正确的。但是，在专网确定性的通讯链路条件下，实时选择最佳路径是没有价值的，实际上，冗余路径的优先等级是由设计方给出要求，并付诸实施的，所谓的最佳路径不依赖路由去计算。相反为取得所谓的最佳路径需要花费时间完成计算，这种冗余切换上的时间开销不但是无意义而且是有害的，甚至可以不客气地归之为安全隐患！比如，若在某些事故（如水击、输油机组联锁故障等）发生同时，SCADA通信信道也需要倒换，则因倒换时间的不确定，很可能延迟生产工况安全联锁保护的可靠执行，进而酿成重大事故。

以路由器协议中收敛时间较快的OSPF协议为例（以下文字应引用于：《Cisco路由器手册》）

路由是把报文从一个网络转发到另一个网络的过程。路由是由源网络的设备―路由器根据特定路由协议的度量标准决定的，路由协议能够用以下度量标准的几种或全部来决定到目的地的最好路径。

■ 路径长度。

■ 可靠程度。

■ 延迟。

■ 带宽。

■ 负载。

■ 通信代价。

        路径长度可以用代价或跳跃数来衡量，在链路状态路由协议中，花费是指这条路径上每一段链路的花费之和。距离向量路由协议给路径长度指定一个跳跃数，用来衡量从源端到目的端一个报文所要通过的路由器个数。

        衡量一个链路连接的可靠性，典型情况下是用连到源端或目的端之间路由器的位出错率来衡量。对于大多数的路由协议，一个链路的可靠程度可以由网络工程师指定，正是由于它可以人为指定，所以可以改变或创建一些优于其他路径的通路。

        延迟是指一个报文经过所有网络设备、链路和所有路由器的队列所花费时间的总和。此外，在估计延迟时间时，还要考虑网络阻塞和从源端到目的端的距离等因素。由于延迟值考虑了许多变量，在最优路径计算时延迟是一个有影响力的度量标准。

        利用带宽作为度量标准计算最优路径时可能产生误导，尽管一个1 . 5 4 4 M b p s的带宽优于5 6 K b p s，但由于当前1 . 5 4 4 M b p s链路的利用率高，或者链路终端接收设备负载重，它可能并非最优路径。

        负载是依靠所有资源利用情况来给网络资源分配一个值，这个值由C P U利用情况、每秒报文的通过情况和报文的分拆组装情况及其他一些情况合成而定。但是监控设备资源本身就是一个重负载的加工过程。

        在一些情况下，对于公共网通信链路是按利用率或直接按月收费，例如I S D N链路是以所用时间和在此时间上的数据传输量来记费。在这些例子中，通信花费在决定最优路径上成为一个重要因素。

        在设计一个基于协议的路由网络时，设计路由算法要具有以下特性：

■ 最优（ O p t i m a l i t y）：为了计算出最优的路由，对于一个路由协议就要考虑用几种或全部的度量标准。不同的路由协议也许提供某种不同的度量标准作为更重要的衡量标准，用此值来衡量最优的路由，了解这些对选择路由协议至关重要。

■ 简单（S i m p l i c i t y）：尽管路由协议本身也许很复杂，但它们的实现和操作必须简单。路由器开支和高效利用路由器资源是保持网络稳定和可靠的重要方面。

■ 强壮（ R o b u s t n e s s）：网络设计要选择能够适应需要的路由算法。在某些情况下，例如对于小网络，一个简单的距离向量路由就足够了；然而对于大的网络就需要层次式路由协议，需要协议具有变规模能力。因而在网络上，网络的大小将不成为阻碍其发展的因素。

■ 快速收敛（Rapid Converg e n c e）：为达到网络实用性和服务等级的要求，收敛时间所用的重计算时间和重新在源端和目的端之间建立最优路径，成为重要的考虑因素。

■ 灵活性（F l e x i b i l i t y）：被选中的路由协议所使用的算法必须是灵活的，并且能够适应网络资源的动态变化和适用于整个网。

从上文可以明确了解，无论那种路由协议均需要通过实时测算，测出所连接链路的通断、可用率，并根据实时计算的结果求得新通讯路径。其中影响最终恢复速度的因素包括，链路监测、实时计算、重建链接，由于链路监测取决于设计规划和网络条件，涉及太多非确定因素，在比较中假设即时发现。那么最终系统的收敛时间就作为我们比较的重点。

        开放式最短路径优先（ O S P F）协议是一个基于标准的链路状态路由协议，它是由I n t e r n e t工程任务组（ I E T F）O S P F工作组定义发布在R F C（Request for comment）1 2 4 7内。O S P F是以自治系统（autonomous system, AS）为基础。O S P F定义的A S是指在用链路状态协议时，交换路由信息的一组路由器。O S P F用于层次结构的网络。定义层次需要定义出表示O S P F区域和地址分配的边界。

        O S P F算法在网络拓扑变化后用泛洪技术通知邻居。邻居越多，对C P U的要求越高。这是因为新路由必须重新计算，并且要发向所有连接的邻居。C i s c o通过研究得出结论：与一个O S P F路由器连接的邻居不要超过6 0个。

        O S P F是在路由器内为一个定义的特定区域利用链路状态算法来进行重计算的。区域路由器通常是指区域边界路由器（ Area Border Router, ABR ），这种路由器在O S P F网中对两个O S P F区域支持、保留两个路由表。一般情况下，对于A B R来说，要连接两个最小的区域：一个主干区和一个非主干区。O S P F建议一个路由器支持的区域数限制在3以内，这样可以最小的占用计算和发布链路状态更新的资源。

        以上文字明确指出限制专网SCADA网络使用OSPF路由方案的技术问题，由于路由方案中多个场站的通讯链路叠合在调度中心路由器上，且因输油场站广域分布，部分场站通信有可能分属主备不同信道传输，因此不能将网间分割成多区域，这对路由器的计算资源是一种考验。实际上，专网冗余链路路由方案在形成叠加环结构后处于对OSPF收敛最不利的状态，网络既不能使用分区降低计算负荷，也不能利用简单环路降低链路数目，优化计算。我们知道，CISCO给出的路由收敛计算时间指标是，三路由器成环，约在3秒内完成重构，那么四交换机会用多久？只能知道会大于3秒，如果有三个以上的叠加环呢？没有明确答案，但我们可以从相关事件推测，中国电信的一台核心路由实效，一个城市的区域断路持续两小时；香港地铁系统的任一路由器失效，至少断路一分钟，该系统的链路结构均比当前输油气管道SCADA控制专网三链路冗余简单。从案例可知，一旦发生涉及路由器的断点、丢失连接故障，SCADA网络会瘫痪一分钟到一小时，具体时间不可预测，其可能带来的连锁反应难以评估。

        工业以太网方案与使用OSPF协议的路由器方案相比，不存在区域分割问题，其全网均使用局部监测及恢复设置，不涉及全系统倒换链路问题，可以取得一致的收敛时间，一般均小于1S，两相比较，工业以太网方案优胜。路由方案改善性能的唯一方法是，增加中心的路由器数目，增加链路数目，但这样的设计缺乏成本、可靠性的对比可能性。

OSPF收敛性

        由于O S P F是基于链路状态的路由协议，当网络拓扑变化时，它可以快速调整。O S P F检测拓扑变化是通过接口状态，或者在一个给定的时间内没有收到所连接的邻居的一个响应OSPF HELLO报文。O S P F在一个广播的网内（如L A N）定义的缺省时间为4 0 s，对于非广播网（如WA N）定义的缺省时间为2 m i n。

        当路由器发现了一个链路失效，并且向一个区域内的所有路由器发送链路状态报文，然后路由开始重计算，这时每一个路由器都要计算它路由表中的所有路由。

        工业以太网交换机的MAC地址表的缺省周期与之相当，但最低可在10S内强制的周期性刷新MAC地址，也就是说，即使不采取任何快速冗余技术，仅使用链路监测系统也可以在10秒内实现通讯重构。

        两相比对，无论哪方面看，工业以太网交换机的收敛速度都回快于同样要求的路由器方案。

■ 路由器通过在每一个路由结点，保持具有最新的、完全的网络拓扑信息的路由表来路由，而桥保持一张连接到接口上的设备表，这样就导致了桥学习网络的速度慢于路由器，因此路由器可以提供高等级的服务。

        这一点，在电信业务或大型OA网络中才会成立，在SCADA网络中是不成立的。SCADA网络只有两层，SCADA系统中的网络设备是持续运行的，没有什么学习问题。工业以太网交换机没有这一问题，因为工业控制的高可靠要求，当发生网线掉线类型连接故障时，需要即时刷新交换机地址表，以赫斯曼的现场工业交换机为例，其交换机带负载扫描周期为2.5ms，当使用工业以太网交换机实施冗余切换时，同样使用这一技术保障整个冗余切换过程的稳定实现。

■ 路由器利用网络层地址，因此能把一个路由设备归属到一个区域内，从而建立分级的地址结构，这样可以提高支持无限的底层结点；桥保持数据链路层的M A C地址，因此，它们不能被分组，也就导致了只能支持有限的底层结点。

        所谓只能支持有限的底层结点，指的是在电信网络中由于用户规模不断扩张，其网络边界不可预测，而桥不适合这种无限扩张的网络。但在SCADA网中由于设计规模是有限的，在结构上没有无限扩展层级的需要，一般均有确定的网络层次，那么所谓有限的节点数对SCADA网不是问题，因为我们可以在设计时确定，我们需要三级、四级还是更多级的网，需要100、1000还是数千个节点，这样的明确性网络完全可以使用桥来连接。

■ 路由器通过阻止广播到所有的接口，从而阻止了广播风暴；桥扩展物理L A N段到多段，因此会转发一个广播到所有相连的L A N段。

        交换机中使用VLAN可以达到类似的功能，加上工业以太网交换机具备的端口广播流量限制器，可以有效控制广播风暴问题的危害。

■ 路由设备可以把大报文分段成小报文，从而可以分别选定相应的路径，在传送到终点前再重组成原来大小的报文。桥将把发送到本段的太大的报文丢掉，而不给发送方任何说明。

SCADA网络中传输的是各种长度的帧不存在这种问题。

■当网络阻塞时，路由设备通知发送方减慢发送的数据（阻塞反馈）；而桥没有这种能力。

当前工业以太网交换机已同样具有流控机制。

        从以上分析可以看出，工业以太网方案在SCADA广域网应用中的全部优劣比对中没有一项差于路由器方案。有关键的优胜点--时延，包括端口时延、处理时延、路径选择时延。由于这些设计用于SCADA系统，而作为工业应用，传输系统的总时延越小越好，这是一个关键的性能指标。而且工业以太网交换机还为SCADA运用提供了更多的附加功能，如时钟同步等。因此，无论性能、可靠性、功能等各方面比较，工业以太网方案均优越于路由器组网方案。

两种技术方案的主要系统特征比较：

		工业以太网	路由加交换机
可靠性		高	一般
故障点		少	多
可接触性		好	一般（需要专业知识）
维护性		好	一般
端口时延		低	高
		4.5us	总计大于5ms
链路切换时延		低&稳定	高&不稳定
		<500mS	>3S（OSPF），多网络叠加时会>60S甚至更为不确定

        作为SCADA系统技术的领先行业，当今电力行业除各省网使用调度机、各大电网间使用MSTP加路由解决互联问题外，在需要高实时保障的基层SCADA，比如电力综保、在变电站内继保应用中，近年来均已全面转为使用工业以太网交换机或简单HUB组网，在直控层次中不使用路由器，仅在系统管理层面引入路由方式。

2003年6月份，国际IEC协会远动专委会TC57通信专业向全球颁布了一个重要的最新国际标准：IEC61850变电站自动化通信网络和系统标准。该标准亦明确认为SCADA系统的数据经网关机和中间通信控制器才能送到主控计算机会破坏系统的实时性、透明性，因此IEC61850对自动化SCADA系统网络结构提出了如下建议方案：

SCADA系统的三层结构间均采用以太网直接通讯，监控站与本站过渡设备及一次仪表之间用局域网联接，不设中间网关机。新型控制网络结构图示如下：

        但笔者认为，长输管道自动化行业在引入该标准时尚不宜完全遵循该结构。因为同比电力通信网络建设的环网甚至网格网的建设优势，管道通信网络一般仍为单一的线性链状结构，对于需要主备信道的SCADA网络，若完全舍弃网关机，则主备信道的多路经倒换将难以控制和实现，因此，笔者认为，采用具备链路监测发现的工业以太网交换机分布式组网，应是更为符合新型长输管道SCADA系统需要的方式。

        综上所述，笔者认为，当前管道SCADA系统建设应尽快向全面工业以太网结构转型。