九华娱乐-钱取不出来【专利摘要】本公开的实施例涉及多级交换机结构故障检测和处理。在一些示例中，交换系统包括多个结构端点和多级交换机结构，多级交换机结构具有多个结构平面，每个结构平面具有用于在多个结构端点中的任何结构端点之间交换数据单元的多个级。多个结构端点中的结构端点被配置为在多个结构平面中的第一结构平面内向多个级中的第一级的交换机发送去往结构端点的自查验消息。结构端点被配置为响应于确定结构端点在预定时间之后尚未接收到自查验消息，发送针对第一结构平面的连接性故障的指示。
[0001] 本公开内容涉及计算机网络，并且更特别地涉及在计算机网络内对传送分组。
[0002] 计算机网络是能够交换数据并且共享资源的互连的计算设备的结合。在基于分组 的网络（例如以太网）中，计算设备通过将数据划分成被称为分组的可变长度块来传送数 据，可变长度块跨网络单个地从源设备被路由至目的地设备。目的地设备从分组中提取数 据并将数据汇集成其原始形式。
[0003] 被称为路由器的特定设备维护表示网络的拓扑的路由信息。路由器交换路由信息 从而维持通过网络的可用路由的准确表示。路由通常能够被定义为在网络上的两个位置 之间的路径。在接收到传入数据分组之后，路由器检查分组内的信息（常常被称为键）以 根据路由信息选择要向其转发分组的适当的下一跳。
[0004] 在因特网内存在各种路由器。例如，网络服务提供商(NSP)维护边缘路由器以向 客户提供因特网访问和其他服务。NSP可以提供的服务的示例包括IP语音电话(VoIP)、异步 传输模式(ATM)访问或帧中继通信、因特网协议(IP)数据服务以及多媒体服务(例如视频流 传输）ASP的边缘路由器常常将网络流量传送到高速核心路由器，其通常可以被视为形 成因特网的骨干。这些核心路由器常常包括比边缘路由器多得多的处理资源，并且被设计 为处理大容量的网络流量。
[0005] 在一些示例中，核心路由器或另外的路由器或交换设备可以采用分布式多级交换 机结构体系，其中网络分组遍历位于路由器的分布式转发部件中的交换结构的多个级，以 从交换结构的入口点行进到交换结构的出口点。作为一个示例，交换结构可以被实施为单 个多级Clos交换结构，其跨交换结构的各级进行中继通信。典型的多级Clos交换结构具有 互连以形成多个级的多个交换机。在典型的布置中，交换结构包括入口（或第一）级、一个 或多个中间级以及出口（或末）级，其中每级具有一个或多个交换机(例如，纵横式交换 机-常常更简单地被称为纵横机(crossbar)）。此外，交换结构可以被实施为使得交换机 被布置为多个平行结构平面，每个平行结构平面提供通过多级从入口端口到出口端口的独 立转发，其中的一个或多个可以被当作空闲的结构平面。换言之，多个平行结构平面中的每 个平行结构平面可以被视为多级Clos交换结构的独立部分，其中每个平面提供交换冗余。
[0006] 许多核心路由器是多机箱式路由器，其中多个路由器节点被物理耦合并被配置 为操作成单个路由节点。多机箱式路由器的一个示例包括多线路卡机箱(LCC)，其中每个 LCC包括用于发送和接收分组的一个或多个接口卡(IFC)，LCC耦合到提供对LCC的自上而下 管理的中央交换控制机箱(SCC)。为了使网络上的路由器对等，多机箱式路由器表现为单个 路由节点。因为多机箱式路由器组合了多个路由设备的资源，所以多机箱式路由器具有比 独立式路由器更高的带宽能力。例如，使用多机箱式路由器能够通过将路由功能合并到更 少的路由器上来简化并改进服务提供商网络上的路由。
[0007] 总体上，描述了一种用于对采用多级交换机结构(fabric)的设备或网络中的故障 的可扩展的检测和通知的技术。该技术可以特别适用于具有将全部由分布式控制平面管理 的数百结构端点进行连接的多个结构平面的大规模且复杂的交换设备或网络内，但是该技 术还保持可适用于小规模设备和网络中。在一些示例中，结构端点可以通过将自查验数据 单元发布到交换结构来验证与交换结构的相应的每平面的结构连接性，交换结构通过中间 级将结构消息交换回到发布的结构端点。结构端点没有接收到指示针对结构端点的相对于 结构平面的连接性故障的发布的自查验数据单元。响应于检测到连接性故障，结构端点利 用交换结构在数据路径中将结构端点与交换结构之间的连接性故障的指示广播到其他结 构端点。不是将连接性故障的指示单播到其他结构端点中的每个结构端点，而是已经检测 到连接性故障的结构端点可以代替地依靠针对工作的结构平面中的一个结构平面的第一 级，以将指示中继到末级交换机和连接到其的其他结构端点。接收到指示的结构端点响应 地避免使用发生故障的结构平面将数据发送到具有连接性故障的结构端点。
[0008] 在一些示例中，实施针对多级交换机结构中的每级的纵横式交换机的结构端点以 及结构芯片可以检测将级纵横机彼此耦合并耦合到结构端点的结构链路的结构链路和可 到达性故障。响应于检测到针对结构平面的链路故障，结构平面的结构端点和结构芯片可 以在数据路径中将链路故障的指示中继到实施针对具有链路故障的结构链路的对应第一 级纵横式交换机的对应结构芯片。结构芯片将该指示广播到实施针对具有链路故障的结构 平面的末级的纵横式交换机的结构芯片中的全部结构芯片。末级结构芯片可以转而通知结 构端点，结构端点响应地避免结构平面中具有链路故障的至少一部分。
[0009] 以上描述的可扩展的检测和故障通知技术可以具有一个或多个优点。例如，通过 结构端点在数据路径中（而非通过控制路径)执行分布式故障检测和发信号通知可以得到 更快的故障检测。此外，将处理针对故障通知的工作负荷的数据路径分布在实施结构级的 结构芯片之中，这可以以使得能够减少流量黑洞直到结构控制器能够对交换结构进行重新 路由的方式将故障通知传播扩展到结构端点。通过结构芯片到结构端点的分布式故障通知 可以额外地使得能够使用交换结构内的、与结构平面的数目和结构端点的数目无关的多个 故障通知消息进行故障通知，其可以支持更大的规模，并且减少结构端点上的在生成的和 接收到的故障通知的数目两个方面上的工作负荷。
[0010]在一些示例中，一种验证与多级交换机结构的结构连接性的方法，多级交换机结 构具有多个结构平面，每个结构平面具有用于在多个结构端点中的任何结构端点之间交换 数据单元的多个级，该方法包括：由多个结构端点中的结构端点将自查验(s e 1 f-p i ng)消息 发送到多个结构平面中的第一结构平面的第一级交换机，自查验消息去往发送自查验消息 的端点。该方法还包括由结构端点响应于确定结构端点在预定时间之后尚未接收到自查验 消息而发送针对第一结构平面的连接性故障的指示。
[0011]在一些示例中，一种发信号通知针对多级交换机结构的结构故障的方法，多级交 换机结构具有多个结构平面，每个结构平面具有用于在多个结构端点中的任何结构端点之 间交换数据单元的多个级，该方法包括：由多个结构平面中的第一结构平面的第一级交换 机接收针对多个结构平面中的第二结构平面的结构故障的指示，第一结构平面不同于第二 结构平面。该方法还包括由第一级交换机将包括结构故障的指示的第一故障通知数据单元 发送到第一结构平面的第一末级交换机。该方法还包括由第一级交换机将包括结构故障的 指示的第二故障通知数据单元发送到第一结构平面的第二末级交换机。
[0012] 在一些示例中，一种交换系统包括多个结构端点和多级交换机结构，多级交换机 结构具有多个结构平面，每个结构平面具有用于在多个结构端点中的任何结构端点之间交 换数据单元的多个级。多个结构端点中的结构端点被配置为在多个结构平面中的第一结构 平面内将去往结构端点的自查验消息发送到多个级中的第一级的交换机。结构端点被配置 为响应于确定结构端点在预定时间之后尚未接收到自查验消息而发送针对第一结构平面 的连接性故障的指示。
[0013] 在一些示例中，一种交换系统包括多个结构端点和多级交换机结构，多级交换机 结构具有多个结构平面，每个结构平面具有用于在多个结构端点中的任何结构端点之间交 换数据单元的多个级。多个结构平面中的第一结构平面的第一级交换机被配置为接收针对 多个结构平面中的第二结构平面的结构故障的指示，第一结构平面不同于第二结构平面。 第一级交换机被配置为将包括结构故障的指示的第一故障通知数据单元发送到第一结构 平面的第一末级交换机。第一级交换机被配置为将包括结构故障的指示的第二故障通知数 据单元发送到第一结构平面的第二末级交换机。
[0014] 在一些示例中，一种计算机可读存储介质，包括用于使得多级交换机结构的至少 一个可编程处理器执行以下步骤的指令，其中多级交换机结构具有多个结构平面，每个结 构平面具有用于在多个结构端点中的任何结构端点之间交换数据单元的多个级：由多个结 构端点中的结构端点将自查验消息发送到多个结构平面中的第一结构平面的第一级交换 机，自查验消息去往发送自查验消息的端点；并且由结构端点响应于确定结构端点在预定 时间之后尚未接收到自查验消息而发送针对第一结构平面的连接性故障的指示。
[0015] 在一些示例中，一种计算机可读存储介质包括用于使得多级交换机结构的至少一 个可编程处理器执行以下操作的指令，多级交换机结构具有多个结构平面，每个结构平面 具有用于在多个结构端点中的任何结构端点之间交换数据单元的多个级：由多个结构平面 中的第一结构平面的第一级交换机接收针对多个结构平面中的第二结构平面的结构故障 的指示，第一结构平面不同于第二结构平面；由第一级交换机将包括结构故障的指示的第 一故障通知数据单元发送到第一结构平面的第一末级交换机;并且由第一级交换机将包括 结构故障的指示的第二故障通知数据单元发送到第一结构平面的第二末级交换机。
[0016] 在附图和下面的描述中阐述一个或多个示例的细节。其他特征、目的和优点将从 说明书和附图以及权利要求书变得显而易见。
[0017] 图1是图示了在其中服务提供商网络包括根据本公开内容中描述的技术配置的多 机箱式路由器的示例网络环境的方框图。
[0018] 图2是图示了根据本文中描述的技术的交换系统的示例的方框图。
[0019] 图3是图示了根据本公开内容的一个方面的多机箱式路由器的方框图。
[0020] 图4是图示了根据本文中描述的技术操作的三级交换网络的逻辑表示的方框图。
[0021] 图5是图示了根据本文中描述的技术的在其中结构端点验证连接性的示例交换系 统的方框图。
[0022] 图6A至6C是描绘了根据本公开内容中描述的技术的结构故障检测和通过结构平 面的对结构故障的指示的分布的方框图。
[0023] 图7是图示了根据本公开内容中描述的技术的结构故障检测和通过结构平面的对 结构故障的指示的分布的方框图。
[0024]图8是描绘了根据本公开内容中描述的技术的被配置为实施级交换机并执行故障 检测和故障指示的分布的专用集成电路(ASIC)的方框图。
[0025] 图9是图示了根据本公开内容的技术的示例数据单元式的方框图。
[0026] 图10是图示了本文中描述的技术的示例可以被实施在其中的具有数据中心510的 示例网络508的方框图。
[0027] 图11是图示了根据本公开内容中描述的技术的针对结构端点的、用于检测关于结 构平面的故障的操作的示例模式的流程图。
[0028] 图12是图示了根据本公开内容中描述的技术的针对第一级交换机的、用于想结构 端点通知针对结构平面的故障的操作的示例模式的流程图。
[0030] 图1是图示了在其中服务提供商网络包括根据本公开内容中描述的技术配置的多 机箱式路由器的示例网络环境的方框图。为了举例的目的，参考图1的简化的网络环境2来 描述本发明的原理，其中，多机箱式路由器4与边缘路由器5A和5B(边缘路由器5）进行通 信以向客户网络8A至8C(客户网络8）提供对服务提供商网络6的访问。多机箱式路由器4 可以与边缘路由器5交换路由信息以便维护网络环境2的拓扑的准确表示。多机箱式路由器 4可以包括操作为服务提供商网络6内的单个节点的多个合作路由部件。另外，尽管参考多 机箱式路由器4进行描述，但是本文中公开的技术也可适用于单个机箱式路由器，并且页可 适用于在其中采用交换数据单元的多级交换机结构的其他背景。
[0031] 尽管未图示，但是服务提供商网络6可以耦合到由其他提供商管理的一个或多个 网络，并且可以因此形成大规模公共网络基础设施（例如，因特网）的一部分。因此，客户网 络8可以被视为因特网的边缘网络。服务提供商网络6可以向客户网络8内的计算设备提供 对因特网的访问，并且可以允许客户网络8内的计算设备彼此通信。在另外的示例中，服务 提供商网络6可以提供因特网的核心内的网络服务。在任一情况下，服务提供商网络6可以 包括除了多机箱式路由器4和边缘路由器5之外的各种网络设备(未示出），诸如附加的路由 器、交换机、服务器或其他设备。
[0032] 在图示的示例中，边缘路由器5A经由访问链路9A耦合到客户网络8A，并且边缘路 由器5B分别经由访问链路9B和9C耦合到客户网络8B和8C。客户网络8可以是针对企业的地 理上分开的站点的网络。客户网络8可以包括一个或多个计算设备(未示出），例如个人计算 机、膝上型计算机、手持式计算机、工作站、服务器、交换机、打印机、客户数据中心或其他设 备。图1中图示的网络环境2的配置仅仅是一个示例。服务提供商网络6可以耦合到任何数目 的客户网络8。然而，为了便于描述，在图1中仅仅图示了客户网络8A至8C。除了服务提供商 网络之外的许多不同类型的网络可以采用多机箱式路由器4的实例，包括客户/企业网络、 传输网络、聚合或访问网络等。
[0033] 多机箱式路由器4包括被物理耦合并被配置为操作为单个路由器的多个机箱（图1 中未示出）。对于网络环境2的边缘路由器5,多机箱式路由器4表现为单个路由设备。例如， 尽管多机箱式路由器4包括多个机箱，但是从对等路由器5的角度，多机箱式路由器4具有单 个网络地址并且维持针对维持与边缘路由器5中的每个的对等路由会话的每个路由协议的 单个对等路由会线] 如下面进一步详细描述的，多机箱式路由器4的多个路由节点使用将路由器内的 结构端点互连的内部多级交换机结构12在多机箱式路由器4的数据平面上将分组（即网络 流量)转发到路由器的网络接口卡(例如，端口接口卡）。在图1的示例中，多级交换机结构12 将数据单元从网络接口卡的入口端换到网络接口卡的出口端口，以执行在多机箱式路 由器4的路由节点之中和之内的高速分组转发。多级交换机结构12可以表示第3级Clos网 络、第5级Clos网络或针对任何值η的第η级Clos网络。总体上，在入口端口处接收到的分组 被划分成一个或多个固定长度单元以用于交换。然而，在一些实例中，分组可以被划分成可 变长度单元以用于交换或作为相应的数据单元完整地被交换。数据单元或单元是指通 过多级交换机结构12传递的最小数据块。单元包括头部分和数据部分。单元数据是指包 含在单元的数据部分内的数据。下面参考图9来描述针对示例单元格式的附加细节。如在本 说明书中所使用的，除非明确指示，单元可以是指由多级交换机结构交换的任何数据单 J L· 〇
[0035] 根据本公开内容的技术，多机箱式路由器4采用影响多级交换机结构12的故障的 可扩展检测和故障通知。在一些示例中，路由器4内的结构端点可以通过将自查验数据单元 (例如，由结构端点发送并被寻址到发送的结构端点的单元)发布到多机箱式路由器4的多 级交换机结构12来验证与交换结构12的相应的结构连接性，其中多级交换机结构12通过中 间级将自查验数据单元交换回到发布的结构端点。自查验数据单元和用于检测故障和故障 通知的其他数据单元可以表示针对多机箱式路由器4的示例操作、管理和维护(0ΑΜ)设施。 如果结构端点不能够验证连接性，则结构端点利用多级交换机结构来向其他结构端点通知 该故障。在一些示例中，结构端点或多机箱式结构12本身可以检测将多级交换机结构12的 各级彼此耦合并耦合到结构端点的结构链路的结构链路故障。响应于检测到针对结构平面 的链路故障，结构端点和多级交换机结构12可以在多级交换机结构12的数据路径中对链路 故障的指示进行中继和广播，以使得结构端点中的每个接收到指示。响应于接收到故障的 通知，结构端点可以至少暂时避免使用多级交换机结构12中具有连接性故障或链路故障的 至少一部分。
[0036] 以上描述的可扩展的检测和故障通知技术可以具有一个或多个优点。例如，通过 结构端点在数据路径中而非通过针对多级交换机结构12的控制路径执行故障检测可以得 到更容易的故障检测。此外，将处理针对故障通知的工作负荷的数据路径分布在多级交换 机结构12之内可以以使得能够减少流量黑洞直到结构控制器能够对多级交换机结构12进 行重新路由的方式，来将故障通知传播扩展到结构端点。通过多级交换机结构12到结构端 点的分布式故障通知可以额外地使得能够使用多级交换机结构12内的、与结构平面的数目 和结构端点的数目无关的多个故障通知消息进行故障通知，其可以支持更大的规模并且减 少结构端点上的在生成的和接收到的故障通知的数目两个方面上的工作负荷。尽管参考多 机箱式路由器4的交换结构12进行描述，但是技术可以被应用到在其中独立式设备(例如交 换机)相互连接以提供高速交换结构的网络中。
[0037] 图2是图示了根据本文中描述的技术的交换系统的示例的方框图。交换系统16的 多级交换机结构18(结构18）可以表示图1的多机箱式路由器4的多级交换机结构12、图4 的多级结构250、以及图10的数据中心结构514的示例实例。交换系统16中单独地耦合到多 级交换机结构18的结构平面22A至22K的结构端点20A、20B(统称为结构端点20）操作为由 结构18交换的数据单元(例如，单元)的源和/或目的地。在图示的示例中，结构端点20A从源 分组26进入、起源、或以其他方式以经由多级交换机结构18交换到从分组26外出、耗尽或以 其他方式沉没的结构端点20B。
[0038] 尽管结构端点20中的每个结构端点通常操作为针对单元的源和目的地两者，但是 在各种实例中结构端点20中的任何结构端点可以为针对单元的源或者目的地。在一些示例 中，结构端点20可以均表示分组转发引擎或其他转发单元，使得结构端点20共同地实施针 对分组交换设备(例如，多机箱式路由器4)的分布式转发平面。在一些不例中，结构端点2 0 可以表示针对经由结构18交换针对分布式应用的分组的服务器或其他主机(例如，虚拟机） 的结构接口。结构端点20可以包括相应的交换结构接口或交换接口（SI-未示出），以提供 对经由结构18交换的单元的排队以及其他操作。
[0039] 在该示例中，多级交换机结构18包括多个操作上无关的并行的交换结构平面22A 至22K(被图示为结构平面22A至22K，并且在本文中被统称为结构平面22）。结构平面22 的数目可以是任何数，这取决于结构平面22的相应容量和所需要的结构带宽。结构平面22 可以例如包括4个、5个或18个平面。在一些示例中，结构平面22Κ操作为剩余的结构平面22 的备份或空闲结构平面。结构平面22中的每个包括用于实施独立的Clos或其他多个级交换 网络(例如，Benes网络）的类似的部件，以向结构端点20提供独立交换带宽，在后文中描述 的部件和功能主要是相对于结构平面22A的。结构平面22是操作上无关的，这是因为结构平 面22中的一个结构平面的故障不影响剩余的操作结构平面的交换能力。结构平面22中的每 个结构平面可以提供非阻塞的连接性。在Pradeep S.Sindhu于1999年11月24提交的题目为 Switching Device的美国专利第7,102,999号中找到关于具有多个交换平面的多级交换 机结构的示例的附加细节，通过引用将其整体并入。
[0040] 结构平面22中的每个结构平面包括耦合到结构端点20A的输入端口和耦合到结构 端点20B的输出端口。尽管为了简化仅仅图示了一个入口结构端点20A和一个出口结构端点 20B，但是每个结构平面22通常包括耦合到相应的结构端点的多个输入端口和输出端口。当 结构端点20A获得分组时，结构端点20A执行查找操作以确定结构端点20B (在该示例中）是 针对分组的目的地。获得分组可以例如是指从网络或主机接收到分组或者发起分组。结构 端点20A任选地将分组划分成单元并将分组/单元跨多个级结构18转发到结构端点20B。结 构端点20A选择不同的结构平面22以交换单元，从而将带宽负载跨结构平面22分布。
[0041] 结构端点20A、20B可以采用请求/授权协议来跨结构18发送数据单元。在这样的情 况下，源结构端点20A将请求跨结构18发送到目的结构端点20B。结构端点20A跨结构平面22 中的不同结构平面以循环的或其他均衡化的顺序发送每个这样的请求以公平地分布传输 负荷。响应于接收到请求，结构端点20B将授权跨结构端点20B在其上接收到对应的请求的 相同的结构平面22发送到结构端点20A。响应于接收到授权，结构端点20A将数据单元跨结 构端点20A在其上发布对应的请求的相同的结构平面22发送到结构端点20B。
[0042]如以上所指出的，每个结构平面22中可以包括用于执行类似的多级交换功能的类 似的部件。作为示例，结构平面22A包括由结构芯片到芯片链路(CCL-未示出)耦合的多个结 构芯片24以实施针对结构平面22A的多级交换机结构。结构芯片24A可以被分布在交换系统 16的各种交换设备、机箱等之中。每个结构芯片24A可以包括专用集成电路(ASIC)并且可以 被称为结构ASICT。
[0043]根据本文中描述的技术，结构端点20A包括用于生成并接收自查验单元以验证结 构端点20A相对于结构平面22的每平面连接性。结构芯片24A包括故障处理模块30A，其可以 包括被分布在各种结构芯片24A之中的逻辑。故障检测模块28A在确定关于结构平面22A的 连接性故障之后，例如将连接性故障的指示发送到结构平面22A。该指示可以为由故障检测 28A专门生成的单元。另外，结构端点20A可以至少暂时地修改它的操作以避免将单元发送 到结构平面22A上的其他结构端点20。
[0044]在经由到结构平面22A的输入端口接收到连接性故障的指示时，故障处理模块30A 将指示分布在结构芯片24A之中，结构芯片24A经由结构平面24A的输出端口将连接性故障 的指示发送到其他结构端点20。通过这种方式，结构平面22A的故障检测模块28A和故障处 理模块30A可以在数据路径中并且以分布式方式合作地标识并分布结构端点20A相对于结 构平面22A的连接性故障的指示。响应于接收到连接性故障的指示，其他结构端点20可以避 免使用结构平面22A将单元发送到结构端点20A。
[0045]故障检测模块28A可以通过确定在预计时间内未接收到发送的自查验单元来确定 连接性故障。在一些实例中，故障检测模块28A可以仅仅在接收由故障检测模块28A先前发 送的自查验单元的许多连续的这样的故障之后声明连接性故障。故障检测模块28A可以根 据定义的周期生成自查验单元并将其发送到结构平面22A。故障检测模块28A可以在每平面 的基础上生成并发送自查验单元，即，故障检测模块28A可以执行以上关于结构平面22中的 每个结构平面描述的操作以便验证与所有结构平面22的连接性。
[0046]在一些示例中，故障检测模块28A或故障处理模块30A可以接收并处理将结构端点 20A耦合到结构芯片24A中的一个或者将结构芯片24A中的两个进行耦合的发生故障的芯片 到芯片链路的指示。响应于接收到针对结构平面22A的链路故障，例如结构端点20A和/或故 障处理模块24A可以在数据路径中对到结构芯片24A的链路故障的指示进行中继和广播，以 使得结构端点20中的每个接收到链路故障的指示。响应于接收到链路故障的通知，包括结 构端点20A和想要将单元发送到结构端点20A的结构端点的结构端点20可以至少暂时地避 免使用结构平面22A中具有链路故障的至少一部分。
[0047]图3是图示了根据本公开内容的一个方面的多机箱式路由器的方框图。本文中描 述的用于故障检测和分布式故障通知的技术可以被实施在图3的多机箱路由器150中。在图 3的示例中，多机箱式路由器150包括线A的详细视图，其表示多机箱式路 由器150中的一个机箱。多机箱式路由器150在网络上的网络设备之间路由数据。多机箱式 路由器150可以例如进一步详细地表示图1的多机箱式路由器4的示例。再次地，尽管出于说 明的目的关于具有分布式线路卡机箱(每个分布式线路卡机箱耦合到一个或多个交换卡机 箱）的多机箱式路由器进行描述，但是本公开内容的技术可适用于在大量结构端点之中交 换数据单元的任何单个或多机箱式网络设备或网络交换结构。
[0048]如图3中所示出的，多机箱式路由器150包括操作为网络内的单个节点的多个合作 路由部件。在该示例中，多机箱式路由器150包括四个基本上相同的LCC 152B-152D( LCC 152）和交换卡机箱(SCC)154(或者更简单地，交换机箱154）。在其他实施例中，多机箱式 路由器可以包括更多或更少的LCGSCC 154可以操作为用于连接LCC 152的中央路由节点。 [0049]每个LCC 152中可以被包含在物理上分开的机箱内并且可以包括具有结构管理模 块(仅仅示出了 LCC 152A的结构管理模块158A)、交换结构(仅仅示出了LCC 152A的交换结 构157)、转发部件集合(仅仅示出了LCC 152A的转发部件集合156A:)以及网络接口的集合 (未示出）的CPU(仅仅示出了 LCC 152A的CPU 155AKSCC 154包括经由链路(未示出）连接到 LCC 152的每个CPU 155中的集中式路由引擎(未示出）。
[0050] 其他路由节点，即LCC 152B至152D通常类似于LCC 152A。在该示例中，LCC 152A包 括CPU 155A和四个线(LC leorhLCC 152A内的每个LC 160A包括 转发部件。每个LC 160A还包括提供用于从外部网络接收分组并且用于将分组发送到外部 网络的物理接口的接口卡（IFC)159A的集合(仅仅示出了IFC ΙδθΑχΚ?Χ 160A每个也包括 根据来自路由引擎155Α的指令来执行LC 160Α内的控制功能的LC控制器161Α(仅仅示出了 LC控制器161ΑΟ。
[0051] SCC 154的路由引擎(未示出）维护描述网络的拓扑的路由信息，并且根据路由信 息导出转发信息库(FIΒ)。SCC 154的路由引擎将FIΒ拷贝到LCC 152的每个路由引擎，例如 拷贝到LCC 152Α的路由引擎155Α。路由引擎155Α之后将FIB拷贝到LC 160Α中的转发部件集 156A。（转发部件156中的任何)入口转发部件使用FIB来将从网络(未示出）到达的数据指引 到恰当的（也是转发部件156中的任何）出口转发部件。出口转发部件将数据中继到网络。转 发部件156中的每个中的FIB可以在不降低多机箱式路由器150的分组转发性能的情况下被 更新，这是因为FIB更新与数据分组分开地被分布。备选地，SCC 154的路由引擎可以导出单 独的FIB，其被拷贝到相应的转发部件156。
[0052] 在一些示例中，管理员168( ADMIN 168）经由命令行接口（CLI) 172与SCC 154的 管理守护进程170进行交互，以使用管理守护进程170执行各种管理任务。管理守护进程170 可以将用于对结构平面157进行配置的配置信息提供到结构控制器174。结构控制器174对 构成结构平面157的各个结构芯片进行配置，如下面进一步详细描述的。例如，结构控制器 174可以修改每个结构芯片的散布(spray)配置。
[0053]针对LCC 152中的LC 160的转发部件集合中的每个，即转发部件集合156六1至 156六4、15681至15684、…、1560!至156〇4(统称为转发部件集合156）包括共同地实施针对路 由器150的数据或转发平面的部分的一个或多个转发部件。转发部件表示提供对网络流量 的高速转发的基于硬件的分组处理器。转发部件可以表示分组转发集成电路（1C)，例如一 个或多个可编程ASIC或基于ASIC的分组处理器，当分组例如经由结构平面157遍历路由器 150的内部体系时，分组转发集成电路通过在通过相应的内部分组转发路径的每个分组上 执行一系列操作来处理网络分组。转发部件可以根据由路由引擎155中的一个路由引擎提 供的转发信息库来处理分组。在一些示例中，转发部件可以被称为分组转发引擎。
[0054]转发部件集合156中的每个转发部件可以连接到一个或多个网络接口。例如，转发 部件可以发送和接收针对两个网络接口（例如来自图3的IFC 159A#PIFC 159A2)的信息分 组。具有十六个转发部件的其中每个转发部件具有两个网络接口的LCC 152将具有总共三 十二个网络接口。
[0055]转发部件156中的每个连接到每个结构平面157中。结构平面157的每个活跃的结 构平面负责提供多机箱式路由器150的所需要的内部交换带宽的一部分。通过将数据划分 成单元并在逐个单元的基础上通过活跃的交换平面发送数据，转发部件156可以对在活跃 的结构平面157上的流量进行负载平衡。
[0056]转发部件集合156A!的转发部件可以经由LC 160A!上的IFClSgAi*的一个接收传 入分组。转发部件根据由路由引擎155A提供的FIB来确定分组是否要被交换到不是转发部 件集合156A:中的一个转发部件集合并且因此被定位在不同的LC 160上的一个转发部件。 如果这样的话，转发部件将分组划分成数据单元并将数据单元发送到结构平面157A，以交 换到不同的LC 160和转发部件156中的一个转发部件。接收针对分组的数据单元的转发部 件156对分组进行重组并经由针对转发部件的IFC 159中的对应一个输出分组。
[0057]在多机箱式路由器150中，每个结构平面157A-157K(统称为结构平面157）提供 操作上无关的多级交换机结构。结构平面157可以表示图2的结构平面22的示例实施方式。 例如可以由被插入在SCC 154内以及LCC 152中的每个内的专用交换卡(未示出交换卡)实 施结构平面157A。例如，来自SCC 154的交换卡可以包括用于实施针对结构平面157A的多级 交换机结构的中间级的逻辑(在图3中被示出为单个中间第2级164A并且备选地被称为针对 第3级Clos网络的F2或者被称为中间级），并且来自LCC 152A(以及其他LCC 152)的交 换卡可以包括用于实施分别针对结构平面157A的第一级和末级(备选地，针对第3级Clos网 络的F1和F3）第1级162A和第3级166A的逻辑。因此，在一些示例中，来自每个LCC 152中 的一个交换卡和来自SCC 154的一个SCC交换卡形成结构平面157。在一些示例中，第1级 162A和第3级166A中的任一或两者可以被定位在152A或者SCC 154上。
[0058] SCC 154和LCC 152的交换卡可以包括交换接口板(SIB)或其他交换卡，其他交换 卡例如包括一个或多个结构芯片和提供在SCC154与LCC 152之间的连接性的光学或其他高 速接口的集合。在该实施例中，针对结构平面157A的LCC部分的每个交换卡连接到针对结构 平面157A的SCC部分的单个交换卡。单独的链路将每个SCC交换卡连接到每个多机箱式交换 卡。例如，链路(未示出）可以包括针对结构平面157中的每个的单独的光纤阵列线缆。如果 多机箱式路由器150例如具有五个结构平面157,则总共二十个线缆可以用于将实施各种结 构平面157的交换卡互连。
[0059] 第1级162A可以例如被称为第一级、首级、入口级、F1或第1级。因为结构平面157A 是第3级交换结构，第3级166A可以例如被称为第三级、三级、末级/最后一级、尾级、出口级、 F3或第3级。对于η级结构，其中η为除了 3之外的数，则命名法将对应地不同，例如针对末级 的F5。其他结构平面157可以由类似的单独的交换卡来实施以提供操作无关性。第1级 162Α、第2级164Α和第3级166Α中的每个可以由诸如图2的结构芯片24的一个或多个结构芯 片来实施。第1级162Α交换机和对应的第3级166Α交换机可以被定位在相同的设备或部件上 并且由使得能够在两个交换机之间进行直接通信的配对链路186耦合。
[0060] 如以上所指出的，结构平面157中的每个形成三级交换结构。例如，三级交换结构 可以为在每级中包括多个纵横式交换机的Clos网络。在一些实施例中，LCC 152中的每个包 括三级中的每级的部分。在其他实施例中，针对LCC 152的结构平面157的交换卡可以执行 第一级和第三级，而SCC 154的结构平面157中的交换卡执行三级网络中的第二级。如在LCC 154A的结构平面157A上所示出的，要从LC leOAi被中继的数据单元首先被发送到第1级 162A，以传输到SCC 154的结构平面157A的第2级164A。第1级162A、第2级164A和第3级166A 中的每个可以包括一个或多个纵横式交换机或其他交换机。针对其他结构平面157的级可 以类似于结构平面157A的级。
[0061] 第1级162A经由相互连接的链路将数据单元交换到第2级164A，其被定位在SCC 154的结构平面部分157A的内部。第2级164A不仅从LCC 152上的第1级162A交换机接收数据 单元，而且从被定位在LCC 152B-152D上的类似的第1级交换机接收数据单元。换言之，每个 LCC 152具有针对每个结构平面157的至少一个第1级交换机。类似地，每个LCC 152具有针 对每个结构平面157的至少一个第3级交换机。第2级164A将数据单元交换到被定位在LCC 152中的任何上的第3级166A交换机。
[0062] -个或多个第3级交换机166A包括连接到LCC 152A上的转发部件156A中的每个的 独立输出端(未示出）。由第3级166A交换机接收到的单元被指引到与如数据单元的目的地 所需要的IFC 159A的集合相对应的转发部件156。
[0063] 实施结构平面157的级的转发部件156和结构芯片执行本文中描述的用于故障检 测和分布式故障通知的技术。转发部件156中的每个可以表不结构端点20的实例的不例，结 构平面157可以表示结构平面22的示例实例，并且结构平面157的级(例如，结构平面157A的 第1级162A、第2级164A和第3级166A)可以表示示例图2中的示例结构芯片24A。
[0064] 作为示范性图示，转发部件156^包括可以表示图2的故障检测模块28的示例实例 的故障检测模块190。也就是说，故障检测模块190可以执行本文中描述的由结构端点执行 以检测并处理结构平面157内的或关于将转发部件156^连接到结构平面157的链路的故障 的技术中的任何。类似地，第1级162A、第2级164A和第3级166A中的每个包括故障处理模块。 第1级162A包括故障处理模块182A，第2级164A包括故障处理模块180A，并且第3级166A包括 故障处理模块184A。故障处理模块180A、182A、184A可以均表示图2的故障处理模块30的示 例实例。也就是说，故障处理模块180A、182A、184A可以执行本文中描述的由级（或级交换 机)执行以检测针对结构平面157的故障指示并将其分布到各种转发部件156的技术中的任 何。在一些示例中，故障处理模块180A、182A、184A确定并处理将转发部件156耦合到转发平 面157或者将转发平面157中的任何两个级进行耦合的发生故障的芯片到芯片链路的指示。
[0066]图4是图示了根据本文中描述的技术操作的三级交换网络250(或交换结构250） 的逻辑表示的方框图。三级网络250可以在逻辑上表示图1的交换结构12、图2的交换结构 18、以及图3的交换结构157中的任何或者其中部件或设备相互连接以提供多级交换机结构 的任何其他交换结构。图4的示例网络250的三级包括:包括纵横式交换机256A-256R(统称 为交换机256）的第1级251、包括纵横式交换机258A-258M(统称为交换机258）的第2级 252以及包括纵横式交换机260A-260R(统称为交换机260）的第3级。交换机256经由输入 端（统称为254）接收数据分组;在该示例总共有NxR个输入端254。交换机260经由输出端 口（统称为262）发送数据分组;在该示例中总共有NxR个输出端262。
[0067]如图4中所示出的，第1级251和第3级253均包括R个纵横式交换机，而第2级252包 括Μ个纵横式交换机。三级网络与N个输入端和N个输出端耦合，因此使Clos网络的特性变得 完整。针对Μ和N的整数值定义三级交换网络250的阻塞特性。例如，第2级252可以包括比第1 级251和第3级253更多的纵横式交换机（即，MR)以减小或消除输入端254的开放输入端能 够被输出端262中的开放输出端阻塞的可能性。
[0068] 交换机256、258、260中的每个可以由结构芯片实施。在一些情况下，对应的第1级 交换机256和第3级交换机260(例如，交换机256A和交换机260A)可以由相同的结构芯片实 施。如关于图3的多机箱式路由器150所描述的，第1级251和第3级253可以被定位在多个LCC 中，而第2级252被定位在SCC中。
[0069]为了建立通过网络250从输入端254中的一个输入端到预期输出端262的路径，与 接收输入端254相关联的交换机256中的一个确定允许到包括预期输出端262的第3级253交 换机260的连接路径的可用的第2级252交换机258。例如，假设由交换机256A接收到的分组 要被中继到交换机256A上的输出端262A中的一个输出端。交换机256A选择具有到交换机 256A和交换机260A两者的开放连接的交换机258中的任何交换机。假设交换机256A选择交 换机258B。一旦交换机258B接收到数据分组，则交换机258B确定到交换机260A的可用路径 并将数据分组转发到交换机260A。例如，交换机258B可以具有到交换机260A的超过一条路 径。
[0070] 根据本文中描述的技术，交换机256、258、260中的每个可以包括用于确定结构连 接性和链路故障的指示并将其分布到耦合到网络250的结构端点20的故障处理模块30的实 例。
[0071] 虽然一般被描述为三级交换网络(例如网络250)，但是在其他示例中，本文中描述 的结构平面可以包含不同的交换体系结构。例如，三级网络中的第二级可以由另外的三级 网络替换，由此形成五级网络。其他交换结构体系结构也是可能的。
[0072] 图5是图示了根据本文中描述的技术的在其中结构端点验证连接性的示例交换系 统的方框图。交换系统300包括结构端点20A和结构平面22A。结构平面22A在该示例中包括 三级交换网络，例如图4中的具有第1级交换机256心至2561^、第2级交换机258六 1至258111、和 第2级交换机260心至2601?1的网络250。下标标识结构平面22(下标1针对结构平面22A，下标2 针对结构平面22B，等等）。
[0073]为便于说明的目的，示出了通过结构平面22A的第1级交换机256A:、第2级交换机 258B:和第3级交换机260A:的单条路径。尽管仅仅示出了第2级交换机258B:，但是在各种情 况下可以通过第2级交换机2584^258?^中的任何交换自查验单元302。交换机256A!和交换 机260A:可以被定位在相同的设备或部件(例如，LCC)上并且由使得能够在这两个交换机之 间进行直接通信的配对链路进行耦合。
[0074]为了检测针对结构端点20A的关于结构平面22A的平面级别结构故障，故障检测模 块28A生成自查验单元302,如此命名是因为自查验单元302被寻址到结构端点20A，并且将 自查验单元302发送到耦合到结构端点20A的第1级交换机256A!。因为自查验单元302被寻 址到结构端点20A，所以结构平面22A将自查验单元302交换到结构端点20再通过第2级交换 机258B:(或者在其他情况下，其他适当的第2级交换机)交换到第3级交换机260心，其将自查 验单元302输出到结构端点20A。如果故障检测模块28A没有在发送自查验单元302之后的预 定时间内接收到自查验单元302,则故障检测模块28A可以声明超时错误，其可以指示结构 连接性故障。预定时间可以例如为l〇〇ys。尽管仅仅参考结构平面22A示出，但是故障检测模 块28A在结构平面22中的每个上生成、发送和接收类似的自查验单元以验证结构平面22的 相应部分的结构连接性。然而，因为耦合到每个结构平面22中的每个结构端点20可以执行 类似的自查验操作，所以所有这样的自查验操作的组合和对结构连接性故障的指示到所有 结构端点20的分布允许结构端点至少暂时地修改它们的交换操作以避免发生在结构22中 的任何地方的结构连接性故障。
[0075] 故障检测模块28A可以由专用处理线程运行以促进不间断的结构连接性故障检测 和处理。故障检测模块28A可以周期性地生成并发送自查验单元302并且仅仅在出现连续的 超时错误时声明连接性故障。因为针对高带宽交换系统的流量黑洞可以导致数吉比特的数 据的丢失，所以可以为亚毫秒级的自查验周期促进对针对结构端点20A的结构连接性故障 的快速检测。尽管故障检测模块28A可以仅仅在出现连续的超时错误时声明连接性故障，但 是故障检测模块28A可以通知控制结构平面22A的控制路径模块，以便报告结构平面22A的 健康状况。例如，故障检测模块28A可以报告在一时间段内由结构端点20经历的多个超时错 误。控制路径模块可以响应于频繁的且规则的超时错误(其可以指示结构平面22A上的连接 性的部分丢失)而对结构平面22A进行重新路由或者采取其他动作。
[0076] 图6A至6C是描绘了根据本公开内容中描述的技术的结构故障检测和通过结构平 面的对这样的结构故障的指示的分布的方框图。6A示出了每个具有三级交换网络的结构平 面22A、22B，三级交换网络可以为图4中描述的网络250的示例。尽管关于三级交换网络进行 描述，但是本文中描述的技术可适用于5级交换网络和其他η级交换网络，其中n = 3。针对 各种交换机参考标记的下标标识结构平面22(下标1针对结构平面22A，下标2针对结构平面 22B，等等）。各级交换机中的每个可以包括故障处理模块30的示例实例，或者与用于实现本 文中描述的技术的合适的级相对应的故障处理模块180A、182A、184A的示例实例。
[0077]相应的结构端点20A、20X的故障检测模块28A、28X生成并发送相应的自查验单元 302A、302X以尝试验证关于结构平面22A的结构连接性。故障检测模块28A、28X中没有一个 接收到自查验单元302A、302X并且声明针对那些自查验单元的超时错误。超时错误可以使 得故障检测模块28A、28X声明相应的结构连接性故障(例如，在最新的超时错误满足指示结 构连接性故障的阈值数目的连续的错误的情况下）。
[0078]图6B示出了结构端点20A经由链路310耦合到第1级交换机256R!并且经由链路316 耦合到第3级交换机260?。另外，链路312将第1级交换机256办親合到第2级交换机2581^1 且链路314将第2级交换机2581^耦合到第3级交换机260办。
[0079]链路310表示结构端点到第1级交换机链路(在后文中为FE-F1链路）。链路312 表示第1级交换机到第2级交换机(在后文中为F1-F2链路）。链路314表示第2级交换机到 第3级交换机链路(在后文中为F2-F3链路）。链路316表示第3级交换机到结构端点链路 (在后文中为F3-FE链路）。链路310、312、314、316中的每个可以被称为芯片到芯片链路 (CCL)，并且每个可以包括高速光学链路。尽管图6B仅仅示出了针对从结构端点20A到结构 平面22A并返回的单条路径的链路，但是交换系统包括针对结构端点20和级交换机的类似 的链路，如例如关于图4的多级结构250所图示的。
[0080]数据单元的每个接收者(或CCL接收者）将接收链路（Rx链路或in-link）状 态传送到针对将发送者连接到接收者的链路(或CCL链路）的数据单元的每个发送者(或 CCL发送者）。示例状态信息可以包括链路上行、链路下行以及链路故障。在检测到链路上 的链路故障之后，接收者可以将链路故障的指示发送到发送者。
[0081 ]例如，结构端点20A是针对链路316的发送者，针对其第1级交换机256R!是接收者。 第1级交换机256?可以检测链路310上的链路故障并将包括链路310上的链路故障的指示 的故障消息318发送到结构端点20A。在图示的示例中，故障消息318是经由通过结构平面 22A的数据路径发送的专门生成的数据单元。在一些情况下，针对结构平面22A的控制模块 将链路310上的链路故障的指示发送到结构端点20A。针对链路312、314和316上的链路故障 的指示可以类似地被传播到链路310上的链路故障的指示。然而，在一些情况下，第1级交换 机256以可以经由将这些交换机耦合的配对链路将故障直接传送到对应的第3级交换机 260?，配对链路可以为专用流控制CCL链路。
[0082]转到图6C，响应于获得故障的指示，通过故障检测模块28A使用自查验单元来检测 故障或者通过接收到链路故障的指示，结构端点20A至少暂时地停止将单元散布到结构平 面22A。如本文中所使用的，术语对数据单元散布是指通过结构级交换机来选择针对数据 单元的输出端口并将数据单元在输出端口上发送。例如，故障检测模块28A可以修改针对结 构端点20A的对所有目的（例如，交换系统中的所有其他结构端点）的散布编程，以使得结构 端点20A不再跨结构平面22A发送单元。故障检测模块28A额外地开始向可由剩余活跃的结 构平面22(即，不是在该示例中的结构平面22A)到达的所有结构端点20通知针对结构端点 20A的结构连接性故障。具体地，故障检测模块28A将指示连接性故障的故障数据单元304A 发送到活跃的结构平面22B的第1级交换机256R 2。故障检测模块28A可以额外地向针对结构 平面22的结构管理软件或其他控制路径部件通知针对结构端点20A的故障。
[0083]故障检测模块28X响应于检测到如以上关于故障检测模块28A描述的连接性故障 的连接性故障而执行类似的操作，包括将指示连接性故障的故障数据单元304X发送到活跃 的结构平面22B的第1级交换机256R 2。结构端点20A和20X两者都耦合到第1级交换机256R2的 输入端。故障数据单元304A例如可以为指示连接性故障并例如使用广播地址将所有结构端 点20指定为目的地的单元。故障数据单元304A例如可以指示整个结构平面22A是否由于检 测到的故障而是不可使用的。故障数据单元304A例如可以指示故障是否限于结构平面22A 的特定链路，使得结构平面22A的部分保持不可用于将单元传输到结构端点20A。
[0084]在一些情况下，不是所有目的结构端点20可以是可从结构端点20A经由结构平面 22B被到达。在这样的情况下，故障检测模块28A可以在多个结构平面22上发送故障通知消 息。例如，故障检测模块28A可以首先确定操作结构平面22B提供到操作结构平面22中的任 何的大多数目的结构端点20的可到达性。作为响应，故障检测模块28A将具有广播目的地地 址的故障数据单元304A发送到第1级交换机256R 2,使得结构平面22B停止将故障的指示发 送到可通过结构平面22B到达的结构端点20中的每个。故障检测模块28A还经由至少一个其 他操作结构平面22将单独的故障消息(未示出）单播到不可通过结构平面22B到达的目的结 构端点20中的每个。故障检测模块28A可以确定具有大多数可到达的结构端点20的结构平 面22以及通过其使用例如针对故障检测模块28A的散布掩膜对单独的故障消息进行单播的 其他结构平面22。结构端点20中的每个因此接收通过故障检测模块28A获得的故障的指示。 [0085]第1级交换机256R 2响应于故障数据单元304A、304X中的任一或两者向交换系统中 的所有其他结构端点20通知连接性故障。具体地，第1级交换机256R 2将故障消息广播到结 构平面22B的所有的第3级交换机260A2-260R2,其将故障消息中继到连接到它们的相应输出 端口的结构端点20。结果，故障检测模块28A可以使用到结构平面22B的单个故障数据单元 304A向多个目的结构端点20通知连接性故障而非必须将故障消息单播到每个其他结构端 点20。
[0086]第1级交换机256R2可以等待预定义时间以便合并多个故障数据单元304A、304X， 而不是响应于接收到故障数据单元304A、304X中的一个立即将故障消息广播到第3级交换 机260A2-260R 2。因为连接性故障常常是局部的，所以它们倾向于影响耦合到相同的第1级交 换机或第3级交换机的多个结构端点20,正如关于结构端点20A、20X的情况。合并可以在一 些示例中由故障检测模块28A执行，故障检测模块28A可以收集针对由故障检测模块28A检 测到的多个不同的故障的故障信息并使用到第1级交换机256R 2的单个故障数据单元304A 向其他结构端点20通知故障。在一些示例中，用于合并的预定义时间是lms。
[0087]为了促进由针对可通过其到达大多数结构端点20的结构平面22的第1级交换机的 合并，耦合到针对相应的结构平面22的相同的第1级交换机256的所有结构端点20(例如，特 定LCC上的所有结构端点20)应当将故障数据单元304的实例发送到针对相同的结构平面22 的相同的第1级交换机256。故障检测模块28可以通过选择提供到目的地结构端点20的最好 可到达性的结构平面22来接收故障数据单元304的实例来完成这一点。
[0088]如以上所指出的，结构平面22的结构端点20和级交换机可以使用目的地地址来对 结构端点20进行寻址。结构平面22的结构端点20和级交换机还可以使用由用于交换到3级 交换机的结构平面22级交换机使用的地址空间中的保留地址的集合中的一个来对共同地 耦合到第3级交换机中的一个的结构端点20的集合进行寻址。结构平面22的结构端点20和 级交换机可以备选地共同地使用来自保留地址的集合的广播地址来对所有结构端点20进 行寻址。在一个示例中，目的地地址的集合被保留：0xF00+F3_ID(高达最大值OxFFF)，其中 F3_ID是距标识结构平面中的第3级交换机260中的一个的OxFOO的偏移，并且通过扩展，所 有结构端点20耦合到所标识的第3级交换机260。值OxFFF被保留为指示交换系统中的所有 结构端点20而非仅仅耦合到特定第3级交换机260的结构端点的广播地址。其他目的地地址 (例如，0x0-0xF00)可以可用于对单个结构端点20进行寻址。
[0089] 如果第1级交换机256或第2级交换机258中的任何接收到包括故障的指示并被寻 址到保留目的地地址中的一个的单元，则交换机将单元(或也包括指示的不同的单元)散布 到所标识的第3级260交换机。然而，如果保留目的地地址是广播地址，则交换机可以在一些 情况下生成每个具有故障的指示的相应的单元并将其发送到可从交换机到达的所有第3级 260交换机。在一些实例中，交换机可以简单地将接收到的单元散布到可利用广播地址从交 换机到达的所有第3级260交换机。如果第3级260交换机中的任何接收到被寻址到其自身 (例如，其是由在以上的示例中的偏移F3_ID标识的交换机)或来自保留目的地地址中的一 个的广播地址(例如，OxFFF)的单元，则交换机生成每个具有故障的指示的相应的单元并将 其发送到耦合到交换机的所有结构端点20。通过这种方式，结构平面22可以以相对于从结 构端点20A单个地对结构端点20中的每个进行寻址减少的数目的消息来分布由结构端点20 或由结构平面22的交换机检测到的故障的指示。
[0090] 在图6C的示例中，第1级交换机256R2接收故障数据单元304A，故障数据单元304A 可以去往广播地址从而向所有结构端点20通知由故障检测模块28A检测到的连接性故障。 作为响应，第1级交换机256R2生成被寻址到可从第1级交换机256此到达的相应的第3级交换 机260的故障通知数据单元306(故障通知单元306)。例如，发送到第3级交换机260A2的故障 通知单元306可以被寻址到标识第3级交换机260A 2的0xR)0。第3级交换机260接收故障通知 单元306并且每个这样的交换机生成每个具有故障的指示的相应的故障通知数据单元308 (或故障通知单元308）并将其发送到耦合到交换机的所有结构端点20。
[0091]图7是图示了根据本公开内容中描述的技术的结构故障检测和按结构平面的对这 样的结构故障的指示的分布的方框图。如以上所描述的，数据单元的每个接收者将接收链 路状态传送到针对将发送者连接到接收者的链路的数据单元的每个发送者。在图示的示例 中，第3级交换机26(? 2接收将第2级交换机268Β2·合到第3级交换机260Bd^F2-F3链路上 的链路错误344的指示。在结构平面22的一些示例中，第1级交换机每个具有含有直接通信 链路(例如，流控制链路，例如图3的链路186)的对应的第3级交换机，反之亦然。第3级交换 机26(? 2通过使用故障通知消息340将链路错误344的指示中继到第1级交换机256B2来处理 该指示。故障通知消息340可以在一些实例中为包括故障的指示的单元。第1级交换机256B 2 通过禁用到受影响的F2-F3链路的散布并且还通过以类似于以上关于图6C的故障通知单 元306描述方式的方式生成并发送被寻址到可从第1级交换机256B0lj达的第3级交换机 260B 2的相应的故障通知数据单元342(或故障通知单元342）来对故障通知消息340做出 响应。故障通知单元342可以包括故障的指示并且可以标识发生故障的链路。尽管为便于说 明的目的未示出，但是第1级交换机2568 2还可以将故障通知单元306发送到第3级交换机 260B2。接收到故障通知单元342的第3级交换机260生成每个具有故障的指示的相应的故障 通知单元342并将其发送到耦合到交换机的所有结构端点20。
[0092]除了该图示的示例，第1级交换机256可以被配置为处理除了针对F2-F3链路的链 路错误之外的其他链路错误。例如，在接收到FE-F1或F1-F2链路错误的指示时，其中F1是 第1级交换机256B2,例如第1级交换机2568 2可以以类似于以上关于故障通知单元342描述方 式的方式将相应的故障通知单元发送到可从第1级交换机2568 2到达的第3级交换机260。故 障通知单元包括故障的指示并且可以标识发生故障的链路。
[0093]第1级交换机256在可能的情况下可以针对耦合到第1级交换机的所有结构端点20 在每平面的基础上将到第3级交换机260中的每个的故障通知单元合并，并且报告结构平面 22上的故障。因此，第1级交换机256可以仅仅跨交换结构发送少量故障通知单元以传达结 构平面22/链路故障。
[0094]在FE-F1链路发生错误的情况下，向结构端点20通知故障的职责由F1交换机(例 如，第1级交换机256中的一个)承担。因此，在一些实施例中，能够在亚毫秒的时间内检测到 线路卡的不优雅的拔出。针对一个或多个结构平面的交换卡的不优雅的拔出另一方面将被 检测为F3-FE错误并由FE处理。例如，故障检测模块28A可以接收F3-FE链路350中的链路 故障的指示。作为响应，故障检测模块28A将结构平面22B声明为发生故障并且执行类似于 以上关于图6A-6C描述的响应于由故障检测模块28A使用自查验技术确定的连接性故障动 作的动作。也就是说，结构端点20A停止散布在针对所有目的结构端点20的结构平面22B上。 另外，故障检测模块28A可以将类似于故障数据单元304A的消息发送到活跃的结构平面22， 消息指示到活跃的结构平面的第1级交换机256的链路故障。第1级交换机生成并发送被寻 址到可从第1级交换机到达的相应的第3级交换机260的故障通知单元，其中第1级交换机接 收消息从而对指示进行广播。
[0095]在接收到故障通知单元(例如，故障通知单元308、342)时，结构端点20停止使用故 障结构平面22进行散布以到达报告故障的结构端点20,从而防止任何额外的流量黑洞。本 文中描述的提供故障的指示的故障通知单元和其他消息可以包括标识故障结构平面22的 信息。
[0096]中间级交换机(例如交换机258)可以被配置为处理标识末级（第3级或F3)交换机 的目的地地址和广播地址，以便将单元散布到所标识的末级交换机。在F2-F3结构链路发 生错误的情况下，交换机258禁用到受影响的链路的散布。在F1-F2结构链路发生错误的情 况下，交换机258将错误向上游中继到发送F1。
[0097] 由于应用了本文中描述的技术，交换系统可以标识故障并以相对少量的消息/单 元分发故障通知。在一些实施方式中，最坏情况是放下针对系统中的所有结构端点20的结 构平面的中间级机箱的丢失。如果每个结构端点20要将故障通知单播到每个其他结构端点 20,则这将需要0(N) 2个消息，其中，N =结构端点20的数目。使用以上技术，需要的消息的数 目可以被减少，这是因为每个结构端点20可以仅仅将单个消息发送到仍然活跃的结构平面 上的第1级交换机。活跃的结构平面上的第1级交换机可以核对它们从它们连接的结构端点 20接收到的这样的消息并将单个消息发送到活跃的结构平面上的每个第3级交换机。在一 些示例中，这可以导致被发送的这样的消息的数目与系统中的第1级/第3级交换机的数目 成线] 例如，实施方式可以具有针对结构平面的16个第1级交换机和16个第3级交换机。 如果耦合到第1级交换机的每个结构端点20将故障通知消息发送到它的第1级交换机，则这 可以仍然仅仅得到由每个第1级交换机针对总共16*16故障通知单元散布的16个故障通知 单元(从每个第1级交换机到每个第3级交换机的1个故障通知单元）。这可以是来自传统技 术的减少的图表，例如在每个结构端点20要将消息发送到每个其他结构端点20并且存在 512个结构端点20的情况下，需要512*512个消息。
[0099] 图8是描绘了被配置为实施级交换机并执行根据本公开内容中描述的技术的故障 检测和故障指示的分布的专用集成电路(ASIC)的方框图。ASIC 410表示基于硬件的逻辑并 且可以包括可编程集成电路。ASIC 410可以表示结构芯片的示例并且实施针对多级交换机 结构的级的纵横式交换机400。纵横式交换机400可以例如表不交换机256、258、260、162、 164和166中的任何。
[0100] 纵横式交换机400具有输入端口 402A-402S (统称为输入端口 402），其每个能够 经由全网格将单元散布到输出端口 404A-404T(统称为输出端口404）中的每个。交换模块 412被编程具有散布罩具416,其标识可用于到达目的地结构端点20的输出端口404。故障处 理模块414可以被配置为执行本文中描述的技术以例如检测链路故障并处理故障通知单元 并且生成并发送故障通知单元/消息。尽管本文中将单个F1、F2和F3级纵横机分别描述为多 级交换机结构的第一级、第二级和第三级中的部件，但是单个通用类型的F级纵横式交换机 可以通过相应地配置ASIC 410的操作模式而被用于所有三级。
[0101]图9是图示了根据本公开内容的技术的示例数据单元格式的方框图。根据数据单 元450的不同的单元类型定义针对多级交换机结构的结构端点20和不同的级交换机的操 作，如下面进一步详细描述的。数据单元450包括单元头451和单元有效载荷464。单元头451 包括以下字段:单元大小452、单元类型454、序列号（SEQ NO. )456、目的地标识符(DST ID) 458以及源标识符460(SRC ID)。针对单元头451的各种示例实施方式可以对字段进行重新 布置，包括更多的或更少的字段等。
[0102]单元大小452指定单元有效载荷464的大小，或者在一些情况下，包括单元头451和 单元有效载荷464两者的数据单元450的大小。示例单元大小包括16个、24个和32字节。单元 类型454标识单元的类型，包括要消耗并处理单元的结构芯片的类型（例如，第一级、中间 级/第二级、第三级/末级，或者结构端点）。序列号456标识针对单元的序列号。单元目的地 标识符458和单元源标识符458分别标识针对单元的目的地结构端点和源结构端点。平面标 识符462标识用于交换单元的结构平面。针对数据单元450的数据有效载荷464通常是针对 由交换系统交换的分组的分组数据，例如无论是分组交换还是数据中心结构。然而，如下面 进一步详细描述的，有效载荷464可以将单元标识为自查验消息或者包括交换系统的结构 平面中的连接性故障或结构故障的指示。
[0103] 在一个示例实例中，数据单元450是自查验单元。数据单元450实例可以例如是自 查验单元302的示例实例。单元头451的字段可以如下设置：
[0105] F0R_ENDP0INT单元类型指示单元要由结构端点消耗。所有结构端点端口可以包括 被配置为捕获具有F0R_ENDP0INT单元类型的数据单元的过滤器。因为源标识符460和目的 地标识符458两者将由SELF_ID标识的起源结构端点指定为单元的源和目的地，所以在平面 标识符462中指定的结构平面将单元朝向起源结构端点交换回。数据有效载荷464可以包括 指示单元是查验请求的数据。
[0106]在另一示例实例中，数据单元450是要被多播到由故障影响的目的地结构端点的 自查验超时故障信号通知单元。对于F3-FE链路错误，FE将故障信号通知到所有连接的结 构端点。数据单元450实例可以例如为故障数据单元304的示例实例。针对该实例，单元头 451的字段可以如下设置： 「01071
[0108] EP_T0_F1单元类型指示单元已经由结构端点（S0URCE_ID)发送并且要由第1级 (F1)交换机消耗。所有第1级交换机端口可以包括被配置为捕获具有EP_T0_F1单元类型(或 任何其他T0_F1单元类型）的数据单元。BROADCAST_ADDRESS指示接收到单元的第1级交换机 要将(下面描述的）结构端点故障信号通知中继单元发送到可从第1级交换机到达的第3级 交换机。数据有效载荷464可以包括指示故障是自查验超时错误的数据。该故障结构平面将 不同于在平面标识符462中标识的结构平面。
[0109] 在另一示例实例中，数据单元450是要被多播到由故障影响的目的结构端点的结 构链路故障信号通知单元。对于F3-FE链路错误，FE将故障信号通知到所有连接的结构端 点。数据单元450实例可以例如是故障数据单元304的示例实例。针对该实例，单元头451的 字段可以如下设置：
[0112] EP_T0_F1单元类型指示单元已经由结构端点（S0URCE_ID)发送并且要由级1(F1) 交换机消耗。BROADCAST_ADDRESS指示接收到单元的第1级交换机要将(下面描述的)结构端 点故障信号通知中继单元发送到可从第1级交换机到达的第3级交换机。数据有效载荷464 可以包括指示故障是结构链路错误的数据并且可以标识故障结构平面。该故障结构平面将 不同于在平面标识符462中所标识的结构平面。
[0113] 在另一示例实例中，数据单元450是可用于将由第1级交换机接收到的故障信号通 知单元中继/多路播送到末级(F3)交换机的结构端点故障信号通知中继单元。所有末级交 换机端口可以包括被配置为捕获具有F1_T0_F3单元类型(或任何其他T0_F3单元类型）的数 据单元的过滤器。结构端点故障信号通知中继单元可以为故障通知单元306的示例实例。结 构端点故障信号通知中继单元基于来自结构端点的故障广播，并且接收的第1级交换机将 相应的结构端点故障信号通知中继单元散布到结构平面上的每个结构末级。针对该实例， 单元头451的字段可以如下设置： 「01141
[0115]~F1_T0_F3单元类型指示单元已经由第1级交换机发送并要由末级交换机消耗。末 级交换机由目的地标识符458中的F3_ADDRESS标识。源标识符460中的S0URCE_ID被拷贝自 由结构端点发送的原始自查验超时故障信号通知单元。数据有效载荷464可以包括指示故 障是自查验超时错误的数据并且可以标识故障结构平面。故障结构平面将不同于在平面标 识符462中标识的结构平面。
[0116] 在另一示例实例中，数据单元450是可用于对结构链路故障的指示进行多播的结 构链路故障信号通知单元。结构链路故障信号通知单元由第1级交换机响应于接收到链路 故障的指示(包括来自结构端点的那些)而生成。结构链路故障信号通知单元可以为故障通 知单元342的示例实例。对于FE-F1类型或F1-F2类型链路错误，第1级交换机可以将故障 信号通知到所有受影响的第3级交换机。针对该实例，单元头451的字段可以如下设置：
[0118] F1_T0_F3单元类型指示单元已经通过由源标识符460中的F1_ADDRESS标识的第1 级交换机发送并且要由末级交换机消耗。该末级交换机由目的地标识符458中的F3_ ADDRESS标识。数据有效载荷464可以包括指示故障是结构链路故障、标识具有故障的结构 链路的类型的数据并且可以标识故障结构平面。该故障结构平面将不同于在平面标识符 462中标识的结构平面。数据有效载荷464中的数据还可以标识针对F1-F2链路错误的第2 级交换机地址。
[0119] 在另一示例实例中，数据单元450是从末级交换机到结构端点的结构端点故障信 号通知中继单元。该实例可以为故障通知单元308的示例实例。这些结构端点故障信号通知 中继单元由末级交换机响应于接收到自查验超时错误的指示而生成。接收到该指示的末级 生成结构端点故障信号通知中继单元并将其散布到连接到其的每个结构端点。针对该实 例，单元头451的字段可以如下设置：
[0121] 数据有效载荷464可以包括指示故障是自查验超时错误的数据，并且可以标识故 障结构平面。该故障结构平面将不同于在平面标识符462中所标识的结构平面。
[0122] 在另一示例实例中，数据单元450是从末级交换机到结构端点的结构端点故障信 号通知单元。该实例可以为故障通知单元342的示例实例。这些结构端点故障信号通知中继 单元由末级交换机响应于接收到F2-F3链路错误的指示而生成。接收到该指示的末级生成 结构端点故障信号通知中继单元并将其散布到连接到其的每个结构端点。针对该实例，单 元头451的字段可以如下设置：
[0125] 数据有效载荷464可以包括指示故障是结构链路故障、标识具有故障的结构链路 的类型的数据并且可以标识故障结构平面。该故障结构平面将不同于在平面标识符462中 所标识的结构平面。数据有效载荷464中的数据还可以标识针对F2-F3链路错误的第2级交 换机地址。
[0126] 图10是图示了本文中描述的技术的示例可以被实施在其中的具有数据中心510的 示例网络508的方框图。总体上，数据中心510向通过服务提供商网络507耦合到数据中心的 客户511提供针对应用和服务的操作环境。数据中心510可以例如托管基础设施设备，例如 联网和存储系统、冗余电源和环境控制。服务提供商网络507可以耦合到由其他提供商管理 的一个或多个网络，并且可以因此形成大规模公共网络基础设施(例如，因特网）的部分。
[0127] 在一些示例中，数据中心510可以表示许多地理分布式网络数据中心中的一个。如 图10的示例中所图示的，数据中心510可以为向客户511提供网络服务的设施。客户511可以 为集体实体，例如企业和政府或个人。例如，网络数据中心可以托管若干企业和终端用户的 网络服务。其他示范性服务可以包括数据存储、虚拟专网、交通工程、文件服务、数据挖掘、 科学计算或超计算等。在一些实施例中，数据中心510可以为单个网络服务器、对等网络或 其他。
[0128] 在该示例中，数据中心510包括通过由物理网络交换机和路由器中的一个或多个 层提供的高速交换结构514互连的存储系统和应用服务器512A-512X(本文中为服务器 512）的集合。服务器512提供针对与客户511相关联的应用和数据的运行和存储环境并且 可以为物理服务器、虚拟机或它们的组合。在一些示例中，服务器512能够均为或表示例如 虚拟网络、局域网(LAN)、广域网(WAN)和/或存储区域网络(SAN)，并且均能够包括一个或多 个有线之间的点对点连接性的第二层(L2)和第 三层(L3)交换和路由部件，交换结构由控制器522控制。在一个示例中，交换结构514包括实 施工业标准协议的相互连接的高性能的且现成的基于分组的路由器和交换机的集合。在一 个示例中，交换结构514可以包括提供在以太网（IPoE)点对点连接性上的因特网协议（IP) 的现成部件。交换结构514可以基于单元(固定长度或可变长度)的或基于分组。
[0130] 如图10中所示出的，边缘设备517处在数据中心510的边缘并且表示到服务器512 的网关。数据中心510的交换结构514是用于在边缘设备517之间交换数据单元的多级交换 机结构。在一些示例中，交换结构514能够由一个或多个多级交换机(未示出）定义，每个多 级交换机包括一个或多个交换结构。在一些示例。
