基于无中心对等网架构的数流控制系统

2021-11-15
分享

基于无中心对等网架构的数流控制系统由友友天宇公司完全自主研发,支持大规模分布式应用系统各组成部分之间的底层网络数据传输和广域分布式协同。能够保证在复杂网络环境下数据传输的高性能和高可靠,支持在分布式环境下各软件模块之间的复杂事件驱动、处理以及协同。

成果名称:基于无中心对等网架构的数流控制系统

成果单位:北京友友天宇系统技术有限公司

image.png

一、技术挑战

云和大数据的出现催生了新一代的信息革命,分布式架构的出现,彻底颠覆了几十年 IT 发展的传统理念,企业的信息化建设,也越来越依赖分布式。分布式架构是利用网络将更多的存储资源、计算资源凝聚到一起,以“集中力量办大事”的思路为云和大数据技术的发展提供更强支撑。而这其中最大的问题就是网络的问题,如何在分布式网络环境下实现数据的高效、可靠传输,如何在分布式网络环境下实现软、硬件资源的智能协同来从而进行高效工作,这些就成为现阶段分布式架构所面临的最大挑战。

二、核心价值

基于无中心对等网架构的数流控制系统由友友天宇公司完全自主研发,曾作为中国网信领域核心技术突破之一入选十九大“砥砺奋进的五年”大型成就展,支持大规模分布式应用系统各组成部分之间的底层网络数据传输和广域分布式协同。能够保证在复杂网络环境下数据传输的高性能和高可靠,支持在分布式环境下各软件模块之间的复杂事件驱动、处理以及协同。基于无中心架构设计以及逻辑地址机制,数据控制系统具备高可扩展性,并且提供支持强一致性的群组通讯等复杂网络通讯能力。

image.png

三、技术创新

1、逻辑地址:实现虚拟网络,通过构建远大于 TCP/IP 的 256 位网络寻址能力以及上层应用对底层逻辑地址的映射,让网络通讯可以凌驾于TCP/IP 及其他各种网络协议之上,并且实现底层网络变化或故障时对上层业务完全无影响。

2、智能组网:一是自组网能力,任何一个成员在加入网络后,能够自动融入网络,并正常开展工作,无需其他冗余的配置;二是多链路的自发现和自适应,当某段网络发生故障,可以自动寻找新的畅通的路径,保证数据的可靠传输,同时能够自动计算出当前网络环境下两点之间的最优传输路径,保证网络利用的高效性。

3、虚拟时钟:实现网络获取消息的绝对顺序性,虚拟时钟是群组内自有的逻辑时钟,不依赖于任何物理时钟,让群组成员具有绝对一致的时间观念,通信消息依据虚拟时钟进行排序,保证数据传输的绝对顺序性。

4、动态选举:实现整个环境的完全无中心化部署,当群组内绝大多数节点被摧毁的恶劣情况下,其余剩余节点依然能够快速重新组成能够正常工作的网络,对外继续提供服务,保障群组运行不受影响。

5、拓扑重构:实现网络上多成员交互达成共识效率的大幅提升,通过对网络拓扑结构的重构,大幅降低成员间基于通信形成共识的复杂度,将传统在可控时间内最大支持数十个单元的协同共识提升至数万甚至数十万个单元之间的近实时协同共识。

6、鲁棒协议:在不可靠通信链路之上对接鲁棒通信协议,使之转化为可靠通信链路,从而实现可靠数据传输,如在物联网的MQTT 协议、互联网的 UDP 协议等不可靠网络协议之上叠加鲁棒协议,就使通信链路变成了具备可靠协议的通信链路,同时能够保证数据的可靠传输。

image.png

四、应用场景

目前已在多个国家部委、公安机关、金融机构、通信运营商以及北斗、电网等关键信息基础设施领域得到使用,部署数据中心超过1000个、服务器节点超过10万台、终端设备超过百万台,支撑数千个业务系统,承载数据量超过EB级。已成为北斗、电网等多个国家关键信息基础设施的重要支撑,成为解决在当前复杂网络环境下保障网络可靠畅通及广域分布式协同的关键支撑产品。