多源异构数据融合方法(多源异构)

随着计算机技术在电力行业的发展,电力行业出现了大量的专业化信息系统,贯穿于发电、输电、变电、配电、用电各个环节,各专业系统在各自的领域发挥着重要的作用,在国家电网公司的系统内, 1^31^、013、智能配电网监控平台在电气信息采集等系统中分别广泛应用于运输检测、调度、营销等领域,积累了大量的数据资源,分别通过数据中心进行数据的

但是,各专业信息系统所处的领域不同,关注的业务有很大差异,原始数据源不统一,数据存储结构多样化,因此同一电网设备在不同的信息系统中编码、类型、名称、关联关系等数据结构上存在很大差异不能全面查询和统计空间信息等数据,不能多维度诊断和统计地区电网的状况

[0004]电网规划工作具有数据源多、数据量大、统计维度多等特点,科学合理的电网规划基础是综合融合、统一管理各层次、各维度的海量数据信息,挖掘有效信息,提高电网规划质量和效率为了支持电网规划诊断分析、负荷分析预测、电网模拟计算、能源电力供需、经济技术评价等业务的开展,需要综合融合各系统共享的多种异构数据,包括设备数据库、运行数据库、图形数据库、仪表

[0005]受限于海量数据的检索处理效率,传统的数据集成融合方式主要依赖于管理手段,协调各数据管理部门以手动应对的方式实现库存数据的关联融合,整合各数据管理部门的业务流程实现增量数据的关联融合。 该方式可以实现数据融合,但一个是电网设备体积大,数据处理工作繁杂,需要大量劳动力。 二是各数据管理部门人员对其他部门的数据模型、业务流程不熟悉,数据相关错误率高,相关效率低。 第三,各部门业务流程整合难度大,各部门数据接口有变更升级时,数据整合总线必须频繁更新升级,提高了各部门业务流程的复杂度。

问题的分割

方法是多源数据访问; 元数据存储; 设备的统一建模和数据提取; 模型适合度的计算; 多源数据的集成。 系统主要包括多源数据访问、元数据存储、设备统一建模与数据提取、模型一致性计算与多源数据融合5个模块。 本发明通过深入分析多源系统数据,构建包含各源系统数据的统一模型,通过模型扫描比对计算模型间的匹配度,根据匹配度的状况进行自动关联,实现90%以上的数据自动综合融合,从而实现数据的详细和具体的

解决问题

1.% E3 % 83 % 9e % E3 % 83 % AB % E3 % 81 % E3 % 82 % BD % E3 % 83 % BC % E3 % 82 % B9 % E3 % 87 % E3 % 83 % BC % % E3 % 81 % AE % E6 % 8a % 80 % E8 % A1 % 93 % E7 % 9a % E6 % 89 % 89 % E6 % AE6% B5 % E3 % 82 % E7 % 94 % A8 % E3 % 81 % E9 % 9d % 9e % E6 % A7 % 8b % E9 % 80 % E5 % 8c % 96 % E3 % 83 % 87 % E3 % 83 % BC % E3 % 82 % BF % E3 % 80 % 81 % E1 % 3 % 83 % ab % E3 % 82 % BF % E3 % 82 % A4 % E3 % 83 % A0 % E3 % 87 % E3 % 83 % BC % E3 % 82 % BF % E3 % 81 % E3 % 81 % E3 % 81 % 81 % E3 % 83 % 87 % E3 % 83 % BC % E3 % 82 % BF % E3 % 81 % B8 % E3 % 81 % AE % E3 % 82 % A2 % E3 % 82 % AF % E3 % 82 % BB % E3 % 92 % E5 % 90 % AB % E3 % 82 % E3 % 81 % E3 % 81 % A8 % E3 % 82 % 92 % E7 % 89 % B9 % E5 % B4 % E3 % 81 % A8 % EE 3 % 87 % E3 % 83 % AB % E3 % 81 % AB % E5 % 9F % BA % E3 % 81 % A5 % E3 % 81 % 8f % E3 % 82 % B0 % E3 % 83 % AA % E3 % 83 % 83 % 83。 % 83 % 87 % E3 % 83 % BC % E3 % 82 % BF % E8 % 9e % 8d % E5 % 90 % 88 % E6 % 96 % B9 % E6 % B3 % 95 % EF % BC % 9B % 20 % E3 % BC % E3 % 82 % B 8: % E3 % 81 % AF % E3 % 81 % E5 % 90 % 84 % E7 % A8 % A8 % AE3% 83 % E3 % 83 % BC % E3 % 82 % BB % E3 % 81 % AB % E5 % BE % 93 % E3 % 81 % A3 % E3 % 81 % A6 % E6 % A8 % 99 % E6 % BA % 96 % E5 % 8C % 96 % E3 % 95 % E3 % E3 % 99 % E3 % 82 % 82 % 8b % EF % BC % 9b % 20 % E8 % A8 % AD % E5 % 89 % E3 % 81 % AE7% B5 % B1 % B8 % 80 % E3 % A3 % A3 % 6 % 8a % BD % E5 % 87 % BA : % E3 % 81 % AF % E3 % 81 % E3 % 83 % 87 % E3 % 83 % BC % E3 % 82 % BF % E3 % 81 % AE % E8 82 % BF % E3 % 82 % A4 % E3 % 83 % 97 % E3 % 81 % E9 % 9b % BB % E5 % 9c % A7 % E7 % AD % 89 % E7 % B4 % 9A % E7 % AF % 87 % 5 % A0 % B1 % E3 % 82 % E7 % A2 % BA % E5 % AE % 9a % E3 % 81 % 97 % E3 % 81 % E7 % B1 % B1 % E4 % B8 % 80 % E3 % 81 % E3 % 83 % BC % E3 % 82 % BF % E3 % 81 % AE % E7 % B1 % B1 % B8 % B8 % 80 % E3 % 83 % A2 % E3 % 87 % E3 % AB % E3 % BD % E5 % 87 % BA % E3 % 81 % A8 % E7 % A7 % E5 % 90 % 88 % E8 % A8 % 88 % E7 % AE 9.7 % E7 % E3 % 82 % E8 % A1 % 8C % EE 7 % AE % 97 % E5 % 87 % BA : % E3 % 81 % AF % E3 % 81 % E3 % 83 % 9e % E3 % 83 % AB % E3 % 83 % 81 % E3 % 82 % BD % E3 83 % A2 % E3 % 83 % 87 % E3 % 83 % AB % E3 % 81 % AB % E5 % 9f % BA % E3 % 81 % A5 % E3 % 81 % 84 % E3 % 81 % A6 % E9 % 99 % 99. 8 % a1 % 8c % E3 % 81 % 84 % E3 % 80 % E7 % B5 % B1 % B8 % B8 % 80 % E3 % E3 % A2 % E3 % 83 % E3 % 83 % AB % E4 % B8 % E7 % A8 % AE % E9 % A1 % 9e % E3 % 81 % AE % E6 % A9 % 9f % E5 % 99 % A8 % E3 % 82 % 92 % E7 % B4 % E5 % 88 % E5 % E5 % 84 % E7 % A8 % AE % E9 % A1 % 9e % E3 % 81 % AE % E5 % B1 % 9e % E6 % 80 % A7 % E3 % 81 % 8c % E4 % B8 % 80 % E8 % 87 % B4 % EE 0 % 88 % E5 % BA % A6 % E3 % 81 % 8C 80 % 25 % E4 % B5 % E4 % B8 % 8A % E3 % 81 % A7 % E3 % 81 % E3 % 82 % 8c % E3 % % 88 % E5 % BA % A6 % E3 % 81 % 8C 60 % 80 % E3 % 81 % A7 % E3 % 81 % 82 % E3 % 82 % 83 % 81 % B0 % E3 % 82 % AF E3 % 81 % 8c 60 % 25 % E6 % 9c % AA % E6 % BA % 80 % E3 % 81 % A7 % E3 % 81 % 82 % E3 % 82 % 8c % E3 % 81 % B0 % E3 % 82 % AF % 7 % 89 % B9 % E5 % B4 % E5 % B1 % 9e % E6 % 80 % A7 % E3 % 81 % AE9% 81 % 95 % E3 % 81 % 84 % E3 % 82 % 92 % E8 % A8 % BD % E3 % 83 % BC % E3 % 82 % B9 % E3 % 87 % E3 % 83 % BC % E3 % 82 % BF % E8 % 9e % 8d % E5 % 90 % 88: % E3 % 81 % ab % E5 % af % be % E3 % 81 % 97 % E3 % 81 % A6 % E7 % 9b % B4 % E6 % 8e % A5 % E9 % 96 % A2 % E9 % 80 % E3 % E9 % 96 % A2 % E6 % E2。 3 % 82 % a4 % E3 % 83 % 97b % E3 % 81 % AE % E3 % 87 % E3 % 83 % BC % E3 % 82 % BF % E3 % 81 % AB % E3 % 81 % A4 % E3 % 83 % 83 % 83 % 83 %的人8 % E5 % AF % BE % E5 % BF % 9c % E3 % 84 % E3 % BC % E3 % 83 % AB % E3 % 82 % 92 % E9 % 96 % 8B % E7 % 99 % BA % E3 % B3 % E8 % A8 % A8 % AD % E5 % 82 % E3 % 81 % AE % E8 % 9e % 8d % E5 % 90 % 88 % E8 % A8 % 98 % E9 % B2 % E3 % 80 % 81 % 83 % 85 % E3 % 81 % AB % E5 % 9f % BA % E3 % 81 % E5 % E3 % 84 % E3 % 81 % A6 % E6 % 89 % 8b % E5 % 95 % E3 % 81 % A1 % 3 % 82 % 8b % EF % BC % 9b % 20 % E5 % AF % E5 % BF % 9c % E3 % 81 % 99 % E3 % 82 % 82 % E3 % 82 % AF % E3 % 83 % A9 % E3 % E3 1 % 8c % E3 % 81 % AE % E5 % BD % E2 % E3 % 81 % A7 % E3 % 82 % BD % E3 % 83 % BC % E3 % 82 % B9 % E3 % 82 % B7 % E3 % 82 % B9 % B9。

述统一模型包括逻辑模型、拓扑模型和特征模型, 所述逻辑模型为以高电压等级变电站为根节点,按设备类型分类为分支,10kV配变为 叶子节点的树形数据结构,做为各业务系统电网设备的逻辑模型; 所述拓扑模型为以电气接线关系、地理接线关系拓扑图,以及电压等级由高到底、设备 类型统一的拓扑模型有向图数据结构,做为各业务系统电网设备的拓扑模型; 所述特征模型为根据设备共有属性信息提取设备特征模型线性结构,对设备类型进行 统一编码,每个设备类型建立独立的对象模型,以数据源系统代码、ID、设备名称、设备类 型、电压等级共有属性为基类,以每类设备特有属性为子类的特征模型。

5. 根据权利要求4所述的一种基于多元异构模型的电网多源数据融合方法,其特征是, 所述模型匹配度计算的具体过程为: 通过对逻辑模型树形数据结构的广度优先遍历算法实现树节点逐个设备聚焦; 在确保根节点已对应的情况下,对各系统中的逻辑模型进行横向匹配,计算各节点包 含下级节点数量,并做为相应节点的属性; 通过有向图的拓扑排序算法计算拓扑模型中节点的前驱及后续节点关系,首先在有向 图中选取一个没有前驱的顶点,将其输出从有向图中删除该顶点,并且删除以该顶点为尾 的所有有向图的边;重复以上的步骤,直到图中的所有顶点均输出或是图中的顶点均没有 前驱为止,确立该节点的上下文在各源系统模型中是否一致; 在对设备聚焦的基础上,通过各系统中特征模型中的属性信息,对每类设备进行细化 匹配,各类属性一致的设备相互匹配度大于80%则记为A类、相互匹配度为60%〜80 %记为 B类、相互匹配度小于60%则记为C类,并记录设备特征属性的差异。

6. —种基于多元异构模型的电网多源数据融合系统,其特征是,包括: 多源数据接入模块,用以采用多种技术手段进行结构化数据、非结构化数据、海量历 史/准实时数据和电网空间数据的接入; 元数据存储模块,用以对各类数据按照统一数据规范进行标准化格式存储; 设备统一建模及数据提取模块,用以确定并统一需要进行数据融合的设备类型、电压 等级范围和业务领域信息,建立统一模型,并进行数据提取和比对计算; 模型匹配度计算模块,用以根据多源数据的统一模型进行设备匹配度计算,通过统一 模型中的属性信息对每类设备进行细化匹配,各类属性一致的设备相互匹配度大于80%则 记为A类、相互匹配度为60 %〜80 %记为B类、相互匹配度小于60 %则记为C类,并记录设备 特征属性的差异; 多源数据融合模块,用以对于A类数据直接建立关联关系;对于B类数据则开发数据融 合对应工具,用户再次根据设备的融合记录、推荐对应设备及实际情况手动建立关联关系; 对应C类数据则以问题的形式反馈至源系统进行数据修补,修补完成后再根据修补增量实 现自动关联。

7. 根据权利要求6所述的一种基于多元异构模型的电网多源数据融合系统,其特征是, 所述的多源数据包括实时数据、经常变化的结构化数据、基本不会变化的结构化数据和非 结构化数据; 所述的多源数据接入模块包括: 实时数据接入模块,用以通过Kafka分布式消息队列将实时数据接入大数据平台; 经常变化的结构化数据写入模块,用以通过ETL工具Kettle、增量捕获工具将经常变化 的结构化数据写入大数据平台的分布式关系型数据库中; 基本不会变化的结构化数据写入模块,用以通过Sqoop工具将基本不会变化的结构化 数据写入大数据平台的分布式非关系型数据库和分布式文件系统中; 非结构化数据写入模块,用以通过Flume工具将非结构化数据直接写入大数据平台的 分布式文件系统。

8. 根据权利要求7所述的一种基于多元异构模型的电网多源数据融合方法,其特征是, 所述的设备类型包括至少变电站、主变、线路、配变和开关,所述的电压等级范围为500kV〜 10kV,所述的业务领域包括台账信息、运行信息、空间信息和规划信息。

9. 根据权利要求7所述的一种基于多元异构模型的电网多源数据融合方法,其特征是, 所述统一模型包括逻辑模型、拓扑模型和特征模型, 所述逻辑模型为以高电压等级变电站为根节点,按设备类型分类为分支,10kv配变为 叶子节点的树形数据结构,做为各业务系统电网设备的逻辑模型; 所述拓扑模型为以电气接线关系、地理接线关系拓扑图,以及电压等级由高到底、设备 类型统一的拓扑模型有向图数据结构,做为各业务系统电网设备的拓扑模型; 所述特征模型为根据设备共有属性信息提取设备特征模型线性结构,对设备类型进行 统一编码,每个设备类型建立独立的对象模型,以数据源系统代码、ID、设备名称、设备类 型、电压等级共有属性为基类,以每类设备特有属性为子类的特征模型。

10.根据权利要求9所述的一种基于多元异构模型的电网多源数据融合方法,其特征 是,所述模型匹配度计算模块包括: 逻辑模型计算模块,用以通过对逻辑模型树形数据结构的广度优先遍历算法实现树节 点逐个设备聚焦,以及在确保根节点己对应的情况下,对各系统中的逻辑模型进行横向匹 配,计算各节点包含下级节点数量,并做为相应节点的属性; 拓扑模型计算模块,用以通过有向图的拓扑排序算法计算拓扑模型中节点的前驱及后 续节点关系,首先在有向图中选取一个没有前驱的顶点,将其输出从有向图中删除该顶点, 并且删除以该顶点为尾的所有有向图的边;重复以上的步骤,直到图中的所有顶点均输出 或是图中的顶点均没有前驱为止,确立该节点的上下文在各源系统模型中是否一致; 特征模型计算模块,用以在对设备聚焦的基础上,通过各系统中特征模型中的属性信 息,对每类设备进行细化匹配,各类属性一致的设备相互匹配度大于8〇 %则记为A类、相互 匹配度为60%〜80%记为B类、相互匹配度小于6〇%则记为C类,并记录设备特征属性的差 异。

快三大小单双计划qq群% B9 % E3 % 82 % B7 % E3 % 82 % B9 % B9。

述统一模型包括逻辑模型、拓扑模型和特征模型, 所述逻辑模型为以高电压等级变电站为根节点,按设备类型分类为分支,10kV配变为 叶子节点的树形数据结构,做为各业务系统电网设备的逻辑模型; 所述拓扑模型为以电气接线关系、地理接线关系拓扑图,以及电压等级由高到底、设备 类型统一的拓扑模型有向图数据结构,做为各业务系统电网设备的拓扑模型; 所述特征模型为根据设备共有属性信息提取设备特征模型线性结构,对设备类型进行 统一编码,每个设备类型建立独立的对象模型,以数据源系统代码、ID、设备名称、设备类 型、电压等级共有属性为基类,以每类设备特有属性为子类的特征模型。

5. 根据权利要求4所述的一种基于多元异构模型的电网多源数据融合方法,其特征是, 所述模型匹配度计算的具体过程为: 通过对逻辑模型树形数据结构的广度优先遍历算法实现树节点逐个设备聚焦; 在确保根节点已对应的情况下,对各系统中的逻辑模型进行横向匹配,计算各节点包 含下级节点数量,并做为相应节点的属性; 通过有向图的拓扑排序算法计算拓扑模型中节点的前驱及后续节点关系,首先在有向 图中选取一个没有前驱的顶点,将其输出从有向图中删除该顶点,并且删除以该顶点为尾 的所有有向图的边;重复以上的步骤,直到图中的所有顶点均输出或是图中的顶点均没有 前驱为止,确立该节点的上下文在各源系统模型中是否一致; 在对设备聚焦的基础上,通过各系统中特征模型中的属性信息,对每类设备进行细化 匹配,各类属性一致的设备相互匹配度大于80%则记为A类、相互匹配度为60%〜80 %记为 B类、相互匹配度小于60%则记为C类,并记录设备特征属性的差异。

6. —种基于多元异构模型的电网多源数据融合系统,其特征是,包括: 多源数据接入模块,用以采用多种技术手段进行结构化数据、非结构化数据、海量历 史/准实时数据和电网空间数据的接入; 元数据存储模块,用以对各类数据按照统一数据规范进行标准化格式存储; 设备统一建模及数据提取模块,用以确定并统一需要进行数据融合的设备类型、电压 等级范围和业务领域信息,建立统一模型,并进行数据提取和比对计算; 模型匹配度计算模块,用以根据多源数据的统一模型进行设备匹配度计算,通过统一 模型中的属性信息对每类设备进行细化匹配,各类属性一致的设备相互匹配度大于80%则 记为A类、相互匹配度为60 %〜80 %记为B类、相互匹配度小于60 %则记为C类,并记录设备 特征属性的差异; 多源数据融合模块,用以对于A类数据直接建立关联关系;对于B类数据则开发数据融 合对应工具,用户再次根据设备的融合记录、推荐对应设备及实际情况手动建立关联关系; 对应C类数据则以问题的形式反馈至源系统进行数据修补,修补完成后再根据修补增量实 现自动关联。

7. 根据权利要求6所述的一种基于多元异构模型的电网多源数据融合系统,其特征是, 所述的多源数据包括实时数据、经常变化的结构化数据、基本不会变化的结构化数据和非 结构化数据; 所述的多源数据接入模块包括: 实时数据接入模块,用以通过Kafka分布式消息队列将实时数据接入大数据平台; 经常变化的结构化数据写入模块,用以通过ETL工具Kettle、增量捕获工具将经常变化 的结构化数据写入大数据平台的分布式关系型数据库中; 基本不会变化的结构化数据写入模块,用以通过Sqoop工具将基本不会变化的结构化 数据写入大数据平台的分布式非关系型数据库和分布式文件系统中; 非结构化数据写入模块,用以通过Flume工具将非结构化数据直接写入大数据平台的 分布式文件系统。

8. 根据权利要求7所述的一种基于多元异构模型的电网多源数据融合方法,其特征是, 所述的设备类型包括至少变电站、主变、线路、配变和开关,所述的电压等级范围为500kV〜 10kV,所述的业务领域包括台账信息、运行信息、空间信息和规划信息。

9. 根据权利要求7所述的一种基于多元异构模型的电网多源数据融合方法,其特征是, 所述统一模型包括逻辑模型、拓扑模型和特征模型, 所述逻辑模型为以高电压等级变电站为根节点,按设备类型分类为分支,10kv配变为 叶子节点的树形数据结构,做为各业务系统电网设备的逻辑模型; 所述拓扑模型为以电气接线关系、地理接线关系拓扑图,以及电压等级由高到底、设备 类型统一的拓扑模型有向图数据结构,做为各业务系统电网设备的拓扑模型; 所述特征模型为根据设备共有属性信息提取设备特征模型线性结构,对设备类型进行 统一编码,每个设备类型建立独立的对象模型,以数据源系统代码、ID、设备名称、设备类 型、电压等级共有属性为基类,以每类设备特有属性为子类的特征模型。

10.根据权利要求9所述的一种基于多元异构模型的电网多源数据融合方法,其特征 是,所述模型匹配度计算模块包括: 逻辑模型计算模块,用以通过对逻辑模型树形数据结构的广度优先遍历算法实现树节 点逐个设备聚焦,以及在确保根节点己对应的情况下,对各系统中的逻辑模型进行横向匹 配,计算各节点包含下级节点数量,并做为相应节点的属性; 拓扑模型计算模块,用以通过有向图的拓扑排序算法计算拓扑模型中节点的前驱及后 续节点关系,首先在有向图中选取一个没有前驱的顶点,将其输出从有向图中删除该顶点, 并且删除以该顶点为尾的所有有向图的边;重复以上的步骤,直到图中的所有顶点均输出 或是图中的顶点均没有前驱为止,确立该节点的上下文在各源系统模型中是否一致; 特征模型计算模块,用以在对设备聚焦的基础上,通过各系统中特征模型中的属性信 息,对每类设备进行细化匹配,各类属性一致的设备相互匹配度大于8〇 %则记为A类、相互 匹配度为60%〜80%记为B类、相互匹配度小于6〇%则记为C类,并记录设备特征属性的差 异。

Published by

风君子

独自遨游何稽首 揭天掀地慰生平

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注