摘要
随着物联网、互联网+时代的到来，尤其是泛在电力物联网建设的推进，电网数据也呈现出海量、多样性等趋势，挖掘电网数据价值，助力电网服务水平的提升，拓展电网数据的创新应用，成为国网公司的核心引擎及新增长极。在介绍泛在电力物联网的基础上，阐述了电网数据的特征，并提出了泛在电力物联网大数据分析平台架构，探讨了关键技术，最后介绍了泛在电力物联网大数据的潜在应用。
1 泛在电力物联网
近年来，随着国家高科技战略转型的落地，对能源的消耗尤其是电能的消耗越来越多，对供电可靠性要求更高，接入设备的类型以及数量越来愈多，电网变得越来越复杂，管理成本激增。同时随着互联网经济、数字经济的兴起，以及电力市场的逐步开放，对传统电力行业带来了巨大的挑战。
为了应对挑战，建设具有全球竞争力的世界一流能源互联网企业，中国国家电网集团公司（下称国网公司）在2019年全面推进“三型两网”建设，强调“泛在电力物联网”。“泛在”指代任何人、任何物在随时、随地地进行信息链接和交互，“电力”指代电网、电网数据为核心，其是广义物联网在电力行业中的具体表现形式与落地，其不仅是技术的更新，更是管理方法的提升和管理理念的创新，其连通电网内外，实现电网新业务创新和服务转型。在国网中的定义如下 “泛在电力物联网将电力用户及其设备，电网企业及其设备，发电企业及其设备，供应商及其设备，以及人和物连接起来，产生共享数据，为用户、电网、发电、供应商和政府社会服务；以电网为枢纽，发挥平台和共享作用，为全行业和更多市场主体创造更大机遇，提供价值服务。”
随着云计算、物联网和互联网+时代的到来，电网数据也呈现出海量、多样性等趋势，挖掘电网数据价值，助力电网服务水平的提升，拓展电网数据的创新应用，成为国网公司的核心引擎及新增长极。国网现有的大数据应用包括低压故障预警与研判、用户全息画像、用电行为分析、电力供给需求侧关联分析预测等业务。而泛在电力物联网进一步打通了运检、营销、调度和供指等专业平台之间数据流、业务流的交互通道，全面实现业务流和数据流融合，实现电网数据的全“感知”，促进并开展创新业务。本文开展泛在电力物联大数据分析平台架构、关键技术及其应用的分析与研究，能够为泛在电力物联网大数据平台的设计提供理论支持和技术积累。
本文首先介绍了大数据的概念及其特点，然后给出了泛在电力物联网大数据的概念及其特点，接下来介绍了物流大数据分析平台的架构并分析了其中的关键技术，最后举例说明了泛在电力物联网大数据的典型应用。
2 泛在电力物联网数据源
电力物联网数据源具备多源异构性、数据时间粒度离散、地理空间及业务空间跨度大、隐私保护及数据安全性要求高等特点，本章将深入分析泛在电力物联网数据源的特点，为泛在电力物联网大数据平台的搭建提供基础。
2.1 大数据及其特点
随着互联网与信息技术的发展，人们每天创造的数据成几何级数增长，譬如2018年全球的数据总量为35 ZB，全球数据的增长速度为每年40%左右，预计到2020年全球的数据总量将达到44 ZB。传统的关系型数据库和数据处理软件已经无法胜任海量数据存储及数据处理。
在这样的背景下，大数据成为学术界和工业界的研究及应用热点。大数据一词最早出现在Apache Nutch开源项目中，其对大数据定义为“对网络搜索索引进行更新而需要批量处理或分析的大量数据集 ”。在2011年，《Science》的“Dealing with Data”专刊中指出，大数据的发展和使用将会对社会的发展起到巨大推动作用，各个国家开始重视大数据的应用，大数据的研究开始蓬勃开展。自2012年以来，我国相继出台了一系列政策支持大数据的发展与应用，并于2015年在贵阳市建立起全球第一家大数据交易所，2018总书记在2018中国国际大数据产业博览会的贺信中指出：“把握好大数据发展的重要机遇，促进大数据产业健康发展，处理好数据安全、网络空间治理等方面的挑战，需要各国加强交流互鉴、深化沟通合作”，积极推进和部署国家大数据战略。国网公司早在2017年就提出“大云物移智链”信息化战略，大数据属信息化项工作的重要组成部分，在2018年电网中接入智能电表等各类终端5.4亿台（套），采集数据日增量超过60 TB，在配网运检、能耗管理、用户服务上提供了良好的支撑。
电力泛在物联网数据包括发、输、变、配、用、调度六大环节，从数据的来源可以简单将电网数据分为电网内部数据和电网外部数据。电网内部数据主要指来自于电网内部系统，如用采系统、营销系统、广域检测系统、生产管理系统、能量管理系统、客户服务系统、财务系统等数据。电网外部数据来源于GIS供应商、天气、授时、政府等外部服务数据。从数据变化的频率上，数据也可以分为动态数据和静态数据，动态数据主要包括运行数据、营销数据等，静态数据主要包括一些如CMDB的元数据等。泛在电力物理网大数据拥有volume（巨量数据）、varity（类型多样）、velcity（运算高效）、value（产生价值）的4V特性，其还有如下特点：
a）数据多源异构性。由于专业壁垒和历史原因，在泛在电力物联网中，同一份数据的来源存在多源性特点，比如用户数据可能来源于用户采集系统、电力营销系统、生产管理系统等。这些系统间的数据标准、数据内容存在较大差异性，同一个字段可能有不同的含义、精度、描述方式。如何有效地筛选并且清洗相关的数据，是构建泛在电力物联网大数据的基础。
b）数据时间粒度离散。电网常见数据既有用户采集系统（SCADA）这种“秒”粒度的数据，也有智能电表“分钟”粒度的数据，也有电气设备“小时/天”粒度的数据，甚至于某些监控系统的数据粒度达到“毫秒”级别。如何分析这些多维度、粒度离散的数据，找出这些数据的内在关联，进行数据关联挖掘分析，实现业务价值，是泛在电力物联网大数据建设的关键。
c）地理空间及业务空间跨度大。空间跨度大有2个方面内容，一方面是指电网空间跨度极大，基于地理数据（GIS）维度，如从西藏到上海，强调与电网规划、区域发展、综合能源网、需求响应之间的关系；另一方面，是指电网层级复杂，基于电网结构的电网空间维度，如从输电线、变电站到台区，最终用户智能表等，强调与电网运行、资产管理之间的关系。如何有效地对这些数据分层进行组织，利用好这些数据，是泛在电力物联网大数据建设的另一个关键。
d）隐私保护及数据安全性。部分电力大数据涉及到关系政务民生的重要数据（台区信息、用电数据），且留存有用户的敏感信息（户名、身份证号），数据敏感度高，需要有较高的安全防护要求，对于用户隐私的保护和合理使用提出了更高的要求。如何在保障用户隐私的情况下，安全存放、流转并使用相关的数据，是泛在电力物联网大数据的准绳。
3 泛在电力物联网大数据分析平台架构
目前，国内外已有不少基于开源的通用大数据分析平台，提供标准的大数据能力，同时国网公司在多年智能电网大数据平台的建设过程中也累积不少经验，本文结合两者，提出泛在电力物联网大数据平台可行的架构（见图1）。
图1 泛在电力物联网大数据平台业务架构
a） 数据接入层：适配各个数据源，根据定义好的统一模型与采集规则，完成数据的采集、清理、预处理工作。
b） 基础服务层：提供基本的大数据分析工具与编排工具，如流处理引擎、配置管理、规则引擎等。
c） 数据服务层：提供标准的数据分析服务、数据展现服务、数据监控服务、资源调度服务，同时标准化的业务数据在此层维护。用户可以根据自身的需求，通过相关的服务定义发布自己的业务。此外，数据服务层还对数据的访问进行控制。
d） 业务层：主要为大数据运行的具体业务，如用户全生命周期管理、配网监控、电动车分析等，不同业务可配置自己的数据仓库，相互独立，互不影响。
e） 展现层：提供Web、APP的访问，同时提供SDK和标准接口的方式，供外部系统调用。
f） 安全管理：主要包括用户管理、数据权限管理、业务功能权限管理等，可以为平台各个层级的接口和模块设定相关的权限，实现国网内部多层级、多角色融合的使用场景。
g） 系统管理：包括系统监控、日志管理，实现系统自维护和审计的需求。
4 泛在电力物联网大数据关键技术
基于以上分析，泛在电力物联网大数据分析平台的关键技术如下。
4.1 多源多时空维度数据处理技术
泛在电力物联网数据来源多样化，涉及静态、动态等处理需求不同的还是手机，且来源于不同的时间和空间。平台应该能支持同一的采集方式，将不同系统、不同格式、不同维度的数据集成到基于拓扑、关系、时序的同一数据模型中，通过对数据的抽取、清洗、融合，提高数据质量，最终为业务应用奠定良好的基础（见图2）。
图2 营配用数据一体分析
某小区营（营销）配（配电）用（用电）一体分析，涉及到小区内部智能电表、集中器、配电变压器、配电台区、营销以及外部数据，数据时间粒度横跨毫秒、秒、分钟、小时、天等。在配电台区这一层级，电网同步相量测量单元（PMU）数据与SCADA和智能电表数据融合可以用于分析多源数据融合状态估计，并分析PMU数据中P、Q、Um、Ua之间的关系。智能电表数据和温度等气象数据融合可以分析温度对系统有功功率和无功功率的影响，结合网损分析，可以做出更精准的负荷预测。在营销层面，针对单个用户，可以进行多时间尺度的用电行为分析，整合台区的用户型号，针对性地做出预测和规划，在保证电力服务质量的情况下有效地降低运行成本。
同时也可以按照地理空间维度对于小区、县供电公司、市电业局等维度进行统计分析和比较，找出地域和居民组成特征，更好地进行电网预警和巡检规划，有效降低运营成本。
4.2 适应电网大数据的数据解析技术
电网在运营过程中会产生海量的数据，这些数据通过数据挖掘与融合，通过多源数据的空间、时间冗余性可以很好地从全景上对电网进行还在展现，也可以对电网局部进行多角度、多层次、多模式的精确感知，有助于电网业务的顺利开展和新业务的发掘。
4.3 安全管控
泛在电力物联网涉及大量企业、个人的敏感信息，如身份证信息、户主信息、营业额信息，这些信息切实关系到企业的经济利益和人生安全，因此大数据平台应该有完善的安全管控体系（见图3）。
图3.泛在电力物联网大数据平台安全体系框架
首先，平台应有自己的使用规章和管理制度。其次，平台需要接入国网SG-I6000（国网信息通信一体化调度运行支撑平台）系统中，完成对系统运行指标和关键业务指标的监控。
平台安全框架从下往上分为3层，底层主要是安全策略的执行引擎，存储关于文件、数据库、缓存的安全控制策略以及执行引擎，根据用户访问请求读取相关的策略并且执行；此外，还包括SG-ISC（国网统一权限平台）的集成，完成对用户的统一认证、权限管理。中间层是安全管理服务层，实现大数据平台的多租户管理、数据权限管理以及日志和审计管理工作。顶层为安全接口层，包括独立安全策略接口、数据接口以及使用于移动环境的软件开发套件（SDK）包，其主要涉及的技术包括多租户与访问隔离技术、数据发布匿名保护技术、安全数据交易技术。
5 电力泛在物联网大数据的应用
经过多年的建设，国网公司逐步完善了电网大数据平台，参考各国研究与电科院各所的实际分析，智能电网大数据主要集中在3个方面：社会、政府和相关行业服务；电力用户服务；支持电网自身的放在和运营。2019年，国网在“泛在电力物联网建设大纲”中明确大数据平台/中心，作为内部业务和外部业务的支撑，涉及业务包括提升客户服务水平、提升企业经营绩效、提升电网安全经济运行、促进清洁能源消纳、打造智慧综合服务平台、培育发展信息业务、构建能源生态体系。
目前，电网大数据的建设已经取得了初步成效，并且围绕以上业务方向进行积极探讨，本章选择部分业务方向，对泛在电力物联网大数据平台的应用前景进行一些探讨。
5.1 虚拟电厂
随着国家大力推进绿色能源战略，光伏发电、风力发电获得了长足的发展，这些新能源供电系统并网后带来了一些问题。首先，大规模新能源系统并网后，其输出功率受自然条件影响较大，如风力一般网上电力较强、光伏晚上没有电力，对电网冲击较大，需要进行调峰和调度工作。其次，如果采用分布式供能系统，则会引起双向潮流问题、无功电压不稳问题。为了适应新能源的接入，国网公司大力推进虚拟电厂，是一种“源网荷储”系统，包含“电源、电网、负荷、储能”的整体电网解决方案，期望解决清洁能源消纳过程中电网波动性等问题，推进新能源产业的发展。
虚拟电厂的核心是电网供需侧协调的问题，是基于大数据的分析协调问题。在需求侧，预测用户负荷，聚合可控负荷，提高电网可调控容量占比，提升电网对新能源的接纳能力；在供给侧，将分布式新能源聚合成一个实体，通过协调控制、智能计量和源荷预测，解决分布式新能源接入成本高和无序并网的问题，提高分布式供电系统的接纳能力；同时，通过市场分析，搭配营销手段，以促进用户错峰用电，减少电网波动。大数据平台虚拟电厂控制中心业务如图4所示。
图4.大数据平台业务-虚拟电厂控制
首先，获取虚拟电厂范围内的各项数据，包括环境数据、设备运行数据、电网运行数据等。然后，通过大数据建模以及AI学习，对供给、需求以及储能站进行分析和预测。将预测结果与市场行情结合，撮合交易，促进供需协调，最终实现新能源的顺利入网。
5.2 智慧楼宇/智慧园区能源管理
国网公司在运营过程中，累积了大量的数据，具有一整套的电力能源并网、监控、计量、计费、交易、运维等业务流程和相关的支撑系统，在提供优质电网服务的同时，也开放自身能力、知识和平台，旨在为用户提供高价值的增值服务，如面向智慧楼宇/智慧园区的能源管理精细化服务。
作为楼宇或者园区的业主，目前能获取的包括园区总电表数据、分用户电表数据等，这些数据粒度较粗，而不能掌握专业的细粒度数据，且缺少对于专业数据的分析能力，造成园区的能耗管理相对比较粗犷，电力使用量大，运营成本较高。国网公司从智慧能源综合服务平台中，开放自身配用网监测能力，用电数据分析能力，结合大数据分析平台和已有知识，为业主提供一站式能耗管理方案（见图5）。
图5.智慧楼宇/园区能源管理
业主可以通过应用查看园区内电网设备的运行情况，监控电网质量和运行指标，并且能通过用电分析进行园区内部的用电分析。用电分析通过大数据平台完成对园区能耗、能效的评估，通过大数据计算与知识库，形成节能方案，并且督导节能方案的执行，最终评估节能效率，核算相关费用，实现用户能耗的优化，流程如图6所示。
图6.大数据平台业务-园区节能方案能耗计算流程
5.3 用户（用电）行为分析
传统的用户行为分析主要完成对用户的初步分类，通过用户类型典型数据以及已有的历史数据，对用户的用电行为进行预测，这种负荷预测相对偏差较大，对于电力设备需要预留更大的余量，无法提高设备利用率。而通过大数据平台，可以针对用户进行细粒度的用户画像和分类，引入预测影响因子，通过数据挖掘和分析深入精准地预测用户的负荷，有效提升设备的利用率，其具体的分析流程如图7所示。
图7.大数据平台业务-用户行为分析流程
用户行为分析的数据主要来源于用户采集系统、配网监测系统、营销系统、调度系统，汇聚相关的数据，通过及模糊算法、聚类算法、最小二乘法、回归方法等算法对于电力用户进行详细的分类。也可以采用逆向分析的方法，从营销已归类的用户特点出发，通过熵权法分析匹配现网数据的特点，验证分类正确性，并进一步对用户进行画像。国网公司可以针对不同的用户提供有针对性的服务，有效提升服务满意度。
在进行用户分析前，还需要引入影响因子，包括以下3类。
a） 用户影响因子，指用户因为自身原因导致对用电行为有较大的波动，这类因子可以根据用户的历史数据、用户提交的用电计划、用户经营情况进行分析计算。
b） 自然环境影响因子，指影响用户用电行为的环境因素，如温度、湿度、风力等，这些环境变量与用户的用电曲线进行融合与分析，可以恰当地筛选出受环境影响较大的用电行为。
c） 社会环境因子，主要包括节假日、重点事件和突发事件等，如春节、十一、两会、广交会等，除节假日外，突发事件与重点事件较多，因子的随机性和不确定性较大，需要对此类因子进行手动选择和筛选。
适用于电力行业的分析内容包括电力用户的分类及细分建模研究、电力用户用电负荷研究、电网设备状态预警与故障率预测、电价与激励下的电力用户响应行为研究等。在分析用户用电行为时，可结合负荷分析方法、聚类算法、负荷预测算法和回归方法等对数据进行分析研究，寻找数据间存在的联系与规律，建立不同负荷类型的用户模型，对用户用电行为进行全面分析预测，目前基于云计算的K-Means 算法是目前用户分析的主流算法。
最后，通过预测结果和实际用户用电数据的差异分析，调整迭代用户分类和分析模型，有助于更精准地完成用户负荷预测工作。