如何让大数据成为电力企业竞争的核心资本？

大数据时代下电力企业面临挑战我国原有电力企业实行垂直一体化管理，2000年后我国电力企业实行更全面更深刻的改革。就目前的现状来看，电力企业包括独立的发电厂、五大发电公司、两大独立核算的电网经营企业，以及电力建设公司等其他独立核算单位。基于目前我国电力企业的发展现状，大数据产生于电力企业的各个方面。在发电侧，随着数字化电厂的建成，海量的有关故障监控、设备运行状态等数据被各大电厂保留下来；在输电侧和配电侧，在输变电设备状态监测系统中，为了能对绝缘放电等状态进行诊断，最大程度减少线损，需存储和监控的数据量十分巨大；在用电侧，电力用户的个人信息、电价信息以及智能电网的发展、电动汽车充放电监测信息都会产生海量数据。

然而，大多数电力企业的数据库仅仅实现了数据存储、查询、统计等最基本层次的功能，无法深入挖掘出隐藏在海量数据背后潜在的价值。电力大数据时代下必将会对作为我国经济社会中存储电力运行信息知识、提供电力运行数据的电力企业带来巨大的影响。因此，深刻理解大数据的内涵，联系目前我国电力系统的发展以及电力系统数据存储、利用的现状就显得十分必要，这也为电力企业真正应对大数据时代下电力企业面临的挑战提供了相关的思考。收集数据电力大数据时代，电力企业数据来源不仅仅是企业内部的历史年度数据，还包括来自互联网和信息机构的各种数据。收集这些信息是要附上相应的时空标志，必要的时候要剔除无效数据，同时还应当尽可能收集不同数据来源、结构化程度不同的数据，并且做到尽可能和企业内部的历史数据相对照，以便于验证信息的可靠性和真实性，这对于电力企业来说，将是个不小的挑战。半结构化和结构化数据现代互联网应用呈现出非结构化和半结构化数据大幅度增长的特点。据不完全统计，这类数据占有比例已经达到整个数据量的75％以上。同时，由于数据网络化的存在，使得这类数据的复杂关系无处不在；另外，这类数据是以数据流的形式存在，数据价值化的体现与时间呈现明显的相关性，价值稍纵即逝。尽管目前计算机智能化有了很大进步，但还只能针对有结构或类结构的数据进行分析，谈不上深层次的数据挖掘。

分析数据网络背后的数据关系大量观测数据虽然可以映射出各种复杂的网络系统，但由于这些数据往往是孤立的数据点，映射出的数据网络难免片面，如何做好数据集成，使之成为一个完整的数据网络，这是值得思考的问题。以发电企业为例，单单考虑发电量数据，得到的仅仅是发电厂发电量单一方面的数据。然而，发电数据是与电压数据、线损数据、用户用电数据等相互联系的，如何利用模糊分析方法，考虑这些数据的参数关系，分析复杂网络之间的联系，对发电企业来说将是一个巨大的挑战。

另外，由于各个发电企业、供电企业没有统一对其专业化的信息系统进行建设，导致电力生产、销售各专业数据彼此独立，形成信息孤岛。为破除信息孤岛的数据壁垒，需要融合发电、输电、变电、配电、用电等多方面数据，这就需要考虑如何对各环节多数据进行融合。电力大数据时代下的数据挖掘技术在电力大数据时代下，大数据已成为电力企业进行决策的基础。但是，单纯数据的积累并不能给电力企业带来益处，只有运用相关的技术手段，对大量的数据进行深加工，发现隐含的信息并加以利用，进而指导电力企业做出正确的决策，这样电力大数据的作用才能发挥到极致。研究认为数据挖掘技术的运用将会在电力企业成本降低、电力市场开拓、电力系统安全运行等方面发挥重大作用。

因此，理解数据挖掘技术及其在电力企业中的应用就显得非常必要。数据挖掘技术数据挖掘技术是通过对海量数据进行建模，并通过数理模型对企业的海量数据进行整理与分析，以帮助企业了解其不同的客户或不同的市场划分的一种从海量数据中找出企业所需知识的技术方法。如果说云计算为海量分布的电力数据提供了存储、访问的平台，那么如何在这个平台上发掘数据的潜在价值，使其为电力用户、电力企业提供服务，将成为云计算的发展方向，也将是大数据技术的核心议题。电力系统是一个复杂的系统，数据量庞大，特别是在电力企业进入大数据时代后，仅仅是电力设备运行和电力负荷的数据规模就已十分惊人。因此，光靠传统的数据处理方法就显得不合时宜，而数据挖掘技术的实现为解决这一难题提供了新的出路。数据挖掘技术在电力系统负荷预测和电力系统运行状态监控、电力用户特征值提取、电价预测等方面有很好的应用前景。有关数据挖掘技术的思考我国电力市场化运行过程中，电力市场运行模式大体经历了垄断模式、发电竞价模式、电力转运模式，现在正在积极过渡到配电网开放模式。在这个过渡阶段，高质量的数据更是大数据发挥效能的前提，先进的数据挖掘技术是大数据发挥功效的必要手段。国际数据公司(InternationalDataCorporation，IDC)指出，在大数据时代下，新的数据类型与新的数据分析技术的缺失将是阻碍企业成为其行业领导者的重要因素。

该问题同样存在于电力企业中。但是，先进的数据挖掘技术只有在高质量的大数据环境下才能提取出隐含的、有用的信息，否则，即使数据挖掘技术再先进，在充满噪音的大数据环境中也只能提取出毫无意义“垃圾”信息。为此，电力企业为了应对电力大数据时代下数据质量对数据挖掘技术带来的挑战，应该考虑设立首席数据官(chiefdataofficer,CDO)，进行专门的数据管理工作，定义元数据标准，保证数据质量。国内一些企业目前只是设立了首席信息官（chiefinformationofficer，CIO），但是由于CIO只是技术专家，很难系统全面地开展数据挖掘工作，这就使得这些企业渐渐失去了充分利用大数据的优势。因此，传统的数据管理方式已经很难满足大数据时代下对数据质量的要求，在电力大数据时代下，如何提高数据的质量，电力企业任重道远。

大数据时代下电力企业数据挖掘技术的实现途径大数据时代下，由于数据信息量巨大，使得数据挖掘是知识的自发现过程。在无明显目标的情况下需要从不同的数据源获得数据，然后对数据进行预处理，并使用模糊识别等算法对数据进行挖掘分析。为此，中国人民大学网络与移动管理实验室开发出了一种采用面向领域的DeepWeb数据集成技术，进而实现对Web数据自动集成和处理。分析认为大数据时代下电力企业数据挖掘技术主要由数据收集、数据整理、数据管理、数据分析、数据展示等过程组成，整个过程如图所示。数据来源层实现大数据收集工作得益于移动设备、无线射频识别技术（radiofrequencyidentification，RFID）、互联网、自动记录系统等技术设备，数据来源层主要存放了电力企业内部大量的事务型数据，以及会对电力企业决策产生影响的外部性数据。同时，为了使所获得的数据更具代表性，电力企业要尝试收集不同数据源产生的数据，为数据挖掘的后续工作做好准备。

数据整理层在数据挖掘技术中的实现在数据整理过程中，由于数据源数据内容往往交叉，所以需要按照互动性对观测数据进行分类。同时，由于原始数据中有噪声数据、冗余数据及缺失数据等问题，需要对数据进行解析、清洗、重构，并填补缺失数据以提高待挖掘数据的质量。经过分类后数据被大致分为两大类：结构化数据、半结构化与非结构化数据。对于结构化数据，需要对其进行数据过滤，剔除无效数据以提高分析效率；对于半结构化和非结构化数据，需要按照一定的标准处理成机器语言或索引。例如，对电力用户评论、电力系统运行日志资料等数据，就需要转换成加权逻辑或是模糊逻辑，并将不同的词语映射到标准值上，形成企业统一的语言。数据管理层在数据挖掘技术中的实现通过数据整理层，将经过整理和转化的数据存储到电力数据仓库（datawarehouse，DW）中，由于不同的电力数据库储存标准不同，因此需要整合转化后才能储存到数据仓库中，这里就需要对数据仓库进行重新设计。

经过重新设计的数据仓库，可以根据不同的主题设计不同的属性集，从而减少数据处理量；针对不同的主题数据库，可以采取粗糙集的属性归约算法删除数据中的冗余信息，得到精简的数据集；然后将决策树所表示的数据集表示为IF-THEN的分类规则知识，并储存在规则知识库中；如果有新数据样本需要处理，可以按照一定的规则算法进行识别匹配，从而进行综合评价。数据分析层在数据挖掘技术中的实现经过数据管理层处理的数据，可以通过联机分析处理技术(on-lineanalyticalprocessing，OLAP)来支撑复杂的决策分析过程，从而将数据转化成为辅助决策的信息。鉴于电力企业对数据实时性要求很高，可以将电力企业的数据分为实时性数据和非实时性数据进行分类处理。针对非实时性数据，可以考虑基于分布式文件系统(distributedfilesystem，DFS）和MapReduce技术的云计算来进行处理；也可以基于Hadoop，一种DFS和MapReduce的开源实现的云计算平台来进行数据处理。对于实时性数据，如电力负荷数据，一方面电力企业可以通过内存计算技术，将全部数据通过内存运行进行计算，这将是提高计算速度的有效办法；另外，可以在云平台前面设置若干前置机，用于实时接收数据。