北极星

搜索历史清空

  • 水处理
您的位置:电力输配电电力通信技术正文

【连载】国电南瑞:大能源思维与大数据思维的融合(一)

2016-04-25 08:48来源:电力系统自动化作者:薛禹胜 赖业宁关键词:大数据能源革命国电南瑞收藏点赞

投稿

我要投稿

当前大数据的成功案例基本上局限于由数据驱动的统计分析领域, 例如网络商业、网络金融与面向消费的个性化服务。要让大数据技术真正融入通常由因果关系数据一统天下的物理系统分析领域, 思维方式需要重大变革。薛院士提出大能源思维与大数据思维的融合, 使电力大数据成为大能源系统广泛互联、开放互动及高度智能的支撑, 包括: 广域多时间尺度的能源数据及相关领域数据的采集、传输和存储, 以及从这些大量多源异构数据中快速提炼出深层知识并发挥其应用价值, 并通过若干案例分析, 阐述基于数学模型的因果型数据、尚未掌握或并不存在因果关系的统计型数据以及参与者行为数据的融合, 体现大数据思维对提高大能源经济性与可靠性的贡献。本文将连载,与大家分享主要内容。

(一)大数据概念的演绎

1定义

对“大数据”还没有统一的定义,通常指量大、多源、异构、复杂、增长迅速,无法用常规的方法处理的数据集合。许多数据往往只在统计学观点上具有某种相关性,而不一定像传统应用的数据那样具有严谨的因果关系。对这样的统计关系型数据,只有当反映一个真实问题的数据量达到能在一定程度的统计意义上描述其真实面貌时,才能有效地提取知识,支持决策。而对于常规的因果关系型数据来说,数量的大小往往仅影响到计算资源,而与提取知识的方法关系不大。

因此,大数据与小数据之间并无绝对的界限,而是相对于目标问题而言的。大规模的数据量只是大数据概念的特征之一,也不应该用海量的规模作为大数据的必要条件。

大数据技术涵盖了从信息产生、采集、存储、转换、集成、挖掘、分析、计算、展示、应用及维护等数据全生命周期管理过程,需要具备从不同类型的多源异构数据中,快速提炼出有价值信息的能力。

2基本特征

数据是以编码形式对自然现象、社会现象、试验仿真结果及经验的记录,包括数字、文字、图像、声音等形式。与传统数据相比,大数据具有四大显著特征4V,即量(Volume)、类(Variety)、速(Velocity)、值(Value)。

“量”是指数据容量足够大。

“类”是指数据种类呈现多源多态特性。

“速”是指实时性要求高。

“值”是指数据价值密度相对较低。在数月的监控视频中,可能仅1~2s的画面有用,但通过关联数据的挖掘、分析和提取,却可能获得很高的信息价值。

一般认为,数据规模或复杂程度超出了常用技术按照合理的成本和时限来处理的能力,就可称为大数据。笔者认为如果统计型数据量对于具体目标问题来说,已经具有统计意义,就可以用大数据思维来处理。若为大数据设立数百TB的阈值,必将大数据思维束之高阁,扼杀了其广泛应用的生命力。

除了从因果、统计及博弈行为等数据关系的视角来对数据类型分类外,还可以按数据结构的视角将其分为三种类型:

1)结构化数据,即可以用二维表结构来逻辑表达的行数据,关系型数据库是其有效处理工具。

2)非结构化数据,是一类不能用有限规则完全表征与刻画的异构性数据,如图像、音频和视频等信息,它们之间不存在或尚未掌握直接的因果关系,存在不相容性及认知的不一致性。

3)半结构化数据,介于上述两种结构之间的数据,可以用树、图等模型表达,如Web、办公文档及电子邮件等信息。据统计,随着社交网络、传感物联及移动计算等新技术、新渠道的不断涌现,企业中的半结构化或非结构化数据占比越来越大,有的已达80%。

延伸阅读:国电南瑞:主动配电网综合能量管理系统设计与应用

原标题:南瑞集团公司 薛禹胜等: 大能源思维与大数据思维的融合(一)大数据概念的演绎
投稿与新闻线索:陈女士 微信/手机:13693626116 邮箱:chenchen#bjxmail.com(请将#改成@)

特别声明:北极星转载其他网站内容,出于传递更多信息而非盈利之目的,同时并不代表赞成其观点或证实其描述,内容仅供参考。版权归原作者所有,若有侵权,请联系我们删除。

凡来源注明北极星*网的内容为北极星原创,转载需获授权。

大数据查看更多>能源革命查看更多>国电南瑞查看更多>