北极星

搜索历史清空

  • 水处理
您的位置:电力输配电输配电智能用电评论正文

物联网的智能关键—数据分析与预测系统

2016-08-22 14:52来源:物联网智库作者:刘建志关键词:智慧城市物联网传感器收藏点赞

投稿

我要投稿

物联网中设备记录文件(Machinelog)以及传感器产生的数据由装置层中的网关(Gateway)收集转换,经由网络传入位于云端或是企业内部私有云中的数据分析系统,数据分析的前端模块执行实时串流数据处理,由于每个单位时间都持续由装置层中分散的设备节点动态产生大量数据,因此前端模块必须具有实时接收处理串流数据的能力,此时数据可经由分散处理的分析引擎与分散储存的数据库达成计算资源动态规划支持。

在数据分析系统数据处理过程需进行数据清理(Datacleaning),异质性数据汇整等数据前处理工作(Datapre-processing),关于异质性数据分析将另以专文说明。这里可参考以下工作原则进行:

˙补足原始数据不完整的字段,如时间位置或说明。

˙过滤有错误的数据。

˙对数据的单位和坐标进行转换。

˙几种基本的分析模式也可以在此阶段运行,如加总、相关性。

˙同时生成并处理事件。这些结果倒入控制面板(Dashboard)以图像化的方式呈现给用户。

˙处理后的数据置于数据库中长期保存以利后续的进一步分析。较为复杂的预测建模(Predictiveanalytics)分析需要统计机率建模与机器学习,则采批次分析模块进行。

预测建模分析核心精神是基于统计模型的回归分析模式,采用大量历史数据提供建模,同时需要引入许多的外部数据,例如产业领域知识,供机器学习中特征工程(Featureengineering)使用。文字以及影像等非结构化数据特性则另外藉由特定模块处理,产生对应的半结构化数据(Semi-structure)以供后续建模所需特征工程使用。

目前物联网数据分析的来源数据可能包含厂房设备的状态,例如输入电流、震动,环境因素如温度、影像和语言文字,或是用户行为等在线的数据。同时导入多种外部讯息用以辅助数据分析,例如政府公开资料、天气温湿度、新闻事件、大众舆论、人机互动等交互使用。因此好的数据分析系统应具备以下几个重要特征:

在领域专家协助下,基于场景知识库建立需求,以规则与事例建构专家系统,以自动化的规则处理方法以汇整运用大量的知识。

统计专家结合领域知识对数据探索分析,然后进行特征工程抽取出适当的特征,导入机器学习,先进的非监督学习算法可以自动化分析得到带有最多信息量的特征,应用于预测建模过程特征工程使用。

机器学习:实作并整合各种算法,持续评估运算效能,以统计采样验证模型的精确度,自动化混合多种算法并且调整参数,达到优化的预测结果。

数据分析系统除了实作各种机器学习的算法,为了满足不同产业、不同场景或主题的物联网应用方案,还需要因不同产业或场景应用提出不同评估验证方式,以确保或提升各种预测建模方法的预测精确度和适用性现阶段期待一个数据分析与预测系统能够通用性地解决各行各业、个别厂商数据分析需求,例如:应用于在线串流数据实时分析、进而预测即将发生的设备异常状态诊断、或是产能设备参数优化以及客制化生产的配方提供,恐怕还需等若干年后数据分析方法有更突破性进展才有可能实现。因为单靠机器学习虽然可达到一定的效果,仍旧有学习成效上限存在,目前业界采用的方法是除了机器学习外,再搭配领域专家根据领域知识来制定相关有效的规则来辅助机器学习,或需数据科学家分析大量的数据后所得出的有用信息回馈给机器学习,以求达到更高效的均衡问题解决方案。

不少有志于物联网应用方案研发的厂商往往选择自行开发整体方案,宣称有能力自行建立数据分析/预测系统,往往做出来的数据分析系统只是最基本的统计分析,缺乏真正使得整个物联网应用方案"智能"的能力。

看了本文的说明后,往后需求方在评估上门推销的"智慧"物联网方案时,应该要询问方案提供厂商这些基本问题,才不致花钱买到不"智能"的物联网应用方案。至于有意投入开发物联网应用方案的厂商,最好在规划研发之初审慎思考是否有能力开发这个核心系统,否则就应该寻找优秀的数据分析/预测团队合作。

相关阅读:

智慧城市辣么火我们离它到底还有多远?

投稿与新闻线索:陈女士 微信/手机:13693626116 邮箱:chenchen#bjxmail.com(请将#改成@)

特别声明:北极星转载其他网站内容,出于传递更多信息而非盈利之目的,同时并不代表赞成其观点或证实其描述,内容仅供参考。版权归原作者所有,若有侵权,请联系我们删除。

凡来源注明北极星*网的内容为北极星原创,转载需获授权。

智慧城市查看更多>物联网查看更多>传感器查看更多>