内存计算技术验证项目与应用研究-北极星电力软件网

投稿

我要投稿

由中国电机工程学会电力信息化专委会、国网信息通信有限公司主办的、北极星电力网全程直播的2012电力信息化年会上，辽宁省电力有限公司科技信通部（智能电网部）副总经理潘明慧在本次大会上做了以《内存计算技术验证项目与应用研究》为题目的主题演讲，以下为现场文字直播：

潘明慧：感谢大会给我提供这样一个机会，把我们两年来在内存计算技术的一些实际的成果和研究的体会跟大家做一个汇报。因为大家昨天今天一直在讨论大数据，其实大数据不是一千台计算机，不是大的网络，主要看数据是哪些数据，数据质量怎么样。因为数据和信息是有区别的，有用的数据是信息，你对着大量的数据，我们现在库里存的数据50-60%都是垃圾，基本上没有人清理，我们使用的时候是有用的才是数据，时间关系就不具体说了。

我大概分四个方面来讲，第一，内存计算技术的原理和特点。第二，我们从事内存计算验证干什么事。第三，验证之后应用情况如何。第四，展望。

这里面有一个图，这是国外一家提出来的。我借这个去说明现代信息技术发展，当然各种媒体和机构都有很多种方法，我比较关心还是互联网，云计算，包括IPV6，在比较高峰的阶段，这个阶段实际上是炒作，是巩固提升研究的结果，这个结果不能够解决什么实际问题。一定积淀到一定程度，这才进入实用化的阶段。总体来讲不断是云计算，物联网都已经跨越第一个阶段，但还没有完全成熟。内存计算技术就是由于我们计算机发展，CPU已经不能够再提高速度了，但是内存加了，我们内存已经到了1T了，2T有钱也可以买到，由于技术发展具备了这样的条件。简单来说就是数据存储在内存中，严格来讲不仅是数据存在内存上，数据仓库也可以存上。数据硬盘就可以支持做到，他通过直接和内存的读取来做，我们IO口始终是瓶颈，当然这里面还有一个很大的特点，我们往常评的是行存储，这个大量采用列储存，也有混合储存，这是硬件技术革新的一些项目，比如说并行，刀片的，还有内存加大的。同时这方面全世界研究内存计算机厂家非常多，但是SAP公司这方面比较考前，行业存储，包括亚速，分区，还有数据库的模型处理，包括其他别的调整。我们目前处理的层次，在硬盘里面还有在基于磁盘的硬盘里面去处理大约是秒级，随着设备好坏还有不同。利用内存可以到毫秒级，但是利用混合内存计算的技术，因为这是一个组合的。要SAP公司讲快100万倍，我们实验结果达不到这么高，可能我们好多条件还不具备。但是大量的提高速度，提高几百倍这实践中证明是没有什么问题的。

传统的数据库是行存储，但是在内存计算机的数据库是以列为主，这样可以大大的提高效率，速度非常快，我们实践证明，我已经达到了863倍。

另外并行处理的机制，因为这个电力软件和公司都有上下游联系，他认定的服务器可以是，其他的服务器不行，但是基本上局限于在PC服务器层面，小型机还达不到。具体的压缩效果也非常好，我们在验证中一个数据，按照他这种结构，最后只是表头加倍处理，这个内存一定是100倍左右，可以压缩到52倍，这是我验证的情况，不是SAP公布的。这样创新信息模型的时候符合内存计算技术，这个掌握起来并不难，经过我们去年一年做了36个验证，今年做了20个，基本上可以说只要达到一定程度还是可以掌握的。

传统的方法运算在应用数据库层面，这样方法在数据仓库里面进行计算，速度明显加快。

验证项目，我们去年学习之后，我们现在15分钟或者一个小时展示不出来，我到现场去做验收的比比皆是，你十几分钟让领导看你的查询，这怎么允许，但是这里面主要是数据标准基础工作做的比较差，这个技术上也有问题。我们大约用了三个阶段在去年完成了。因为这个和我们做ERP有一定相近，如果不依靠企业去推动，靠某一个部门，什么科信部或者公司根本推不动，这个形式上能通过，但是实际上达不到，这里面也需要领导参与，但是也必须有一批在前面、后面，但是实话说非常可惜我们企业人都不愿意参加，原因是挣钱少，再有原因就是太辛苦了。我们干了新东西，我们企业自己人员没有掌握，这是很难的。

我们场景分成十大业务，我说以ERP为核心，把营销，MISS，JISS这都是我们直接管得，数据达到9.52T，我们统计一下在库里面接近50T，确实大部分的数据根本抽不出来，因为抽出来也是很多东西对不上帐，在4验证过程中需要三个方案，我们条件也不具备全部采用最好最优的条件。

按照这种技术标准，我们ERP也是用的SAP公司软件，BO展示可以速度快，效果也非常好。我们在哈纳里面进行一些编成，这主要是解决一些非ERP五系统的数据。第三个是就不建了，但是这个速度确实慢一些。

通过验证证明什么呢？在硬件上没有问题了，我当时费了很大劲，去年选择IBM3850，这是SAP认证的四台服务器用，有测试的，有运行的，但是很艰难的，因为反对的人比支持的人多。具体在这些方面都进行了验证，效果看基本上是比较满意的。我们通过完成36个场景的验证，利用这种技术特性和场景分析，平均在36倍多，我们机器水平也比较差，加上我们这些人刚开始做，以前没有研究过。不管怎么样，我们要能够提高36倍已经相当可观了，现在看平均提高在20倍以上，这是去年情况。我们今年又提高了，最多可以达到863倍，国网公司要求第二天要报多少，我们大约按照领导要求判断一个数报上去，我们有了这个东西就测，这一测就出问题很复杂。但是总的结果在可视化中心，高速查询应用，培养一些人形成办法规章制度，也出了一本书。在这个月底这本书已经翻译成英文了，在十月份要出现，我觉得推动这样一项工作是我们的责任。

投稿与新闻线索：陈女士微信/手机：13693626116 邮箱：chenchen#bjxmail.com（请将#改成@）

订阅北极星周刊，精彩内容不再错过！

特别声明：北极星转载其他网站内容，出于传递更多信息而非盈利之目的，同时并不代表赞成其观点或证实其描述，内容仅供参考。版权归原作者所有，若有侵权，请联系我们删除。

凡来源注明北极星*网的内容为北极星原创，转载需获授权。

阅读下一篇

国网刘建明：大数据的应用与未来

电力信息化查看更多>ERP查看更多>智能电网查看更多>

姓名：
性别：
出生日期：
邮箱：
所在地区：
行业类别：
工作经验：
学历：
公司名称：
任职岗位：

内存计算技术验证项目与应用研究

国网刘建明：大数据的应用与未来

登录注册

绑定账号

想要获取更精准资讯推荐？建议您完善以下信息~

订阅成功

想要获取更精准资讯推荐？建议您
完善以下信息~