电力信息化年会直播：内存计算技术验证项目与应用研究——潘明慧

由中国电机工程学会电力信息化专委会、国网信息通信有限公司主办的、北极星电力网全程直播的2012电力信息化年会上，辽宁省电力有限公司科技信通部（智能电网部）副总经理潘明慧在本次大会上做了以《内存计算技术验证项目与应用研究》为题目的主题演讲，以下为现场文字直播：

潘明慧：感谢大会给我提供这样一个机会，把我们两年来在内存计算技术的一些实际的成果和研究的体会跟大家做一个汇报。因为大家昨天今天一直在讨论大数据，其实大数据不是一千台计算机，不是大的网络，主要看数据是哪些数据，数据质量怎么样。因为数据和信息是有区别的，有用的数据是信息，你对着大量的数据，我们现在库里存的数据50-60%都是垃圾，基本上没有人清理，我们使用的时候是有用的才是数据，时间关系就不具体说了。
    我大概分四个方面来讲，第一，内存计算技术的原理和特点。第二，我们从事内存计算验证干什么事。第三，验证之后应用情况如何。第四，展望。
    这里面有一个图，这是国外一家提出来的。我借这个去说明现代信息技术发展，当然各种媒体和机构都有很多种方法，我比较关心还是互联网，云计算，包括IPV6，在比较高峰的阶段，这个阶段实际上是炒作，是巩固提升研究的结果，这个结果不能够解决什么实际问题。一定积淀到一定程度，这才进入实用化的阶段。总体来讲不断是云计算，物联网都已经跨越第一个阶段，但还没有完全成熟。内存计算技术就是由于我们计算机发展，CPU已经不能够再提高速度了，但是内存加了，我们内存已经到了1T了，2T有钱也可以买到，由于技术发展具备了这样的条件。简单来说就是数据存储在内存中，严格来讲不仅是数据存在内存上，数据仓库也可以存上。数据硬盘就可以支持做到，他通过直接和内存的读取来做，我们IO口始终是瓶颈，当然这里面还有一个很大的特点，我们往常评的是行存储，这个大量采用列储存，也有混合储存，这是硬件技术革新的一些项目，比如说并行，，刀片的，还有内存加大的。同时这方面全世界研究内存计算机厂家非常多，但是SAP公司这方面比较考前，行业存储，包括亚速，分区，还有数据库的模型处理，包括其他别的调整。我们目前处理的层次，在硬盘里面还有在基于磁盘的硬盘里面去处理大约是秒级，随着设备好坏还有不同。利用内存可以到毫秒级，但是利用混合内存计算的技术，因为这是一个组合的。要SAP公司讲快100万倍，我们实验结果达不到这么高，可能我们好多条件还不具备。但是大量的提高速度，提高几百倍这实践中证明是没有什么问题的。
    传统的数据库是行存储，但是在内存计算机的数据库是以列为主，这样可以大大的提高效率，速度非常快，我们实践证明，我已经达到了863倍。
    另外并行处理的机制，因为这个电力软件和公司都有上下游联系，他认定的服务器可以是，其他的服务器不行，但是基本上局限于在PC服务器层面，小型机还达不到。具体的压缩效果也非常好，我们在验证中一个数据，按照他这种结构，最后只是表头加倍处理，这个内存一定是100倍左右，可以压缩到52倍，这是我验证的情况，不是SAP公布的。这样创新信息模型的时候符合内存计算技术，这个掌握起来并不难，经过我们去年一年做了36个验证，今年做了20个，基本上可以说只要达到一定程度还是可以掌握的。
    传统的方法运算在应用数据库层面，这样方法在数据仓库里面进行计算，速度明显加快。
    验证项目，我们去年学习之后，我们现在15分钟或者一个小时展示不出来，我到现场去做验收的比比皆是，你十几分钟让领导看你的查询，这怎么允许，但是这里面主要是数据标准基础工作做的比较差，这个技术上也有问题。我们大约用了三个阶段在去年完成了。因为这个和我们做ERP有一定相近，如果不依靠企业去推动，靠某一个部门，什么科信部或者公司根本推不动，这个形式上能通过，但是实际上达不到，这里面也需要领导参与，但是也必须有一批在前面、后面，但是实话说非常可惜我们企业人都不愿意参加，原因是挣钱少，再有原因就是太辛苦了。我们干了新东西，我们企业自己人员没有掌握，这是很难的。
    我们场景分成十大业务，我说以ERP为核心，把营销，MISS，JISS这都是我们直接管得，数据达到9.52T，我们统计一下在库里面接近50T，确实大部分的数据根本抽不出来，因为抽出来也是很多东西对不上帐，在4验证过程中需要三个方案，我们条件也不具备全部采用最好最优的条件。
    按照这种技术标准，我们ERP也是用的SAP公司软件，BO展示可以速度快，效果也非常好。我们在哈纳里面进行一些编成，这主要是解决一些非ERP五系统的数据。第三个是就不建了，但是这个速度确实慢一些。
    通过验证证明什么呢？在硬件上没有问题了，我当时费了很大劲，去年选择IBM3850，这是SAP认证的四台服务器用，有测试的，有运行的，但是很艰难的，因为反对的人比支持的人多。具体在这些方面都进行了验证，效果看基本上是比较满意的。我们通过完成36个场景的验证，利用这种技术特性和场景分析，平均在36倍多，我们机器水平也比较差，加上我们这些人刚开始做，以前没有研究过。不管怎么样，我们要能够提高36倍已经相当可观了，现在看平均提高在20倍以上，这是去年情况。我们今年又提高了，最多可以达到863倍，国网公司要求第二天要报多少，我们大约按照领导要求判断一个数报上去，我们有了这个东西就测，这一测就出问题很复杂。但是总的结果在可视化中心，高速查询应用，培养一些人形成办法规章制度，也出了一本书。在这个月底这本书已经翻译成英文了，在十月份要出现，我觉得推动这样一项工作是我们的责任。
    应用的情况，我们选取了六个主要的系统，比如说ERP场景有21个，BW营销，JIS，MIE，这个数据量也是非常大。
    帐卡一致，整个数据量都有，我就不念了，但是节省的空间以及倍数，到行排出来的数足以说明速度相当快。我当时对这个数还不太信，因为是在测试机环境下测出来九秒钟就出来，出来我说这不对，这怎么这么快，我到生产机比较一下，生产机也很快，现在看来帐卡一致的数据标准比较符合列存储的权限，这个反复验证没有什么问题。还有物资类采购排名，现在国网公司天天考核，月月排名，我们各个网省领导对排名非常重视，我们查询了各个运行情况，包括在生产性研究，以及应用，实际提升的倍数到其他方面，这个都是很明显的。
    总的效果，在数据库的查询性能一般可以提高100-300倍，最高是350倍，分析报表的查询展示能够提高20倍，这也是被去年验证完成了。今年以来我们做了一些场景迁移，把原来380换成了DL980，内存是一个T，固定硬盘1.28T，8核都上了，很明显速度都加快了，这都有具体的数据。
    场景迁移分析效果也是比较清楚的，当然这个比较好的环境应该上两台并发，前面3850搞四台，这样可以高速增长，很多数据仓库推进去，处理完就可以解决，今年国网公司重点是三机五大，别的工作让路，根本没有条件，在非常困难的条件下也做了，这一些需要条件，有的做出来就得需要做到，你别人做不了。我们迁移到这个环境去做的时候提升了下降了一些具体曲线，还有具体分析。比如说项位成本在3.5一台情况是30倍，迁移到DL980达到100多倍，这些数都有，这些数还有大量的数据在支撑，每一个场景都有。
    在包括迁移，利用空间节省的倍数也都有，我就不在细说了。这是具体迁移到3850两个环境下，当时在3850的时候提高的倍数，980提高的倍数，一个是水平提高一点，另外主要是硬件平台换了，如果两台就更好了。
    这个20就是我们第20个场景，在查询所有36个上线全部资产设备12.2G情况下，从去年从9.8G加到12.2G，原来是9秒钟，加上这个设备变成7秒，也是加快了，这是相比分析的一些数据情况。
    有一个想法跟大家分享一下，因为今天主题是大数据。其实IPV6给我们支撑智能电网或者我们搞电力云或者云计算提供了非常好的基础，包括物联网也有可能，因为这样不用树状结构，因为IPV6是360个件，这个量太大了。他为基础去组织，去和我们所有的设备，不管大的小的设备，他有一个名直接查，而不用通过民航局查到省市县了。我们智能电网既是使用支持，其实也是一个物联网一个特殊类型，这样云计算到数据中心变真实的。这个数据到现在为止我们数据中还没有达到企业级的规范和标准，但是确实经过几年努力大量结构数据出现了，专业的数据也出现了，为今后形成做了准备。谁能说清楚国网到底多少接口，省里面多少接口，顾问都走的时候谁能说明白，这个很困难，大数据带来的问题是不少的。
    当然集中起来量大了，这就要处理。因为海量数据，历史数据，因为实时数据库和结构化不一样的，实时数据库需要测点数据库，他有特色背景，应该怎么样归类，但是基础工作很重要。这里面有一个典型的图，只有这些达到了我们数才能起来，规范的数据出来，我们才能起作用，对推动最现代化的电网建设才能真正发挥作用。当然到云上面也是一样的，云有各种各样的，就企业来说自己内部横向到边，纵向到点，但是要有序的排列，而不是堆积。我们现在数据中心和海量数据库存下来大多数都是堆积，过几年看不着。我记得那一年和刘主任上法国去，我去他们那看，人家86年调度的图调出来，我们连82、83年都调出来，你查尺信息中心数据能不能出来，多少有用的，因为编程信息的时候才是有用的，因为信息是有价值的，是在实际可以创造价值的。否则你数据存下去要不提出来什么也不是，跟垃圾没有什么区别，所以数据质量，管理标准很重要，达到一定量的时候要处理，我说技术新的规范标准不解决也照样还不行。
    最后我写了两首数据顺口溜，一个是叫内存计算技术，数据读取内存间，行列存储混计算，虚拟创建优模型，并行高效百倍翻。验证场景百余篇，应用跨越二十全。时空飞越千万倍，内存计算奇惊天。
    物联网与云计算，虚实物物网相联，物景秒越时空关。千里林海横竖列，万物时间换空间。实物虚拟千百件，众物成池越海川。海量信息存知己，星球惊现云计算。