电力信息化年会直播：大数据的应用与未来——刘建明

    我记得以前和潘博士也探讨过内存计算，刚才讲到有一些我在这里强调一下，大数据的特点，网上和资料上有讲三个V，四个V，五个V，我这里面说五个，第一个是巨大的数据量，我觉得大数据先把小数据做好，把海量的数据处理好。另外大数据一般来说是两种数据，一种是结构化数据，一种是非结构化数据，结构化数据就是我们现在用的存在硬盘里面的一些东西，除了图片、视频以外。非结构化数据主要是视频，图片，扫描这些东西，数码照相机拍的，我们家里面需要三个T或者十个T，里面大概95%都是视频文件，图片文件，剩下才是WORD，PPT这些文件。第三个V是处理的速度非常快，因为现在的数据处理的非常快，所以我们才能提我们现在进入了一个大数据的时代。第四个V是什么呢？就是价值密度低，刚才潘总讲50%，实际上数据的价值他讲垃圾是50%，我感觉大概80%甚至90%你只要不用都是垃圾，就是没有用的数据，我们把数据检索用，想办法让这90%垃圾变成金矿。第五个V需要有一个足够的精准性或者是准确性。
    大数据应用的演进，我们大部分从数据开始的到信息，然后信息后面是我们要做的工作，变成知识，我等一下举几个例子，然后变成可视化，大数据非常难做的是可视化，可视化做好是使数据产生价值，然后进入到网络里面去。
    领先的企业不能只是收集和存储数据，他们正在围绕数据采用相应的定量和统计信息，以及预测建模方法，挖掘更加强大而有价值的信息。哈佛商业评论里面说管理者可利用大数据将业务重化，进而掌握公司业务，这意味着一场管理革命。
    IDC公司对全球的数据增长和数据类型分布情况进行了调研，从2009-2015年对结构化数据和非结构化数据的变化分析，他说这些内容数据的增长非常迅速，另外有巨大的价值。
    这是米过德克萨斯的一个研究报告，你如果把数据用好了，数据的使用率提升10%，对那些行业提升特别大呢。我们看第一个最高的是达到49%，是零售业，所以淘宝，还有一些大的超市都在研究。咨询服务业是39%，IBM早早发现这个问题，他后来把咨询服务做好，他比较简单，这里面提高39%。剩下的航空、食品加工，建筑、钢铁、汽车、出版，基础设施，包括能源还有电信业，电信业在这些里面最低，他是17%，这些都在20%左右，我们把数据做好以后企业是可以增长，利润是增长的。
    大数据源自何处。现在统计大数据里面来得最多的还是什么呢？还是自我跟踪和互联网的技术。自我跟踪这里面叫自我跟踪，什么意思呢？实际上我们的手机，我们上微博，我们做的东西都是自我跟踪，自我了解。这些数据的采集是非常多的，自我跟踪这一项技术原来来自于医学，信息记录下来，这些信息有视频，有音频，你到哪个地方去照相，出去玩，这时候来开会，大家都在拍PPT，这都属于自我跟踪，记住自己的行径，一天工作多长时间，干了什么事。
    这里面有三个，第一个是微视觉传感器，这是非常小，可以放到血管里面走一圈回来全部拍下来，记下来之后取出来，他把跟踪的数据取了，这个也是非常大的，以后很可能去看病先装一个，然后取出来。下来是微电流传感器，这就不介绍了，我们有应用。微型侦察机，这是美国的，很小在手上，这里面有很大的内存，放上去以后帖到外面的玻璃上可以把里面的讲话和拍照取出来传给后面的后台。
    微型传感器还有自我跟踪，他的体积非常小，质量也很轻，这里面写的是微米和纳米，功能也很灵活，这都是自我跟踪经常用的，我们可以装到电器上面，一次设备上。
    我们在甘肃做了一个应用，我介绍一下六个内容，下面是采集用电数据，刚才华为也提到了。第二个是并行的ETL，就是数据的存储到云，下面是物联网，上面是云包括能效分析，用电检测。之后是有序用典，智能互动。我们装了这个以后，企业对数据分析能提高8%，一般都是5%，家庭应用应该是到10%左右，日本说能够到15%，美国原来讲，检查了一下利用这种技术能够到11.4%，后来在2010年底能源部又做了一次，他估计能够到20%，就是通过智能用典和分析。
    这是家庭用户的能效分析，就不介绍了。这是国电通公司，还有我们信通公司等等一起做的发改委的项目，北京市投运五个小区，示范攻取353个采集点，采集1.2万个参数，包括频率、电压、电流等等这些。采集频率如果15分钟每条记录按照现在标准是164字节，一天产生34GB，整个城市要装就是海量的数据，这个为阶梯电价能起很大作用，我们现在数据采集还是不全，应该采的更全，将来十年、二十年，五十年以后再分析，就不会看到法国电力公司EDF我们没有，人家有。
    在这里随着数据的发展，宽带的应用，我们看一下智慧城市指标体系1.0，这是上海浦东政府提的标准，他这个标准指标体系大家可以在网上看，内容很多，这个指标体系反应了我们今后智慧城市，反映了大数据的应用还有宽带网络。现在建设部正在定，很有可能参照这个标准。比如说家庭光纤接入率大于99%，无线网络覆盖率大于95%，户均网络接入水平大于30兆，这些指标里面都很高，就这个指标我觉得低，为什么呢？电信原来讲十兆后来讲二十兆，最近我听他们说准备提40兆。美国政府提的2020年到一百兆，实际上很有可能到2015年做到一百兆，我们家里面装高清，一个高清是八兆，装两个电视是16兆，加上云就超过他了，如果是蓝光，一个蓝光电视上就是24兆，我们现在大家看到这个屏幕都非常清楚，都IT电话，你用这个是24兆，家里两个电视都不行了，怎么也得100兆。我们现在研究10PON，这个技术很容易就突破了，关键还是在骨干上，现在讲宽带，你家里速度在高，你那个速度低还是问题，骨干网络我们后面有一个OTN，前面贝尔也介绍了。
    家庭的网购比例要大于等于60%，市民上网率大于60%，再过十年小孩都长大了，这个肯定要超过，还有网购比例，我们很多同志都在网上购物。
    下面讲一下淘宝网，淘宝网进行大数据分析，他做了很多类似这样的分析。我取了一个例子，他这个数据分析，把淘宝网上买东西，女同志购买了女装以后还喜欢看什么，还买了什么东西，他把这些数据统计了，结果买了女装以后还买鞋，买服饰，买彩装，还买内衣，还买流行的男鞋，他采取这个方法，你如果买了衣服，把相关的绿色的放在旁边，你有可能去点，而这些家访、电玩，古董离的比较远，这是他统计的方式，提高他买东西的效率。
    这是人立方关系搜索，我不知道在座有没有用过，用过的请举手。这是IBM开发的，我们国家现在上网可以上岛，我选了一个姚明的关系图，他和叶莉关系很好，因为两口子，还有麦蒂，他好象跟麦蒂更近一点，然后王治郅，易建联，这是他的关系图，我把我自己放进去也看到了，我跟谁什么关系，我自己都不知道，他告诉我们，但是不一定准确，你们回头可以上网站试一试。我们看网站做的很不错的。对不起我说错了，微软亚洲研究院的，你看邓华德还可以点详细的信息，我点了叶莉，他马上就说叶莉和谁的关系，这是姚明，这个图比较简单了。今后这个分析更复杂了，这是我们讲的人立方。
    寻找你发出的短信，我们在座的北京的同志比较多，也有同志从外地发给北京，也有同志在北京互相发短信，中国移动做了一项工作，看一看他在今年过年期间，哪个地方发短信最多，今后在那个地方建站，这也是一个典型的大数据应用。这是年除夕的情况，四环的量最多，南城这边比较少。我们看到22点了开始下来了，大家都在吃年夜饭，这些短信都是我们在座做出的贡献，都是大家发的。网络上有这个视频，大家下载就可以了。
    我昨天参加分会场，我看到了材料，这个三维视频，我大概是90年代初一直想做，后来带了一个博士生做的，也是跟他们合作的，做了开关设备三维的。他们当时买了一个三维扫描仪，我们在白广路院里面进行扫描，扫描之后自动成像，现在做了一个LIDAR系统，这个检测精度可以到厘米级，然后车开扫描，他是最先进的车载空间数据采集。这个车上装的是这样的，当然有一些设备我给拿掉了，GPS要定位，这个要非常准确的，另外要有三个扫描仪，还有数码相机，整个回来以后就把这个系统路途上的线路上的都可以采集下来，然后三维成像，采取这么几个过程。首先是用车做数据获取，然后做数据处理和加工，之后提取管理，最后到可视化。这是整个过程，最后形成一模一样的。空间信息，这是必须要做的，各个国家都在做，现在谷歌做的不错，百度也不错。
    指标可以到厘米级，每秒钟30万个点，速率每小时大于三公里，直接出来3D点，大家比较关心3毫米直径的电线，这主要是给配网应用。我当时问了几个事，因为以前我知道买的三维扫描仪是机关扫描仪，是100多万，他这个是500多万，这配齐了可能要到1000万。我关心三维旋转后数据量，还有自动成像，三维立体打印行不行，前面已经回答没有什么问题，三维立体打印还要试一下，成像也可以，但是有什么问题呢？现在机器工作一次是六个小时，如果数据采全了估计一天只能工作三个小时，最主要原因不能存储，我估计也包括计算不行。刚才内存计算技术，存储技术都放进去，应该给车配一个大的固定硬盘，现在硬盘也比较小，是500G，这个车还需要改进，但是这件事今后更简单了，以前谷歌雇佣一些人骑自信车在街上弄，以后在车上看到这个就想起来信息化专委会大数据宽带中国介绍这个。