罗普特科技江文涛：电力行业行为安全智能识别分析系统

在电厂作业过程中，由于一些误操作或者行为不规范造成的人员伤亡事故还是比较多的，种类包括高处坠落、触电、机械伤害等等。其实这些事故往往我们是能够提前预防或者报警的。我们针对这些误操作，以人脸识别、行为分析、智能判断、违章报警为理念，开发了一套应用于电厂的施工操作，满足安全管理需求的行为安全智能识别分析系统。

——罗普特科技集团股份有限公司总裁、北京华电罗普特科技有限公司董事 江文涛

2019年8月22日，由中国能源研究会节能减排中心联合华北电力大学国家大学科技园共同举办的“2019年智慧电厂论坛（第二期）”在北京召开。主旨报告环节，罗普特科技集团股份有限公司总裁、北京华电罗普特科技有限公司董事 江文涛作了题为“电力行业行为安全智能识别分析系统”的报告。北极星电力网对本次会议进行全程直播。直播会议合作，请联系手机/微信：13693626116。

罗普特科技集团股份有限公司总裁、北京华电罗普特科技有限公司董事 江文涛

我今天给大家介绍的这个主题是电力行业安全管控的系统，《电力行业行为安全智能识别分析系统》。

我的介绍主要分为以下五个部分：

首先给大家摘取了一个图片，这个是《国家能源局电力安全监管司2018年电力事故分析报告》。可以看到，在电厂作业过程中，由于一些误操作或者一些行为的不规范所造成的人员伤亡事故还是比较多的，种类包括高处坠落、触电、机械伤害等等，其实这些事故往往我们是能够提前预防或者报警的。当然我们做的这套系统，虽然不能直接对电力行业经济效益产生提升，但是安全事故对于电厂的施工作业来讲也是非常非常关键的。

在这种情况下，我们公司通过多方面的调查研究，针对这些误操作，以人脸识别、行为分析、智能判断、违章报警为理念，开发了一套应用于电厂的施工操作，满足安全管理需求的行为安全智能识别分析系统。这个系统就是将人工智能的识别技术和视频分析相结合，以智能化提升对电力设备及生产人员安全监督管理。

我们的系统有三个特点：

1，自动化、全面性。原来在电力安全施工监管的时候有很多人为监管的方式，但是很难做到24小时全方面的检测，但是通过这套系统可以实现24小时自动化全方面的检测。

2，信息及时、有效。因为是基于智能识别的算法，所以所识别到的一些信息能够及时有效快速地进行传递。

3，简单、易操作。因为原有的系统，一些安全管理系统很复杂，包括一些安保人员在操作的时候需要有专业的培训。但是我们这套系统操作非常简单，能够很智能的给安保人员、管控人员进行提示。

在介绍系统之前我想给大家先简单的介绍应用在这个系统里面的几个技术：

1，图像拼接技术。我相信很多电厂人员都知道，视频图像的监测其实都有一个方向性，现在的指挥中心里面密密麻麻的摄像头可以看到的图像，但是往往一些有用的信息，包括一些报警的信息会容易让人疏忽。我们把这些图像进行有机的整合，就实现了右上角我们讲360度的图像拼接，能够做到真正无死角的监控，这是我们在电厂的安全监控上一个核心的技术。

2，视频结构化分析技术。我们的摄像头在采集一段视频以后，往往需要用人的眼睛和大脑去分析它，找到我们想要的信息。但是现在有一种技术叫视频的结构化分析。比如这个视频里，在移动的大量车辆、人员，我想在某一时间点找到一辆白色的宝马车，原来的做法就是要把录像倒回来不断看，现在可以把这些视频非常清晰的把一些数据进行结构化的处理，比如说车牌、车型、车的颜色、人脸的特征、穿的衣服的颜色、人的大概身高等等。有了这些结构化数据以后，想要识别、想要寻找这些特有的特征，只要把你想要的东西输进去，就能够快速的检索出来，目前在视频图像的探索里面应该属于一个比较成熟的技术。

3，姿态识别技术。人脸识别应该属于现在比较流行的一个技术了，人脸识别在电厂里应用也非常广泛，但是为了能够识别我们的操作是不是合规的、是不是按照规范的操作来做的，我们需要引入姿态识别技术。我现在给大家展示的就是，采集过程中人的行动动作包括标准化，用这个技术就是针对于我们的操作能够规范，你的幅度，包括你的强度怎么样，都能够进行一定的识别。

4，人脸抓拍技术。可能很多人用过人脸门禁，其实目前人脸识别的技术已经发展到了，可以在一秒钟大量的人流过来能够抓拍出300张人脸，效率非常非常高。在这个情况下，电厂在上下班高峰期的时候，能够实现对于人员的管控，包括移动，包括你是否是我们电厂的工作人员，能够进行精确的识别。

5，三维建模与视频融合技术。当然三维建模跟电厂里面针对机械化的施工操作是不太一样的，我们这个主要是管安全的，可以把整个电厂的区域布置图和我们电厂里面所要关注的安全信息进行叠加，比如说电厂哪里有消防拴、哪些有值班室，值班室里有没有我们的安保人员，这些信息能够在三维建模的地图上进行叠加，而且能够实现虚拟和现实相互融合。可以看这个视频里面，中间这幅图其实是一个十字路口，七八个摄像头组成，我们用视频拼接、三维建模与视频融合技术，能够清晰的展现我们所要监控的区域的实际情况。

这几个技术在这个项目里可能会用到，先给大家做一个介绍。

我们这个系统架构其实非常简单，主要是能够对于电厂在人员进出、车辆进出，包括电厂里面的智能识别的一些应用。在我们顶层的感知层有很多采集的设备，包括我们的摄像机、门禁，包括我们的无人机的采集设备等等。在信息的传输层，我们可以利用我们电厂里面原有的光纤、无线网络，包括用我们电力专用的传输网络。在智能算法层，我们是根据不同的需求开发出不同的识别模块，比如说安全帽的检测，包括着装的识别检测，我们可以根据需求不断的探测出识别模块。根据我们的业务场景跟专题库进行对接，比如说我们的人脸识别有哪些用途。最后我们在应用层里面，将这些东西能够展现出来，能够实时报警，能够通过我们讲的例题可视化技术、三维叠加技术，能够很实际的把它展现出来。其实整个系统架构非常非常简单。

我们目前有开发出来行为分析的模块，这些行为分析模块是结合在电厂的实际作业过程中所开发出来的。目前我们是有十类，这里面包含了人脸识别、安全帽的识别、着装的识别，包括我们在施工过程中有没有操作规范的识别等等，接下来我给大家介绍一下这些行为识别模块的一些具体的应用。

1，厂区的人脸识别。我们现在其实在很多的电厂有去调研过，有几种管理方式，一种是保安站在门口认人，然后进入厂区。还有一种，用打卡，还有一种，用刷卡进入我们的门禁。但是现在用人脸识别技术，对于进出人员进行管控。

首先我们可以针对于电厂所有的工作人员进行一个人员的录入，包括登记你的身份证号、你的车间、你的岗位等等，这些信息都能够进行记录。而且登记能够直接通过我们人脸识别的摄像机就可以登录，不用说把所有人员集中叫到一块照张相，都不需要，只要确认你是我的工作人员、有基本的人员信息就可以实现录入，而且可以实现增减。我们的访客陌生人登记的时候也很简单，直接刷你的身份证，登记完以后你要办什么事情记录好以后就可以在厂区里面行走。

二是能够做到我们的实时关注，比如我们在电厂的管控里面对于某一个人或者某一个岗位的人员，他们经过哪些区域要做实时的监测，你就可以把这些人员的照片包括资料输入到我们关注的任务里面，当他经过不能够经过这个区域，就可以实只的报警。

三是人员的检索。我们有时候也会存在一种情况，比如要知道他整个保安的巡逻路径，是不是按照我们原来设定的时间点在这里面巡逻，把保安的基本图片放进去以后，就能够知道他实时搜索的情况怎么样。当然有一些安全隐患的时候，我们把一些图像信息导入进去，也可以对这些人员进行检索。

四是轨迹的查询。主要是应用于我们外来的访客，比如我们外来的访客可能要进办公楼，我给他规划路径可能就是到办公楼这边，但是当他们进入我的操作区域或者操作车间的时候，他就能够实现报警，而且能够实时的有图像弹出，我也能够利用这个技术，不管车也好、人也好，他移动的轨迹在厂区里面能够完全精准的掌握。

五是我们做这个系统的时候，除了能够预防、预警以外，还有一个概念，就是能够找出我们现在整个厂区里面安全的薄弱点，所以我们有一个厂区可疑人员的统计。比如在某一个区域，可疑人员出现的次数是多少，出现的次数越多，说明这个地方的安保措施比较弱，这也是我们需要加强的区域。当然所有出现的这些可疑人员，我们所有的都会留底，都会有证据，他的视频图像都会存储下来。

六是特定的设计，我们有时候在某一些区域是限时间段，或者说是限区域，不能够有人员进入的地方，因为某些地方是属于危险区域，我们能够设定时间段、设定区域，只要有人员进入、经过，在它的外围经过的时候，就能够实现报警。前面有人进入这个区域后端有报警的，然后怎么处理呢？我们在前端可以加上声、光的设备，有声音能够直接进行对话，有我们的警报器，能够进行提醒，能够确保我们在一些危险区域是没有人员进入的。

这些就是我们讲的人脸识别的应用。人脸识别的应用刚刚讲了那么多，其实对于我们在规范管控上还有很多的作用，比如说我们一个厂区里面有多少人，人员的比例是多少，年龄结构是多少，这些都可以通过这套系统直接的展现。包括分车间的、分区域的人员情况怎么样，还有关于我们讲的人员聚集，比如在厂区里面突然之间一个区域里面同时聚集了200人的时候，也能够直接的进行报警和提醒。

2，安全帽的识别。这个在我们电厂的作业里面是经常会发现的。比如说有一些叫不戴安全帽，除了不戴安全帽以外还有一个，戴的安全帽颜色不对。我们了解，有的要戴红色的安全帽、有的要戴蓝色的安全帽，跟岗位不一样决定的。有时候我们这种识别是做不到的，我们可以通过视频的情况能够把这些信息采集出来。

3，粉尘区域口罩的识别。我们在电厂的区域里面有很多是高粉尘的一些区域，要求我们的操作人员要戴上口罩，也是为了人身健康的考虑，但是有些我们操作的时候，为了能够简单，没有这种意识，发现很多不戴口罩的情况，我们也能够通过视频识别出来。

4，着装识别。我们电厂操作的时候，有时候要求穿长袖，包括头发不能露出来，这些基本的要求，如果我们单纯靠人员去盯、去提醒，基本上没有办法做到，但是我们的视频图像能够覆盖到、能够识别出来。

5，特殊区域人证和独自作业识别。比如我们要开配电柜门的时候，我们要求至少有两个人在场或者三个人在场，或者我还可以通过人脸技术必须有某一个工程师跟某一个工程师助理一起在场的时候才能开，可以通过视频检索的方式把他识别出来。

6，控制值班人员睡觉识别。视频现在还可以做到，比如保安在站岗的时候，是让你目视前方，区域范围大概180度，但是你人在那边，眼睛一直看后边的180度的时候，它也能够识别报警。

7，垂直交叉作业识别。我们在交叉作业的时候经常发现在垂直交叉的时候如果没有做好保护，普遍会造成一些伤害，我们通过对施工区域的监测、包括脚手架的监测，也能够提出报警的信息。

8，厂区内流动吸烟识别。在电厂内有很多区域是禁止吸烟的，包括有一些烟火识别的措施是非常高的，我们在厂区内只要看到有烟、火星包括吸烟的行为，也能够提醒，能够通过提醒进入人脸抓拍的系统进行登记。

9，窨井孔洞防护栏识别。很多时候我们操作意识不够强，比如窨井盖拿起来以后一定要设一个防护圈，但是实施的时候有时候可能为了简单，不设置防护圈20分钟就能够把它盖上去，这些所有的能够通过视频的检测识别出来。

10，安全带防护识别。比如左边这个图，你戴安全带，但是没有上保险扣，这种行为经常也有发生，认为我们高空操作，比如才2.5米、2米，比较矮，这种也能够做到识别。

这些是我们目前针对于电厂操作里面可能出现的一些问题做的一些识别模块，当然我们继续深入我们施工操作中的规范，包括我们在研究，比如说你要去开关某个柜门的时候，他的动作要转的是180度，但是我们会识别你转的是不是180度，通过这些也能够规范操作。我们可以对报警数量进行统计分析，这是非常简单的动作，有了这些统计分析以后可以在我们的安全教育里面，针对一些重点需要加强的部分进行重点的交流，能够分配到每天每一个报警类型的统计，都能够把它统计出来。同时我们的摄像头其实在整个厂区是遍布很多的，不可能每一个摄像头所有的功能都执行，这样运算量太大，所以我们可以对你的报警任务进行设计。比如这个摄像头下，这条路上正在施工，我主要监测的是交叉的，比如窨井盖有没有防护，这个地方主要是识别口罩的，我就设定这些区域主要是识别口罩，等等这些情况我们可以根据你设定的区域摄像头进行选择。

有了这些识别以后对于这些内容就要做一个三维立体的防控。我们是把整个厂区大概的区域做三维的仿真，仿真以后能够实现实际的指挥，比如探测到某个地方有烟雾、有火灾的时候，通过摄像头能够监测到哪个地方有消防拴、哪个地方有驻扎的保安人员，能够快速响应，而且能够实现三维巡检，包括移动运维、自动报警的功能。

在电厂里面做不需要那么精细，因为只要信息叠加就可以了，是将视频数据、相关的信息跟电厂的真实三维场景做一些深度的融合，在需要指挥调度的时候能够知道所有的信息在哪些位置，而且能够直接的进行调度，能够达到有效的指挥、管理和运维的目标。

还有一个设备是高空远距离设备。比如当一个人员经过一个摄像头下，可能他快速走过了两三秒钟，但是我们制高点有一个远距离的监控摄像头，可以跟随你想要探测的轨迹进行全方位的监测，这个摄像头距离可以从1公里到20公里，有些大型电厂也完全能够进行覆盖。AR实际的指挥系统，可以通过立体的指挥，包括信息的整合，包括一些实景地图、智能分析的功能，将电厂所有的信息在一张图里面就能够掌握，解决我们原来在指挥中心密密麻麻的摄像头，一个人盯30秒眼睛就花了，基本上很多信息都是无效的，这个时候就能够实现我们讲的整个的整合。

在硬件设备这块，我想也给大家做一下介绍，因为这些很多的，在我们实际的使用过程中都会用到。

第一，我们的的电子门禁围栏系统，有很多是控制我们的一些禁止进入的区域，包括门禁的控制等等。

第二，视频监控的设备、人员管控的设备、无线电力巡检设备。

在视频监控这块可能大家了解的非常多，但是目前针对于这些所有的硬件设备我们是有做一些升级的。

第一，把所有的智能分析的软件模块全部都嵌入到常规的摄像头里面。原来的做法是，前端只是把图像传回来，后面有服务器进行智能分析。我们目前的做法，所有的摄像头都具备了这些智能分析的功能。同时，针对于一些特定的场所，我们还设计有防爆的摄像机。

第二，全景监控摄像头。刚刚介绍到360度的全景监控摄像头，我们目前也开发出了1200万像素、1500万像素跟2400万像素的三种图像，整个探测范围能够在这个摄像头安装区域底下200米范围大型的区域都可以进行无死角的监控。而且在我们的边缘地方，因为是做图像拼接的，也可以做到非常清晰。

第三，远距离监控设备。这个技术是原来我们应用在边境防范的场景上，但是后来我们在电厂调度过程中，发现也需要有这种放在制高点，能够看的更远，而且夜间也能够探测的设备，能够对于一些我们讲的行进的轨迹人员进行监测。我们这个设备有一种是云台型的，还有一种是转台型的，白天可见光从1公里到最远25公里，夜晚从1公里到15公里，都可以能够探测。

手持热成像仪。这个应该是普遍的应用，对于我们讲的便利设备上面温度的探测能够实现它的故障排查，手持式，而且这些信息可以通过无线的传输直接回到我们的指挥中心包括巡检中心，能够做到电力设备的测温包括故障的排查。

在巡检方面用的有三个设备：第一个，设备就是轨道机器人，其实这个比较常见，就是在我们有很多仪表仪器的地方设计好固定轨道，通过轨道的运行监测仪表的数据包括实际状况。第二个，无人机的电力巡检，我们不做无人机，我们做的是无人机底下的图像探测设备。第三个，机器人巡检，这是我们自己开发的机器人，能够智能的识别、精准的定位、测温也准确，而且能够做到惯性制导。

智能安全帽。可以做到图像采集、语音对象、无线传输、人员定位，而且实时信息可以跟后端进行远程的联动。

人证识别一体机，在我们进出口的时候访客进行采集。

人脸设备闸机。很多进出口都有人脸识别，它的识别速度非常快，基本上都是我们讲的以秒级的速度就能够实现我们讲的对于人员的进出进行管控。

这些是在我们原来系统之上前端设备的介绍。

接下来我想给大家介绍一下我们的企业，我们应该属于进入电力行业不久的企业。北京华电罗普特科技有限公司，由华北电力大学、厦门建发股份、罗普特科技集团公司合资成立的一家专门针对于电厂安全的高科技企业。华北电力大学，有很多的技术积累，包括承担国家的重大研发项目，为我们这家公司提供了方向的指导，包括科研的积累。建发股份是世界五百强企业，2018年建发收入2803亿，在电力行业建发股份原来就拥有很好的市场渠道。罗普特集团一直是专注于图像技术、人工智能、大数据在安全领域的应用，原来主要是针对公安、政法的一些行业开发出来基于视频的一些应用的技术。所以其实也可以看到，我们目前针对于电力行业安全，主要是基于视频为核心，整合大数据的应用。我们也相信，将三家股东的精华、特长、优势能够融汇、汇聚，为电力企业的智慧经营、智慧生产、智慧安全提供先进的技术和优质的服务。

我的介绍就是这些。谢谢大家！

来源：北极星电力网

（本文根据现场速记整理，未经发言人审核。）