三维视觉系统能提升复杂场景下视频监控的准确率

2016-01-29 19:47:07编辑:鲁迪 关键字:摄像机  三维  智能分析  二维
    视频监控进入网络化、高清化之后,智能化已经成为安防技术的竞争热点。视频监控前后端的智能分析正在安防行业得到逐步的应用,但鉴于二维建模分析原理的局限性,智能分析的准确度受限于应用场景的复杂程度及芯片处理器的性能等条件,很显然,在技术领域的垂直研发能力要解决现有的问题,并不是一件容易的事。那么,如果从二维的建模思维跳跃到三维的立体空间建模,会不会带来智能分析技术领域革新性的发展?

  文/赵勇

  基于三维深度视觉信号处理技术的视觉传感器网络,对于智能分析在场景应用中的准确率将从本质上得到提升,并解决用户从场景监控环境中获得人的轨迹行为的迫切需求。

  三维摄像机的基本性能介绍

  芯片处理

  三维摄像机的智能分析的核心是在前端进行人的轨迹跟踪分析,同时在后端也开放了SDK,将SDK里面的内容传到后台的服务器,客户可以根据业务需求在SDK的基础上进行二次开发。

  建模

  三维摄像机产品模型是三维模型,一种是三维的背景模型,在使用的场景中,热点和热区都是属于三维的。二维只能是在平面上画一个禁区,缺陷在于有时候人根本没有进入禁区,但是当人遮挡禁区的时候就会产生误报,而三维的背景模型可以设一个球形、立方形,只要物体没有进入这个立方形的几何边界,它就不会报警。另一种是前景建模,就是对所看到的物体进行形态的分析,比如一个人拉着一个箱子或者推着一辆车,三维摄像机看到的每个物体都会用深度学习判断这个东西到底是不是人。

  数据结构化和云计算

  三维摄像机未来将是一个数据结构化的产品,在录像中每个人从影像出来的轨迹,都会变成结构化的数据存储到后台的服务器,而后台服务器的架构是标准的云计算的架构。每个摄像机自身就是一个云的Docker,三维摄像机安装在银行时,由于银行都使用了标准的服务器结构,运营起来不会有问题。而对于零售机构的后台服务器,因为直接可以部署在云端,所以在开始设计时,就是按照兼容云的结构去研发。

  三维PK二维 智能分析算法优劣势对比

  要从根本上、光学上彻底解决二维智能算法准确率不高的难题,可以从三维计算机视觉去寻求突破。三维计算机视觉是采用了革命性的三维视觉传感器和三维视觉算法,实时捕捉和分析场景的三维信息,解决了传统二维图像中的相互遮挡、影随人动、比例混淆等问题,使得更高精确度和复杂度的智能分析成为现实。

  相互遮挡的问题

  我们知道,现在行业用的摄像机是二维的,成像原理是通过镜头实现小孔成像(如图1),然后投影到一个二维的平面上,以前的平面是胶卷,现在是半导体芯片的数码相机。成像的过程本质是没有改变的,一个三维的世界,压扁之后放在一个平面上,从智能算法的角度分析,这个过程是造成准确度下降的核心。比如当两个人前后有遮挡时,那么在二维图形里面要把这两个人分开来,难度比较大。而三维的摄像机,首先传感器是不一样的,它捕捉的是三维图像,每一个像素都是有颜色的,还有像素代表了物体到相机的绝对距离。目前市场的某些摄像机像雷达,除了被动的成像,还向外主动的发射微波的微观红外图像,相当于在场景里发射出一束激光,打在物体上,返回时携带了物体的几何信息。摄像机通过这种方式得到了立体的图像,知道什么东西在什么地方,它的结构是怎么样的。这种数据从本质上讲,给出了更丰富的信息,可以让摄像机去处理更复杂的场景,比如拥挤的场所(如图2),即使一个人被挡住了,他露出的部分,还是可以非常清晰地在图像里分析出来,这也是为什么在复杂的场景中,三维的智能分析对人的跟踪远远比二维的要好。

  影随人动的问题

  其实,三维对光影变化的处理抗噪性特别的好,在视觉领域,有一个现象叫“影随人动”,当物体的影子比较强烈时,在二维的图像里面,影子会随着人的移动而跟着移动,所以要把影子与人分开很难,影子容易被误当做人。但是这个过程有一点是确定的,那就是影子始终是投影在背景上的,三维的传感器既然可以捕捉到物体的深度信息,所以即使有一个影子在背景上,摄像机也可以通过计算该影子与到相机的距离来分辨其是否在背景上,对整体的分析没有造成干扰。

  比例混淆的问题

  在图像里面,物体的大小与其实际大小并没有关系,因为它还取决于这个物体到摄像机的距离(如图3)。但是在三维图像里面,可以很精确地知道,这个物体在什么地方,它有多大多小。三维的摄像机有一个绝对尺度的计算,有了绝对尺度之后,就可以做到大小、距离、加速度的测量等。但在二维摄像机里,没有绝对的尺度,所有的都是相对尺度,所以所有的测量都是相对的。因此三维摄像机对人的行为可以进行更精确的测量,比如人走了多少距离、速度多快、身高多少,在三维分析里面都有非常准确的测量。

  困难重重 三维摄像机在研发和应用上的难题

  研发过程

  首先从硬件上讲,这是一个更复杂的产品,一些产品表面上看是有三个摄像机,其实是两个摄像机加一个投影仪,投影仪是把红外激光的影像进行投影。而另外两个摄像机,一个是色彩摄像头,一个是红外摄像头,红外摄像头就与投影仪相互配合,进行深度算法分析。

  其次,从软件上分析,相比二维更为复杂,表现在对人的暴力程度、跌倒行为需要有更深度、精确的算法分析。运算量越大,消耗的就越多。

  另外,当前的产品应用,主要在室内,室外的产品也在研发当中。室内与室外最大的差别在于成像原理,而第一代产品是基于红外结构光谱基础成像,发出的红外光如果在室外,就容易被太阳光冲淡。现在的产品在阴晴的气候环境下也可以工作,但在强光下就无法工作,所以要在室外工作,必须要在成像原理上做突破。

  场景应用

  安防监控在过去的发展历程中主要是铺设备和提升摄像机的分辨率,但是这个过程给用户带来了巨大的痛苦——大多数安防监控的数据量更大了,而行为分析的能力没有得到提升。很多客户需要更智能的产品,那就是不需要人去监看,或者需要人去看的数据很少,所以这里蕴藏着非常大的市场需求,就是对人的行为的分析。我们知道,安防监控有很多目标,但最重要的目标是人,很多客户希望行为分析里能把人的行为看得很清楚。

  人的行为分很多层次,有些是微观行为,比如人有没有在桌上拿走一张钱,或者他的眉毛有没有皱一下,这种非常细微的行为,这样的行为分析目前还不能做到。当前行业做的行为分析是基于人的轨迹进行分析,比如在银行里,有两种需求:第一种需求是在银行的营业厅里,客户想知道秩序怎么样,每个人在干什么,有没有排队,有没有移动过快,有没有异常的接近、跌倒或其他激烈的动作。实践证明,如果在人群比较拥挤,人与人有遮挡等复杂的情况下,用二维的智能算法去做分析,精度非常差。

  第二种需求是在银行内部的操作空间——敏感的现金区、ATM加钞间和金库。在这些地方客户有非常强的业务需求,比如在加钞间的款箱被打开的时候,监控画面要确保有两名工作人员来完成操作;在金库里面,人去了哪些地方,停留了多久……这些业务要求需要对人的行为进行检查和跟踪,再者如果人蹲了下去,或者人被遮挡了,摄像机还能精确检测到这个人是谁,那就对智能分析算法的精度的要求比较高。而当前传统的基于二维的智能算法,还不能满足这些具体的业务需求。

  未来发展

  平安城市或者智慧城市建设,就是希望把单个摄像机所产生的非结构化数据进行链接。三维摄像机有一个功能“活地图”,比如一个地方有一百个摄像机,拥有一百个画面,但我们不是给客户看一百个画面,而是给他看一个画面。里面每一个人的存在和移动都变成了一个小点,客户只要看一张图就可以知道这个场所发生了什么事情——人都在哪些地方,哪些地方人多、人少。白天的时候,客户就可以利用这些信息对流量进行精确的控制;夜晚的时候,就是安全需求,当有任何人闯进空间时,客户就可以对闯入者的位置、行为进行监控。这就是行业近期追求的目标,把海量的视频数据查阅转变成看一张图,而更长远的目标是进行人的识别——身份识别和人脸识别。

  三维摄像机的身份识别,要做到当一个人离开一个摄像机进入另外一个摄像机时,三维摄像机能把他识别出来,也就是要判断和确定两个摄像机里面出现的是同一个人。而在人脸识别方面,虽然当前的安防监控行业在人脸识别中有了初级的应用,但是深度的识别还没有成功。

  (本文作者现任北京格灵深瞳信息技术有限公司联合创始人兼CTO)

关键字:摄像机  三维  智能分析  二维

来源: 互联网 引用地址:http://www.eeworld.com.cn/afdz/article_9280.html
本网站转载的所有的文章、图片、音频视频文件等资料的版权归版权所有人所有,本站采用的非本站原创文章及图片等内容无法一一联系确认版权者。如果本网所选内容的文章作者及编辑认为其作品不宜公开自由传播,或不应无偿使用,请及时通过电子邮件或电话通知我们,以迅速采取适当措施,避免给双方造成不必要的经济损失。

上一篇:激光显示技术你懂多少
下一篇:安防视频监控技术领域那些闪亮点

关注eeworld公众号 快捷获取更多信息
关注eeworld公众号
快捷获取更多信息
关注eeworld服务号 享受更多官方福利
关注eeworld服务号
享受更多官方福利

推荐阅读

AI芯片元年开启,智能摄像机未来会走向何方

联手,也将AI芯片推上了新高度。基于麒麟系列芯片的全新人工智能算法已经应用在华为MATE10系列手机当中,成为业界第一款AI手机。而相关技术,正在被应用到华为最新的智能摄像机中。关于AI摄像机的概念并没有严格定义,业界纷纷将具备行为分析、车牌识别、人脸抓拍能力的摄像机宣传为AI摄像机。但笔者认为,只有具备自主判定能力的摄像机才能被称为AI摄像机。随着技术的逐步发展,AI摄像机将逐步成熟。未来的AI摄像机应当能判定自身所处的环境,并对环境和功能要求进行灵活适配,并作出自主判断,辅助人脑作出行动决策。当城市中出现危险因素时,AI摄像机应当能够在第一时间判定出危险源头并向执法警员作出预警,并自动联动周边设备,进行多机协同,实时掌握事态发展
发表于 2018-07-02 21:09:23

CCD摄像机功能使用介绍

,图像也会显示蓝色或红色。个别CCD由于生产车间的灰尘,CCD靶面上会有杂质,在一般情况下,杂质不会影响图像,但在弱光或显微摄像时,细小的灰尘也会造成不良的后果,如果用于此类工作,一定要仔细挑选。CCD摄像机划分a.依成像色彩划分彩色摄像机:适用于景物细部辨别,如辨别衣着或景物的颜色。黑白摄像机:适用于光线不充足地区及夜间无法安装照明设备的地区,在仅监视景物的位置或移动时,可选用黑白摄像机。b.依分辨率灵敏度等划分影像像素在38万以下的为一般型,其中尤以25万像素(512&TImes;492)、分辨率为400线的产品最普遍。影像像素在38万以上的高分辨率型。c.按CCD靶面大小划分CCD芯片已经开发出多种尺寸:目前采用的芯片
发表于 2018-06-02 21:44:10
CCD摄像机功能使用介绍

地平线发布嵌入式人工智能摄像机

当地时间4月11日,人工智能企业地平线在美西国际安全科技展(ISC West 2018)上发布了一款嵌入式人工智能抓拍识别摄像机HR-IPC2143,这款摄像机具备本地端抓拍、特征提取和识别功能,识别准确率99.7%,处于行业领先水平。地平线自主研发的嵌入式人工智能处理器,同时涵盖AI算法、AI芯片、工具链和云服务。HR-IPC2143摄像机接口示意图HR-IPC2143摄像机解构图,内部搭载“旭日”处理器芯片本次展示的HR-IPC2143摄像机具备本地端抓拍和识别功能的,并通过深度学习算法实现人脸抓拍、特征抽取、人脸特征值比对和识别等功能。通过“算法+芯片+云”的系统架构,用户可将摄像头中一些非结构化视频数据进行处理和转化,实现
发表于 2018-04-13 10:52:37
地平线发布嵌入式人工智能摄像机

君正T01引领端级AI摄像机落地

3月28日,海康威视旗下萤石品牌发布了首款AI互联网摄像机,首批万余台产品在发布后几小时内即被抢购一空。据悉,作为海康AI整体战略的重要部分,该产品将开启萤石智能摄像机系列序章。据了解,萤石首款AI互联网摄像机内置了君正机器视觉协处理器T01。也正是君正T01的独特功能,使得摄像机的核心性能得到显著提升。随着NN技术的崛起,以GPU为计算平台的NN网络使人工智能技术更加成熟,但GPU方案在安防领域部署实施,存在着一系列重大的弊端,其一就是需要将视频传输到云端,带宽消耗过大,第二就是受限于GPU的算力,检测成本非常高,一块GPU往往只能分析几路视频,代价非常高。为了解决这上面的问题,市场上陆续出现了DSP和 FPGA等方案用于把算力
发表于 2018-04-04 17:44:01
君正T01引领端级AI摄像机落地

云从科技成AI“独角兽”,这个摄像机有啥牛掰?

或许全世界都没想到,是中国AI公司云从科技,后来居上成为首个落地AI芯片应用场景并真正将AI技术引入硬件终端的AI“独角兽”…… 我国是摄像机需求大国,对于安全与便捷的需求让摄像机被使用在各个场景。截止2017年12月,中国仅在安防市场便有近两亿个摄像机。这些数量庞大的摄像机群通过网络与服务器连接而联系在一起,然后整个系统会使用人工智能技术对图像进行分析与报告。  在每天海量视频数据的冲击下,这已经成为如今摄像机网络能有效运行的重要支撑,然而,它却以极为"低效"的方式运作,视频数据堵塞了网络,同时识别上百路视频需要大量服务器支撑。 终于!在2018年3月19日,估值超过
发表于 2018-03-24 21:03:27
云从科技成AI“独角兽”,这个摄像机有啥牛掰?

安森美半导体推出用于OEM配备的车载DVR摄像机的图像传感器

推动高能效创新的安森美半导体是领先的汽车图像传感器供应商,针对其受欢迎的的 210 万像素(MP)CMOS图像传感器AR0237推出完全符合AEC-Q100认证的版本,用于新兴的OEM配备的行车记录仪或车前市场车载DVR。 随着越来越多的保险公司推出财务激励计划,消费者对安全摄像机的需求也在不断增加。汽车制造商认识到这一点,开始将行车记录仪作为出厂标配。首款配备OEM行车记录仪的车型已经上市。 许多制造商在生产零件市场用行车记录仪时所选的传感器,AR0237AT是同款图像传感器的成本优化车用认证版本,它提供1080p / 60fps全高清(HD)视频捕获以及静态图像捕获。随着该应用进入车前市场领域,汽车行业
发表于 2018-03-13 19:50:02

小广播

About Us 关于我们 客户服务 联系方式 器件索引 网站地图 最新更新 手机版

站点相关: 视频监控 智能卡 防盗报警 智能管理 处理器 传感器 其他技术 综合资讯 安防论坛

北京市海淀区知春路23号集成电路设计园量子银座1305 电话:(010)82350740 邮编:100191

电子工程世界版权所有 京ICP证060456号 京ICP备10001474号 电信业务审批[2006]字第258号函 京公海网安备110108001534 Copyright © 2005-2018 EEWORLD.com.cn, Inc. All rights reserved