存储产品进入涨价浪潮 安防云计算技术重要性突显

2017-04-22 18:35:30编辑:鲁迪 关键字:存储产品  安防云计算

目前存储产品的价格上涨持续已经接近一年,而且这种完全出自于市场行为的状况依然没有要停歇的势头。Garter最新的一份报告中称,他们认为想要等到存储设备降价只能到2019年了。报告显示,除了智能手机和PC以外,物联网设备、自动驾驶等都对存储芯片有着巨大的需求,缺口也很大。而部分存储芯片可能会在今年年底时涨势有所下滑,但是前提是价格已经涨到一定程度。

 

信息技术不断进步,闪存、磁盘、数据中心、DNA等各种新的存储技术不断出现。可即便如此,仍难以满足日渐庞大的数据体量的存储需求,加之IoT(物联网)行业的发展,致使数据的体量更为惊人。不可否认,这些数据中许多都蕴含着价值,但也不能忽视数据的惊人体量。难道到2020年我们要将44ZB的数据全部记录并存储下来吗?因此,我们需要用云计算技术对数据进行智能分析。今天就来探讨2017年安防云计算核心技术。

 

大规模混合计算技术

 

监控系统产生的大量视频图像数据如果只靠人工来进行处理,效率会非常低,借助于视频智能化处理算法,已经可以从视频图像数据中获取一些简单的特征进行比对,或者进行模式匹配产生报警事件,提高了处理的效率。这种方式能够处理的数据量,数据组合的程度,数据的类型等等都还处于较低的水平,无法应对海量数据和日益增长的需求。大规模计算技术的目的就是为了提供一种统一的数据处理平台,上面可以集成各种智能化算法和计算模型,综合处理海量监控数据,以更快的速度得到更有价值的数据。

 

统一资源管理技术

 

监控系统产生的主要数据就是视频和图像数据,原始数据经过处理后,会产生更丰富的数据,处理的方式也会有很大不同。比如对于历史视频数据可以在后台处理的视频数据检索,对于卡口的车牌和人脸特征数据需要实时布控,对历史卡口信息需要做到实时检索。这些数据都需要不同的计算框架进行处理,通过引入统一的资源管理平台,可以在同一个资源池里运行不同的计算框架,大幅提高资源的利用率,同时在资源被某种业务独占时,又能最大限度的发挥系统的性能。

 

实时检索技术

 

传统的结构化数据都采用关系型数据库进行保存,通过RAC等技术形成数据库集群,通过索引方式进行加速,但是核心还是基于行存储和关系运算,面对海量记录时在各个方面都已经遇到了瓶颈。实时检索技术通过引入分布式数据库,列式存储,内存计算,索引引擎等技术,能应对100亿级别的结构化数据,在存储容量,可扩展性,检索速度等多个方面都可以得到大幅提升。该系统在智能交通、刑事侦查等视频监控领域具备重要的研究价值和广阔的应用前景。

 

复杂事件处理技术

 

随着安防行业的发展,业务变的也来越复杂,比如智能交通领域,出现了车辆积分研判、套牌车分析、同行车分析等需求。这些需求存在产生结果所依赖的条件多、处理过程实时性的要求高、需要处理的数据量巨大等特点。传统的方式是采用关系数据库,通过复杂的SQL语句组合,不断查询比对的方式,很难满足实时性的要求。复杂事件处理通过引入流式计算等技术,动态地对输入数据进行实时的分析,处理速度可以大幅提供。不符合条件的数据都被丢弃掉,系统中只存在处理的结果或者可能有用的中间数据,这样对存储的要求也变小了,完全在内存中进行全过程的分析,实时性得到了保证。

 

人脸检索技术

 

人脸检索的技术在单台服务器上的应用已经比较成熟,可以应用在身份鉴别、在逃人员抓捕、可疑人员排查、身份证查重等领域。人脸检测过程可以分为以下几个阶段:视频或图像解码、人脸检测、特征提取、特征比对,前三个步骤都是每次请求对应一次计算,计算量相对可控,而最后一个步骤特征比每次请求则需要和达亿级的人脸特征进行比对,是运算量最大的一个阶段。

 

一些实时应用的请求数每秒钟可达请求数达到数百次,每次人脸比对次数可达百万级别时,则整个系统需要支持每秒亿级的人脸特征比对计算。如此大规模的计算,单机上是无法完成的,必须采用集群完成。特征库本身规模不大,但是比对次数很大,属于典型的计算密集型集群,特征库可以全部倒入到内存,在内存中完成计算。

 

海量视频检索技术

 

图像传感器采集到的视频数据保存到后端存储后,用户可以随时选择目标区域的多个摄像头,提交给视频检索集群,检索集群按照目标物体的特征快速检索的所有对应摄像头产生视频数据,找到目标物体特征所出现的视频,并定位到准确的时间点。其中主要使用了智能化技术实现视频数据到物体特征结构化数据的转换,支持车辆颜色,车牌,衣着颜色,人脸等特征。基于统一的计算资源池,实现智能化算法的并行运算,线性提高检索效率。

 

结构化之后的数据可以保存到数据库,下次检索可以直接通过结构化数据进行二次检索,大幅提高检索效率。

 

分布式对象存储技术

 

安防云在系统架构和设计上,充分考虑大规模集群环境下软硬件发生故障的现实,采用先进的管理思想和软件系统,实现对大量普通存储服务器存储空间资源进行虚拟化整合,实现软硬件故障高度容错,搭建高度稳定可靠的存储集群。

 

系统将控制流与数据流分离,以及充分优化元数据节点控制系统,使得系统具备极高的性能和良好的线性扩展能力。系统整体为应用提供统一命名空间,使得系统具备极好的数据共享能力。系统将负载均衡到集群内的各节点上,充分利用集群各节点性能,以获得很好的性能聚合能力以保证系统的稳定。集群采用高度灵活自组网技术,提供简易部署和维护功能。系统在数据可靠方面,采用智能冗余重建技术,保证较高磁盘利用率的前提下,提供最佳冗余策略。另外,系统在节点软硬件故障容错方面,也进行充分考虑,具备屏蔽所有可屏蔽错误能力。

 

快速文件索引技术

 

云存储系统可以支持上亿级的文件,同时还需要支持上千个用户同时访问。这么大规模的元数据和并发访问量,采用传统的内存加磁盘多级存储,以及多级索引方式,寻址的开销将非常大,直接影响到系统的可用性。

 

为了提高系统的响应速度,云存储采用粗粒度的管理方式,以64M作为典型的块大小进行索引,大幅减小元数据的数量,即使如此,系统的元数据规模还是会达到GB级别。基于这种情况,系统采用全内存态的元数据访问模式,可以将文件寻址时间降到毫秒级别。

 

为了保证元数据的可靠性,需要对元数据的访问做日志记录,并定期将元数据持久化到硬盘。

 

负载自动均衡技术

 

采用中心服务器模式来管理整个云存储文件系统,所有元数据均保存在元数据服务器上,文件则被按块划分存储在不同的数据节点上。

 

元数据维护了统一的命名空间,同时掌握整个系统内数据节点的使用情况,当客户端向元数据服务器发送数据读写的请求时,元数据服务器根据数据节点的磁盘使用情况、网络负担等情况,选择负担最轻的节点服务器对外提供服务,自动调节集群的负载状态。

 

数据节点内同时有提供磁盘级的负载均衡,根据磁盘的IO负载,空间容量等情况,自动选择负载最轻的磁盘存储新的数据文件。

 

当有一个数据节点因为机器故障或者其他原因造成离线时,元数据服务器会将此机器自动屏蔽掉,不再将此数据节点提供给客户端使用,同时存储在此数据节点上的数据也会自动恢复到其他可用的节点服务器上,自动屏蔽数据单节点故障对系统的影响。

 

另外对故障的数据节点上的数据快速恢复,只需将数据节点上的硬盘拔出,插入到其他数据节点,这样即减少集群对数据恢复的压力,又不对客户端读写产生影响。

 

高速并发访问技术

 

客户端在访问云存储时,首先访问元数据服务器,获取将要与之进行交互的数据节点信息,然后直接访问这些数据节点完成数据存取。

 

客户端与元数据服务器之间只有控制流,而无数据流,这样就极大地降低了元数据服务器的负载,使之不成为系统性能的一个瓶颈。客户端与数据节点之间直接传输数据流,同时由于文件被分成多个节点进行分布式存储,客户端可以同时访问多个节点服务器,从而使得整个系统的I/O高度并行,系统整体性能得到提高。

 

通常情况下,系统的整体吞吐率与节点服务器的数量呈正比。


关键字:存储产品  安防云计算

来源: 太平洋安防网 引用地址:http://www.eeworld.com.cn/afdz/article_2017042210518.html
本网站转载的所有的文章、图片、音频视频文件等资料的版权归版权所有人所有,本站采用的非本站原创文章及图片等内容无法一一联系确认版权者。如果本网所选内容的文章作者及编辑认为其作品不宜公开自由传播,或不应无偿使用,请及时通过电子邮件或电话通知我们,以迅速采取适当措施,避免给双方造成不必要的经济损失。

上一篇:从雄安新区建设看智慧安防的发展机遇
下一篇:颠覆性黑科技“人脸识别” B端市场有望率先爆发

关注eeworld公众号 快捷获取更多信息
关注eeworld公众号
快捷获取更多信息
关注eeworld服务号 享受更多官方福利
关注eeworld服务号
享受更多官方福利

推荐阅读

大兆科技推出全新版本 VirtualStor 7.0软件定义存储产品

2018年5月23日,北京——Bigtera(大兆科技) , 为软件定义存储平台和解决方案的创新者, 日前发表全新版本软件定义存储产品 VirtualStor™ 7.0,全系列产品包括了VirtualStor™ Scaler与 VirtualStor™ Converger。VirtualStor 7.0 系列是专为高效能运算而设计, 适用于处理大量数据运算, 满足AI 人工智能所需大型数据中心及云存储使用。该系列采用独家BigteraStore存储引擎, 独有的演算方式, 针对高带宽的使用场景,能完全发挥底层硬件的 IO 吞吐能力,使得整体IO带宽可以得到2倍以上的提升。此外,新增SSD寿命预估、已使用容量与效能预测、多文件系统
发表于 2018-05-24 08:46:54

Bigtera推出全新版本 VirtualStor™ 7.0软件定义存储产品

搭配业界独家新一代BigteraStore 软件存储引擎,效能翻倍IO带宽二倍提升专为高效能运算设计 2018年5月23日,北京——Bigtera(大兆科技) , 为软件定义存储平台和解决方案的创新者, 日前发表全新版本软件定义存储产品 VirtualStor™ 7.0,全系列产品包括了VirtualStor™ Scaler与 VirtualStor™ Converger。VirtualStor 7.0 系列是专为高效能运算而设计, 适用于处理大量数据运算, 满足AI 人工智能所需大型数据中心及云存储使用。该系列采用独家BigteraStore存储引擎, 独有的演算方式, 针对高带宽的使用场景,能完全发挥底层硬件的 IO
发表于 2018-05-23 14:37:13

64层第二代3D NAND存储产品及解决方案

 200%,同时还提供同步读写功能。这为提供在捕获高分辨率照片的突发数据或将 4K 视频记录到存储时所需的数据访问速度奠定了基础。 该新产品基于 32GB 芯片,尺寸为 59.341mm2——是业界市场上最小的 32GB TLC 3D     NAND 芯片。1Gartner 市场见解:支持 AI 的智能手机产生新商机的 10 个使用案例。(gartner.com/newsroom/id/3842564)2资料来源:美光科技。基于美光 B16A 32GB TLC
发表于 2018-04-09 17:49:58
64层第二代3D NAND存储产品及解决方案

紫光存储首次实现中国自主品牌闪存产品全覆盖

紫光存储科技有限公司3月1日在北京宣布推出全系列高性能闪存产品,这标志着中国自主品牌闪存产品首次实现从端到云全覆盖。紫光存储此次重大发布,产品覆盖从移动终端存储、PC笔记本电脑消费级存储,到数据中心云平台企业级存储。其中包括中国国内企业首次推出的移动终端存储产品。当天也是成立于2017年8月的紫光存储在媒体面前首次亮相。存储产业虽是信息电子行业的细分领域,却有着无比巨大的体量和持续的高速成长性。但目前,这个产业的上游产品技术完全掌握在少数几家海外巨头手中。紫光集团联席总裁兼紫光存储科技有限公司CEO齐联表示,紫光会投巨资打造一条从存储芯片设计、制造、封装、测试,到存储产品模组器件以及控制器的研发、制造、封装、测试、销售和服务,再到
发表于 2018-03-02 12:06:41

紫光存储推全系列高性能闪存产品 自研SSD主控亮相

集微网3月1日报道(记者 张轶群)今日,紫光存储科技有限公司(以下简称 紫光存储)在北京举行新闻发布会,这是去年8月紫光存储成立之后,紫光存储首次出现在媒体及公众面前,此次发布会上,紫光存储同时推出了覆盖从移动终端存储、PC笔记本电脑消费级存储,到数据中心云平台企业级存储的全系列高性能闪存产品,自研SSD主控也一并亮相。这不仅意味着紫光的存储帝国实现了从芯到云的完整布局,同时也标志着我国自主品牌闪存产品可以满足各类存储应用需求,并将推动国内自主品牌市场的快速发展。在2018年中国存储产业发展的关键时间节点,紫光开始全面发力。紫光“从芯到云”战略的重要连接者近年来,紫光集团依托“从芯到云”的发展战略,投入巨资打造一条从存储
发表于 2018-03-02 08:04:19
紫光存储推全系列高性能闪存产品 自研SSD主控亮相

宁夏首个存储产品研发项目落户银川中关村

电子网综合报道,近日,银川中关村集成电路产业研发中心项目签约仪式举行,这标志着宁夏首个存储产品研发项目落户银川中关村创新创业科技园。当天,银川中关村双创园建设服务办公室、西夏区政府,与银川汇创资本有限公司、银川产业发展基金有限公司、南京储芯电子科技有限公司签订《银川中关村集成电路产业研发中心项目合作协议书》。南京储芯电子科技有限公司(以下简称“南京储芯”)是国内顶尖的集成电路测试服务公司,同时具备存储产品设计、固件系统开发、存储器封装、多芯片封装、多层封装、晶圆测试和系统测试的完整能力,产品主要应用于智能手机、平板电脑和车载储存。为加速推进银川中关村创新创业科技园建设,银川方面与南京储芯达成初步意向,计划成立合资公司,建设银川
发表于 2018-01-12 20:26:24

小广播

About Us 关于我们 客户服务 联系方式 器件索引 网站地图 最新更新 手机版

站点相关: 视频监控 智能卡 防盗报警 智能管理 处理器 传感器 其他技术 综合资讯 安防论坛

北京市海淀区知春路23号集成电路设计园量子银座1305 电话:(010)82350740 邮编:100191

电子工程世界版权所有 京ICP证060456号 京ICP备10001474号 电信业务审批[2006]字第258号函 京公海网安备110108001534 Copyright © 2005-2018 EEWORLD.com.cn, Inc. All rights reserved