大数据来临 监控存储或将以新面貌上阵

2013-05-04 21:46:53来源: 中关村在线 关键字:监控

  “大数据”是指一组数据集非常庞大且复杂,以致于很难利用现有的数据库管理工具进行处理。它有助于统一大型数据集,并能够从分析中得出其它信息,而不是来自具有相同数据总量的单独的较小数据集。企业领导者已对此作出回应,CEO们是大数据倡议的头号支持者。在互联网极为发达的今天,大数据时代即将来领。本文重点分析大数据时代,监控储存模式的变化以及大数据带来带的智慧城市新面貌。

  大数据时代的来临

  互联网特别是移动互联网的发展,加快了信息化向社会经济各方面、大众日常生活的渗透。有资料显示,1998年全球网民平均每月使用流量是1MB(兆字节),2000年是10MB,2003年是100MB,2008年是1GB(1GB等于1024MB),2014年将是10GB。全网流量累计达到1EB(即10亿GB或1000PB)的时间在2001年是一年,在2004年是一个月,在2007年是一周,而2013年仅需一天,即一天产生的信息量可刻满1.88亿张DVD光盘。我国网民数居世界之首,每天产生的数据量也位于世界前列。淘宝网站每天有超过数千万笔交易,单日数据产生量超过50TB(1TB等于1000GB),存储量40PB(1PB等于1000TB)。百度公司目前数据总量接近1000PB,存储网页数量接近1万亿页,每天大约要处理60亿次搜索请求,几十PB数据。一个8Mbps(兆比特每秒)的摄像头一小时能产生3.6GB数据,一个城市若安装几十万个交通和安防摄像头,每月产生的数据量将达几十PB。医院也是数据产生集中的地方。现在,一个病人的CT影像数据量达几十GB,而全国每年门诊人数以数十亿计,并且他们的信息需要长时间保存。总之,大数据存在于各行各业,一个大数据时代正在到来。

  信息爆炸不自今日起,但近年来人们更加感受到大数据的来势迅猛。一方面,网民数量不断增加,另一方面,以物联网和家电为代表的联网设备数量增长更快。2007年全球有5亿个设备联网,人均0.1个;2013年全球将有500亿个设备联网,人均70个。随着宽带化的发展,人均网络接入带宽和流量也迅速提升。全球新产生数据年增40%,即信息总量每两年就可以翻番,这一趋势还将持续。目前,单一数据集容量超过几十TB甚至数PB已不罕见,其规模大到无法在容许的时间内用常规软件工具对其内容进行抓取、管理和处理。

  数据规模越大,处理的难度也越大,但对其进行挖掘可能得到的价值更大,这就是大数据热的原因。首先,大数据反映舆情和民意。网民在网上产生的海量数据,记录着他们的思想、行为乃至情感,这是信息时代现实社会与网络空间深度融合的产物,蕴含着丰富的内涵和很多规律性信息。根据中国互联网络信息中心统计,2012年底我国网民数为5.64亿,手机网民为4.2亿,通过分析相关数据,可以了解大众需求、诉求和意见。其次,企业和政府的信息系统每天源源不断产生大量数据。根据赛门铁克公司的调研报告,全球企业的信息存储总量已达2.2ZB(1ZB等于1000EB),年增67%。医院、学校和银行等也都会收集和存储大量信息。政府可以部署传感器等感知单元,收集环境和社会管理所需的信息。2011年,英国《自然》杂志曾出版专刊指出,倘若能够更有效地组织和使用大数据,人类将得到更多的机会发挥科学技术对社会发展的巨大推动作用。

  大数据:分隔的存储系统

  大的数据并不是一种特定类型的数据。每一种非结构化数据均可被视为大数据。这包括在社交网站上的数据、在线金融交易数据、公司记录、气象监测数据、卫星数据和其他监控、研究和开发数据。大数据的量是巨大的而且是非结构化的。

  1、通过隔离管理大数据存储

  如果您在您的企业中有多个存储箱,那么将数据库、线交易处理(OLTP)和微软Exchange应用到特定的存储系统绝对是一个好主意。而专其它存储系统则用于大数据应用,如门户网站,在线流媒体应用,等等

  如果您的企业负担不起分隔的存储系统,将特定的前端存储端口到数据库,OLTP,等等;致力于大数据应用到其他端口。背后的基本原理是使用专用端口,而大数据流量是以千字节或兆字节衡量,OLTP应用流量是以每秒的输入/输出操作(IOPS)衡量,因为数据块的大小是比大数据更大而比OLTP应用程序更小。OLTP应用程序是CPU密集型的,而大数据应用程序更多的使用前端端口。因此,更多的端口可以专注于大数据应用。

  2、大数据分析

  如今,很多公司提供兼容数据管理的存储系统。你应该在寻找你的大数据存储管理解决方案时评估这些公司。如EMCIsilon的集群存储系统对于大数据存储管理是一个更好的选择,因为在一个单一的文件系统中大数据能增长到多字节的数据。除了存储,大数据管理的另一项大的挑战是数据分析。一般的数据分析应用程序无法很好的处理大数据,毕竟涉及大量的数据。

  目前,诸如EMCGreenplum这样的公司就在采用专门针对大数据的管理和分析的工具。这些应用程序运行在集群存储系统上,缓解大数据的管理。建议选择应用程序可同时工作在群集存储系统,并迅速有效地分析数据。快速索引,确保元数据始终驻留在固态硬盘(SSD),如果存储箱为您提供了这样的选择的话。

  管理大数据的另一个需要重点考虑的是未来的数据增长。你的大数据存储管理系统应该是可扩展的,足以满足未来的存储需求。

  大数据:智慧城市的智慧引擎

  大数据应用于智慧城市,推动我国城市化进程。智慧城市是城市信息化向智慧化发展的必经阶段,同时在建设智慧城市过程中也会带动相关产业的整体发展,成为经济转型、产业升级、城市提升的新引擎。

  从智慧城市的体系结构来看,由于智慧城市的基础在于物联网技术,因此智慧城市体系架构和物联网的体系结构相类似,也可分为四层,分别为感知层、传输层、平台层、应用层。智慧城市相对于之前数字城市概念,最大的区别在于对感知层获取的信息进行了智慧的处理,因此也可以认为智慧城市是数字城市的升级版。由城市数字化到城市智慧化,关键是要实现对数字信息的智慧处理,其核心是引入了大数据处理技术

  大数据技术是处理感知层数据的必然选择

  感知层是智慧城市体系对现实世界进行感知、识别和信息采集的基础性物理网络,海量的数据在感知层产生。以视频监控为例,北京目前用于视频监控的摄像头有50万个,一个摄像头一个小时的数据量就是几G,每天北京市的视频采集数据量在3PB左右,而一个中等城市每年视频监控产生的数据在300PB左右,这些摄像头实时回传信息,海量数据对数据存储、并发处理的要求是近乎苛刻的。同时,对于海量数据的处理不单是智慧化的必然要求,同时也是对IT投资的一种保护,否则非但不能充分挖掘数据的价值,还将为海量数据所累。

  智慧城市的建设带来数据量的爆发式增长,而大数据就像血液一样遍布智慧交通、智慧医疗智慧生活等智慧城市建设的各个方面,城市管理正在从“经验治理”转向“科学治理”。

  大数据为智慧城市的各个领域提供强大的决策支持。在城市规划方面,通过对城市地理、气象等自然信息和经济、社会、文化、人口等人文社会信息的挖掘,可以为城市规划提供强大的决策支持,强化城市管理服务的科学性和前瞻性。在交通管理方面,通过对道路交通信息的实时挖掘,能有效缓解交通拥堵,并快速响应突发状况,为城市交通的良性运转提供科学的决策依据。在舆情监控方面,通过网络关键词搜索及语义智能分析,能提高舆情分析的及时性、全面性,全面掌握社情民意,提高公共服务能力,应对网络突发的公共事件,打击违法犯罪。在安防与防灾领域,通过大数据的挖掘,可以及时发现人为或自然灾害、恐怖事件,提高应急处理能力和安全防范能力。

关键字:监控

编辑:鲁迪 引用地址:http://www.eeworld.com.cn/afdz/2013/0504/article_5739.html
本网站转载的所有的文章、图片、音频视频文件等资料的版权归版权所有人所有,本站采用的非本站原创文章及图片等内容无法一一联系确认版权者。如果本网所选内容的文章作者及编辑认为其作品不宜公开自由传播,或不应无偿使用,请及时通过电子邮件或电话通知我们,以迅速采取适当措施,避免给双方造成不必要的经济损失。

上一篇: 监控无线全球繁荣 智能安防爆发增长
下一篇:从几大关键词深入了解960H摄像机

论坛活动 E手掌握
关注eeworld公众号
快捷获取更多信息
芯片资讯 锐利解读
微信扫一扫加关注
芯片资讯 锐利解读
推荐阅读
全部
监控

小广播

独家专题更多

2017东芝PCIM在线展会
2017东芝PCIM在线展会
TI车载信息娱乐系统的音视频解决方案
TI车载信息娱乐系统的音视频解决方案
汇总了TI汽车信息娱乐系统方案、优质音频解决方案、汽车娱乐系统和仪表盘参考设计相关的文档、视频等资源
迎接创新的黄金时代 无创想,不奇迹
迎接创新的黄金时代 无创想,不奇迹
​TE工程师帮助将不可能变成可能,通过技术突破,使世界更加清洁、安全和美好。

About Us 关于我们 客户服务 联系方式 器件索引 网站地图 最新更新 手机版

站点相关: 视频监控 智能卡 防盗报警 智能管理 处理器 传感器 其他技术 综合资讯 安防论坛

北京市海淀区知春路23号集成电路设计园量子银座1305 电话:(010)82350740 邮编:100191

电子工程世界版权所有 京ICP证060456号 京ICP备10001474号 电信业务审批[2006]字第258号函 京公海网安备110108001534 Copyright © 2005-2017 EEWORLD.com.cn, Inc. All rights reserved