大数据与IT基础架构

2015-06-10 15:54:25来源: EEworld作者: 刘鑫,华三通信政府解决方案部部长
有研究表明:人类70%的活动都是有规律可循的。大数据,可以让我们看到这种规律并预知未来,例如通过整理近期的气象情况和卫星云图,我们能够判断未来几天的天气状况。去年,央视两次携手百度分别打造“据说春运”与“据说春节”特别节目——“据说春运”携手百度地图,用大数据展现春节前后人口大迁徙的轨迹与特征;“据说春节”运用百度大数据来述说回娘家、恐婚族等春节长假期间的热门话题。可见,通过解读数据可以发现有趣的现象、挖掘以往被忽视的规律,还可以对人类的行为进行预测。 

事实上,数据分析的案例自古有之,在前几年也有很多数据挖掘技术和应用的出现。但这些数据挖掘技术对数据的使用,都是先抽样、萃取人们或系统认为有价值的数据,再分析、挖掘,而并不是使用全部数据。原因很简单——信息的收集、存储和信息分析的系统构建、维护成本过于巨大,所以人们总是习惯在信息收集的过程中,把有关联的少部分精确数据留下。

以人们的日常购买行为为例,传统超市会通过对“时间、产品销售量/销售额”这几个指标的分析,判断近期哪些货品是热销产品,在短期更受用户的欢迎,进而对热销货品提供充足的货源保障,把热销货品放在超市最容易接触的位置,提供某些促销优惠等等。

再看另一个来自美国的零售商塔吉特的案例,它使用大数据进行“怀孕趋势分析”。通过对大量消费记录的分析,塔吉特公司注意到,准妈妈很可能在怀孕第三个月的时候购买某种乳液,并陆续购买营养品(如钙、镁、锌等)。塔吉特公司找到了几十种关联物,通过这些关联关系,预判客户是否怀孕以及预产期的大概日期。在客户怀孕的不同阶段,该公司会向客户推销相应的产品或优惠券。

前两个案例,分别是典型的“小数据”分析和“大数据”分析。大数据不仅是数据量大,同时数据种类多;不是数据的抽样,而是数据的全集;不是与目标有因果关系的数据,而是所有有关联的数据。与传统的数据分析相比,大数据可以被用来开发新产品和新型服务,其价值越来越受到关注。
为什么在几年前,没有人收集和利用全部的数据,再进行大数据分析呢?除了成本上的考虑,还存在另一个问题:传统上,人们是基于单一“业务”去构建系统,而不是基于“数据”去构建系统。例如,某超市要建设一个CRM系统,IT部门会基于“客户管理”这个业务采购软硬件,所有建设都围绕“客户管理”,很少考虑开放、兼容等特性;如果想再上一套“行为分析”系统,则围绕“行为分析”这个业务去采购软、硬件。当需要把两个系统的数据进行统一分析时,由于两套系统不兼容,需要中间件来转接、编译,因此两套系统各自要进行二次开发以实现兼容,使得操作难度变高,造成有价值的“数据”被困在了“系统”这个孤岛里。因此在规划初期,就应充分考虑到数据的流动性、系统的兼容性,考虑到数据将会被各种系统多次使用的情况。

也许有人会说:这样的系统规划会非常复杂,构建成本太高,很难把系统的模型和方案想清楚。我们再来看看互联网公司。大型互联网公司这几年在构建IT系统时,都会采用标准架构:如X86服务器、标准化的网络协议、开源的数据库、分布式存储等等。因为只有这样,才能够通过统一的硬件和软件平台来承载各种各样的业务。比如微信、QQ、游戏、视频等业务都是承载在同一个平台上,所有数据的流动在基础设施这个维度里都是自由的。所以我们看到如腾讯、阿里巴巴等互联网公司上线新业务的速度非常快,而且能够根据用户各种网络行为,判断互联网用户感兴趣的“热点”,在某项业务上再叠加新服务。这就是大数据的典型应用。

在构建了标准的硬件、软件基础设施之后,业务可以被逐步规划,分阶段上线,但是所有的业务架构、程序接口,都应按照标准基础设施的统一要求进行设计开发。大数据本身是“业务”,需要建设者用更多的时间去摸索业务模型,在实践中完善新技术,把现有的封闭的系统逐步改良为开放的标准化架构。

从IT的发展趋势看,大数据时代是在云计算建设成熟之后到来的,大多数互联网公司的建设历程也遵循了这种规律。云计算将带来标准、统一的IT架构,消除割裂和信息孤岛,并且简化大规模IT部署和运维的复杂程度,而这些都是大数据分析系统建设的前提。

杭州华三通信技术有限公司(以下简称华三通信)的云计算方案,就是要实现IT基础设施的标准化、智能化,为大数据分析提供更加智能灵活的基础设施平台。例如统一的云管理平台CSM,将所有IT资源拉通管理,并且把沟通过程流程化;X86服务器+虚拟化软件CAS,屏蔽底层硬件服务器间的差异,使虚拟机应用可以在不同的物理服务器间飘移;SDN网络虚拟化技术,使网络真正成为资源池,由上层应用调用;VSAN分布式存储,屏蔽了底层硬件存储间的壁垒,存储数据可以分布在不同的物理服务器的硬盘上。

身处大数据时代的前夕,伴随着云计算建设的浪潮,我们已经清晰地看到云计算和大数据的价值,也在期待它们为我们带来更多的改变,更多的惊喜。
 

关键字:大数据  华三通信

编辑:刘燚 引用地址:http://www.eeworld.com.cn/wltx/2015/0610/article_12948.html
本网站转载的所有的文章、图片、音频视频文件等资料的版权归版权所有人所有,本站采用的非本站原创文章及图片等内容无法一一联系确认版权者。如果本网所选内容的文章作者及编辑认为其作品不宜公开自由传播,或不应无偿使用,请及时通过电子邮件或电话通知我们,以迅速采取适当措施,避免给双方造成不必要的经济损失。
论坛活动 E手掌握
微信扫一扫加关注
论坛活动 E手掌握
芯片资讯 锐利解读
微信扫一扫加关注
芯片资讯 锐利解读
推荐阅读
全部
大数据
华三通信

小广播

独家专题更多

富士通铁电随机存储器FRAM主题展馆
富士通铁电随机存储器FRAM主题展馆
馆内包含了 纵览FRAM、独立FRAM存储器专区、FRAM内置LSI专区三大部分内容。 
走,跟Molex一起去看《中国电子消费品趋势》!
走,跟Molex一起去看《中国电子消费品趋势》!
 
带你走进LED王国——Microchip LED应用专题
带你走进LED王国——Microchip LED应用专题
 
电子工程世界版权所有 京ICP证060456号 京ICP备10001474号 电信业务审批[2006]字第258号函 京公海网安备110108001534 Copyright © 2005-2016 EEWORLD.com.cn, Inc. All rights reserved