超大规模存储到底意味着什么?

2016-05-05 20:01:09编辑:鲁迪 关键字:监控存储  企业级存储

    在企业级存储领域,企业组织并不一定需要利用超大规模的解决方案。但这恰恰正是当许多IT基础设施、操作运营和DevOps专家们在第一次了解超大规模这一概念时所认为的。
  
    当下较为流行的理念是:超大规模的架构注定成为非常大型的基础设施——就像那些由LinkedIn、亚马逊或Netflix运营的设施——因为其可以扩展到成千上万的实例和PB级的数据。但事实证明,我们最好将超大规模理解为其描述的是一种方法,而不是规模大小。其是关于自动化、业务流程、以及当按照业务需求实现IT规模的智能化。超大规模的部署可以而且应该从小处做起,然后逐步扩展下去。他们也应该让您的企业组织能够根据自己的具体业务需求,单独对部分的基础设施实施规模化,而这是与另一种新兴的企业数据中心的趋势超级融合(hyperconvergence)基础设施相反的。
  
    困惑了吗?如果是这样的话,其实您并不是唯一对此感到困惑的。下面就让我们更深入的分析这一点吧。
  
    超大规模的界定
  
    构建超大规模架构的概念是被许多的肤浅的术语所混淆了。特别是,我们的客户看到诸多包括了超级融合、超大规模(或网络规模)、融合、软件定义的和商品化的基础设施等等概念时,是很难不产生困惑的。
  
    那么,让我们先花一定的时间来明确一下关于这些要素条件的定义吧:
  
    • 软件定义的:基础设施的功能是完全与底层的硬件解耦的,并同时具备可扩展性和可编程性。读者朋友们可以通过这篇文章来进一步详细了解我们关于软件定义的存储的阐述。
  
    • 商品化的:商品化的基础设施或按照行业标准打造的基础设施,通常配备一个x86机架或刀片服务器。我们过去曾多次提及不要将商品化的基础设施与廉价商品混为一谈。
  
    • 融合:扩展架构的服务器、存储、网络、虚拟化/集装箱式组件捆绑在一起作为一个预测试、预集成的解决方案。在这种体系结构中,组件仍然是不同的。
  
    • 超级融合的:扩展的架构朝着融合基础设施更进一步,通过将软件定义的组件与商品化的硬件结合,封装成一个单一的解决方案——其通常是一款单一的设备。组件不再是不同的。
  
    • 超大规模:规模扩展的架构,同时也是软件定义和商品化的,但其服务器、存储、网络、虚拟化/集装箱式资源仍然是保持独立的。每个组件是不同的,可以独立缩放。
  
    综上所述,超级融合的基础设施是现代化的、合乎极端逻辑的融合系统;而超大规模则是现代化的、合乎极端逻辑的我们已经部署了30年的数据中心的方式。两者在特定的环境下都有其意义,如下图所示。
 

   
 

    超大规模和超级融合的
  
    在Hedvig公司,我们努力提供一款存储解决方案,其可以灵活地定制任何工作负载,从包括Docker和OpenStack在内的私有云,到部署运行在Hadoop或NoSQL的大数据,再到更为传统的服务器虚拟化、灾难恢复、备份和归档。Hedvig公司在服务器集群或云中的分布式存储平台虚拟化、聚集式flash闪存以及转盘式磁盘呈现为一个单一的、弹性的存储系统,可以通过文件、块或对象接口进行访问。
  
    Hedvig分布式存储平台由三部分组成:
  
    • Hedvig存储服务:专利的分布式系统引擎,拥有规模化存储性能和现成的x86和ARM服务器容量能力。该Hedvig存储服务可以运行在企业内部部署或诸如AWS、Azure、谷歌等公共云服务上。其提供了企业部署所需的所有的存储选项和功能,包括内联重复数据删除、内联数据压缩、快照、克隆、自动精简配置,自动分层和缓存。
  
    • Hedvig存储代理:一个轻量级虚拟机或container容器可以使得用户能够通过行业标准协议访问Hedvig存储服务。Hedvig目前支持NFS文件和iSCSI块,以及OpenStack Cinder和Docker drivers。Hedvig存储代理还允许客户端缓存,利用本地SSD和PCIe闪存资源删除重复数据,以实现本地的快速读取和高效的数据传输。
  
    • Hedvig APIs:基于REST和RPC的API用于对象存储和Hedvig操作。Hedvig公司目前支持Amazon S3和Swift对象存储。开发人员和IT操作管理员可以使用API管理以访问所有的Hedvig存储功能,以通过自助服务门户网站,应用程序和云服务实现自动化配置和管理。

   

    Hedvig通过捆绑Hedvig存储代理和Hedvig存储服务,作为一种运行在具备管理程序或容器操作系统商品化服务器上的虚拟设备支持超级融合。对于超大规模基础设施,Hedvig存储服务被部署在裸机服务器上,以形成一个专门的存储层,而Hedvig存储代理作为一个虚拟机或container容器被部署在每台服务器上的计算层。
 

   
 

    为什么要选择超大规模存储?
  
    现如今,企业组织数据增长的速度远远快于其存储预算。而尤其对于那些经济状况堪忧的企业而言,他们没有像亚马逊、谷歌和Facebook那样的网络资源。因此,企业组织必须接受软件定义的产品和商品化的储存,以便能够降低成本,并同时保持灵活性和可扩展性,以跟上业务发展的需求。
  
    在Hedvig公司,我们注意到大约80%的情况下,企业用户往往都会选择一款超大规模的架构,而不是超融合的,尽管对于这二者我们都是支持的。而更有趣的是,许多来向我们寻求解决方案的客户往往都与我们具有相反的思维。最初,约80%的客户都会咨询关于超融合的解决方案,但是在他们根据自己的实际需求状况进行了仔细调研之后,他们选择的是超大规模的方法。
  
    为什么呢?简而言之,因为当他们在部署其基础设施架构的时候,他们倾向于灵活性(或敏捷,如果您一定要使用该术语的话)要高于一切。考虑以下因素:
  
    • 一套超融合的系统提供了一个简化的类似于“搭积木”的方法来构建IT。对于那些正在寻求降低部署的开销,并扩大其云基础设施的精益IT组织而言,超融合提供了一个良好的解决方案。但其需要一套相对可预测的工作负载,在“数据本地化”是一个首要任务,这意味着应用程序或虚拟机必须尽可能的接近数据。这就是为什么VDI 会成为超融合的一个典型代表的原因所在了。用户希望自己的“虚拟C:驱动器”本地化。但这是不灵活的,因为其涉及所有元素的同步缩放。
  
    • 一款超大规模的系统保持存储独立计算,从而使得企业能够在其业务需要时规模化其IT能力。数据中心和云基础设施的超大规模的方法提供了一种高水平的弹性,帮助企业能够快速响应不断变化的应用程序和数据存储需求。这也是一款类似于Hadoop和NoSQL、以及类似于OpenStack和Docker等云平台架构的更符合现代工作负载的架构。所有这些都是从独立的规模化缩放共享存储受益的分布式系统的例子。
  
    我们从服务于我们的客户的过程中所收获到的经历便是加强了对于我们一直注意了一段时间的事情的确认:即超融合是一个并非用来探索现代存储架构的答案。可以肯定的是,源于其简单性,这个行业正看到超融合经历着一个巨大的不稳定的摇摆。但如果您企业的数据正呈指数级增长,但您企业的计算需求却没有,然后您企业会存在一个不匹配,并不适合超融合。
  
    超大规模或超融合?
  
    超融合可以是更简单,更具成本效益的方法。然而,通过我们对于Hedvig公司的客户的观察发现,企业客户与Hedvig公司合作的原因在于我们能够支持使得超大规模适合几乎所有工作负载的这一功能:客户端缓存。Hedvig可以在您企业的计算层利用本地的SSD和PCIe设备建立一个连续写入缓存。这极大地提高了读取性能。更重要的是,其解决了数据本地化的挑战。存储空间仍然是解耦的,并运行在自己的专属的、超大规模层,而应用程序、虚拟机、container容器则可以受益于数据在计算层的本地缓存。这也解决了如何增加您的缓存层的问题,但这是另一个主题了。
  
    从这方面获益的一个例子是,Hedvig公司的一家客户为其VDI选择了超大规模的方法,正如上面所讨论的,这通常是一个留给超融合解决方案的工作负载。在这个例子中,这家企业客户有“超级用户”,需要16个vCPU和32GB的内存,专门用于其每台托管的桌面台式机。结果,该公司被迫部署大量超融合节点,以支持处理进程和内存的需求,同时还增加了不必要的同步存储容量。
  
    借助Hedvig平台,企业客户可以创建专用的节点以便在拥有足够的CPU和RAM的刀片服务器上运行Citrix XenDesktop集群。而数据被保存在机架式服务器的一个单独的超大规模的Hedvig集群上,数据缓存被备份到本地SSD XenDesktop服务器。其结果是,大大减少了解决方案的昂贵开支(减少了60%)。更重要的是,其还提供了一个更灵活的环境,该公司可以按照摩尔定律,并购买最强大的服务器,以提升其台式机的性能,而不必升级存储服务器。
  
    根据我们的经验,有一些简单的经验法则能够帮助您来确定哪些架构更适合于您的企业组织。
  
    • 选择超大规模… 您的企业拥有5000名,甚至更多的员工数量,超过500百万兆字节的数据,超过500款的应用程序,或超过1000台虚拟机时。
  
    • 选择超融合…当您所在的企业员工人数少于上面这一数字,只有五名或更少的专职员工来管理您的虚拟基础设施,或您是远程或属于分支机构时。
  
    好消息是,这其实并不是一个非此即彼的决定。您企业可以从部署一个超融合的环境开始,然后逐步切换到超大规模的,或者您可以混合匹配二者。我们的理念是,您企业的应用程序决定了您应该使用哪一款。当您企业的应用程序的需求随时间发生变化时,您的相应部署也应该变化。
  
    在现代企业中,相关的变化和增长都是强制性的。而没有这些网络巨头率先发起的超大规模的架构,越来越没有办法解决这个难题了。而效应的改变则是,任何一家企业现在都可以从超大规模的方式中受益了。

关键字:监控存储  企业级存储

来源: 机房360 引用地址:http://www.eeworld.com.cn/afdz/article_201605059536.html
本网站转载的所有的文章、图片、音频视频文件等资料的版权归版权所有人所有,本站采用的非本站原创文章及图片等内容无法一一联系确认版权者。如果本网所选内容的文章作者及编辑认为其作品不宜公开自由传播,或不应无偿使用,请及时通过电子邮件或电话通知我们,以迅速采取适当措施,避免给双方造成不必要的经济损失。

上一篇:“云”里看花:从云计算和大数据看安防行业发展的云趋势
下一篇:金雅拓助力银通在港部署安全的P2P移动支付

关注eeworld公众号 快捷获取更多信息
关注eeworld公众号
快捷获取更多信息
关注eeworld服务号 享受更多官方福利
关注eeworld服务号
享受更多官方福利

推荐阅读

打造稳如泰山的视频监控系统,宜鼎国际推新时代监控存储

中国是全球视频监控应用推进最快的国家,据官方统计显示,中国2016年市场成交额已超过5000亿,在2017年更有望突破6000亿大关。在建设平安城市、智慧城市热潮驱动下,中国视频监控行业迅速崛起, 并且逐渐迈入数字化、网络化、高清化、智能化的发展阶段,这四个现代化的要求极大的考验视频监控系统各核心硬件性能,尤其是最关键的核心硬件——数据存储设备, 显然简单的录影与数据存储已经不能满足现代市场的需求。 针对现代视频监控行业不断增长的需求,全球工控存储技术领导厂商——宜鼎国际适时推出创新而灵活的监控存储解决方案,具有更快的速度、更稳定的品质以及更简单易用的软硬整合应用操作等优势。就数字化、网络化、高清化、智能化四个应用层
发表于 2017-10-30 21:03:00
打造稳如泰山的视频监控系统,宜鼎国际推新时代监控存储

打造稳如泰山的视频监控系统,宜鼎国际推新时代监控存储

中国是全球视频监控应用推进最快的国家,据官方统计显示,中国2016年市场成交额已超过5000亿,在2017年更有望突破6000亿大关。在建设平安城市、智慧城市热潮驱动下,中国视频监控行业迅速崛起, 并且逐渐迈入数字化、网络化、高清化、智能化的发展阶段,这四个现代化的要求极大的考验视频监控系统各核心硬件性能,尤其是最关键的核心硬件——数据存储设备, 显然简单的录影与数据存储已经不能满足现代市场的需求。 针对现代视频监控行业不断增长的需求,全球工控存储技术领导厂商——宜鼎国际适时推出创新而灵活的监控存储解决方案,具有更快的速度、更稳定的品质以及更简单易用的软硬整合应用操作等优势。就数字化、网络化、高清化、智能化四个应用层
发表于 2017-10-27 10:30:52
打造稳如泰山的视频监控系统,宜鼎国际推新时代监控存储

打造稳如泰山的视频监控系统,宜鼎国际推新监控存储方案

中国是全球视频监控应用推进最快的国家,据官方统计显示,中国2016年市场成交额已超过5000亿,在2017年更有望突破6000亿大关。在建设平安城市、智慧城市热潮驱动下,中国视频监控行业迅速崛起, 并且逐渐迈入数字化、网络化、高清化、智能化的发展阶段,这四个现代化的要求极大的考验视频监控系统各核心硬件性能,尤其是最关键的核心硬件——数据存储设备, 显然简单的录影与数据存储已经不能满足现代市场的需求。 针对现代视频监控行业不断增长的需求,全球工控存储技术领导厂商——宜鼎国际适时推出创新而灵活的监控存储解决方案,具有更快的速度、更稳定的品质以及更简单易用的软硬整合应用操作等优势。 就数字化、网络化、高清化、智能化四个应用层
发表于 2017-10-27 10:10:06
打造稳如泰山的视频监控系统,宜鼎国际推新监控存储方案

希捷携手万佳安领军监控存储市场新潮流

安全解决方案。公安行业应用需求:目前,绝大多数的公安电子防控体系属于传统化体系,缺乏高集成性与高智能化的管理概念。比较常见的如视频管理平台、图侦系统等,都是独立管理单元在作业,数据资源缺乏有效的共享化,或系统体系建设不完善等等。因此,面对很多突发事件或高科技犯罪时,受系统本身的局限性,海量视频数据没有被有效挖掘和充分利用,从而也造成了公安部门在刑侦过程中,耗费了一些不必要的警力。公安视频监控系统提供连续的视频流,包括实时视频和历史视频录像,反映的是监控现场的人、车、事件等直观信息,但是难于定位和查找特定目标,只能依靠人工连续的查看,无法进行快速检索、联网比对,造成了效率低下的状况。  希捷携手万佳安领军监控存储
发表于 2017-04-12 15:22:52
希捷携手万佳安领军监控存储市场新潮流

云应用 视频监控存储技术进化史简析

    大数据时代数据存储量呈现爆炸式增长,随着IT网络技术的蓬勃发展和视频监控数字化、网络化、高清化、智能化的逐渐成熟,视频监控前端摄像机视频采集技术也在飞速发展。   除了上帝,谁都离不开数据.从早期的10万像素到今天的200万、500万像素,视频清晰度越来越高,视频画面中的信息量也越来越丰富。作为安防视频管理系统信息的最终集散地,存储技术引发了行业变革。那么,追根溯源,我国视频监控存储技术,经历了哪些变革呢?   被遗忘的存储记忆   第一代存储是早期的监控系统采用的VCR存储,VCR存储实现了最基本的记录功能或记忆功能。这个存储技术在2000年初较为盛行,韩国品牌为主,国内企业较少涉足
发表于 2016-08-01 20:34:42

用技术优势消除企业级存储的焦虑

2013年年底,AVAGO斥资66亿美元收购存储芯片制造商LSI公司,标志着其正式进军企业级存储市场。LSI主要产品包括SAS和4 Gb/s光纤通道系统、SerDes收发器核(面向OEM存储和SAN应用)、RAID适配器、硬盘读取信道、前置放大器、伺服控制器、硬盘控制器和固件以及高集成度和高性能的存储系统级SoC芯片等,为加速数据存储中心与移动网络性能提供了许多领先的解决方案。这些产品的细分目标市场包括:移动和企业级硬盘、面向存储和SAN架构设备的定制芯片解决方案 ;面向服务器的存储标准元器件和适配器;面向大型企业集团和中型企业的模块化存储系统;面向固定式和便携式消费电子设备的存储网络。   到处充斥数据的时代
发表于 2015-09-09 17:34:00

小广播

About Us 关于我们 客户服务 联系方式 器件索引 网站地图 最新更新 手机版

站点相关: 视频监控 智能卡 防盗报警 智能管理 处理器 传感器 其他技术 综合资讯 安防论坛

北京市海淀区知春路23号集成电路设计园量子银座1305 电话:(010)82350740 邮编:100191

电子工程世界版权所有 京ICP证060456号 京ICP备10001474号 电信业务审批[2006]字第258号函 京公海网安备110108001534 Copyright © 2005-2018 EEWORLD.com.cn, Inc. All rights reserved