专业的信息化与通信融合产品选型平台及垂直门户
注册 登陆 设为首页 加入收藏
首页 企业新闻 招标信息 行业应用 厂商专区 活动 商城 中标信息

资讯
中心

新闻中心 人物观点
厂商专区 市场分析
行业
应用
政府机构 能源产业 金融机构
教育科研 医疗卫生 交通运输
应用
分类
统一协作 呼叫客服 IP语音 视频会议 智能管理 数据库
数字监控 信息安全 IP储存 移动应用 云计算 物联网

TOP

华为OceanStor MVX存储系统技术漫谈二
2012-09-07 15:20:56 来源:IT专家网 作者:【
关键词:网络存储 华为 OceanStor MVX存储系统技术
 
大数据时代,数据成爆炸式增长,数据总量ZB级,对我们的IT系统提出了更大的容量存储能力和更高的系统性能要求。华为OceanStor MVX存储系统(以下简称MVX系统)采用Scale-Out架构,通过服务器的集群方式构建,可自由横向扩展,提供统一命名空间。

  大数据时代,数据成爆炸式增长,数据总量ZB级,对我们的IT系统提出了更大的容量存储能力和更高的系统性能要求。华为OceanStor MVX存储系统(以下简称MVX系统)采用Scale-Out架构,通过服务器的集群方式构建,可自由横向扩展,提供统一命名空间,这个统一的命名空间可以提供高达170GBps的总带宽,超过300万的OPS,以及很低的时延。MVX系统是如何达到这样的卓越性能的呢?

  SSD加速

  在一个系统中,我们把用来描述数据的数据称为元数据,元数据管理真正的数据。元数据的特征是数据量不大,但访问频繁且离散。我们在并发访问数据的时候,需要先访问元数据,以获得数据的大小,路径等信息再通过这些信息访问数据的内容。传统机械硬盘,顺序访问性能可达100MB级别,但小文件随机访问的性能极低。用传统机械硬盘来存储元数据,元数据往往就成为了整个系统的性能瓶颈。

  近几年固态硬盘(SSD)技术突飞猛进,SSD存储小文件随机访问的性能有目共睹。就存储介质而言,SSD以其高性能引领着存储行业的变革方向。但它同时也面临着高成本和低容量的尴尬困境,而这恰恰是传统硬盘的长项。就目前SSD的发展程度,在大数据时代,面对大容量和低成本的要求,所有场景全部采用SSD的方案是不现实的。

  MVX系统基于分布式架构,数据和元数据分开管理,系统智能控制元数据的分布位置。同时,MVX系统的高性能节点配置SSD。这样,MVX系统把元数据存放在SSD上,数据放在机械硬盘上,既能提升整系统性能,又能提供大容量空间,还能保持低TCO。

  MVX系统不仅仅可以把元数据放在SSD上,加速元数据访问速度,还能自动识别小文件,和热门数据,并自动把部分小文件和热数据放在SSD上。当SSD空间满的时候,MVX通过自动的冷热文件识别,把一部分近期被访问可能性较低的文件转移到SATA或SAS盘上。这样的设计可以让资源得到充分的利用。

  SSD的空间容量毕竟有限,只能放置部分元数据和数据,绝大部分数据都放在传统的,读写性能比SSD低很多的机械硬盘上。如果要保证整系统的高性能,仅仅依靠SSD加速还不够。缓存,一直以来,也是用来提升性能的一大法宝。

  全局缓存

  在一个系统中,数据通常情况下读要比写的频率高,提升数据的读性能,能显著提升整系统性能。数据从缓存中读出,比从硬盘读出快很多倍。传统的做法是尽可能加大节点的缓存,但单节点的缓存总是有上限的。而且传统集群服务器的缓存往往是各自为政,同一块数据有可能被多个节点的缓存分别进行缓存处理,随着节点的增加,缓存命中率不会得到提高,磁盘的读性能得不到改善,数据的一致性保证机制也会非常复杂,进而消耗过多的系统资源。

  MVX系统作为一个分布式,share nothing架构的系统,每个节点都对外提供服务。MVX系统采用全局缓存模式,把所有单节点的缓存联合起来,整合成一个大缓存池,从任一节点访问,读写均可以在全局缓存池中作统一的命中处理。MVX最高可以拥有超过4TB的超大缓存,大大提高缓存命中率,减少读盘次数,降低访问时延,提升系统并发度、进而提升整系统性能。

  把所有单节点的缓存整合成一个统一的全局缓存池,需要通过系统的内部网络来完成数据的交换,如果内部网络性能差,时延大,必然影响整体的系统性能。

  高速的网络互联

  随着网络技术的不断发展,万兆以太网出现,让用户既拥有高速网络,又拥有以太网的简单管理。MVX系统支持高速10GE以太网,每个节点可以支持4个10GE端口和4个1GE端口, MVX在低时延、高带宽、高并发的场景下都可以获得卓越的表现。

  随着近几年Infiniband技术趋于成熟,多并发链接,高达40Gbps的带宽,时延低。在一些对性能要求苛刻的场景,Infiniband能够带来更高的性能。但Infiniband目前成本还比较高,这是CIO们需要抉择的地方。

  MVX系统同时支持高速10GE以太网和InfiniBand网络,适配用户不同的组网需求。通过节点间高速互联,尽可能降低系统内部时延,从而对外提供卓越性能。

  并行访问

  传统的NAS系统一般采用单NAS引擎Scale-up的方式扩展容量,所有的并发访问都需要经过NAS引擎,传统的NAS系统,NAS引擎往往成为系统的性能瓶颈。

  MVX使用多台相对廉价的x86服务器组成一个Scale-out的集群,通过负载均衡,每个访问均匀地被发往各个服务器,这大大提高了MVX并发访问的能力,其处理能力随着集群规模的增大而线性增长,避免了性能与容量不匹配的尴尬。这也使得MVX可以使用较低配置的硬件达到传统高端NAS的性能指标。

  华为OceanStor MVX存储系统还通过细粒度锁,负载均衡,分级存储等,为用户提供卓越性能。技术永无止境,追求永无止境。华为OceanStor MVX存储系统在技术上不断创新,为客户提供业界领先的性能,满足媒资,高性能计算等场景的需求。

      

责任编辑:admin
免责声明:以上内容转载互联网平台或企业单位自行提供,对内容的真实性、准确性和合法性不负责,Voipchina网对此不承担任何法律责任。

】【打印繁体】【投稿】【收藏】 【推荐】【举报】【评论】 【关闭】 【返回顶部

上一篇存储网络的替代选择有哪些?
下一篇Dell公司与Nirvanix达成云存储合..

热门文章

图片主题

最新文章

相关文章

广告位

Copyright@2003-2009 网络通信中国(原VoIP中国) 版权所有
联系方式:503927495@qq.com
  京ICP备05067673号-1 京公网安1101111101259