专业的信息化与通信融合产品选型平台及垂直门户
注册 登陆 设为首页 加入收藏
首页 企业新闻 招标信息 行业应用 厂商专区 活动 商城 中标信息

资讯
中心

新闻中心 人物观点
厂商专区 市场分析
行业
应用
政府机构 能源产业 金融机构
教育科研 医疗卫生 交通运输
应用
分类
统一协作 呼叫客服 IP语音 视频会议 智能管理 数据库
数字监控 信息安全 IP储存 移动应用 云计算 物联网

TOP

IBM GPFS并行文件系统解决方案
2011-08-23 10:42:57 来源:比特网 作者:【
关键词:IBM GPFS文件 解决方案
 
随着技术的发展,大规模的并行计算的方式激发有关行业对高性能计算机的需求,作为后起之秀的Linux集群系统,吸取了SP 大规模并行机的诸多优势,IBM的通用并行文件系统GPFS 等和Linux 集群系统的竭诚不仅能在并行运算方面的性能得到保障,增强了集群系统的可管理性,而且采用具有高可用性的IBM xSeries服务器,可以大大降低成本。

  随着技术的发展,大规模的并行计算的方式激发有关行业对高性能计算机的需求,作为后起之秀的Linux集群系统,吸取了SP 大规模并行机的诸多优势,IBM的通用并行文件系统GPFS 等和Linux 集群系统的竭诚不仅能在并行运算方面的性能得到保障,增强了集群系统的可管理性,而且采用具有高可用性的IBM xSeries服务器,可以大大降低成本。

  目标市场:金融行业、气象局、地质勘探、高校实验室、生物工程、科研探索等高性能计算领域。

  IBM GPFS并行文件系统解决方案构成

  高性能计算机的架构主要以集群为主,整个高性能计算系统在硬件基础架构上包含计算资源、网络资源和存储资源三大部分。在目前主流的采用Linux 并行集群架构的高性能计算系统中,计算资源分为计算节点和I/O 节点,计算节点负责运行计算任务,I/O 节点则负责数据的存储并响应计算节点的读写请求,不同计算资源节点之间通过高速网络进行通信和信息交换。

  在此次方案中,我们选用的IBM Linux 集群系统使用了基于IntelXeon处理器的刀片服务器节点、成熟的集群管理软件、提供极高的持续带宽保证的存储服务器,集中了最好的IBM 高性能设备和技术。不仅能在并行运算方面的性能得到保障,而且增强了集群系统的可管理性和可维护性。采用具有高可用性的IBM xSeries 服务器,大大降低了总体成本。同时,数据量的增加,带来了针对数据的管理,共享,分布,保护等实际需求,市场要求存储厂商不断推出适合需求的解决方案和产品。传统的服务器-客户机网络结构在性能、可管理性、连接性等方面都达到了极限,而SAN是解决这些问题的理想方案。IBM DS3500存储平台作为IBM针对大规模并行计算领域有着高性能、高稳定性和易扩展、易管理等特性,十分满足高性能计算平台对于存储设备的要求。

  在计算节点的选择上,IBM 建议采用Blade Center +HS22 刀片, IBM BladeCenter 支持最新的Intel 和AMD四核处理器,支持业界最快的高达4.0 GHz 的Power 6 处理器,以及专用于高性能计算的九核Cell 处理器。IBM HS22 是业界功能最强大的刀片,HS22 采用最新的Intel Nahelem处理器,在集成了IBM BladeCenter 传统的高可靠等优势的基础上,性能、功耗和虚拟化的功能都比上一代产品有了显著提升。

  IO 节点采用IBM 的X3850或者X3650,产品前后端高吞吐量以及灵活组合方式,能提供极高的持续带宽保证,非常适合做高性能计算环境下持续带宽要求极高的存储服务器,显著提高I/O 节点的处理能力:

  I/O 节点是提供存贮共享的计算机。为了使任务可以并行执行,每台执行任务的计算机必须能够访问同样的数据,本方案存贮节点通过集群文件系统(IBM GPFS)来确保数据访问的同步。

  I/O 节点和高性能存储直接相连,并通过自己的Fiber Channel I/O 通道将冗余磁盘阵列上的多个分区做成集群并行文件系统GPFS,并向计算节点提供数个唯一路径且全局共享的文件系统。本方案提供高速的文档读写服务给所有计算节点, 特别适合于有可能会产生大文档的高性能应用上。

  通常的IO节点机共计4套主机,每个主机为两块8Gb的高性能HBA卡,单IO节点连接到SAN网络交换机,每个节点配置的带宽为16Gb的带宽性能,本次测试配置4个IO节点,共计有8条8Gb 带宽联入SAN核心网络中,从IO节点联入核心网络总持续写入带宽为6.4GB/S的带宽。

  两台DS3500存储节点,每台配置8个8Gb FC接口联入SAN网络中,共计IO带宽为12.8GB/S. 每台DS3500存储节点配置为48块300G 15K RPMSAS及48块1TB NL 7.2K SAS,在每台DS3500上实现IO分级存储,将核心的频繁读写的IO的LUN划分在15K的高速SAS存储上,其它的分布在NL SAS上,IBM的GPFS支持HPC的分级IO功能。本次方案为双节点DS3500存储节点,每个节点连接3个扩展柜,一级存储容量为300G×96 SAS共计28TB容量,二级存储容量为1TB*96 NL SAS, 共计存储容量为96TB.

  针对DS3500,在全配置8个8Gb FC接口的情况下,每个DS3500盘阵可以提供4GB/S的硬盘持续带宽,两台DS3500共计可提供8Gb/S的持续带宽。

  在GPFS配置上,我们建议用户配置2MB的IO Block Size,针对大规模并发运算应采用较大的IO读写带宽,在我们提供的GPFS HPC运算方式中,保证用户为提供最大带宽,单个GPFS系统并发带宽可以通过16个8Gb FC端口平均分布在这24个Lun 上, GPFS系统对LUN使用率可以达到90%以上,在这样的配置下,2台双节点的存储节点带宽持续可以达到6GB以上。

  IBM GPFS并行文件系统解决方案

DS3500存储节点的优势

  DS3500 系列适合交易型的应用,如数据库和联机事务处理,以及吞吐量密集型应用,如高性能计算和流媒体应用。DS3500 系列的线性扩展能力所带来的性能提升,使其可以满足最苛刻的应用和发展需求。

  DS3500的性能已经达到其它厂家中端产品的计算性能,而DS3500是一款具有入门级产品价格的高性能盘阵,从单存储节点的性价比上,DS3500远远高出中端存储盘阵。

  DS3500 以高可靠性和高可用性为目标,提供部件冗余、自动故障路径切换和灵活的在线配置、重构和维护能力,确保您的数据全天候可用。DS3500 系列也可保护存储的数据的安全:

  使用DACstore 技术在每一个磁盘驱动器上存储配置信息的元数据

  坚实的吞吐量,6GbpsSAS及8Gbps FC接口使得DS3500非常适合那些单个存储系统必须处理大量数据的集群环境

  流媒体:大型I/O应用,例如全球转播,大量的媒体存储网络,内容创建,建模及发布都将从DS3500系列提供的额外带宽中受益。

  提供持续的高速缓存备份功能,确保在掉电情况下,高速缓存中的数据仍是安全的。

  GPFS解决方案优势:

  在HPC计算应用领域,GPFS以高安全性著称,随着系统节点数的扩充及容量的扩充,GPFS可以实现安全,高效的计算,及大规模的文件共享。

  先进的仲裁管理机制,确保系统最大程度的可用性,没有单一故障点, 管理服务器在manager资源池内实现自动故障切换

  支持多路径磁盘访问,一条路径访问失败,可以通过其它路径实现.

  支持对元数据和用户数据做replication,保证系统稳定可靠

  高性能,在高性能应用领域,FPFS公认是对文件计算以高性能主持,随着节点熟的增加,GPFS的性能可以线性的增加,满足了用户平滑升级的需求。

  文件存储采用条带化技术,单个文件跨节点和存储系统分布,提高并发访问性能

  智能预取机制,通过对文件访问模式的预测来进行预取,降低读写延迟

  分布式的Byte Range级锁管理,包括文件和目录两个级别,允许最大程度的并发访问

  分布式元数据服务器,避免元数据处理成为系统瓶颈

  支持客户端数据缓存,不同节点可以根据需要设置不同的缓存大小

  数据块的大小可自定义,16K, 64K, 256K, 512K, 1M,2M,4M

      

责任编辑:admin
免责声明:以上内容转载互联网平台或企业单位自行提供,对内容的真实性、准确性和合法性不负责,Voipchina网对此不承担任何法律责任。

】【打印繁体】【投稿】【收藏】 【推荐】【举报】【评论】 【关闭】 【返回顶部

上一篇浅谈云存储-解决方案架构的选择
下一篇同有飞骥大运会视频监控集中存储..

热门文章

图片主题

最新文章

相关文章

广告位

Copyright@2003-2009 网络通信中国(原VoIP中国) 版权所有
联系方式:503927495@qq.com
  京ICP备05067673号-1 京公网安1101111101259

《合作通告》

本站因快速发展需要,有共赢合作、战略创投意向的个人或机构,请联系咨询:
(电话)010-69397252、13911442656(v)
(邮箱)503927495@qq.com
我知道了