专业的信息化与通信融合产品选型平台及垂直门户
注册 登陆 设为首页 加入收藏
首页 企业新闻 招标信息 行业应用 厂商专区 活动 商城 中标信息

资讯
中心

新闻中心 人物观点
厂商专区 市场分析
行业
应用
政府机构 能源产业 金融机构
教育科研 医疗卫生 交通运输
应用
分类
统一协作 呼叫客服 IP语音 视频会议 智能管理 数据库
数字监控 信息安全 IP储存 移动应用 云计算 物联网

TOP

以分布式存储应对大数据应用趋势
2013-10-15 17:42:20 来源:通信世界网 作者:【
关键词:大数据 英特尔
 
对于拥有庞大用户数量的通信网络运营商来说,其数据的“产量”一直都很大。电信业的数据类型,主要包括客户信息数据(如客户入网资料、套餐情况)、业务过程数据(如通话记录、客户服务记录等)、网络运行数据(如网络性能、客户终端使用情况等)。

  对于拥有庞大用户数量的通信网络运营商来说,其数据的“产量”一直都很大。电信业的数据类型,主要包括客户信息数据(如客户入网资料、套餐情况)、业务过程数据(如通话记录、客户服务记录等)、网络运行数据(如网络性能、客户终端使用情况等)。数据的量级规模需要相应的存储技术解决方案来支撑,解决方案的能力体现为数据容量、数据处理速度和数据吞吐速率等指标。

  从传统存储走向分布式存储

  传统上,运营商采用关系数据库(RDB)或数据仓库(DW),主要处理电信业务运营过程数据、资源信息、话单记录等结构化的数据类型。对于核心业务(响应时间在1ms之内),一般的数据容量在20TB量级,吞吐速率IOPS在20K~2M量级;对于非核心业务(响应时间在20ms之内),数据容量可能达到3PB,吞吐速率IOPS达到1K~10K量级。传统的存储服务器采用2~16个控制器加上最大1500块硬盘的配置,是可以满足这种量级的关系型数据库应用需求的。

  在移动互联网数据业务崛起之后,原有的这些结构化数据在全部数据量中所占的比例迅速降低。运营商经常会看到,80%以上的新增数据都是视频流、网页链接、图片、文本等非结构化或半结构化数据,也就是如今众所周知的“大数据”。对于运营商来说,大数据蕴含着众多的增值业务创新机会,如:存储(日志存储和分析、搜索服务、应用商店内容下载、视频内容存储等),查询(详单、上网记录、投诉系统等),分析处理(在线2G/3G话单处理、WAP内容分析、SMS监控和分析、日志分析、视频文件分析等),以及诸多数据量大、需求灵活多变、需要高聚合带宽访问的抽取/转换/加载(ETL)类应用等。

  但要利用大数据实现业务创新,必须重新审视存储解决方案。如果沿用传统的SAN方案,采用专用存储服务器来应对数据扩容的话,需要付出高额的前期投资;而且垂直化的专用存储管理软件,难以让不同的子系统之间共享存储资源,从而降低了运营商的投资回报率。分布式存储的引入,能够很好地解决传统SAN难以根除的容量和性能均衡分布的难题。典型的分布式存储系统,采用1~2U的存储服务器,每台服务器带有8~24块硬盘,在标准的服务器机架上很容易实现性能和容量的扩展,维护也非常简单。

  此外,不同类型的数据被访问或被处理的“热度”是不一样的,大量的“冷”数据并不需要很高的响应速度,如果采用可扩展性更灵活的廉价存储方案,能够使运营商节省大量的设备投资成本。在分布式存储系统中,数据类型按照数据的使用“热度”,可以分为在线、近线、离线数据,对不同热度的数据采取不同的技术策略。例如,在线数据如虚拟化的响应时间可能在30ms以内,近线数据如媒体资讯的响应时间可以放宽到100ms以内,而云盘、归档、备份等相对较“冷”的离线数据,响应时间即使超过1s也仍然处在用户可接受的范围之内。

  软件定义的存储

  分布式存储的发展预示着存储从专有系统逐渐向开放系统演进。一个完整的系统,从底层往上层大致可分为芯片、硬件、操作系统和软件、API、管理系统这几个层次。传统存储系统中的芯片和硬件是为存储功能而定制化的,硬件中的ASIC/FPGA是为特定的简单重复性功能(如搬运数据)而设计,优点是速度快、效率高,缺点是计算能力弱,单一硬件模块无法应对多种任务,而要为整个系统中的众多任务都设计单独的专用硬件则复杂度过高。

  基于通用的标准化商用硬件平台(如X86服务器),在软件堆栈中加入不同的软件功能,利用通用平台的计算能力来替代专用电路,这就是“软件定义的存储”(Software Defined Storage)。快速更新的X86硬件产品具备了越来越强大的计算能力,能够支持的软件功能也越来越强大,这使得存储和计算的传统功能边界变得模糊,基于标准化硬件平台的“融合式存储服务器”逐渐取代定制化芯片和定制化硬件成为大势所趋。

  底层硬件平台成为标准化之后,相应地,其上的操作系统和软件层也将从专有系统过渡到开放或半开放系统。未来的存储系统,可能除了部分中间件仍然使用专有软件外,用户将会越来越多地选择开放的操作系统、开放的API、以及开放的管理系统。

  英特尔以新产品线迎合存储新趋势

  最近英特尔推出的单芯片系统(SoC)C2000系列(代号“Avoton”),主要定位于微型服务器市场,它的一个重要应用场景就是应对不断增长的“冷数据”存储市场需求。Avoton是业界首次采用22纳米制程工艺制造的微型服务器。其热设计功耗(TDP)为6~22瓦,包含8个低功耗的“凌动”(Intel® Atom™)内核,集成以太网并支持最高达64GB的内存。

  Avoton针对特定的轻量型工作负载进行了特性定制和优化,如入门级专用托管服务、分布式内存缓存、静态网络服务、内容分发等,以实现最佳效率。Avoton的亮相,使得英特尔除了传统的高性能“至强”(Intel® Xeon™)平台之外,又拥有了一个新利器来助推软件定义存储的大趋势。我们很快会看到,未来数据中心的新存储系统将以更高的性价比来构建,并实现更高的能效水平。

      

责任编辑:admin
免责声明:以上内容转载互联网平台或企业单位自行提供,对内容的真实性、准确性和合法性不负责,Voipchina网对此不承担任何法律责任。

】【打印繁体】【投稿】【收藏】 【推荐】【举报】【评论】 【关闭】 【返回顶部

上一篇全球新建碳捕获与存储设施增势放缓
下一篇微软:中国用户最爱问的是"..

热门文章

图片主题

最新文章

相关文章

广告位

Copyright@2003-2009 网络通信中国(原VoIP中国) 版权所有
联系方式:503927495@qq.com
  京ICP备05067673号-1 京公网安1101111101259