专业的信息化与通信融合产品选型平台及垂直门户
注册 登陆 设为首页 加入收藏
首页 企业新闻 招标信息 行业应用 厂商专区 活动 商城 中标信息

资讯
中心

新闻中心 人物观点
厂商专区 市场分析
行业
应用
政府机构 能源产业 金融机构
教育科研 医疗卫生 交通运输
应用
分类
统一协作 呼叫客服 IP语音 视频会议 智能管理 数据库
数字监控 信息安全 IP储存 移动应用 云计算 物联网

TOP

华为云OBSA-HDFS组件正式进入Hadoop社区
2021-01-22 20:38:16 来源:网络通信中国 作者:【
关键词:华为云 OBSA-HDFS
 
近日,华为云OBS对象存储服务OBSA-HDFS组件代码完成了开源社区同行评审,已经正式合入Apache Hadoop社区,标志华为云存算分离大数据方案正式获得社区认可,客户可以通过社区获取最新的OBSA-HDFS组件版本,快速在华为云完成大数据平台的部署和使用。

  近日,华为云OBS对象存储服务OBSA-HDFS组件代码完成了开源社区同行评审,已经正式合入Apache Hadoop社区,标志华为云存算分离大数据方案正式获得社区认可,客户可以通过社区获取最新的OBSA-HDFS组件版本,快速在华为云完成大数据平台的部署和使用。

  OBSA-HDFS组件全称为HuaweiCloud OBS Adapter for Hadoop Support,利用OBSA-HDFS,客户可以在华为云上快速部署存算分离的Hadoop大数据平台,无需修改代码即可完成Spark、MapReduce、Hive、HBase等组件与华为云OBS对象存储服务的对接,并获得高性能的HDFS存储。
  当然,除了客户端组件外,华为云OBS在服务端的Data Multi-Protocol功能为达成存算分离提供了技术保证。传统的对象存储服务不支持原生的文件协议,导致大数据场景下的rename需要通过拷贝和删除两个操作组合来完成,更无法对文件目录进行修改,而拷贝操作会消耗宝贵的IO资源且时延较高。
  华为云OBS的Data Multi-Protocol支持POSIX文件语义,通过对元数据结构和操作的双重优化,可快速完成文件的rename。经过测试,在大数据场景下,对100MB文件进行rename操作,华为云OBS比传统对象存储性能提升10倍以上。

  凭借着数量级的性能提升,华为云BigData Pro存算分离大数据解决方案使用OBS替代Hadoop的本地HDFS存储,让计算资源和存储资源完全解耦,独立扩容,让大数据分析的性价比平均提升35%以上。更可以构建云上统一数据湖,消除数据孤岛、降低数据共享难度、减少数据冗余、提升数据使用效率。
  当前,华为云BigData Pro解决方案已经服务于斗鱼、美图、蘑菇街、货拉拉和长虹等行业知名客户。
  未来,我们也将为Hadoop在公有云场景下的效率提升而持续努力。
  Hadoop是Apache基金会的顶级项目,也是业界领先且使用最广泛的分布式系统框架,用户可以轻松地在Hadoop上开发和运行处理海量数据的应用程序。
  HDFS是Hadoop实现的分布式文件系统(Hadoop Distributed File System),为海量数据提供高吞吐量、高扩展、高可靠和高容错性的存储。
  从2006年成立以来,Hadoop改变了企业对数据的存储、处理和分析的过程,形成了一个极其丰富的技术生态圈。

      

责任编辑:admin

】【打印繁体】【投稿】【收藏】 【推荐】【举报】【评论】 【关闭】 【返回顶部

上一篇没有了
下一篇震有科技中标中国联通集团物联网..

热门文章

图片主题

最新文章

相关文章

广告位


Copyright@2003-2009 网络通信中国(原VoIP中国) 版权所有
  全国服务电话:010-69397252
  京ICP备05067673号-1 京公网安1101111101259