专业的信息化与通信融合产品选型平台及垂直门户
注册 登陆 设为首页 加入收藏
首页 企业新闻 招标信息 行业应用 厂商专区 活动 商城 中标信息

资讯
中心

新闻中心 人物观点
厂商专区 市场分析
行业
应用
政府机构 能源产业 金融机构
教育科研 医疗卫生 交通运输
应用
分类
统一协作 呼叫客服 IP语音 视频会议 智能管理 数据库
数字监控 信息安全 IP储存 移动应用 云计算 物联网

TOP

再创新高!华为云FusionInsight通过中国信通院2万规模集群评测
2020-07-10 16:29:36 来源:网络通信中国 作者:【
关键词:华为云 FusionInsight MRS
 
7月9日,以“数据新要素 产业新动能”为主题的大数据产业峰会线上直播正式开启。会上,中国信息通讯研究院为通过大数据产品能力评测的产品颁发证书,华为云FusionInsight MRS超大规模单集群以测试项全部满分的成绩顺利通过评估,并成功突破单集群2万节点的超大规模,树立行业新标杆。

  7月9日,以“数据新要素 产业新动能”为主题的大数据产业峰会线上直播正式开启。
  会上,中国信息通讯研究院为通过大数据产品能力评测的产品颁发证书,华为云FusionInsight MRS超大规模单集群以测试项全部满分的成绩顺利通过评估,并成功突破单集群2万节点的超大规模,树立行业新标杆。

  中国信通院大数据产品评测是国内最权威的大数据评测体系,评测范围涵盖大数据产品的基础能力与性能专项,历经六年的蓬勃发展,大数据产品认证已经成为政企客户选购选型过程中的重要参考,是业界衡量大数据产品质量和能力的重要标准。
  华为云FusionInsight MRS大数据为政企客户提供一站式企业级大数据平台,满足客户对全栈大数据平台高性能、低成本、灵活易用的诉求,助力企业快速构建海量数据信息处理系统。
  在本次评估测试中,华为云FusionInsight MRS一次性通过了27个必选用例,此外,在集群无宕机升级、双集群互备、运维监控模块失效及恢复、跨数据库关联操作、在线水平搜索能力等六个可选用例中也实现了一次性通过,100%的通过率使得FusionInsight MRS在本次评估测试中交出了一份完美的答卷。
  丰硕的成果离不开辛勤的劳作,在整个研发过程中,华为云FusionInsight MRS超大规模单集群的实践也遇到了诸多挑战,华为云大数据研发团队凭借雄厚的研发实力和丰富的探索实践经验,通过以下七个方面实现了业界首个单集群突破2万+规模,具体如下:
  01运维管理架构改造
  将原来的集约主从模式调整成了可弹性伸缩的分布式模式,提升了主备模式的监控、告警、配置、元数据存储模块的性能,成功解决了运维管理面临的难题。
  02Superior超级调度器
  自研调度引擎,支持35w/s个Container的调度速率,资源利用率达到98%以上,超出开源Capacity的能力近一倍。
  03文件对象管理优化
  利用合并单次读写流程中的交互次数、使用改良的数据通信压缩算法、DataMovementTool等技术方案,在确保文件对象管理性能的同时,自动均衡不同命名空间之间的数据,大大降低了集群维护成本。
  04多租户的资源隔离能力
  支持标签存储、多服务、多实例、DN分组等方式进行细粒度隔离,提升多租户的资源隔离能力。
  05元数据优化
  支持分布式缓存Redis方案,结合分布式锁、缓存黑白名单机制、缓存生命周期管理等技术手段突破了Hive服务的元数据读写性能瓶颈,使得元数据能够在大规模的单集群上规模商用。
  06跨AZ的网络带宽消减
  存储上提供感知AZ的文件存储策略,计算上提供感知AZ的任务调度机制,优先在同AZ下进行存储与计算,减少跨AZ的网络带宽消耗。
  07可靠性增强
 
 支持多种机制保障任务的可靠运行,如Hive不中断业务的能力可确保发生异常时任务不中断;Application Master的断点续传能力可记录任务状态,待AM恢复后继续执行。
  得益于以上七个方面的大数据技术增强与优化,华为云FusionInsight MRS顺利通过信通院分布式批处理平台基础能力测试,节点规模达21000,成为业界首个单集群突破2万节点的商用大数据产品。
  华为云FusionInsight已是60+国家,3000+客户的共同选择,广泛布局于政府、金融、安平、大企业、互联网等领域。FusionInsight联合800+合作伙伴,践行“平台+生态”战略,释放政企数据价值,让数据“慧”说话,使企业更智能。

      

责任编辑:admin
免责声明:以上内容转载互联网平台或企业单位自行提供,对内容的真实性、准确性和合法性不负责,Voipchina网对此不承担任何法律责任。

】【打印繁体】【投稿】【收藏】 【推荐】【举报】【评论】 【关闭】 【返回顶部

上一篇沃达丰英国、英国电信发出警告:..
下一篇自动化市场升温IBM宣布收购RPA公..

热门文章

图片主题

最新文章

相关文章

广告位

Copyright@2003-2009 网络通信中国(原VoIP中国) 版权所有
联系方式:503927495@qq.com
  京ICP备05067673号-1 京公网安1101111101259