国家超级计算济南中心（以下简称“济南超算中心”）超算平台数据中心机房规划面积约10000平方米，建成后可容纳20000台标准服务器，如此大规模的机房，如何建设才能打造节能降耗的绿色数据中心，从而降低超算中心运营成本呢？

　　数字时代高性能计算的发展速度日新月异

　　数据中心是数字经济时代的核心基础设施和国家战略资源，它的本质是将电力转化为算力。从古希腊时期的著名数学家毕达哥拉斯提出的“万物皆数”的观点，到如今真正迈入“万物皆可算”的时代；从珠算的古老智慧，到超算的超能力；我们的认知和算力不断地突破极限，且远远没有止步。随着数字化需求的飞速增长，算力的发展速度也日新月异。

　　现如今，超算已经成为现代社会必不可少的重要基础设施，欧美等发达国家30%以上的高技术产业都有赖于超算支撑，山东省新ICT技术、医养健康、高端装备、新能源新材料等新旧动能转换重大工程产业的发展也离不开超算，它们的高算力需求应用，每一年的计算资源用量呈3-5倍的增长，对数据存储和管理需求也越来越高。

　　目前，全球各国竞相研发部署E级超算。济南超算中心便是参与世界首个E级超算研发项目的超算之一。E级超算一秒钟可以进行一百亿亿次数学运算，拿目前中国最快的超算神威·太湖之光来说，它的峰值运算速度是每秒12.5亿亿次，而E级超算的计算能力是这个峰值的8倍，它1分钟的算力相当于70亿人同时拿计算器不间断计算约273年。

　　如此大规模、高性能的计算，功率密度也在不断提升，而且要长期运行在高负荷率条件下，超算平台的数据中心将面临着“能耗大户”的问题。

　　“双碳”目标下数据中心能耗管控势在必行

　　在全球变暖、地球环境状况日益严峻的当下，绿色、节能、减排已成为全人类的共识。当前，我国提出“碳达峰”和“碳中和”的宏伟目标，数据中心作为数字社会的基础设施，能耗问题再次受到社会各界广泛关注。国家发改委明确到2025年，新建大型、超大型数据中心PUE不超过1.3，济南超算中心数据中心的建设面临着节能的硬指标。

　　机房作为超算平台最基础的设施之一，是超算中心的核心所在地，超算主机、网络、存储、安全等基础设施都将存放在这座数据中心机房内。因此，提高超算中心的能效，对“双碳”目标下的节能减排有着非常重要的意义，同时也是降低超算中心运营成本的关键。

　　济南超算中心希望能够在数据中心的建设上获得更快的建设周期、更精细化的管控和高可靠的运维，为角逐“超级计算机界的下一顶皇冠”以及为国民经济建设提供加速度打好坚实的底座。山东科普在实地勘测超算数据中心的场地后，决定采用华为智能微模块解决方案。

　　华为智能微模块主攻山东科普五钻交付助攻

　　49套华为智能微模块数据中心，机柜级在线平滑扩容，全力满足国家超算济南中心业务快速增长的需求；59套UPS5000-E高效模块化UPS，其中包含51套800K模块化UPS，系统效率高达96%，低载高效，为超算平台应用及产业发展提供信息基础设施，助力超算平台打造节能的绿色数据中心。

　　华为智能微模块解决方案：

　　化零为整，让机房建设更简单。所有部件工厂预制、预组装、预测试，现场由山东科普交付工程师进行安装，缩短工期50%；全模块化架构，快速部署，柔性扩容。

　　高效可靠，保障机房运行安全。通过供电全链路监测、预警和关键节点故障自动隔离等手段，实现预测性维护。

告别繁琐，运维管理一身轻松。PAD/手机APP近端管理，并可实现多网点远程统一管理，实现预防性维护，提升故障响应速度；3D可视化用户界面管理关键操作参数，实时显示主设备运行状态。

　　山东科普负责L2层中心区域及L3层外围区域模块化机房的建设，项目总面积约6000平米，共分为10个业务区域，在10个区域内共布置49套模块化数据中心，包含1282台机柜、660台行级精密空调、智能母线及模块化数据中心本地监控系统，由具备项目经理及数据中心能源售后中级工程师资格的团队进行现场的施工管理和安装交付。原定工期12个月，通过模块化解决方案快速交付以及规范高效的施工管理下，整个数据中心机房建设提前三个月完工。同时提升数据中心可用性和可靠性等级，为各类高性能计算业务服务提供更坚实的基础。

　　华为智能母线节省柜位机房更高密

　　未来，五年数据中心高密成为新常态，从供配备电都需要模块化，华为智能母线是简单、高效、可靠的新型数据中心配电解决方案。项目采用接近200套小母线，省空间、易维护、易扩容，实现快速交付，解决高密供电问题。

　　简单：支持柜顶支架/吊装可选，完美匹配不同层高场景；插接箱、POE单板、开关等部件支持热插拔，便于维护维护简单，支持通道内维护。

　　高效：移动插接，位置灵活，可满足7kW/柜→21kW/柜灵活扩容；每个模块可节省1~2个列头柜位。

可靠：强弱电融合，集成智能管理卡，监控系统总线环网，运行状态实时监测；全封闭外壳，IP30防护等级，寿命长达25年，抗震烈度9级。

　　华为温控解决方案辅助制冷更可靠

　　这么大规模机房的散热和能耗如何管控呢？为了解决超算数据中心大型化、高密化、云端化的散热难题，山东科普对传统的制冷系统进行了分析，传统制冷送风效率差，难以按需扩容，且架构繁多，热点问题频现，很难维持超算机房所需的标准温度。如果采用传统制冷，需要空调不停的制冷，这就会不停的消耗电力，提供了算力，损失了电力，岂非得不偿失？

　　据统计，数据中心年耗电量亿达4000亿kWh，而制冷设备耗电量占据了数据中心能耗的40%左右。因此，如果能将制冷能耗降低，就能很大程度地减少二氧化碳的排放。

　　在制冷设备节能降耗方面，华为走在了前面，打破传统思维，利用行级和冷冻水摸索出了一套智能温控解决方案，将冷冻水直接引入机柜间的冷冻水末端，更靠近热源，制冷更可靠的同时，引入AI技术，将数据中心的能耗降低，为广大大型数据中心机房的建设提供了很好的典范。

　　山东科普在济南超算中心数据中心机房项目上，综合考虑了用户对数据中心高制冷效率、低PUE、高回报的需求，实施了华为智能温控解决方案，安装660台行级冷冻水空调，本次超算中心布置的1282台机柜全部为超高功率设计，根据承载业务不同分别为10KW/柜、14KW/柜、20KW/柜，为了防止局部热点，保证IT设备的可靠运行，在设计时对每个模块进行了CFD仿真，确保行级空调的数量及布局满足设备运行及冗余的要求。

　　如下图所示，机房内划分出间隔的冷热通道。整个机房采用密闭热通道技术，将机房内的冷热风隔离开，改善机房气流组织，有效提高空调利用率，达到降低机房运行PUE、创造绿色节能机房的目的。

　　L3扩展机房M301机房热通道CFD仿真图

　　该方案具有高效制冷、高可靠性、高兼容性、智能监测、快速安装、调试和便利维护等特点，随着超算数据中心的规模性应用，1到3年内便可为用户收回投资成本。

　　高效制冷：EC高效风机比普通风机节能超过30％。冷冻水阀为增量PID控制，调节精度更高，控制更加准确。智能压差控制，比普通风机控制模式更节能。

　　高可靠性：群控组网提供合理的智能温控产品轮巡、层叠、避免竞争运行、冷量动态分配以及主控系统备份功能。双路供电，主路断电自动切换到备路，主路来电会自动切回主路。宽输入电压范围，适应各种恶劣电网。智能压差控制，解决风量不足产生的热点问题。可配置10个温湿度传感器以监测机房温湿度，可靠性更高。

　　山东科普携手华为，基于成熟的硬件供应链体系，以及领先的技术、产品和解决方案，助力济南超算中心将通用超算的算力普惠给更多的企业和科研机构，成为山东新旧动能转换重大工程“十强”优势产业发展的算力引擎。项目的成功交付，也为华为智能微模块数据中心解决方案的部署打下坚实的基础，为济南超算平台新旧动能转换提供可靠的、源源不断的动力支撑。未来，华为将继续携手更多合作伙伴，为“双碳”目标的达成与数字经济的蓬勃发展贡献力量。