专业的信息化与通信融合产品选型平台及垂直门户
注册 登陆 设为首页 加入收藏
首页 企业新闻 招标信息 行业应用 厂商专区 活动 商城 中标信息

资讯
中心

新闻中心 人物观点
厂商专区 市场分析
行业
应用
政府机构 能源产业 金融机构
教育科研 医疗卫生 交通运输
应用
分类
统一协作 呼叫客服 IP语音 视频会议 智能管理 数据库
数字监控 信息安全 IP储存 移动应用 云计算 物联网

TOP

数据中心的内部电源
2016-11-10 11:01:37 来源:机房360 作者:【
关键词:数据中心 中性线
 
现如今,尽管IT业界的各种新兴技术可能正发生着各种突飞猛进的快速变化,但每家数据中心仍然需要依赖电力资源的消耗来维持其运行能力。故而,数据中心运营商们仍然需要通过更新电源使用、冷却和电气设计方案,来提高数据中心的运营效率。

  现如今,尽管IT业界的各种新兴技术可能正发生着各种突飞猛进的快速变化,但每家数据中心仍然需要依赖电力资源的消耗来维持其运行能力。故而,数据中心运营商们仍然需要通过更新电源使用、冷却和电气设计方案,来提高数据中心的运营效率。

  针对数据中心的能耗

  即使当前的整个数据中心行业掀起了整合物理资源,并将部分的IT功能迁移到场外异地的新趋势,但为数据中心内部的各种设备供电仍然是一项不变的、且成本代价高昂的需求。而与此同时,尽管业界对于能源的需求并没有改变,但持续减少能耗的方法仍一直在持续的演变着。

  在本文中,作者Robert McFarlane将为我们广大读者诸君介绍一系列控制冷却成本的方法,其中包括最近受到广泛关注的密封遏制(containment)的方法。但是,通往更高效的数据中心运营的最重要一步可能是简单地确定基础设施使用的功率,并搞清楚相关的功率到底被用在了哪些领域。这方面的监控和测量工作常常被忽略了,但是这恰恰是发现低效率症结的关键,然后才可以通过采用诸如以更高电压运行服务器和更新UPS不间断电源基础设施的方法来加以解决。

  在文章的第二部分中,McFarlane把谈论重点聚焦到了选择恰当的数据中心基础架构管理系统,以支持朝着更好的功率测量方向发展。而在文章的最后一部分中,Stephen Bigelow则与我们共同探讨了另一大流行的话题:直流(DC)电源与交流(AC)电源。尽管目前AC的使用仍然更为广泛,但他建议数据中心运营商们在某些情况下选择采用DC可能会有助于提高能源效率。

  相信在参阅了本文之后,或将有助于您企业采用现代化的、信息更为全面的方法来解决数据中心供电的老大难问题。

  数据中心更高效的电源使用策略

  数据中心头号最重要的需求无疑是电力资源。即使是最有效率的能源之星评级的服务器也需要消耗电力资源,而大多数支持基础设施也是如此。电力资源是一种昂贵的商品,而且其成本价格还在不断上涨变得更高,因此数据中心在运营过程中的电力节省无论是在企业财务方面还是在环境保护方面都是有意义的。

  传统上,冷却系统一致是数据中心所运行的基础设施中最为低效的部分,仅次于电力使用中的计算设备。近年来,主要的冷却改进已经显示出了节能的能力,并且几种冷却改进方案已被业界所广泛采用。而与此同时,在电气设计中,也已经取得了同样重要的进步,但大多数技术进步并不是众所周知的,因此这些新技术的采用普及速度也较慢。而数据中心通过同时利用冷却和功率技术的改进,可以实现最大幅度的能耗减少。

  随着新的系统和设计技术逐渐发挥其功效,新的最佳实践方案也开始走到最前列。故而数据中心管理人员们需要更好地了解管理其基础设施及其处理,存储和网络系统的重要性。原因很简单:它们需要节省电费账单。对于某些企业组织而言,还可能来自于其对于环境保护的企业负责。通过遵循最佳实践方案,购买节能型硬件,安装或升级到最新的电源和冷却设备,以及对数据中心的所有元素实施恰当的管理,大多数企业组织均可以大幅降低能耗,并提高效益。

  测量功率使用,以实现更高的效率

  即使到了提高能源效率的理念已经深入人心的今天,大多数数据中心的管理人员对于他们的设施到底使用了多少电力资源仍然并不清楚。

  绿色网格组织是一家帮助企业组织节省能源,并履行环保责任的组织,该组织开发了两项衡量和追踪节能工作有效性的指标:电源使用效率(PUE)和数据中心基础设施效率(DCIE)。两者计算的都是数据中心的所有设备所使用的总功率与计算设备所使用的功率之间的比率。总功率包括计算机、空调和中央机械设备、不间断电源(UPS)和布线损耗、照明、甚至直接支持数据中心的办公室所消耗的电力资源。

  PUE是用总功率除以计算所消耗的功率得到的比值。运行效率最高的数据中心的PUE值可达1.2至1.5。但不幸的是,大多数数据中心的PUE值仍然在2.5到3.5的范围内。

  DCIE是PUE的反比,即用计算所消耗的功率除以总功率,并且其表现形式为百分比。低PUE数值要比其等效的DCIE比例更令人印象深刻,这可能部分的解释了为什么PUE目前已经成为业界更加公认的测量效率的方法。

  但是,无论数据中心是通过采用PUE还是DCIE来测量其能源效率,都需要获得进行计算所需要的具体数据,而这在大多数数据中心的操作运营中都是缺乏的。有时,是缘于企业的数据中心建筑与其他建筑共用同一电表,或者是因为电费帐单直接被寄到了企业的会计部门,或者两个原因均有。由于缺乏有用的数据信息,故而很难了解您企业之前的努力实现的成效如何,以及节能措施如何能够帮助您数据中心进一步提升效率。

  监控功率的使用当然是提高效率的一个重要步骤,但在数据中心的支持和计算系统中,有许多需要优化的领域。例如,无论数据中心所使用的技术类型如何,掌握一台服务器何时不再被使用了,都绝对有助于实现能耗的最小。这需要更为复杂的监控,而不仅仅是看看总的用电量,并会带来一系列数据中心基础设施管理产品的开发。这些产品包括了从单个电源板上监视工作负载的应用程序到能够跟踪每款电气和机械设备乃至计算硬件的系统,以及维护库存记录,提供变更控制和布线文档记录。

  借助冷却技术实现节能

  一旦数据中心通过监测和测量电力使用情况奠定了基础,那么就到了其提高能源效率的时候了。数据中心在其运营中应该已经遵循了一系列重要的冷却基础知识了,例如热通道/冷通道机柜配置、用冲裁板填充未使用的机架空间、堵住活动地板的空气通风孔、并清洁旧电缆以改善空气流量。所有这些步骤措施都有助于减少能源的浪费,但采用更新的技术可以节省更多。

  另一种方法是密封遏制(containment)。 通过将冷进口的空气供应给设备,或供应给设备所排出的热的废气,使冷却得到改善,增加了空调的容量能力并且节约了能源——所有这些仅仅是通过在热通道或冷通道周围添加屏障。 但是当您数据中心采用密封遏制措施时,请务必注意遵守最新的国家消防协会标准的要求。 千万不能堵住喷头或气体系统的接口。

  根据美国采暖,制冷和空调工程师协会的TC 9.9标准,将设备入口温度提高到75至80华氏度(24至27摄氏度)之间也可以节省大量的电力资源。而如果您的数据中心采用了使用密封遏制的方法的话,这将变得更加有效。

  在冷却设备上使用变频驱动器(VFD)是另一种提升能源效率的方法,该方法将冷却考虑与更新的电气设计技术相结合。设置适当的传感器(温度、压力、速度和湿度)的驱动频率。这反过来,能够控制风扇、转速压缩机、水泵、冷却机组和冷却塔的速度,以符合实际的需要。当电机转速降低时,能量消耗急剧下降;将VFD与电子换向电机(electronically commutated motors)相结合,可以节省更多。此外,借助变频器,您数据中心可以以较低的总功耗持续运行冗余冷却。这是一个真正的双赢局面。

  提高能源效率的电气方面的考虑事项

  还可对数据中心的电力基础设施进行其他方面的更改,以降低能耗。

  计算机电源在较高的电压下(例如,在208伏电压而不是120伏电压情况下)能够更有效地运行,甚至大多数传统硬件可以自动感测。在机柜运行三相电路(特别是高密度的机柜)通常是提供208 V电源的最有效的方式,并且还为负载增长提供最大容量。208 V电路需要两相导线,但通过运行只有一个额外的导线运行一款三相系统的所有三相导线,将获得三条208 V电路。如果您数据中心仍需要几条120 V电路,还要安装第四条中性导线。在现有数据中心,为208 V接线新机柜,并升级剩余机柜的机会正在出现。

  即使是更高的效率,加上简化的操作,也可以通过使用欧洲415 V / 240 V电源标准获得(通常称为“400伏”)。这个标准在四根电线上为设备提供240 V的电源(相同的三相电线加上一个美国标准的208 / 120 V系统中性线)。计算机电源在240 V比在208 V条件下更有效地运行,但欧洲的配置更多的优势在于其能够更容易的相位平衡。相位平衡需要重新插入负载,将它们从一个相位迁移到另一个。这在240 V电压下更容易执行,其中的负载移动一次只在一个相导线,而在208 V电压下,则需要移动三个相位的其中两个,直到达到一个平衡的组合。

  使用一个可扩展的UPS基础设施也可以有助于减少能耗。这种方法尽可能只提供所需要的电力资源量,但其可以随着电力负荷的增加很容易地实现扩展。可扩展的UPS系统让您数据中心得以能够根据实际需求增加容量,无论是通过插入额外的模块的形式或是通过软件控制解锁额外的内置容量。通过将让UPS容量与实际负载相匹配,您数据中心能够始终保持在UPS负载曲线最有效的部分运行。这在2N冗余架构设计中尤为重要。

  另一种备用电源系统是飞轮UPS。在该装置内部是一个沉重的、不断旋转的轮,其存储动能,而不是使用电池来存储电能。当公用供电电源发生故障时,电力继续产生,直到飞轮减速,这通常需要20到45秒的时间。飞轮有时与电池一起使用,以最小化电池消耗。这在经常发生短时间的电源中断的地方特别有用,因为电池的使用寿命会因为多次的放电和再充电而降低。

  “Eco模式”的UPS也正在越来越多的受到业界的欢迎。他们宣称不管负载水平如何,均能够达到98%至99%的效率。与更常见的、将输入的交流(AC)公用供电电力转换为直流(DC)然后回到AC的双转换UPS不同,一款Eco模式的UPS在大多数时间在过滤的公用供电电力上运行计算设备。当输入的公用供电发生故障失败,或电压下降到低于可接受的水平(例如局部暂时限制用电)时,Eco模式的UPS系统能够迅速地切换到完全双转换模式,使得计算设备不会经历断电问题。

  并不是每家数据中心都能够很好的适应这种技术,鉴于数据中心运营商们需要关注输入的电源功率是如何更好的过滤的;以及高性能的计算设备需要什么级别的功率稳定性,以避免故障,数据丢失或内部损坏。然而,在现代服务器中所供应的电源,具有其自身的隔离和几秒钟的穿越功率,所以,随着能源效率变得越来越重要,我们或将能够看到更多的Eco模式的UPS系统。还应指出的是, 任何数据中心供电系统都应包括浪涌保护(surge protection),特别是在Eco模式的UPS和双转换系统的旁路。浪涌保护器(Surge protection Device,简称SPD),不会提高能源效率,但如果雷击或恶劣的功率激增的情况发生,他们可以帮助节省许多倍的成本。

  最后,较之交流电源,现如今直流电源被发现越来越多的为数据中心业界所广泛接受,以作为一种减少能源消耗的方式。交流为长距离输送电力资源提供了最好的方式,但在所有的电脑中,交流电源必须转换为直流电源以便运行电子元器件。因此,如果您数据中心将输入的建筑功率转换为380 V的直流电源,这已成为事实上的标准,您可以消除对于将将直流转变为交流的UPS逆变器的使用,同时还能够消除大多数的服务器电源。消除两种电源的转换应该有助于提高数据中心的整体效率,但实际的效率是否获得增益仍然是一个备受争论的问题。此外,较之交流电,使用直流电需要更多的关注电路负载,故而使用直流电并不一定适合所有的数据中心。

  数据中心的运行不能没有电力,但通过良好的设计和周密的管理,数据中心可以消耗更少的电力资源。

  为您的数据中心寻找合适的DCIM系统

在今天的数据中心行业中,最热门的流行术语可能非数据中心基础设施管理(DCIM)莫属了。现如今的几乎每款产品似乎提供了某种DCIM功能,并且还有几款独立的DCIM系统声称能够覆盖一切。但DCIM到底是什么?其到底应该做些什么呢?

  数据中心基础设施管理监控工具的出现,引发了一些问题。什么因素使得DCIM对您的企业是有价值的呢?其是否会有助于提高您企业的盈利能力呢?其能否执行您企业最初所需要的一切工作需求,并能够随着您企业的发展一起成长呢?部署实施DCIM及保持其更新需要花费您数据中心工作人员的多少工时呢?这些都是在您数据中心选择采用任何一款DCIM系统之前,所需要询问您的供应商,并问问您企业自己的问题。

  早期的DCIM是关于管理楼层空间,跟踪资产。电源使用效率(PUE)的度量推动其成为了一款更为全面的用于监控整个数据中心的基础设施的工具。如果您的数据中心真的关心的数据中心的能源效率,提高PUE值,并节约能源成本,那么您将需要掌握关于您数据中心的全方位的电力和冷却信息以及资产管理信息,而这些信息均可以储存在一款DCIM系统中。鉴于当前业界的减少能源消耗使用和节约成本的挑战压力,那句老话:“您无法对您不能测量的的设备实施管理!”从未没有变得如此真实。

  对于许多一般性的数据中心而言,掌握操作空间的室温数据、机架功率电源消耗数据和不间断电源(UPS)的报警数据、以及空调故障数据就足够了。而来自多家硬件和软件供应商的DCIM选项有多种形式——从制造商的智能插座板,计算机室空调(CRAC)和湿度传感器到资产跟踪和机柜安全访问,并许多将这些基本参数集成整合为一个成本效益数据包,以便可以实现更多的效益。但是对于大型数据中心设施而言,特别是对于那些想要跟踪PUE值,并最大限度地提高能源和计算使用效率的企业,掌握更多的信息则是必要的。

  您数据中心可以从每家供应商那里部署采用离散的DCIM方法——独立的UPS和空调单元、机架电源、中央冷却设备、发电机和资产管理。但是以这种方式创建一个主要的DCIM系统将导致一系列显示、报告和数据列表的混乱,甚至某些数据可能会重叠并且变得不方便。更可能的情况是,大多数系统将被淘汰,导致大量的资金花费在技术上,但却没有收到管理的益处。

  现在,数据中心中的一切都是相互关联和相互依赖的。随着处理器使用的增加,服务器获得更多的功率,然后减少计算负载。这影响了数据中心的冷却要求,在较新的数据中心设施中,应该通过具有变速控制的空调提供冷却。这些反过来又会引起泵速,冷却器容量和冷却塔操作的变化。在设计良好的基础设施中,这一切都应该自动平衡,但仍需要实施监控,以确保其正常工作。

  来自DCIM系统的信息应该还有助于确定如何在数据中心内部部署和使用计算硬件,以便尽可能实现高效地运行。假设您的冷却设备可以处理集中的刀片服务器,但只有在当CRAC以最大速度运行时才行。采用不同的部署方法可能会使用消耗更少的能量,但除非您可以看到这条链上的所有设备的功耗和操作点,否则您是不会知道的。同样,除非您数据中心可以对替代品进行模拟建模,看看其真实的意义,否则您无法知道能够做些什么以便改善操作。

  简而言之,DCIM在数据中心的角色作用的显著扩展,也使得其复杂性随之明显增加,故而企业数据中心需要采用一套良好集成的解决方案。

  集成DCIM系统的要求

  在考察现代的DCIM方法时,有两项主要的事情需要考虑:通用性和数据处理。

  真正通用的DCIM产品必须满足两项大的要求。首先,系统必须能够连接到空调、UPS系统、电源插座、电源配电单元、服务器、冷却机组、水泵、温度湿度和压力传感器、电表、冷却塔、发电机、电池监控器、照明控制、消防和安全系统、计算硬件以及与数据中心的操作有关的任何其它事物。第二,其必须在执行上述所有这一切时是与供应商无关的。必须无缝连接到每家制造商的硬件,并将所有可用的数据信息传递给DCIM系统,具有完全透明性。考虑到数据中心的复杂基础设施中的所有不同设备以及所使用的各种数据和报警协议,这可能是相当困难的。

  当然,一款完整的DCIM系统还应包括跟踪资产的基本能力。

  在选择一款DCIM系统时所需考虑的第二大要求是数据处理。DCIM广泛的扩张带来了数据爆炸。如果您数据中心真的测量和跟踪了数据中心的所有方面,那么您将所获太多的数据任何人都无法完全吸收。大多数数据中心设备现在都是网络连接和IP可寻址的。空调和UPS系统可以提供多达256个数据点。较新的计算硬件可以就内部温度、空气流、风扇速度和处理器利用率等方面生成大量的测量数据。

  这些数据量远远超出了您的预期——或者远远超出了您所实际关注的领域——除非您是一家制造商,需要随着时间的推移收集设备的磨损,性能和能源效率的历史数据。对于普通用户来说,这些大部分数据是无意义的。

  但是,您数据中心的DCIM系统需要捕获它,以避免丢失对您重要的参数。

  那么,您要如何处理每天所收集的大量数据呢?将所有这些数据转换成信息,就是区分一套及格的解决方案和好的解决方案的差别所在了。为了能够作为管理工具而发挥作用,所有物理,电气,机械和操作方面均需要集成,并做到以下几个方面:

  通过图形化的突出显示,指示异常和操作参数的变化,以便在其发生之前,提醒您潜在问题。

  具备快速演示,并容易地深入探索的能力,以便获取有关任何条件的更多详细信息,其应以清晰的图形格式提交显示原始数据。

  这肯定是一个具有挑战性的任务。随着各种的设备类型和制造商组成一处现代的数据中心,仅仅只是显示漂亮的3D图片、以及在问题已经发生后,才发出警报是远远不够的。重要的是,对于实施操作管理所必要的全部信息是否都是在第一位的。只有这样,才能考虑以3D图片显示是否提升了人们的理解,并使用户得以能够更快的掌握相关的意义并采取行动。

  关于DCIM系统的更多优点

  在确定了您数据中心的DCIM系统涵盖了上述基础层面之后,您可以继续研究构成全功能的DCIM系统的其他三个选项。

  1、了解您数据中心是否可以运行“假设”场景来查看添加设备的效果,或者查看如果基础架构中的某些内容发生故障,会导致什么情况。在规划在何处安置新硬件时,这可以说是相当有帮助的。一些系统甚至具有计算流体动力学(CFD)集成。由具有空气流量和CFD系统的相关知识背景的人员来解释正确构造的CFD模型可以是相当有价值的补充。然而,输出数据的质量取决于输入数据的质量。CFD模型可以被构造为显示任何事物的好或坏,因此当其作为DCIM部署的一部分时,必须定期对照实际的条件进行验证。

  2、该系统还必须能够增长并适应未来的需求。数据中心总会有新的硬件和持续不断涌现的关于现代化的数据中心基础设施的新的方法和技术,故而DCIM系统应该能够整合您企业的未来需求。理想情况下,这可以通过模块化的方法完成,要求您在开始时只购买所需的零件组建,并根据需求的变化以协调的方式增长。

  3、最后,关于数据中心最初创建时的基本信息,数据库,图形,并持续支持对其实施维护更新的需求。许多DCIM系统被淘汰的原因就在于数据中心工作人员无法使其保持更新。

  现如今,没有某种形式的DCIM,甚至即使是运行一处小型的数据中心也变得不切实际。仅仅依靠设备显示面板的报警和零星读数是不够的。您数据中心需要问问自己需要监控多少设备,需要监控哪些资源的消耗,并保持所需的控制级别。如果基本监测是必要的,那么比您最初所需要监控的范围监控更多,可能是更好的;毕竟,您企业的需求会随着时间的推移而增加。

  但是,如果您知道您需要一套完整的数据中心基础架构管理工具来处理主要操作,那么,在确保所有必要的接口都是可用的之后,最重要的是要将数据转换为有价值信息,并以恰当的形式显示。

  数据中心的直流电源与交流电源

  但涉及到数据中心的的直流电源与交流电源的讨论时,很显然双方都有为数不少的支持者。如下,我们将为大家介绍数据中心在采用时所需考虑的注意事项。

  全球的电网是以交流(AC)而不是直流(DC)的形式分配电力。 对于交流电源的选择可以追溯到19世纪,彼时,托马斯·爱迪生开始第一次吹捧DC的简单性,而像乔治·威斯汀豪斯和尼古拉·特斯拉等人则都支持AC的使用。由于AC被证明更容易在远距离交付商业用电,而且其所使用的铜线更薄、更便宜,故而该行业最终选择采用AC。

  然而,交流电源并不一定是输送功率最有效的手段,而数据中心机架和系统使用直流电源则是缘于电力成本的因素迫使企业组织压缩电力预算而已经获得了不少的关注度。下面,让我们来考虑一下在直流电源交付中所存在的几个关键性的问题吧。

  什么是直流电源?

  交流电源的问题是损失。交流电最初离开一处发电厂时是具备非常高的电压的。而当这些电压被逐步输送到城市、城镇和个体建筑时,那些高电压被通过采用变压器分割了几次。甚至一旦有600 VAC或480 VAC的交流电压进入建筑物时,其必须被再次降低到240 VAC或120 VAC以供应给机架服务器的电源,将交流转变成直流电压,这些功率将服务于几款组件,如处理器、内存、硬盘等。

  交流到直流的转换是不完美的,并且在每一次转换过程中都会有一定量的损失发生。但您已经为进入到您的设施内的所有的电力支付买单了,无论这些电力资源是被您企业充分使用了或是损失掉了。直流电流的支持者们认为,从交流到直流的一个单一的转换将消除这方面的损失,而且是更有效的。将所得的直流电源将被分配到整个数据中心的机架和系统,取代传统的交流电源布线和子系统。

  直流电源的好处

  转换到直流电源的一般性的好处是提升效率和节约成本。这个概念很简单,您数据中心将通过消除在转换过程中损失的电力资源来节省资金。加利福尼亚的伯克利劳伦斯国家实验室曾经在2006年进行过一个示范,比较了数据中心的交流和直流电。该实验室声称,数据中心通过使用直流配电可以节省高达20%的电力成本。

  此外,在个别服务器或其他硬件系统上的电源供应基本上被移除,因为电源已经以直流的形式到达了机架,可以根据需要调整到较低的电压。这消除了对多余电源的需要,同时还消除了他们所产生的噪音和故障多发的冷却风扇。

  通过直流配电所带来的实际节省的电力资源量仍然是一个备受争论的问题,并且之后的由诸如绿色网格组织所进行的测试质疑了数据中心采用AC和DC供电之间的最终区别。例如,绿色网格组织的报告得出结论说,配电方法之间没有显著差异——主要是因为在每个可能的负载条件下,没有单个的AC或DC配置更高效,并且服务器和配电设备也在持续变得更高效。

  然而,当实现节约时,对于最大型的数据中心运营商来说,处理多兆瓦安装的实际利益将是最大的。今天,诸如谷歌和瑞士主机托管公司green.ch等巨头都采用的是直流供电的数据中心部署。

  更新数据中心以支持直流电源

  直流电采用的最大障碍之一是,该技术具有高度破坏性。这不是简单的将电力资源从交流转换到直流。一个直流电源驱动的数据中心需要一个完全不同的配电系统和布线的机架。配电还需要集成现场发电机,以便使得备用发电机的电源转换为直流电源以供应给相应的设施。

  改造工作可以直接对服务器和系统进行。但现有的服务器和其他硬件系统则不能为直流电源进行改造,因此需要一套完全不同的硬件。不间断电源系统依赖于AC到DC的转换来为内部电池充电,而逆变器将直流电转换回交流电,需要更换为直流单元。故而企业组织通常会等到构建新的数据中心时才开始部署直流电源。

  随着能源成本和业务可用性需求的不断上升,确定直流与交流电源之间谁将赢得最后的斗争是很重要的。最终,用直流电力基础设施取代传统的交流配电方案可以通过消除额外的功率转换减少能源损失。如果使用得当,还可以帮助数据中心节省每月的电费,并免去单独的电源简化设备,从而进一步的降低成本和提高可靠性。

      

责任编辑:admin
免责声明:以上内容转载互联网平台或企业单位自行提供,对内容的真实性、准确性和合法性不负责,Voipchina网对此不承担任何法律责任。

】【打印繁体】【投稿】【收藏】 【推荐】【举报】【评论】 【关闭】 【返回顶部

上一篇6DG集团在英国伯明翰开通运营新数..
下一篇美国切诺基印第安部落计划投资建..

热门文章

图片主题

最新文章

相关文章

广告位

Copyright@2003-2009 网络通信中国(原VoIP中国) 版权所有
联系方式:503927495@qq.com
  京ICP备05067673号-1 京公网安1101111101259