华东地区某市是我国政治、科教、文化、工业和金融商业中心一体化的国家区域中心和国家综合交通枢纽城市。早在2006年,该市就在紧密跟踪世界智能城市发展理念和实践进程的基础上,开始积极研究和探索新形势下特色智慧城市的发展道路,紧密跟踪物联网、云计算等新兴技术领域的发展动态,为“智慧城市”工程的整体实施打下了扎实的基础。
怎样应对云计算时代的海量数据处理
该市级数据中心最近几年发展非常迅速,每年都有非常多的数据中心项目上马,而且新应用部署非常多,但数据中心的领导们还是清醒地意识到,目前的很多数据中心项目对能源消耗非常大、占地要求也非常高,而且由于原有的网络设备难以满足新增的需求,网络的设备经常会更换……类似的情况在该市级数据中心普遍存在。经过仔细的研究和归纳,该市数据中心的发展大体面临以下诸多问题:
Ø 空间问题凸显,设备众多,用电压力不断增大。部分现有项目建设的方式形成了一个个的竖井式系统,这些系统需要大量的设备,这些设备累计起来占用了大量的空间。设备、服务器众多导致用电方面压力巨大,既不绿色环保,同时导致后期运行成本过高,造成较大的运营压力。
Ø 服务器利用率低、资源浪费严重。相关业务系统在接入、数据、硬件支撑环境等各方面的整合力度不够,导致各类资源的使用效率偏低,尤其是各种竖井式系统的重复搭建,导致服务器数量庞大,但是单台服务器的资源利用率长期处于偏低的水平。
Ø 各种应用系统的服务水平参差不齐,由于没有统一管理,导致没有统一服务标准,尤其是数据资源没有实现集中共享,各种应用对外提供的服务功能单一简单,难以满足社会管理、经济模式发展转变等发展的需要,因此数据中心的建设必须需要更高的服务水平,从而满足新形势下的应用和发展需求。
Ø 管理员时间的使用效率低,当前系统的可靠性需要进一步提高。很多应用系统都有独立的接入界面、数据库、服务器、存储,甚至是独立的访问权限管理,没有统一的管理界面,这些大大浪费人力资源。某些情况下,还可能会带来一些安全问题。数据中心建设上需要更高的可靠性,要保证好各种应用系统的不间断运行和数据的集中存储,同时也要保证数据信息的安全可靠,这些都对数据中心提了更高的要求。
多年来的飞速发展给该市级数据中心带来了更多的设备和资源,虽然计算能力和业务处理水平在不断提高,但海量的硬件设备却给管理带来了巨大的压力。相互独立的数据库、服务器和存储,以及不同的访问权限,再加上没有统一的管理界面,让数据中心的效率大打折扣,同时也极大地浪费了宝贵的人力和其他各种资源。
与此同时,对于该数据中心来说,更具挑战的应用才刚刚到来。随着技术的不断进步,城市交通也逐渐走向了智能化。该市庞大的城市交通网络需要1000路高清视频接入与存储,其中200路高清视频的转发,检索时间需要达到秒级;设备必须具备9Mbps视频峰值码流,以及4GB每秒I/O吞吐能力,从而保证视频流的实时无损传输和存储。
最高3GB/s的视频存储峰值带宽,存储容量则将达到1200TB,仅视频存储一项就相当于该市过去十年的数据总量!32路并行转码,实时转码满足不同检索终端,则能够实现iPad与iPhone等移动设备的应用。这一切看似遥不可及的苛刻需求,在整合了zBX刀片服务器的IBM zEnterprise大型机的支持下得以轻松实现。
强大主机加混合负载 满足海量数据处理需求
智慧城市项目以世界先进的IBM System z系列主机为基础,采用“云计算”框架虚拟化设计,实现了智能交通和政务网站整合。该市级数据中心构建了一套先进的智能交通系统,用来监察和管理全市交通状况,该系统能为未来城市交通信息分析构建一个平台。各种应用也能以按需方式,通过网络,方便地访问数据中心系统中的可配置计算资源共享池,同时数据中心以最少的管理开销,迅速配置提供或释放资源,达到资源的最优配置。
首先,该市级数据中心拥有高度灵活性和可扩充性。未来根据业务应用的变化快速实施系统资源的升级,可以在不停机的状态下横向或纵向扩展,并且不会导致架构发生根本性变化,为不断产生和变化的政府部门需求提供持续的支持,为将来系统的扩展留有充分的扩充余地。通过虚拟化技术,该市级数据中心实现了即时增容,而且通过提供公用化模块,使得业务系统更容易开发和调整,另外在管理模式上更加容易创新,可以采用外包管理等模式,让数据中心能够将精力和资源集中在核心业务上。
其次,高性能的处理能力与I/O。IBM System z系统中拥有业界最新最强大的5.2 GHz微处理器芯片,凭借IBM的技术和全新的执行序列,IBM System z系列主机可实现极高的性能,完全不是其他体系架构系统能够比拟的。通过端到端管理功能和适用于异构工作负载且基于策略的框架,IBM System z系列主机成为企业的控制中心。该市级数据中心拥有能够根据高度集成的大型机、POWER7,以及System x计算环境中的个人工作量需求优化技术部署的集成系统,从而能够满足各类应用需求的延伸和拓展。
再次,该市级数据中心的zEnterprise服务器所配置的z/VM是业界最强大的虚拟化软件,可以支持上千个虚机。zEnterprise所配置的统一云管理软件URM,它能够提供统一的管理视图和管理机制,简化在多套异构业务系统环境下系统的运营维护工作。zEnterprise支持大型机架构、Unix架构、Linux架构和windows架构,能够优化承载各种不同类型业务应用。zEnterprise支持92个以太网口,320个存储连接通道,1024个并发逻辑通道和255k(约26万)个I/O设备物理地址。
最后,高安全与可靠性。作为该市市政府智能交通的重要项目,数据中心的稳定性与可靠性必须得到保证。方案中使用的zEnterprise是惟一达到安全级别认证EAL5的商用计算机。zEnterprise配置了2颗备用处理器,当激活的处理器出现故障时可以自动接管任务,确定各种应用不会宕机。zEnterprise平均无故障时间为30年,大幅度领先于其他体系架构。基于主机的高可用性,通过TSAM可以灵活制定服务监控策略,近乎“透明”的恢复时间,可以支持多个平台。
诸如此类、不胜枚举的各类特性,使得该市级数据中心最终决定采纳IBM System z的重要原因。
本次方案中的存储部分采用了运行稳定、性能领先、技术成熟的SAN网络架构,具有很好的稳定性,能为前端各应用提供可靠的数据存储平台,整个SAN网络中的部件都配置了双冗余组件,保证任一部件的损坏不会影响整个系统的运行;对于关键的图片和ECM索引等数据,在OS层做了基于LVM的镜像,保证了即使有一台存储系统整体故障,也不会影响图片应用的正常运行;关键数据库的数据都制定了合理的备份策略,定期将数据备份到物理磁带上,保证数据的安全性。
该市级数据中心整套方案具有极高的灵活性及可靠性,在性能方面也提升至了一个全新的高度,实现了上千路高清视频的接入和管理,同时在存储方面也做到了高效和绿色。业界顶级的z196大型机搭配zBX刀片以及定制化的高速存储设备,让整个交通系统形成了一套高效的网络,打造出最稳定、最可靠、最安全的运行环境,也是政府云计算落地的完美体现之一。