思科在其数据中心的UCS(统一计算系统)产品上押上了巨大的赌注——如今,它正全力以赴,准备仰仗这一集成化的刀片架构建造一个大规模的、适应性极强的绿色数据中心群落。
的确,思科正在尽可能快地全面转向推出已有一年多的UCS架构,计划在12到18个月内将思科所有IT负载的90%转移到UCS架构上去。
这一战略此前多被业界谑称为“吃自己的狗粮”,而思科则自嘲为“喝自酿的香槟”。这一战略再明显不过地体现在了思科即将完成的达拉斯沃斯堡的新数据中心里(此前思科已在此地建造过一个数据中心)。
被思科称为德州DC2的这个新的数据中心是思科UCS野心的代表作,但是它也同时采用了高度虚拟化和高度适应性的设计,既可作为一个私有云来使用,也拥有很多让思科引以自豪的绿色功能。

▲
图1:思科德州DC2外景,和普通的办公楼毫无差异。
思科IT网络与数据服务团队的副总裁John Manville说,新数据中心的构想源自三年前对于思科内部IT基础设施的一次评估。为了弄清楚自己的团队是否为企业的增长做好了准备的定位,他组建了一个跨部门小组,详细分析了IT团队的工作目标以及工作需求。
这次评估的结果是一份200页厚的文档,详细阐述了范围广泛的企业长期IT战略,用Manville的话说就是奠定了公司5到10年的发展基础。
“这次的评估结果被思科董事会的投资委员会所采纳,因为他们那里已经有一份申请巨额款项投资建造数据中心的申请,申请理由是要确保企业拥有足够的计算容量和适应性,能够推动企业转型,确保IT团队能够帮助思科成长,帮助我们的客户成功,”Manville说。
董事会开了绿灯,Manville的450人团队(思科共有3100名IT工作人员)有了两年半的时间来将其愿景转变为现实。
“这项战略的一部分就是建造数据中心,或者与已有数据中心的企业开展合作,然后把各种投资决策与各阶段相互绑定,”Manville说。
思科最近刚在达拉斯市翻建了一座办公楼,兴建了一个架空地板面积28000平方英尺、4个数据大厅的数据中心,思科称此数据中心为德州DC1。投资计划的第一阶段是在同一地区为德州DC1建造一个姊妹数据中心,配置成双站点模式——也就是说两个数据中心可以共同承担关键业务的处理负载,并对加州的一个数据中心以及公司在北卡的主要备份中心进行升级改造。
投资计划的第二阶段也已在进行中,“内容涉及在阿姆斯特丹建造一个数据中心及合作站点,可以使我们在那儿也拥有双站点功能,”Manville说。
投资计划的第三阶段涉及亚太地区,“如果有业务需求或潜在需求要求我们在那里建造的话,”他说。
除此之外,思科最终将以6个Tier 3的数据中心(也就是n+1冗余)在德州、荷兰,以及北卡和加州组建三对都市双站点。思科目前共有51个数据中心,但只有7个是生产中心,其余的都是较小的研发站点,IT团队负责人James Cribari说。所以存在着整合的必要,本次战略调整更多的是要利用虚拟化进行系统整合,并向新的平台,也就是向UCS迁移。
思科目前有超过16000个服务器操作系统实例,有专用的、虚拟的、用于生产和研发的。其中有6000个虚拟OS、3000个虚拟机已经迁移到了UCS(思科已在全球部署了大约2500块UCS刀片)上。而整个计划是要在12到18个月内将80%的生产操作系统实例虚拟化,将全部IT工作负载的90%迁移到UCS上。
Manville称,虽然整个计划的目标关乎容量和灵活性,但同时也是一个意义重大的关乎TCO(整体拥有成本)的故事。
Manville称,一个拥有物理服务器的数据中心的成本大约为每季度每台服务器3600美元,这笔成本包括运营、空间、电力、人工、SAN等等所有的成本在内。
采用虚拟化可将平均TCO减少37%,他说。“我们认为,一旦实现了UCS和云技术,我们就能将每个操作系统实例每季度的平均成本降至大约1600美元。到目前为止,我们的整个战略计划已实施了一半,我们还要兴建新的数据中心,还有大量传统的数据中心需要用UCS或我们自己的云产品进行改造。”
不过他认为他们可以实现更高的目标:“假如我们在虚拟化方面能再进一步,把各种应用的功能发挥得更好的话,我想我们就能让TCO进一步减少至每操作系统实例每季度1200美元。”
德州DC1
思科这一宏伟蓝图目前的阶段站点就是达拉斯地区相对较新的DC1数据中心。
这个总功率5兆瓦的数据中心已开始装备配套,共将配备1400块UCS刀片,其中1200块已投入使用,另外还有800块之前遗留的惠普刀片。惠普曾经是思科的主要电脑设备供应商,但是思科的目标是要尽可能快地全部撤换掉惠普的设备,Manville说。作为报复,惠普不久前也宣称要从其6个核心数据中心内全部撤换掉思科的WAN路由器和交换机。

▲
图2:装有5个UCS刀片机箱的UCS机柜,架顶交换机用于连接存储和网络交换机。
思科的1350个生产应用中,已有30¥到40%迁移到了DC1,其余的最终会迁移到DC2。DC2将成为思科新的全球战略中的王冠宝石。这座按照特殊目的而建造的数据中心完全基于UCS,将展示思科的UCS愿景和数据中心实力。它还将与DC1联手承担对于企业关键应用的支持。
德州DC2
DC2是在2009年10月破土动工的,这座总建筑面积16万平方英尺的大楼拥有两个“架空地板”面积为27000平方英尺的数据大厅。实际上这个数据中心并没有架空地板,因为它采用了供风端节能冷却设计,已不再需要架空地板,但是很多内部人士仍然在使用传统的数据中心术语。另一个引起误解的地方是:这个总功率达10兆瓦的数据中心的UPS房间其实并不存放任何蓄电池,而是使用了调速轮设计。
IT团队负责人Cribari曾参与过佩罗系统和其他企业的数据中心建设,他说,建造一个Tier 3数据中心一般需要18到20个月,但是这里的计划却是在12月初向配置团队交钥匙,明年3月或4月让数据中心上线。
这个数据中心从外面看毫不起眼,就像一座普通的二层办公楼,但是更细心的路人或许能够从某些细微的迹象中看出有价值的东西来。除了窗户极少之外,该建筑物还用护土跳堤围了一圈,可使爆炸冲击波偏转,也有助于建筑物抵御龙卷风(该建筑物的坚固程度足以抵挡风速175英里/每小时的飓风)。假如过路的人对于安全防护设施还有所了解的话,他们还可以认出建筑物的围栏其实是一个K8防护系统,可以让一辆时速40迈的6吨载重卡车在1米内停下来。

▲
图3:配备了液压路障的K8围栏系统
从外部看还有一件事情很特出:那就是紧邻的多个巨大的高压输电塔。思科负责DC2监理的IT项目经理Tony Fazackarley说,这些输电线属于当地的一个变电站,该电站可通过地下线路向数据中心输送10兆瓦的电力,不过思科还有第二条10兆瓦的地上线路来自另一家变电站。两条线路配置成了A/B切换模式,每条线路只需供应5兆瓦电力即可,但如有需要每条线路皆可满负荷提供10兆瓦的电力。

▲
图4:巨大的高压输电塔
数据中心的网络连接也是冗余的。既有两条1Gbps的ISP线路,也有厂商管理的DWDM接入环,两者都计划升级到10Gbps。还有两条在DWDM链路上的10Gbps网线可连接至北卡和加州的数据中心,本地接入由思科自己的DWDM接入环提供。为了备份,思科还有两条OC-48线路可连接相同的远程站点,这两条线路也计划在明年3月升级到10Gbps。
德州DC2的前厅看上去也很普通,但是前厅的接待员是坐在防弹玻璃墙后面的,其余的干式墙后面都衬有钢板。
一进到数据中心内部,你就会发现普通数据中心混杂在一起的计算和网络、电力和冷却都有各自的专用空间,而且每个部分都有创新。
先以UPS房间为例。一共两个房间,每个房间都有4组巨大的调速轮、发电机和柴油发电机组合,4组联动可生成15兆瓦的电力。
调速轮全天转动,由电动机提供动力,要想走进这个房间,你必须戴上耳塞,因为这里的声音震耳欲聋,即便在柴油柴油发动机不转的时候也是如此。
如果出现供电中断,调速轮便会驱动发电机保持提供10到15秒的电力,直到柴油发电机启动(每台柴油发电机配有4块车用蓄电池供启动使用,如果蓄电池已经失效则调速轮可用来驱动柴油机)。调速轮一旦加速转动,离合器就会被用来连接柴油机和发电机。

▲
图5:银色管道内装有驱动调速轮的电动机、调速轮本身和发电机,柴油机则在蓝色管道内。
所有的发电机皆可瞬间启动,然后等到供电恢复到正常负载时再依次关闭。这里的电力转换进程之所以迅速是因为整个数据中心都是由交流电供电的,由于没有了蓄电池,所以也就没有了采用直流电池时所需的电流上升、下降和再同步等步骤。
该数据中心平时储备96000加仑柴油,可供所有发电机满负荷运转96小时。如果还需要更多柴油的话,思科还有一个远距离加油站,并与供应商签署了服务等级合同,详细规定了在出现紧急情况时供货商应在多短时间内重新供油。
冷却工厂
为了冷却数据中心,思科采用了室外风节能设计,该系统可在室外气温足够低时利用简单的管道过滤将新鲜冷空气送入数据中心,减少了对机械制冷的需要。该项设计既节能又节约,当然是非常绿色的。
这套冷却系统的工作原理分如下几个部分:
第一部分包括3台安装在数据中心楼顶的1000吨冷却塔,水在这里被冷却后滴落到一个开放的空气环境中,然后被收集起来馈送给一个闭环中的冷水机组。

▲
图6:Tony Fazackarley站在冷却塔前。
预先冷却的水通过5台冷水机进行循环(3台1000吨和2台500吨冷水机),从而减少了在第二个闭环中冷却水所需的制冷剂数量,后一个闭环负责从冷水机到空气处理机的循环。(冷水机不适用含氟制冷剂,是该数据中心的另一个绿色功能。

▲
图7:5台冷水机中的一台
一连串的阀门由一连串的曲柄和铰链控制,可通过任何一台水泵将任何一台冷却塔与任何一台冷水机相连接,这也是一种冗余预防措施。从绿色的角度看,这些冷水机组都是变频转动的,在需求较低时可以较低速度运转,从而降低了能耗。

▲
图8:冷却液循环所使用的水泵;注意阀门上所悬挂的铰链,可用来实时地重新配置系统。
冷水机将冷却水亏东给一个大箱子形状的空气处理机内的盘旋管道,这些管道可以吸收数据大厅内的热空气,然后将冷却后的空气回送给数据大厅。到目前为止,对于一个大型的、现代化的数据中心来书,还没有什么太出奇的东西。但是,在这里,室外风节能设计开始发挥作用,这是一个意义重大的绿色故事。

▲
图9:空气处理机在室外风节能设计中发挥着关键性的作用,使得利用新鲜的室外空气来给室内降温成为可能。
当室温低于78华氏度(约25.5摄氏度)时,冷水机关闭,空气处理机后部的天窗打开,吸收新鲜空气入内,根据需要进行过滤、加湿或除湿,新鲜空气穿过数据大厅后从另一端的一组出口排出。
Fazackarley说,他们估计,即便在炎热的德克萨斯,他们也能每天有51%的时间利用所谓的免费空气来制冷,47%的时间使用制冷机,最后的2%时间混合使用这两种模式。
在冷却方面的成本节约估计每年可达60万美元,这笔款项在资产平衡表中可是一笔不小的进账。
等DC2上线后,预计能将电能使用效率(PUE)值降到1.25。PUE表示数据中心有多少电力用于计算,有多少消耗在了冷却和其他费用上。
PUE值为1.25究竟有多好?“非常好,因为这要求IT和物理基础设施的优化联动具有非常高的水平,”正常运行时间学会研讨会副总裁Bruce Taylor说。“然而要记住,一个新的数据中心常常会有‘糟糕的’利用效率,这是因为建造这类工业设施时所遵循的标准实践,那就是电力和冷却系统的设计能力要高于实际需要,彷佛这样才能为增长留出扩展空间。”
数据大厅
该数据中心的数据大厅目前尚未被各种计算设备所充满,很多空空的机柜还在等着插满UCS刀片。虽然这里并没有架空地板,但是混凝土地面已经铺上了瓷砖,模仿标准的架空地板布局,有助于IT团队准确进行设备定位。

▲
图10:Tony Fazackarley和Jim Cribari站在一个等待插刀片的机柜前。注意地上的瓷砖是按照标准的架空地板尺寸铺设的。
没有了架空地板,气流虽然无法在地板下循环,但是思科采用了标准的冷/热风通道配置,冷空气通过气泵从上往下,而热空气则从机柜顶端吸出,通过烟道排放到高高的天花板上面上。Cribari称,这样的思路是为了保证气流的分层,避免了冷热空气的混合。上升的热气流或者被吸出室外,或者经过空气处理机的冷却再给数据大厅降温。
总而言之,该数据中心可容纳240个UCS集群(每个大厅120个)。一个集群就是一个配备了5个UCS机箱的机柜,每个机箱插了8块服务器刀片和最高达96GB的内存。因此总的刀片数量最终可达到9600块。每块刀片有两块主板,每块主板最多可支持8个处理器核心,每个核心可支持多个虚拟机,所以整个数据中心的扩展规模是足够的。据Cribari说,初期阶段将首先配置10个UCS集群。
NAS存储与服务器一起散布在每个通道内,生成Cribari所说的虚拟块或Vblock。这些Vblock就是一系列的云,每个云都包含有计算、网络和存储资源。

▲
图11:UCS机柜
Cribari称,UCS架构可减少线缆需求量40%。集群中的每个机箱都用一根10Gbps FCoE双芯线缆连到一台架顶接入交换机上,该线缆可同时支持存储流量和网络流量。
从架顶交换机开始,存储流量通过16Gbps的连接送往思科 MDS SAN交换机,而网络流量则通过40Gbps LAN连接转发至思科Nexus 7000交换机。未来还有可能采用FCoE携带集成的存储/LAN流量给Nexus。
减少线缆需求量不仅节省了前期成本——思科估计仅德州DC2一家数据中心便可在线缆上节省出100多万美元——而且还可简化布线施工,维修起来更方便,占用的空间也较少。节约出来的空间还可增加气流的循环空间,提高制冷效率。
事实上,正是气流的循环才让思科能在一个机柜里安装5个刀片机箱,Cribari说。每个机柜的总功率约为13千瓦,“之所以能够达到这么高的功率,就是因为机器能在较冷的温度下运转,而且没有多余的线缆,空气流动也很畅快。”
投入使用
Cribari称,一旦所有设备部署完成,德州DC2上线之后,它就将与德州DC1结成一组双站点配置——创建思科所谓的城市虚拟数据中心(MVDC),该中心可以在两个场所同时承载关键应用,反应弹性大大增强。
这样的MVDC还将在荷兰复制,所有进出的流量和数据都将存储在两个场所中。MVDC所承载的应用包括关键的客户端程序,例如可安全保护订单处理的Cisco.com,以及一些集中运营的应用,如思科的按需生产程序等。
除此之外,DC2还可作为一个私有内部云来使用,可支持思科所说的IT弹性基础设施服务或(CITEIS)。“它主要针对基础设施作为服务(IaaS)层,集成了计算、存储和网络资源,”Manville说。“CITEIS可满足我们x86需求的80%,但我们认为仍然有一些真正高端的生产数据库必须要有专门的环境,甚至不能够虚拟化,所以就可以把UCS作为一种裸机平台来使用。”
为CITEIS选择的虚拟化技术是VMware,后者可支持Linux和Windows的混合环境。至于操作系统的选择,Manville说,“这里不存在偏见。只要有需要,只要它能够顺利工作,我们就会选它。”
Manville称,云技术将占到TCO预期费用的一半,另一半则源自UCS所提供的能力,其中很多能力都能够改善运营效率。
举例来说,当把一块刀片插入UCS机箱时,驻留在架顶交换机内的UCS管理程序便会提供一份服务配置文件,自动配置好所有的一切,包括IP地址、BIOS、网络类型和准备使用的存储类型、安全策略,甚至包括带宽QoS等级等等。
“我们之所以称呼其为服务配置文件而不是服务器配置文件,是因为我们更在意刀片上的应用需要支持什么,”思科服务器与虚拟化群组的副总裁Jackie Ross说。
一旦配置完成,服务配置文件便可应用于所有刀片,存储和网络连接可根据需要进行变更,而无须实际摆弄设备;任何刀片皆可接入以太网、光纤、FCoE等。
Manville认为,对预配置进行提速,目的就是为了增强灵敏性。思科的目标是要将自服务预配置缩短到15分钟以内。“我们正在实现这一目标,但还没有将其交给应用开发人员,原因是还存在各种计费和认证问题。不过我们的系统管理员已经看到了用自动化方式预配置虚拟机所能够带来的巨大的效率提升。”
将所有这些综合在一起,思科这个内含丰富的新的IT战略——包括德州DC2的扩建,以及在公司新的计算工具的推动下向高度虚拟化云环境的迁移——是相当雄心勃勃的,如果他们能将一切就绪,那将会是一次相当巨大的成功。
思科在建造DC2时肯定是有更长远考虑的。因为DC2还有足够的空间可供扩张,在未来的几年里,它还能够再容纳一倍的“架空地板”空间。