܄

基建狂魔谷歌,如何把数据中心“武装到牙齿”

【数据猿导读】 谷歌在进行数据中心建设的过程中,从选址到定制方案,从确保安全到提高效率,都有着精密的谋篇布局

基建狂魔谷歌,如何把数据中心“武装到牙齿”

“技术爆炸不会戛然而止,基础学科的完善和应用市场的壮大,将会维持倍增效应,二十一世纪所取得的进步,最终可以达到二十世纪的一千倍。”

美国发明家、未来学家雷·库兹韦尔(Ray Kurzweil)在其著作《灵魂机器的时代》的核心观点,正在数据中心领域应验。

今年2月,市场调研机构Synergy Research的最新数据显示,截止2020年底,全球20家主要云和互联网服务公司运营的超大规模数据中心总数已增至597个,是2015年的两倍。

数据基建_谷歌数据_数据中心_数据猿-1

图片来自Synergy Research

“过去八个季度,共有111个新的超大规模数据中心开业,其中52个已在2020年投产,”SynergyResearchGroup首席分析师John Dinsdale在一份声明中表示:“这证明了推动这些投资的数字服务业的持续强劲增长,特别是云计算、SaaS、电子商务、游戏和视频服务。”

数据中心领域的“基建狂魔”都有谁?谷歌、微软、亚马逊必然榜上有名。事实上,随着对数字服务的需求猛增,全球三大公有云服务商已经有效地占领了超大规模数据中心市场。

据SynergyResearchGroup的数据,亚马逊、微软和谷歌三家公司每年狂砸数十亿美元,用来扩建其遍布全球的数据中心,以满足对云服务的高需求。2020年新增的超大规模数据中心中,亚马逊和谷歌的数据中心占据了一半。

而在现存的超大规模运营商中,亚马逊、微软和谷歌总合计超过所有超大规模数据中心数量的50%。

数据基建_谷歌数据_数据中心_数据猿-2

图丨谷歌位于康瑟尔布拉夫斯的数据中心

三巨头野心勃勃的扩建仍在继续:以谷歌为例,2020年6月,挪威广播电视公司(NRK)报道,谷歌在挪威城市希恩(Skien)中心以北购买了2000英亩的土地,计划在那里建立一个迄今为止北欧最大的数据中心。

2020年9月,谷歌公布了2020智慧台湾计划,证实在云林购买土地建设台湾第三座数据中心。10月,谷歌购买了伦敦北部的一块土地,有可能容纳其在英国的第一个数据中心。

疯狂扩张的背后,离不开强大的基建能力。正如谷歌台湾董事总经理简立峰说:“我自己觉得谷歌最独特的地方、成功最大的原因,就是软硬件的基础建设。”

作为“基建三狂魔”之一,谷歌是如何进行数据中心建设的?在建设过程中,又有什么值得行业借鉴、学习的地方?事实上,从选址到定制方案,从确保安全到提高效率,谷歌都有着精密的谋篇布局。

数据基建_谷歌数据_数据中心_数据猿-3

精密的布局、硬件设施:武装到牙齿

没有人一出生就会走路。现在谈及谷歌数据中心内部结构,很多人的第一反应就是:错综复杂、眼花缭乱。然而1999年,也就是谷歌刚创办一年多的时候,谷歌数据中心可以用“简陋”来形容:

在圣塔克拉拉市的一家服务器托管公司,几百台没有罩机壳的半成品服务器在“裸奔”,服务器高速运转的同时,缆线也胡乱纠缠在一起,场面十分混乱。在当时,谷歌平均花3.5秒才能输出一次搜索结果。

再往前,回到1998年初,Google的搜索引擎和网站是运行在如下设备的:

数据基建_谷歌数据_数据中心_数据猿-4

图丨Google首个“数据中心”BackRub,位于斯坦福大学的宿舍楼

而如今,20多年过去了,谷歌数据中心通过一步步的硬件建设,逐渐把自己打造成了固若金汤的数据堡垒,不仅保证了据中心有条不紊的运行,也最大程度确保了数据中心的安全性。

谷歌都做了什么?

第一,为了确保数据中心的安全,谷歌设置了重重关卡,严阵以待。为了确保数据中心的物理结构绝对安全,每个数据中心都有六层物理安全保护。而谷歌引以为豪的是分层安全模型,通过独家定制的电子访问卡、警报器、围栏架设、金属探测器、生物识别技术等防御设施,武装到牙齿,最大程度把不安全因素隔绝在门外。

分层安全模型的亮点在于,越靠近核心机密,安全措施系数就越高。在谷歌数据中心,只有一条安全通道通往数据中心核心,通过安全徽章和生物识别技术实现多重访问控制,只有特定职位的员工才有权进入。据报道,只有不到1%的谷歌员工曾进入过这里。

数据基建_谷歌数据_数据中心_数据猿-5

图丨谷歌数据中心技术人员在工作

除了这些“明哨”外,谷歌数据中心还配备了“暗哨”。比如,数据中心配备了内外监视器,24小时不间断监视数据中心动向;地板上也安装了激光束入侵探测器,内外监视器,全天候检测追踪入侵行为。

第二,谷歌数据中心把“创新”落在了实处,为了数据中心日后的升级,谷歌数据中心在设计时会为技术更迭留有空间。

比如,即使是谷歌早期建设的数据中心,也能适应如今机器学习和AI场景下的TPU系统、芯片级水冷技术等新技术。同时,谷歌的现场硬件运维制冷系统也不断升级,大约每18个月就对制冷系统进行一次更新。

数据基建_谷歌数据_数据中心_数据猿-6

图丨谷歌位于芬兰哈米纳的数据中心

第三,除了保证安全性和创新性外,谷歌在基建上还是一个细节控,不起眼的细节背后大有设计深意——谷歌网站曾请摄影师为其在芬兰、美国、比利时等地的八座数据中心拍了一组名叫“where the internet lives”的照片,其中透露出的细节充分展现了谷歌数据中心的高度复杂性和数智时代的工业美学。

比如在南卡罗来纳伯克利县的数据中心,每个磁盘都具有独一无二的条形码,目的是为了谷歌的机器人系统可以找到正确的磁盘。

数据基建_谷歌数据_数据中心_数据猿-7

图丨谷歌位于南卡罗来纳伯克利县数据中心的磁盘

再比如谷歌数据中心内部有很多五颜六色的管道,不仅仅是为了美观——数千英尺的管道线被标记上鲜明的颜色,是为了分辨出不同管道的不同功用。比如俄勒冈数据中心,蓝色管道提供冷水,红色管道将温水送回进行冷却。

数据基建_谷歌数据_数据中心_数据猿-8

图丨谷歌数据中心用来输送水的管道

而在工业美学上,错综复杂的管道布局也有数智时代的壮阔时代,正如陈陈相因诗中所写:

“无限的岛屿长出数以百计的岸,温柔的镜像在冷水里,轻易定义了永恒。”

而同样于细节中见壮阔的,也有康瑟尔布拉夫斯的数据中心,巨大的钢梁起到了分配压力的支撑作用。

数据基建_谷歌数据_数据中心_数据猿-9

图丨谷歌位于康瑟尔布拉夫斯的数据中心

事实上,在谷歌数据中心,除了这些通用配置外,在不同国家、地区的数据中心,谷歌在设计上都会因地制宜,定制特定的基建配置——把当地可利用的资源开发到最大化。

精细选址,因地制宜:定制的冷却方式,独家的硬核基建

谷歌针对不同数据中心因地制宜的布局,早在选址上就开始了。

谷歌在选址上综合考虑了多个维度,如园区的可扩展性;资源、能源水平;是否靠近用户;面对灾难的反应能力等等。以谷歌在比利时数据中心的选址为例,谷歌看中了当地巨大的可用空间,可支持日后数据中心扩容。同时,当地有高质量的光纤和可再生能源。

数据基建_谷歌数据_数据中心_数据猿-10

图丨谷歌位于比利时的数据中心选址

而根据不同数据中心的特性,谷歌会为其定制特制的发展方案——比如谷歌在冷却方式上的考量就是一个好例子。总体上,相对于耗电量大、模式沉重的机器制冷,谷歌更倾向于自然冷却法和海水冷却法,但在具体落地时,针对不同的数据中心,谷歌会采取不同的冷却方式。

比如谷歌在比利时圣吉斯兰的数据中心,因为其毗邻工业运河,且比利时属于温和的海洋性气候,温度适合数据中心进行自然冷却——据谷歌统计,圣吉斯兰平均每年只有7天气温不符合免费冷却系统的要求。所以,谷歌采用了水侧自然冷的冷却方式。

具体如何实现?谷歌通过在工业运河附近建设水处理工厂和冷却塔,从运河中抽水,用以给数据中心制冷,从而完全实现用自然水制冷,摆脱了冷水机组的限制。

数据基建_谷歌数据_数据中心_数据猿-11

图丨位于比利时数据中心的冷却塔

而因地制宜的制冷方式,不仅摆脱了沉重的传统制冷模式,且为比利时圣吉斯兰当地的水源清洁做出了贡献,可以说一箭双雕:运河的水质较差,谷歌专门设立了水处理工厂用以净化水源,然后再用于制冷。

再比如,谷歌在芬兰哈米纳的数据中心采用了海水冷却的方式,这是因为,谷歌位于哈米纳的数据中心前身是一座造纸厂,本身就带有水下通道。谷歌收购此地后,利用其自带的水下通道,将海水运输至数据中心,并混合热水进行调温,以达到适合数据中心冷却的温度。

数据基建_谷歌数据_数据中心_数据猿-12

图丨谷歌在芬兰哈米纳的数据中心

神奇之处在于,这种冷却方式并不会对当地环境造成污染:在把用过的海水送回海中之前,谷歌数据中心会用更多的海水来冷却它。正如谷歌数据中心的运营副总裁Joe Kava所说:“当我们将水排出到海湾的时候,它的温度和湾内海水温度会很相似,这就将对环境的影响降低到最小。”

层层独家定制的运行方式、武装到牙齿的硬核基建,最终结果导向非常明确:节能,高效。

高效、节能、人工智能加持:凭低PUE,高能效跻身世界一流

谷歌对节能、高效的追求与日俱增。首先,谷歌是世界最大的可再生能源购买企业。自2007年起,谷歌就开始通过购买高碳补偿项目(植树造林,垃圾场甲烷气等项目),实现了碳中和的目标。这一成果保持了10余年。

去年2月,谷歌数据中心的一个工程师小组开发了一个新的碳智能计算平台,将许多计算任务的时间转移到低碳能源(比如风能和太阳能)最充足的时候——这有助于减少电网的碳足迹,让谷歌更接近24x7无碳能源。

数据基建_谷歌数据_数据中心_数据猿-13

图丨谷歌数据中心的碳智能计算平台

因此,一个谷歌数据中心的能源效率几乎是一个普通数据中心的两倍。不止如此,与六年前相比,同样的电力可以为谷歌提供大约七倍的计算能力。

如今,谷歌的人工智能推荐系统已经持续提供了平均约30%的节能。2019年,谷歌全球数据中心的平均年用电量效率创下了1.10的历史新低,而行业平均水平为1.67——这意味着谷歌数据中心每单位IT设备能源使用的开销能源减少了约六倍。

除了节省能源、充分利用可再生资源,谷歌实现高效、节能的另一个手段,就是人工智能的加持。2016年,谷歌宣布,人工智能让谷歌数据中心制冷PUE改善了40%。

具体如何实现?事实上,谷歌的人工智能通过数据中心内的几千个传感器去收集温度、电量、耗电率、设定值等各种数据,再对这些数据做人工智能分析,用分析的结果反哺数据中心,用以调整数据中心的模式和控制阀值,最终实现降本增效。

因此,近几年,谷歌的PUE曲线呈匀速下降趋势:这意味着谷歌在节能路上越来越轻车熟路。

数据基建_谷歌数据_数据中心_数据猿-14

图丨谷歌的PUE曲线

而在未来,谷歌也继续在节能、降本增效路上深耕。正如谷歌首席执行官 Pinchai所说:“我们将做一些事情,例如将风能和太阳能结合在一起,并增加对电池存储的使用。我们正在研究应用AI来预测电力需求并优化系统的方法,这将有可能在2025年创造12000个工作岗位。”

谷歌的努力间接促进了行业的健康、可持续发展。《科学》杂志上的一篇论文表示,研究发现,尽管全球数据中心完成的计算量在2010年至2018年间增长了约550%,但数据中心消耗的能源量在同一时期只增长了6%。即使对云计算的需求急剧上升,全球数据中心的能源消耗却大体保持平稳。

这也应了管理学大师彼得·德鲁克的一句话:对于一些公司而言,战略规划往往不是技术,也不单纯只是为了利益,有时更像是出自一种责任。


来源:数据猿

声明:数据猿尊重媒体行业规范,相关内容都会注明来源与作者;转载我们原创内容时,也请务必注明“来源:数据猿”与作者名称,否则将会受到数据猿追责。

刷新相关文章

【年度榜单】2020大数据产业创新服务产品丨数据猿·金猿榜
【年度榜单】2020大数据产业创新服务产品丨数据猿·金猿榜
百分点科技&数据猿联合发布《2021年央视3·15晚会事件预测分析》报告
百分点科技&数据猿联合发布《2021年央视3·15晚会事件预测分析...
把数据中心建在海底,“水中捞月”的微软是怎么想的?
把数据中心建在海底,“水中捞月”的微软是怎么想的?

我要评论

精品栏目

[2017/12/19]

大数据24小时

More>

[2017/12/18-22]

大数据周周看

More>

[2017/12/18-22]

大数据投融资

More>

[2017/12/18-22]

大咖周语录

More>

[2017/12/13-20]

大数据周聘汇

More>

[2017/12/12-19]

每周一本书

More>

返回顶部