我們深入了阿里云的心臟，發(fā)現(xiàn)他們把服務器都泡在了“水”里……

品玩

+ 關注

2022-03-14 14:48

1358次閱讀

我們深入了阿里云的心臟，發(fā)現(xiàn)他們把服務器都泡在了“水”里……

作者｜洪雨晗郵箱｜hongyuhan@pingwest.com

張北有什么？大片的草原、鮮嫩的羊肉是大多數(shù)北京人的認知，可要說到互聯(lián)網(wǎng)與高科技，恐怕沒有一個人會想到這里。

當我得知，要去探訪的阿里巴巴數(shù)據(jù)中心坐落在張北時，我下意識的反應是滑雪場、音樂節(jié)旁矗立的高大建筑——互聯(lián)網(wǎng)時代的新基礎設施正在大草原上吞吐著海量的數(shù)據(jù)。

阿里云-Web應用防火墻

2.6

8條點評

咨詢產(chǎn)品

免費試用

避免網(wǎng)站服務器被惡意入侵，保障業(yè)務的核心數(shù)據(jù)安全，解決因惡意攻擊導致的服務器性能異常問題。

客戶案例

暫無

合作品牌

張北緊鄰東方達沃斯、北京人民的滑雪后花園崇禮，它們都為張家口市的下屬縣、區(qū)。滑雪場一般會選在氣溫相對更低的場所，以使得雪季更長、雪場造雪的成本更低，這一點同樣利好排熱需求巨大的數(shù)據(jù)中心。

在五一、十一節(jié)假日感受過音樂節(jié)有多擁擠的朋友肯定知道一個巨大空曠的場地是有多么重要。與音樂節(jié)類似，數(shù)據(jù)中心的選址通常不會距大城市太遠（保證服務器響應的速度），也不會太近（數(shù)據(jù)中心占地面積大，園區(qū)土地成本不可不精打細算）。

此時正是北京炎熱的七月中旬，但在出發(fā)前阿里云的工作人員特意叮囑我們要備好外套，果不其然，當晚到達張北縣下榻的酒店后，走出車門就感受到了一絲冷意和草原上迎面撲來的涼風，這不僅是因為夜晚的緣故，第二天一早，雖然太陽毒辣，卻也一點都不覺得熱。

數(shù)據(jù)中心距縣城不遠，大概十多分鐘車程，從酒店到數(shù)據(jù)中心的一路都綠意盎然，這趟車的目的似乎是去向草原天路野營，轉(zhuǎn)眼間，窗外景色忽變，一抹熟悉的亮橘色印入眼前，我們知道，目的地到了。

數(shù)據(jù)中心需求的產(chǎn)生源自社會對計算、數(shù)據(jù)以及網(wǎng)絡的海量需求。隨著信息技術的發(fā)展，到20世紀90年代，微型計算機開始要求專門的空間來存放，便宜的網(wǎng)絡設備加上網(wǎng)絡電纜的新標準，使得公司在房間中使用分層設計來放置服務器成為可能，這種使用方式也由此被廣泛推廣開來。

阿里云-天池

0條點評

咨詢產(chǎn)品

免費試用

以深度學習和大規(guī)模機器學習技術為核心，結(jié)合不同行業(yè)應用和業(yè)務場景，幫助用戶實現(xiàn)相同或相似圖片搜索。

但是，這一模式對當時的一些小公司來說仍不是件容易的事情。因此，許多公司專門在一定空間內(nèi)搭建此類大型設備，為一些需要節(jié)約成本或體量較小的公司提供商業(yè)上的系統(tǒng)部署和操作的解決方案，這種一定空間內(nèi)的大型設備被稱為網(wǎng)絡大數(shù)據(jù)中心(Internet Data Center)，也常常被簡稱為IDC。

也因此，數(shù)據(jù)中心對機器設備的安全非常重視，隨行的阿里云工作人員表示為確保數(shù)據(jù)中心的安全運行不受任何外界因素的影響，此次參觀會有嚴格程度不亞于機場的安保檢查。

阿里巴巴的張北數(shù)據(jù)中心始建于2015年，是阿里巴巴在烏蘭察布、廣東河源、南通以及杭州五大超級數(shù)據(jù)中心當中最早建成的。根據(jù)中國信息通信研究院發(fā)布的《大數(shù)據(jù)中心白皮書（2018年）》顯示，2010年以來全球大數(shù)據(jù)中心一直在平穩(wěn)增長，但自2017年開始，隨著大數(shù)據(jù)中心往大型化、集約化的方向發(fā)展，全球大數(shù)據(jù)中心數(shù)量開始縮減。2015年全球大數(shù)據(jù)中心45萬個，預計2020年大數(shù)據(jù)中心將減少至42.2萬個。

阿里云-云引擎ACE

0條點評

咨詢產(chǎn)品

免費試用

提供云服務器、云數(shù)據(jù)庫、云安全、商標注冊等云計算服務，以及大數(shù)據(jù)、人工智能、企業(yè)應用服務、精準定制基于業(yè)務場景的行業(yè)解決方案。

客戶案例

合作品牌

如今，大數(shù)據(jù)中心的應用范圍從基礎業(yè)務（主機托管、寬帶出租、虛擬主機、IP地址出租、服務器出租）向增值業(yè)務擴展（異地容災、代理維護、安全系統(tǒng)、負載均衡、數(shù)據(jù)備份、遠程維護、逆向DNS、設備檢測、系統(tǒng)集成）進化，目前，大數(shù)據(jù)中心增值業(yè)務的營收已超過基礎業(yè)務。

我們參觀的張北廟灘數(shù)據(jù)中心可容納十萬臺服務器，總面積約為13.3萬平方米，機柜總量約4000架，總投資超過200億元，此數(shù)據(jù)中心的年均電能使用效率（PUE）為1.19，PUE (Power Usage Effectiveness，電源使用效率)是衡量數(shù)據(jù)中心電力能源利用率的國際通用指標，越接近1表示數(shù)據(jù)中心對電能的利用效率越高。

張北廟灘數(shù)據(jù)中心1.19的PUE是一個能耗效率非常好的數(shù)值。按照《“十三五”國家信息化規(guī)劃》的指導，到2018年，新建大型云計算大數(shù)據(jù)中心PUE值不高于1.5；到2020年，形成具有國際競爭力的云計算和物聯(lián)網(wǎng)產(chǎn)業(yè)體系，新建大型云計算大數(shù)據(jù)中心PUE值不高于1.4。

張北廟灘數(shù)據(jù)中心可以將能耗降下來得益于張北年均氣溫僅為2.6℃，最低氣溫達零下40度，工程師將室外溫度適宜、空氣質(zhì)量良好的新風通過風墻技術輸送至機房，直接為IT設備降溫，實現(xiàn)全年300余天“免費”的自然冷卻，從而降低了空調(diào)系統(tǒng)的電力消耗。

工作人員表示，數(shù)據(jù)中心的地址選擇北緯43°的張北縣是看重了張北地區(qū)充沛的風能和太陽能，這使得張北數(shù)據(jù)中心可以大量采用綠色能源，促進可再生能源發(fā)展，加速能源消費向清潔低碳化轉(zhuǎn)型。2018年12月至2021年5月，阿里云自建基地型數(shù)據(jù)中心，通過市場化方式交易清潔能源（含風電、光伏、天然氣電量）6.38億千瓦時，共計減排二氧化碳51萬噸，交易清潔電量與碳減排均居全國互聯(lián)網(wǎng)行業(yè)首位。

在了解了數(shù)據(jù)中心的整體狀況后，隊伍終于要準備進入機房了，不意外的，在進入機房大樓前，安檢人員再次盡職地做了一次檢查。同時，機房內(nèi)的幾位專業(yè)技術人員已經(jīng)在向我們招手，將依次帶我們?nèi)ヌ皆L備用發(fā)電房、風冷機房、液冷機房等。

建筑的一樓每個房間入口都會有高高的藍色擋板，技術人員稱這是為了防止老鼠的進入，一樓大多為備用發(fā)電設備，基本不會設置機房。備用發(fā)電設備是為了預防電網(wǎng)切換、意外停電等狀況出現(xiàn)時的應急措施，畢竟數(shù)據(jù)中心哪怕斷電幾秒鐘也會嚴重影響存放數(shù)據(jù)客戶的安全感。

走進風冷機房，3.5米/秒的涼風降溫效果杠杠的，一行人都沒有深入往里走就迅速退了出來。技術人員介紹風冷機房可以根據(jù)散熱需求，將數(shù)據(jù)中心外的冷風通過過濾后送入到機房的冷風室，技術人員稱這項技術為組合式空調(diào)箱（AHU）風墻技術，通過自然風實現(xiàn)設備的自然冷卻，從而降低空調(diào)電力的消耗。

為提高熱能的利用效率，部分機房熱風會回收至柴發(fā)配電室及部分設備間用于采暖，同時將空調(diào)回水作為供暖換熱的驅(qū)動動力，減小冬季供暖能耗；通過廢水回收系統(tǒng)降低生產(chǎn)污水的硬度、電導率等指標，回收并重新利用至生產(chǎn)系統(tǒng)，減少水資源消耗。

在探訪中，我們還發(fā)現(xiàn)，不少存放著我們重要數(shù)據(jù)的服務器，被浸泡在“水”里。

其實，這是阿里云工程師們研發(fā)出的浸沒式液冷技術，一排排的服務器被浸泡在絕緣冷卻液里，它不僅能夠保護電子元器件低溫運行，而且使得產(chǎn)生的熱量可直接被冷卻液吸收進入外循環(huán)冷卻，全程用于散熱的能耗幾乎為零，同時，液冷方案還有效降低了由空氣、灰塵和震動引起的硬件產(chǎn)品故障率，極大的提升了服務器的使用壽命。這種形式的熱傳導效率比傳統(tǒng)的風冷要高百倍，節(jié)能效果超過70%，實現(xiàn)了數(shù)據(jù)中心100%無機械制冷。

液冷主要有兩種類型，一種叫做直接接觸型液冷，還有一種叫做間接接觸型液冷。過去的數(shù)據(jù)中心使用間接接觸型液冷較多，即將散熱設備固定在冷板上，當液體通過冷板時將熱量帶走以達到散熱的目的。而浸沒式液冷則是冷夜直接與精密的電子元器件接觸，對冷夜和整個設備的調(diào)試要求都更加嚴格。

目前，數(shù)據(jù)中心應用較多的一種冷夜叫做氟化液，這種液體不會導電，具有絕緣的特性，是目前數(shù)據(jù)中心液冷技術中是非常安全的一種，張北數(shù)據(jù)中心的應用的冷夜便是氟化液。數(shù)據(jù)中心的工作人員表示，氟化液哪都好，唯一的缺點就是貴，3M公司是該項材料的全球主要提供商，目前阿里巴巴正加緊自研氟化液并進行測試，希望未來能大規(guī)模使用在本土的超級數(shù)據(jù)中心中。

可以說，數(shù)據(jù)中心大多數(shù)技術進步的目標都是為了數(shù)據(jù)中心更高效、節(jié)能、環(huán)保。在阿里巴巴，一直有個“煮蛋”梗，2005年，阿里每10筆電商交易所消耗能源能煮熟4顆雞蛋；到2019年，只能煮熟1顆鵪鶉蛋。在算法繼續(xù)優(yōu)化下，2021年618的時候，只能煮出一顆溏心鵪鶉蛋了。