數(shù)據(jù)中心的熱設(shè)計(jì)何時(shí)變得如此重要？

　　在過去三四年的時(shí)間里，為了應(yīng)對(duì)來自銀行、醫(yī)院、政府部門、電信運(yùn)營商和各類托管機(jī)構(gòu)不斷增長的信息存儲(chǔ)和傳輸需求，數(shù)據(jù)中心的應(yīng)用在全球范圍內(nèi)如雨后春筍般蓬勃發(fā)展。數(shù)據(jù)中心的功率載荷（以及相應(yīng)的散熱）足跡也與日俱增，截至2020年，來自數(shù)據(jù)中心的溫室氣體排放量預(yù)期將超過航空業(yè)排放量 。數(shù)據(jù)中心現(xiàn)已消耗全美約 2% 的總電力，并且還在以約 12% 的年復(fù)合增長率增長。

　　在數(shù)據(jù)中心的運(yùn)營成本中，散熱占據(jù)了重要部分。因此，人們?cè)絹碓疥P(guān)注如何最大限度降低數(shù)據(jù)中心的能源使用，從而降低運(yùn)營成本。數(shù)據(jù)中心設(shè)計(jì)一貫的目標(biāo)是，確保維持盡可能低，換言之，接近于一（即 1.0）的能源使用效率 （PUE）。

　　數(shù)據(jù)中心的熱設(shè)計(jì)何時(shí)變得至關(guān)重要？

　　服務(wù)器機(jī)架的功率密度與日俱增，從幾年前的每機(jī)架約 1-3 KW 增加至目前的每機(jī)架 24-30 KW。熱問題是多種故障的源頭，因此，必須確保服務(wù)器和交換機(jī)保持冷卻狀態(tài)。特別是，電子產(chǎn)品的故障率隨溫度的上升急劇升高，與此同時(shí)，較大的溫度變化給焊點(diǎn)帶來的高熱應(yīng)力也成為了另一個(gè)故障源。隨著數(shù)據(jù)中心提供的可靠率日益受到重視，它已成為人們關(guān)注的焦點(diǎn)問題之一。反過來，它也促使人們更加重視數(shù)據(jù)中心的監(jiān)控和報(bào)告，以確保數(shù)據(jù)設(shè)備不會(huì)發(fā)生故障。

　　監(jiān)控和報(bào)告對(duì)運(yùn)營中的數(shù)據(jù)中心而言非常重要。對(duì)于具有當(dāng)前服務(wù)器功率水平的新建數(shù)據(jù)中心，以及對(duì)原有空間進(jìn)行改造或?qū)F(xiàn)有機(jī)架中的舊服務(wù)器置換為新服務(wù)器等情形而言，由于功率密度遠(yuǎn)高于從前，因此出現(xiàn)熱故障的可能性更高。如果需要達(dá)到數(shù)據(jù)中心的設(shè)計(jì)容量，經(jīng)過 CFD 仿真驗(yàn)證的熱設(shè)計(jì)將是不可或缺的。

　　數(shù)據(jù)中心設(shè)計(jì)

　　1： 始于數(shù)據(jù)大廳設(shè)計(jì)之時(shí)

　　考慮數(shù)據(jù)中心熱設(shè)計(jì)的最佳時(shí)機(jī)是在建置前階段（旨在實(shí)現(xiàn)綠色環(huán)保建筑）。這意味著從一開始就可以考慮以下事項(xiàng)：

　　■ 整體 HVAC 系統(tǒng)，例如采用高架地板設(shè)計(jì)、管線散熱方法、共用或單體機(jī)架通氣管、專用機(jī)架散熱裝置、吊頂裝置等

　　■ 確定 HVAC 系統(tǒng)后，考慮鋪線和管道布置

　　■ 對(duì)機(jī)房空調(diào) （CRAC） 和其他散熱裝置、單獨(dú)的服務(wù)器和／或機(jī)架、冗余設(shè)備等實(shí)施熱交換方法

　　請(qǐng)注意，改造和故障排除也可以并且應(yīng)該使用 CFD 模型進(jìn)行處理，因?yàn)槠渲幸恍└膭?dòng)的成本可能非常高，譬如從高架地板改為管線散熱等。使用 CFD 可確保針對(duì)傳統(tǒng)數(shù)據(jù)中心做出明智的選擇，并在實(shí)際實(shí)施更改之前通過仿真方法加以確認(rèn)。

　　遵循以上建議，Mentor Graphics Corporation 在 Wilsonville 和 Shannon 設(shè)立的地區(qū)自有數(shù)據(jù)中心的 PUE 現(xiàn)已達(dá)到約 1.15 到 1.2。針對(duì)全球范圍內(nèi)的 PUE 值分布，目前還沒有可用的真實(shí)數(shù)據(jù)，但許多數(shù)據(jù)中心的PUE 高達(dá) 3.0 甚至更高，而事實(shí)上，1.6 的 PUE 是完全可以實(shí)現(xiàn)的。勞倫斯伯克利國家實(shí)驗(yàn)室完成的測(cè)量表明，被測(cè)的 22 家數(shù)據(jù)中心的 PUE 值介于 1.3 到 3.0 范圍以內(nèi)。

　　2： 構(gòu)建簡單的數(shù)據(jù)大廳模型

　　包含各種關(guān)鍵特性，例如整體結(jié)構(gòu)、高架地板（如果有）、空氣調(diào)節(jié)／散熱裝置、機(jī)架／服務(wù)器、大型架空地板堵塞（如果有）和通風(fēng)地板（如果有）等。以下是使用 FloTHERM 提供的一個(gè)小型數(shù)據(jù)中心模型。該模型可用于教學(xué)用途，或作為構(gòu)建另一個(gè)數(shù)據(jù)中心模型的起點(diǎn)。

　　圖 1：FloTHERM V10 附帶的傳統(tǒng)高架地板數(shù)據(jù)中心模型

　　3： 從 CAD 導(dǎo)入數(shù)據(jù)

　　可以從 CAD 模型或 DXF 文件導(dǎo)入數(shù)據(jù)中心設(shè)計(jì)，或者通過使用 FloTHERM FloXML 架構(gòu)核查來自 DCIM 或類似軟件的合適數(shù)據(jù)來導(dǎo)入數(shù)據(jù)中心設(shè)計(jì)。對(duì)于后一種情形，我們稍后將會(huì)進(jìn)行詳細(xì)討論。如果需要，可以將項(xiàng)目替換為合適的 FloTHERM SmartPart 或庫表示。

　　4： 使用智能化數(shù)據(jù)中心元器件模型

　　FloTHERM 提供用于 CRAC 裝置以及多孔板、散熱機(jī)、機(jī)架和服務(wù)器的各種 SmartPart。SmartPart 表示中內(nèi)置的智能可提供更高的準(zhǔn)確度。例如，Rack SmartPart 可正確地考慮機(jī)架及機(jī)架內(nèi)服務(wù)器的空氣分層。通過定義合適的“網(wǎng)格約束”等方法可以添加合適的網(wǎng)格，以確保在分析過程中始終使用足夠的網(wǎng)格來表示網(wǎng)格。FloTHERM 中的“模式”功能在定義重復(fù)的機(jī)架和／或通風(fēng)地板行方面非常有用。

　　圖 2：FloTHERM 中的 Cooler SmartPart 構(gòu)建對(duì)話框

　　在模型的這一初始版本中，可使用每個(gè)機(jī)架相對(duì)簡單的表示來輕松確定數(shù)據(jù)中心的相對(duì)性能。特別是，機(jī)架將作為單個(gè)構(gòu)造塊使用 FloTHERM Rack SmartPart 進(jìn)行建模，同時(shí)還具備適當(dāng)?shù)墓模约巴ㄟ^機(jī)架的流量或機(jī)架入口和出口之間的氣流溫升。類似地，可使用 Perforated Plate SmartPart，通過簡單的壓降與速度表示來對(duì)通風(fēng)地板進(jìn)行建模。

　　5： 考慮備選設(shè)計(jì)

　　此階段的目標(biāo)是探索盡可能多的設(shè)計(jì)選擇，以便從中選出最合適的數(shù)據(jù)大廳設(shè)計(jì)。這取決于多個(gè)因素，包括：

　　■ 數(shù)據(jù)中心內(nèi)的機(jī)架功率密度及其分布。盡管機(jī)架往往是根據(jù)功能或功率密度聚集到一起的，但空間內(nèi)的散熱要求可能差異很大，并且可能需要補(bǔ)充散熱。

　　■ 可供設(shè)計(jì)使用的空間框架。例如，在機(jī)架上使用通氣管可能需要當(dāng)前用于鋪線、照明的高規(guī)格基板面。

　　最簡單的選擇是使用開放式機(jī)架通道，并且使用單獨(dú)的通風(fēng)地板或管線式散熱機(jī)來為機(jī)架提供冷空氣。此布置通常在“熱空氣”和／或“冷空氣”設(shè)計(jì)中使用，其中的機(jī)架行出口或入口彼此相對(duì)。但是，從環(huán)境中排放的熱空氣很容易繞過散熱基礎(chǔ)設(shè)施并被吸回到機(jī)架中。于是就會(huì)降低散熱效果，導(dǎo)致需要遠(yuǎn)超過所需數(shù)量的散熱裝置才能使 IT 設(shè)備保持足夠低的溫度，PUE 也會(huì)因此相對(duì)較高。

　　可采用多種策略來改進(jìn)數(shù)據(jù)大廳的熱設(shè)計(jì)，例如：

　　■ 冷通道隔離

　　■ 熱通道隔離

　　■ 管線式散熱裝置

　　■ 后艙門換熱器

　　■ 專用機(jī)架散熱裝置，例如液體散熱

　　■ 吊頂式 HVAC 系統(tǒng)

　　■ 專用機(jī)架通氣管／排放管道

　　■ 搭配 CRAC 裝置的蒸發(fā)式自由空氣散熱

　　圖 3：帶專用機(jī)架通氣管的吊頂式 HVAC 系統(tǒng)

　　使用 CFD 可以快速、有效地評(píng)估上述所有選擇。

　　6： 研究不同的運(yùn)營情形

　　CFD 可用于對(duì)數(shù)據(jù)中心填充過程中發(fā)生的條件變化進(jìn)行建模。盡管數(shù)據(jù)中心通常是根據(jù)功能或功率密度進(jìn)行填充的，但在群體坡道效應(yīng)和預(yù)期生命周期方面仍采用不同的策略。例如，數(shù)據(jù)中心可能有大量需要在指定時(shí)段內(nèi)填充的擴(kuò)展空間。

　　在容量較低時(shí)，一些散熱策略會(huì)導(dǎo)致 PUE 高于其他策略，因此應(yīng)尋求能夠在數(shù)據(jù)中心的設(shè)計(jì)壽命內(nèi)提供最低總能耗的設(shè)計(jì)。使用 CFD 可確保散熱策略與數(shù)據(jù)中心容量高效匹配，以及確定填充數(shù)據(jù)中心容量的最佳方法，從而最大限度降低終生運(yùn)營成本。

　　同理，不同的操作條件也可作為基準(zhǔn)模型迭代加以考慮，例如，在資產(chǎn)利用率較低時(shí)，散熱裝置的功率載荷（及相應(yīng)的熱載荷）、流量和操作等條件所發(fā)生的變化。CFD 還可用于研究使用指定的散熱策略時(shí)可應(yīng)用于各個(gè)機(jī)架的最大功率，以幫助了解數(shù)據(jù)中心設(shè)計(jì)將如何配合未來的更高功率服務(wù)器，等。CFD 還可用于確定設(shè)備故障造成的影響，例如，由于 CRAC 設(shè)備故障導(dǎo)致重要位置發(fā)生的隨時(shí)間變化的（瞬態(tài)）溫度響應(yīng)。

　　7： 使用捕捉指數(shù)來判斷設(shè)計(jì)適應(yīng)性

　　捕捉指數(shù) （CI） 為數(shù)據(jù)中心設(shè)計(jì)提供了一項(xiàng)重要工具。在確定設(shè)計(jì)優(yōu)劣時(shí)，數(shù)據(jù)中心內(nèi)的溫度分布并不總是最有效的方法，因此，有時(shí)可能無法為設(shè)計(jì)人員提供實(shí)施改進(jìn)方面的指導(dǎo)。特別是，溫度分布是數(shù)據(jù)中心設(shè)計(jì)的“癥狀”而非“根源”。

　　可使用兩種形式的捕捉指數(shù)：冷通道 CI 和熱通道 CI.二者通常都表示為百分比。兩種指數(shù)越接近 100%，散熱系統(tǒng)的性能就越接近于“理想”情形。您可隨時(shí)使用此數(shù)據(jù)針對(duì)不同的備選設(shè)計(jì)制表，從而實(shí)現(xiàn)快速、輕松的比較。

　　圖 4：熱通道和冷通道捕捉指數(shù)的計(jì)算示例

　　8： 最大限度縮短模型運(yùn)行時(shí)間

　　利用 FloTHERM 獨(dú)有的局域化網(wǎng)格技術(shù)，用戶可實(shí)現(xiàn)快速仿真周轉(zhuǎn)時(shí)間。

　　圖 5：通過機(jī)架展示局域化網(wǎng)格的傳統(tǒng)數(shù)據(jù)中心設(shè)計(jì)。

　　局域化網(wǎng)格可防止出現(xiàn)網(wǎng)格“膨脹”現(xiàn)象，即小型網(wǎng)格單元不必要地延伸至幾何形狀以外的環(huán)境空氣中。由于該功能可以更清晰地分離粗網(wǎng)格區(qū)域和細(xì)網(wǎng)格區(qū)域，因此非常適合數(shù)據(jù)中心應(yīng)用。假定這些網(wǎng)格線在所有三個(gè)方向膨脹，并且總網(wǎng)格數(shù)為所有三個(gè)方向的單元數(shù)量乘積，則通過使用此技術(shù)可大幅減少單元數(shù)目。

　　機(jī)架散熱、CRAC／散熱機(jī)工作條件等典型的變量擾動(dòng)對(duì)于數(shù)據(jù)中心內(nèi)的總氣流和溫度分布造成的影響相對(duì)較小。因此，數(shù)據(jù)中心應(yīng)用非常適合使用現(xiàn)有“基準(zhǔn)”模型的結(jié)果作為后續(xù)分析的起點(diǎn)，以便縮短解決方案時(shí)間，因?yàn)檫@樣可以減少研究不同操作情形所需的迭代次數(shù)，并且在布局發(fā)生變化時(shí)也能起到作用。

　　最后，F(xiàn)loTHERM V10 中并行處理器求解器的速度提升似乎特別適合數(shù)據(jù)中心應(yīng)用，與前一版本相比，某些情況下的速度提升超過 10 倍。

　　9： 使用命令中心來優(yōu)化數(shù)據(jù)中心設(shè)計(jì)

　　命令中心包含的實(shí)驗(yàn)和優(yōu)化設(shè)計(jì)功能是標(biāo)準(zhǔn) FloTHERM 軟件的一部分，利用該功能，用戶可以優(yōu)化數(shù)據(jù)中心設(shè)計(jì)。例如，用戶可優(yōu)化通過 CRAC 裝置的流量，使得特定機(jī)架或機(jī)架陣列獲得需要的入口溫度。

　　圖 6 顯示了訪問流量變量的命令中心對(duì)話框示例。請(qǐng)注意，其中還提供了 CRAC 容量等其他變量。

　　圖 6：展示訪問來自數(shù)據(jù)中心示例情形的 CRAC 裝置變量的示例對(duì)話框

　　數(shù)據(jù)中心試運(yùn)行

　　10： 創(chuàng)建基于電子表格的前端

　　利用 FloTHERM 軟件中包含的 FloXML 架構(gòu)，無需實(shí)際打開 FloTHERM 即可創(chuàng)建／運(yùn)行數(shù)據(jù)中心模型或?qū)ζ溥M(jìn)行后處理。因此，它非常適合非專家級(jí) CFD 用戶，例如被要求為某項(xiàng)數(shù)據(jù)中心設(shè)計(jì)排除故障的現(xiàn)場(chǎng)工程師。

　　數(shù)據(jù)可直接輸入到電子表格中，或者通過第三方源（例如包含機(jī)架物理尺寸、功率耗散等分析所需信息的 DCIM 軟件工具）進(jìn)行求解。然后，此可配置電子表格前端可創(chuàng)建 FloXML 定義，而該定義本身就是一個(gè)可隨時(shí)求解（通過命令行）的 FloTHERM 模型。

　　然后可使用免費(fèi)下載的 FloVIZ 軟件查看結(jié)果，將其傳回到后處理工具或捕捉到電子表格中。圖 7 中的示例顯示了此過程，圖 8 中則顯示了 FloXML 文件自身的一個(gè)示例。自 V10 版本以后，此類電子表格和FloXML 文件示例將隨 FloTHERM 軟件一同安裝。

　　圖 7：基于 Excel 的 CFD 分析過程和結(jié)果后處理

　　圖 8：數(shù)據(jù)中心案例的 XML 架構(gòu)示例

　　數(shù)據(jù)中心運(yùn)營

　　11： 對(duì)變更通知單產(chǎn)生的影響進(jìn)行仿真

　　在運(yùn)營期間，任何時(shí)候在收到增加新 IT 資產(chǎn)或移動(dòng)現(xiàn)有資產(chǎn)的變更通知單時(shí)，都可以在實(shí)施變更之前，通過在以上創(chuàng)建的電子表格中進(jìn)行必要的更改，來對(duì)變更給數(shù)據(jù)中心總體運(yùn)營帶來的影響進(jìn)行檢查。在使用邊界機(jī)房空調(diào) （CRAC） 裝置的傳統(tǒng)設(shè)計(jì)中，由于數(shù)據(jù)中心內(nèi)總氣流模式的改變，引入新資產(chǎn)或移動(dòng)現(xiàn)有資產(chǎn)可能會(huì)對(duì)遠(yuǎn)程位置的設(shè)備造成無法預(yù)料的后果。其他散熱策略即便在回流、分層和旁路方面具有卓越的性能，但在設(shè)備散熱方面同樣面臨挑戰(zhàn)。

　　結(jié)束語

　　傳統(tǒng)的邊界 CRAC 裝置布局側(cè)重于機(jī)房級(jí)設(shè)計(jì)，之后才會(huì)考慮其中包含的機(jī)架和設(shè)備。近期的設(shè)計(jì)方法（例如通道隔離），特別是液體散熱機(jī)架，則側(cè)重于單獨(dú)設(shè)備的散熱，而忽視了整個(gè)機(jī)房／冷通道的空氣散熱需求。兩種情形都假定數(shù)據(jù)大廳內(nèi)的氣流環(huán)境能夠適應(yīng)從試運(yùn)行到滿載荷運(yùn)行所用的散熱方法。

　　我們主張采用整體方法。在此方法中，散熱策略在數(shù)據(jù)中心設(shè)計(jì)期間經(jīng)過 CFD 仿真驗(yàn)證，從一開始便可滿足此業(yè)務(wù)目標(biāo)，并且在試運(yùn)行和運(yùn)營期間，通過使用 CFD 來確保資產(chǎn)部署在面對(duì)不斷變化的業(yè)務(wù)需求和不斷增長的設(shè)備能耗背景下，仍可實(shí)現(xiàn)符合設(shè)計(jì)容量的利用率。