Posebno poročilo o hlajenju s tekočino v industriji podatkovnih centrov

 

--Singularnost je prišla sredi vala umetne inteligence, domači in mednarodni voditelji naj bi izbruhnili

 

I Naraščajoča poraba energije čipov: Tekočinsko hlajenje postane nujno

 

1. Tekočinsko hlajenje zagotavlja normalno delovanje visokozmogljivih komponent

Več kot polovica okvar elektronskih komponent je posledica previsokih temperatur, pri čemer temperatura predstavlja 55 % okvar. Po "10-stopinjskem pravilu" vsakih 10 stopinj dviga temperature glede na sobno podvoji stopnjo napak in skrajša življenjsko dobo. Stopnje napak GPE se povečajo, kar vpliva na življenjsko dobo strežnika. Poraba energije posameznih čipov hitro narašča, kar vodi v večjo proizvodnjo toplote. Glavni procesorski čipi, kot so CPE, imajo nazivno moč okoli 200 W, pri čemer najnovejši CPE presegajo 350 W, GPE pa presegajo 1000 W. Zračno hlajenje ne zadostuje več za hlajenje elektronskih komponent z visoko gostoto toplote, medtem ko hlajenje s tekočino ponuja veliko večjo učinkovitost izmenjave toplote. Volumetrična toplotna kapaciteta tekočin je 1000-3500-krat večja od zraka, njihova toplotna prevodnost pa je 20-30-krat višja, kar daje hlajenju s tekočino veliko boljšo zmogljivost hlajenja v istem prostoru.

 

Tekočinsko hlajenje učinkovito absorbira toploto, ki jo ustvarjajo komponente, zagotavlja natančno hlajenje elementov, ki proizvajajo toploto, in ohranja temperaturo jedra procesorja pod 65 stopinj (približno 25 stopinj nižje od zračnega hlajenja). Prav tako preprečuje znatna temperaturna nihanja med nenadnimi visokofrekvenčnimi operacijami, kar zagotavlja varnost in zanesljivost sistema. Tekočinsko hlajenje omogoča celo overclocking čipov, kar izboljša zmogljivost čipov za približno 10 %-30%.

 

▲ Napake elektronskih komponent

 

2. Domače in mednarodne tehnologije hlajenja čipov postopoma prehajajo na tekoče hlajenje

Tekočinsko hlajenje lahko poveča potencial čipov. Na primer, pri enako zmogljivih strežnikih tekočinsko hlajena različica prekaša zračno hlajeno različico za približno 10 %. GB200 ima novo, učinkovito tekočinsko hlajeno arhitekturo ohišja in prihodnji izdelki NVIDIA bodo morda v celoti prešli z zračnega na tekočinsko hlajenje. Poleg NVIDIA so tudi domači čipi, kot je Huawei Ascend, opazili znatno povečanje uporabe tekočega hlajenja.

 

NVIDIA GB200 NVL72 je tekočinsko hlajen razširitveni sistem na ravni stojala z več vozlišči, ki združuje 36 superčipov Grace Blackwell, vključno z 72 grafičnimi procesorji Blackwell in 36 procesorji Grace, povezanimi prek NVLink pete generacije. Tehnologija tekočinskega hlajenja, uporabljena v GB200 NVL72, ne samo izboljša gostoto računalništva in zmanjša odtis, ampak tudi znatno zmanjša emisije ogljika in porabo energije s komunikacijo GPE z visoko pasovno širino in nizko zakasnitvijo. V primerjavi s tradicionalnimi zračno hlajenimi infrastrukturami NVIDIA H100 GB200 zagotavlja 25-krat večjo zmogljivost pri enaki porabi energije in hkrati zmanjša porabo vode. Glede na TrendForce lahko začetna arhitektura GB200 NVL36 vsebuje rešitve za zračno in tekočinsko hlajenje, vendar bo zaradi višjih zahtev po hlajenju NVL72 dal prednost tekočinskemu hlajenju. Dobavna veriga tekočinskega hlajenja sistema omaric GB200 je razdeljena na pet glavnih komponent: hladilne plošče, enote za distribucijo hladilne tekočine (CDU), razdelilniki, hitri odklopi (QD) in toplotni izmenjevalniki na zadnjih vratih (RDHx). CDU, ključni sistem, uravnava pretok hladilne tekočine v celotnem sistemu, da zagotovi, da je temperatura ohišja nadzorovana znotraj vnaprej nastavljenega območja TDP. Za rešitve NVIDIA AI je Vertiv glavni dobavitelj CDU, medtem ko Chicony, Auras, Delta in CoolIT nadaljujejo svoja prizadevanja za testiranje in validacijo.

 

▲ Tekočinsko hlajenje

 

3. Proizvajalci tekmujejo pri strežnikih s tekočinskim hlajenjem; Količine pošiljk hitro rastejo

Po podatkih IDC je kitajska industrija tekočega hlajenja še vedno v zgodnjih fazah, vendar je država že zapolnila tehnološko vrzel s tujimi kolegi. Pravzaprav ima ustrezna kitajska industrijska veriga vodilno prednost pri obsežnih komercialnih aplikacijah. Leta 2023 je kitajski trg tekočinsko hlajenih strežnikov dosegel 1,42 milijarde USD, kar je 48-odstotna medletna rast, pri čemer so pošiljke dosegle 161000 enot, kar je 57,3-odstotno povečanje. IDC napoveduje skupno letno stopnjo rasti (CAGR) v višini 45,8 % za kitajski trg tekočinsko hlajenih strežnikov od leta 2023 do 2028, pri čemer naj bi trg do leta 2028 dosegel 10,2 milijarde USD.

Glavni proizvajalci strežnikov se agresivno širijo na trgu tekočega hlajenja. Kar zadeva tržni delež, so se Inspur, HyperFusion in NingChang leta 2023 uvrstili med tri najboljše prodajalce, ki skupaj držijo več kot 70 % trga.

 

Čeprav je trg razmeroma koncentriran, hitra rast in raznoliko povpraševanje industrije postopoma zmanjšujeta vrzeli v tržnih deležih med običajnimi prodajalci. Inspur še naprej sledi svoji strategiji »All in Liquid Cooling«, s ciljem doseči cenovno enakost med zračnim in tekočim hlajenjem. Njegovi tekočinsko hlajeni strežniki skrbijo za stranke v panogah, kot so internet, finance, storitve, proizvodnja in javne službe. Podjetje je uspešno uvedlo tekočinsko hlajene strežnike v velikem obsegu v vodilnih internetnih podjetjih ter v finančnem, izobraževalnem in raziskovalnem sektorju, s čimer je postavilo novo globalno merilo uspešnosti s prvim brezventilatorskim strežnikom s polno hladno ploščo.

 

▲ Tržni delež proizvajalcev strežnikov s tekočinskim hlajenjem

 

Po podatkih IDC je leta 2023 internetna industrija ostala največji kupec tekočinsko hlajenih strežnikov na Kitajskem, saj predstavlja 46,3 % trga, s pričakovanji nadaljnjega velikega povpraševanja. Poleg tega se tudi telekomunikacijski operaterji in uporabniki, povezani z vlado, soočajo s hitro rastjo povpraševanja po tekočinsko hlajenih podatkovnih centrih. Druge panoge, kot so finance, storitve, proizvodnja in javne službe, aktivno raziskujejo ustrezne rešitve za tekoče hlajenje.

 

 

II Tekočinsko hlajenje povečuje vrednost nadzora temperature, na vidiku je prelomnica v industriji

 

1. Penetracija tekočega hlajenja se povečuje z naraščajočo močjo strežnika in cilji glede nevtralnosti ogljika

Podatkovni centri so veliki porabniki električne energije, saj predstavljajo približno 2 %-3 % nacionalne porabe električne energije. Politike so vse strožje glede porabe energije v podatkovnih centrih. Leta 2021 je poraba električne energije v podatkovnih centrih na Kitajskem dosegla 216,6 milijarde kWh, kar predstavlja 2,6 % celotne nacionalne porabe električne energije, z emisijami ogljika v višini 135 milijonov ton ali 1,14 % skupnih nacionalnih emisij. Z dvojnimi ogljičnimi cilji se podatkovni centri soočajo z izzivi porabe energije in hlajenja brez primere. Po izgradnji stroški električne energije predstavljajo 60 %-70 % skupnih stroškov delovanja in vzdrževanja tradicionalnih zračno hlajenih podatkovnih centrov.

 

PUE (Power Usage Effectiveness) je kazalnik, ki se uporablja za ocenjevanje energetske učinkovitosti v podatkovnih centrih, kar je razmerje med skupno energijo, ki jo porabi podatkovni center, in energijo, ki jo porabi njegova IT oprema. Pred letom 2013 je povprečni PUE za velike podatkovne centre na Kitajskem presegal 1,7, do konca leta 2019 pa je ta padel na 1,46. Cilj »Triletnega akcijskega načrta za razvoj novih podatkovnih centrov (2021-2023)« je zmanjšati PUE novih obsežnih podatkovnih centrov pod 1,3 do konca leta 2023, s cilji pod 1,25 za hladno in hudo hladnih predelih. Politika »Eastern Data, Western Computing« določa, da vozlišča v Notranji Mongoliji, Gansuju, Ningxia in Guizhouju znižajo PUE pod 1,2.

 

Poraba energije klimatskih sistemov v podatkovnih centrih je ključna za zmanjšanje PUE na razumne ravni. Glede na ocene, ko poraba energije klimatskega sistema predstavlja 38 %, 26 % in 17,5 % skupne vrednosti, so ustrezne vrednosti PUE 1,92, 1,5 oziroma 1,3.

 

Gostota moči inteligentnih računalniških strežnikov se je znatno povečala in dosegla ravni, ki jih sistemi za zračno hlajenje ne morejo podpirati. Prej so se sistemi za zračno hlajenje prilagajali večji gostoti toplote s približevanjem vira hlajenja viru toplote ali z zapiranjem hladnih in vročih prehodov, kar je delovalo pri omarah, ki so zahtevale hlajenje pod 12 kW. Ker pa gostota stojala presega 20 kW, te metode postanejo manj učinkovite. Vertiv verjame, da postavitev objektov z omarami z ultra visoko gostoto (30 kW ali več) ne pušča druge izbire kot uporaba tekočinskega hlajenja. Ne glede na to, kako je sistem konfiguriran ali optimiziran, zračno hlajenje ne more zagotoviti hladilne zmogljivosti, potrebne za ohranjanje zanesljivosti IT sistemov.

 

Da bi zmanjšali PUE v podatkovnem centru in izpolnili potrebe po hlajenju visoko zmogljivih omaric, so hladilne tehnologije napredovale na naslednji način:

 

• 1. faza (1998-2004):Uporabljajo se predvsem zračno hlajeni sistemi z direktno ekspanzijo, vključno s kompresorji, uparjalniki, ekspanzijskimi ventili in kondenzatorji, pri čemer so hladilna sredstva običajno freon.
• 2. faza (2005-2009):Primarno uporabljeni vodno hlajeni sistemi, vključno s hladilniki, hladilnimi stolpi, vodnimi črpalkami in terminalskimi enotami za ohlajeno vodo.
• 3. faza (2010-2023):Sprejeta tehnologija hlajenja z izhlapevanjem, ki proizvaja hladen zrak ali vodo s pomočjo suhega zraka. Ta tehnologija lahko glede na potrebe zagotavlja hladilni zrak ali vodo. Ker ne potrebuje tradicionalnih kompresorjev, porabi manj energije in se uporablja v podatkovnih centrih, ki zahtevajo celoletno hlajenje. Posredno hlajenje z izhlapevanjem, najučinkovitejša rešitev za izkoriščanje naravnih virov hlajenja, lahko zmanjša porabo hladilne energije za 30 % v primerjavi s tradicionalnimi sistemi za hlajenje vode.
• Faza 4 (2024-prisotna):Tehnologija tekočega hlajenja temeljito izboljša način odvajanja toplote glavne opreme. Bolje ustreza natančnim potrebam po hlajenju ohišij in čipov z visoko gostoto in ponuja prednosti, kot so nižja poraba energije, večje odvajanje toplote, nižji hrup in nižji skupni stroški lastništva (TCO). Tekočinsko hlajenje se nanaša na uporabo tekočine kot hladilnega medija za izmenjavo toplote s komponentami, ki proizvajajo toploto v strežniku, pri čemer se toplota odvaja, da se zagotovi delovanje strežnika v varnem temperaturnem območju. Primeren je za scenarije, ki zahtevajo večjo računalniško moč, energetsko učinkovitost in gostoto namestitve.

 

2. Tekočinsko hlajenje s hladno ploščo je zelo zrelo in se pogosto uporablja

Glede na to, kako hladilni medij pride v stik s strežnikom, lahko tekoče hlajenje razdelimo na posredno in neposredno hlajenje. Posredno hlajenje vključuje predvsem hlajenje s tekočino s hladno ploščo, ki je nadalje razdeljena na enofazno in dvofazno hlajenje s hladno ploščo glede na to, ali je hladilni medij podvržen fazni spremembi. Neposredno hlajenje vključuje potopno hlajenje in hlajenje s pršenjem, kjer tekočina pride v neposreden stik s čipom ali stojalom, in je razdeljeno na enofazno in dvofazno potopno hlajenje glede na to, ali je hladilni medij podvržen fazni spremembi.

 

Tekočinsko hlajenje s hladno ploščo se trenutno najpogosteje uporablja v industriji podatkovnih centrov, njegova primarna uporaba v industriji tekočega hlajenja pa je v računalniških scenarijih z visoko gostoto. Tekočinsko hlajenje s hladno ploščo se nanaša na namestitev hladne plošče neposredno na čip za izmenjavo toplote, s tekočino, ki jo poganja črpalka, ki kroži za odvajanje toplote skozi toplotni izmenjevalnik. Načelo delovanja tekočega hlajenja s hladno ploščo vključuje vgradnjo mikrokanalnih hladilnih odvodov na vrhu vira toplote, ki odvajajo toploto skozi tekočino, ki teče skozi te mikrokanale, in jo nato prenašajo v toplotni izmenjevalnik, ki nadalje odvaja toploto v okolje.

 

Tekočinsko hlajenje s hladno ploščo je s svojo zrelo tehnologijo, prednostmi v stroških in stabilnosti delovanja trenutno glavna rešitev za visoko zmogljivo računalništvo in računalništvo z umetno inteligenco v podatkovnih centrih. Tekočinsko hlajenje s hladno ploščo običajno povzroči PUE 1,2 ali manj, v nekaterih primerih celo doseže 1,05. Tehnologije neposrednega hlajenja s tekočino, kot je potopno hlajenje, na splošno zagotavljajo boljše delovanje, vendar se manj uporabljajo zaradi višjih tehničnih tveganj in stroškov. Tekočinsko hlajenje s hladno ploščo ima številne prednosti pred drugimi tehnologijami za hlajenje s tekočino, vključno s preprosto namestitvijo, nizkimi stroški, razširljivostjo, enostavnim vzdrževanjem in kratkimi časi gradnje. Meixin na primer predlaga, da bi lahko hladilno hladilno tekočinsko hlajenje zmanjšalo porabo energije za računalniško moč do 30 %.

 

V praksi 75 % svetovnih sistemov za tekočinsko hlajenje podatkovnih centrov uporablja tehnologijo tekočinskega hlajenja s hladno ploščo, tekoče hlajenje s hladno ploščo pa je postalo tudi glavna rešitev za kitajske računalniške centre z umetno inteligenco. Pričakuje se, da bo tekoče hlajenje s hladno ploščo nadaljevalo visoko rast. Skupna stopnja rasti tekočinsko hlajenih strežnikov na Kitajskem bo v naslednjih petih letih presegla 50 %, na trgu pa bodo prevladovali sistemi s tekočinskim hlajenjem s hladnimi ploščami.

 

3. Tekočinsko hlajenje je bolj učinkovito in ga operaterji na veliko spodbujajo

Trenutno je hitro povečanje gostote toplote v ohišju zaradi izgradnje podatkovnih centrov za računalništvo z umetno inteligenco povečalo povpraševanje po tekočinsko hlajenih rešitvah. Tržni delež tekočinsko hlajenih strežnikov še naprej narašča, medtem ko se delež klasičnih zračno hlajenih strežnikov hitro zmanjšuje.

 

▲ Letni prihodek tekočega hlajenja v primerjavi z zračnim hlajenjem

 

Leta 2022 je bilo uradno uvedenih pet industrijskih standardov za tekoče hlajenje, ki jih vodi Kitajska akademija za informacijsko in komunikacijsko tehnologijo. Trije glavni telekomunikacijski operaterji načrtujejo pilotno tehnologijo tekočega hlajenja v 10 % novih projektov podatkovnih centrov leta 2024, pri čemer bo več kot 50 % projektov podatkovnih centrov uporabljalo tehnologijo tekočega hlajenja do leta 2025. China Telecom je že načrtoval in zgradil gručo inteligentnih računalniških centrov v Šanghaj, ki je sposoben podpirati obsežno usposabljanje modelov z bilijoni parametrov. Grozd, ki ga poganjajo domače računalniške zmogljivosti, bo imel 10,000 kartic v enem samem bazenu, s čimer bo postal prvi doma proizveden velik tekočinsko hlajen računalniški grozd, ki podpira en sam bazen 10,{{11} } kartice.

 

Hitrost operaterjev pri spodbujanju tekočinskega hlajenja presega pričakovanja trga, kar bo spodbudilo optimizacijo stroškov in izboljšanje standardov. Da bi povečali konkurenčnost omaric podatkovnih centrov in zmanjšali porabo energije pri nadzoru temperature, lahko tretji ponudniki podatkovnih centrov pospešijo uporabo tekočinskega hlajenja, kar vodi do širše regionalne porazdelitve tekočinsko hlajenih podatkovnih centrov na Kitajskem. Ko tehnologija podatkovnih centrov za hlajenje s tekočino dozoreva in se stroški uvajanja zmanjšujejo, vse več ponudnikov storitev IDC (Internet Data Center) raziskuje uporabo hlajenja s tekočinami. Na vzhodu uporabniki, ki so že uporabili podatkovne centre s tekočinskim hlajenjem, opažajo povečano povpraševanje po rešitvah za hlajenje s tekočino, da bi izpolnili strožje zahteve glede porabe energije, kar še dodatno širi razvoj tekočinsko hlajenih podatkovnih centrov v osrednjih in zahodnih regijah.

 

4. Hitra rast na trgu tekočega hlajenja

Industrijska veriga tekočinskega hlajenja vključuje dobavitelje proizvodnih komponent navzgor v verigi, ponudnike strežnikov in infrastrukture za tekočinsko hlajenje vmesnega toka ter uporabnike računalniške moči na nižji stopnji. Predhodni del v glavnem vključuje dobavitelje sestavnih delov izdelkov in opreme za hlajenje s tekočino, kot so hladilne plošče, CDU (enote za distribucijo hladilne tekočine), hitri odklopi, elektromagnetni ventili, potopni rezervoarji za hlajenje s tekočino, razdelilniki in izdelki za hladilno tekočino. Vmesni tok vključuje proizvajalce strežnikov za tekoče hlajenje, proizvajalce čipov, pa tudi integracijske zmogljivosti za tekoče hlajenje, module in omare. Downstream vključuje telekomunikacijske operaterje, internetna podjetja in stranke v panogah, kot so telekomunikacije, internet, vlada, finance, transport in energija.

 

V zgornjem delu industrijske verige je izmenjava toplote v sistemih za tekoče hlajenje s hladno ploščo razdeljena na dva dela: primarni sistem za izmenjavo toplote in sekundarni sistem za izmenjavo toplote. Sekundarni sistem pridobiva toploto iz virov toplote, kot so strežniki, z neposredno/posredno izmenjavo toplote in jo prenaša v primarni sistem. Primarni sistem za izmenjavo toplote uporablja zunanjo hladilno opremo za odvajanje toplote zunaj, s čimer se zaključi celoten proces hlajenja. Oba sistema izmenjujeta toploto prek enote za distribucijo hladilne tekočine (CDU).

 

Posebne okvare komponent: Hitri odklop je komponenta vtiča in vtičnice s funkcijami za izklop tekočine na vtiču in vtičnici, kar omogoča hitro vzdrževanje sistemov za hlajenje s tekočino. Ko sta vtič in vtičnica povezana, tekočina teče skoznjo, da dovaja tekočino na hladno ploščo; ko je odklopljen, se tekočina ustavi, kar preprečuje uhajanje izven sistema. Razdelilnik je naprava, ki povezuje CDU s hladno ploščo v strežnikih za tekoče hlajenje, običajno nameščenih v omari. Njegova funkcija je enakomerna porazdelitev hladilne tekočine na vsako hladno ploščo in zbiranje segrete hladilne tekočine, ki jo pošlje nazaj v CDU skozi povezane cevovode.

 

Enota za distribucijo hladilne tekočine (CDU) je modul, ki se uporablja za izmenjavo toplote med visokotemperaturno hladilno tekočino v sekundarnem sistemu in primarnim virom hlajenja. Zagotavlja distribucijo hladilne tekočine in upravlja temperaturo, tlak in spremljanje pretoka za tekočinsko hlajeno opremo IT. CDU v glavnem sestavljajo toplotni izmenjevalniki/kondenzatorji, obtočne črpalke, filtri, rezervoarji za shranjevanje hladilne tekočine in dodatki (ventili, cevovodi, priključki, senzorji itd.) in ima funkcije, kot so izmenjava toplote, kroženje, čiščenje hladilne tekočine in shranjevanje.

 

Med letoma 2020 in 2022 je tehnologija tekočega hlajenja hitro dozorela in validacija aplikacijskih modelov je dosegla pomemben uspeh, kar je privedlo do zmanjšanja stroškov hlajenja na enoto moči. Po podatkih CCID Consulting je pristop s hladno ploščo ohranil več kot 90-odstotni tržni delež, medtem ko sta potopno in razpršilno hlajenje skupaj predstavljala približno 10-odstotni tržni delež. Po tehtanem povprečju treh metod je bil strošek hlajenja 1kW v tekočinsko hlajenih podatkovnih centrih leta 2022 približno 6500 RMB, s pričakovanim padcem na 5000 RMB na 1kW do leta 2023.

 

Pred kratkim je izvršni direktor podjetja Supermicro Charles Liang napovedal, da bo v naslednjih 12 mesecih 15 % novih globalnih uvedb podatkovnih centrov uporabljalo njegovo tehnologijo neposrednega tekočinskega hlajenja, ta delež pa bo v naslednjem letu dosegel 30 %, kar je znatno povečanje s samo 1 % v prejšnjem letu. zadnjih 30 letih, kar je ustvarilo še eno veliko krivuljo rasti hokejske palice. V primerjavi s tradicionalnim zračnim hlajenjem je direktno hlajenje s tekočino bolj ekonomično in okolju prijazno. Ob predpostavki, da bo stopnja prodora tekočinskega hlajenja v nove podatkovne centre na Kitajskem do leta 2026 dosegla 22 %, bo tržni prostor za tekočinsko hlajenje znašal 11,1 milijarde RMB.