Technologie kapalinového chlazení: Řešení problémů s chlazením datových center v éře AIGC

 

S rychlým rozvojem Artificial Intelligence Generated Content (AIGC) poptávka po výpočetním výkonu explodovala, což vedlo k prudkému nárůstu spotřeby energie a potřeb tepelné správy datových center. Vysoké požadavky na výpočetní zdroje během školení a vyvozování modelů AI výrazně zvyšují produkci tepla na serveru, čímž zvyšují laťku pro technologie chlazení. Podle zprávy Colocation America se průměrný výkon na skříň v globálních datových centrech do roku 2020 zvýšil na 16,5 kW, což je 175% nárůst ve srovnání s rokem 2008. V důsledku toho se technologie kapalinového chlazení stala novým ústředním bodem chlazení datových center. řešení.

 

Na letošní konferenci GTC společnost NVIDIA nejen předvedla čipy B200 a GB200, ale také vyzdvihla doprovodnou technologii chlazení kapalinou. Kromě toho na ekonomickém summitu SIEPR v roce 2024 generální ředitel NVIDIA Jensen Huang odhalil, že servery DGX GPU nové generace budou plně využívat kapalinové chlazení. Rozhodnutí společnosti NVIDIA nastavilo trend v tomto odvětví a vneslo nový impuls do vývoje technologie chlazení kapalin. Jak se technologie umělé inteligence neustále rozvíjí, význam kapalinového chlazení je stále evidentnější. Technologie kapalinového chlazení nejen výrazně snižuje spotřebu energie datových center, ale také zvyšuje provozní efektivitu serverů a prodlužuje životnost zařízení. Kapalinové chlazení se proto postupně stává prioritou řešení chlazení datových center.

 

 

I Porovnání metod chlazení datových center

 

V současné době se systémy chlazení datových center primárně dělí na dva typy: chlazení vzduchem a chlazení kapalinou. Technologie kapalinového chlazení nahrazuje vzduch kapalným médiem pro výměnu tepla s komponentami generujícími teplo, čímž odvádí teplo a zajišťuje stabilní provoz serveru v optimálním teplotním rozsahu. Naproti tomu chlazení vzduchem spoléhá na ventilátory a klimatizační systémy, které odvádějí teplo pohybem vzduchu. Kapalinové chlazení přímo ochlazuje součásti generující teplo, přičemž dosahuje účinnosti tepelného vedení 25krát vyšší než vzduch, se specifickou tepelnou kapacitou 1,000 až 3500krát vyšší a účinností přenosu tepla konvekcí 10 až 40krát vyšší než vzduch. Za stejných podmínek tedy technologie kapalinového chlazení daleko předčí chlazení vzduchem v účinnosti chlazení.

 

▲ Chladicí systémy datových center

 

▲ Technologie chlazení kapalinou a chlazení vzduchem

 

Ve srovnání se vzduchovým chlazením poskytuje kapalinové chlazení vyšší účinnost chlazení a nižší spotřebu energie. Ve výpočetních prostředích s vysokou hustotou se vzduchové chladicí systémy často potýkají s požadavky na chlazení, zatímco kapalinové chlazení může tento problém účinně řešit. Kapalinové chlazení navíc nabízí výhody, jako je nízká hlučnost a menší půdorys, takže se dobře hodí pro konfigurace s vysokou hustotou a požadavky na úsporu zelené energie moderních datových center.

 

 

II Co pohání vývoj kapalinového chlazení v éře umělé inteligence?

 

1. Rostoucí tepelný výkon počítačových čipů: Chlazení vzduchem dosahuje svého limitu

S rychlým rozvojem technologie AI stále roste poptávka po výpočetním výkonu, což vede ke zvýšení tvorby tepla a hustoty tepelného toku v čipech. Když čipy pracují při vysokých teplotách po delší dobu, negativně to ovlivňuje jejich výkon a životnost a zvyšuje se poruchovost. Výzkumy ukazují, že když se provozní teplota čipu blíží 70-80 stupňům , každé zvýšení o 10 stupňů může snížit jeho výkon přibližně o 50 %.

 

V současné době mají procesory Intel tepelný designový výkon (TDP) až 350 W, NVIDIA H100 dosahuje 700 W a budoucí B100 by mohl dosáhnout 1,000W, čímž se blíží limitu 800 W jednobodového chlazení vzduchového chlazení. Vzhledem k tomu, že spotřeba výpočetního čipu neustále roste a spotřeba CPU a GPU představuje asi 80 % celkového výkonu serveru AI, povede další používání vzduchového chlazení k výraznému nárůstu potřeb řadové klimatizace. Ve scénářích chlazení s vysokou hustotou nabízí chlazení kapalinou značné výhody z hlediska nákladů a výkonu.

 

Kromě čipové stránky roste také hustota výkonu na skříň v datových centrech. Tradiční vzduchové chlazení obvykle splňuje potřeby chlazení skříně v rozsahu 12 až 15 kW. PodleZpráva o globálním průzkumu datového centra za rok 2022podle Uptime Institute je maximální výkon pro jeden server NVIDIA DGX A100 6,5 kW a standardní 42U vysoká skříň pojme přibližně pět 5U AI serverů s celkovým výkonem přesahujícím 20KW na skříň. Tradiční vzduchové chlazení nemůže pokrýt potřeby chlazení serverových skříní AI.

 

2. Poháněno datovým centrem Potřeby úspory energie: Vyšší požadavky na PUE

PUE (Power Usage Effectiveness) je klíčovým ukazatelem pro hodnocení energetické účinnosti datového centra, počítá se jako: PUE=Celková spotřeba energie datového centra / spotřeba energie IT zařízení. Čím blíže je hodnota PUE k 1, tím vyšší je energetická účinnost datového centra; naopak, čím vyšší je hodnota PUE, tím nižší je celková účinnost.

 

Statistiky rozdělují spotřebu energie datových center do několika částí: IT zařízení tvoří 45 %, chladicí systémy 43 %, napájecí a distribuční systémy 10 % a osvětlení a další využití 2 %. Mezi nimi je spotřeba energie klimatizačního systému na druhém místě za IT zařízeními, takže snížení spotřeby energie klimatizačního systému se stává zvláště důležité, když IT systémy nelze upgradovat.

 

V souvislosti s národními cíli dosažení „uhlíkové špičky“ a „uhlíkové neutrality“ a strategie „Východní data, západní výpočty“ nově vydanáStandardy poptávky státních zakázek pro zelené datové centrum (zkušební verze)ukládá přísnější požadavky PUE.Tento standard stanoví, že od června 2023 nesmí PUE datového centra překročit 1,4 a do roku 2025 bude požadavkem PUE maximálně 1,3. Podle údajů CDCC a Inspur Information mají datová centra využívající chlazení vzduchem obvykle PUE mezi 1,4 a 1,5, zatímco technologie chlazení kapalinou může snížit PUE pod 1,2. Trendem se tedy stalo přijetí energeticky účinnější a účinnější technologie kapalinového chlazení.

 

Spotřeba energie v datových centrech je již dlouho středem pozornosti průmyslu, zejména na pozadí globálních omezení energetických zdrojů a zvýšeného povědomí o životním prostředí. Zvláště důležité je zlepšení energetické účinnosti datových center. Technologie kapalinového chlazení tím, že poskytuje účinnější řešení chlazení, snižuje spotřebu energie klimatizačního systému, čímž výrazně snižuje hodnoty PUE datového centra. Tato technologie nejen pomáhá snižovat provozní náklady, ale také snižuje emise uhlíku, což je v souladu s cíli udržitelného rozvoje.

 

 

▲ Spotřeba energie datového centra

 

 

III Klasifikace technologie kapalinového chlazení

 

Kapalinové chladicí systémy lze rozdělit na přímé kapalinové chlazení a nepřímé kapalinové chlazení na základě toho, jak kapalina interaguje s hardwarem. Přímé kapalinové chlazení spočívá v tom, že kapalina přichází do přímého kontaktu s hardwarovými součástmi za účelem přenosu tepla. Tento způsob lze dále rozdělit na chlazení ponorem a chlazení sprejem. Ponorné chlazení ponoří hardwarové komponenty zcela do kapaliny, zatímco sprejové chlazení zahrnuje rozprašování kapaliny přímo na hardware.

 

Na druhé straně nepřímé kapalinové chlazení využívá prostřední součást (jako je tepelný výměník nebo chladicí deska) k odvádění tepla a zabraňuje kapalině v přímém kontaktu s hardwarem. Běžným nepřímým kapalinovým chladicím systémem je chladicí systém chladicích desek, který lze dále rozdělit na jednofázové a dvoufázové chlazení chladicích desek na základě toho, zda chladicí médium prochází fázovou změnou.

 

▲ Úvod do metod chlazení kapalin

 

1. Od studených talířů k ponorným studeným talířům

Technologie chlazení kapalinou přenáší teplo ze součástek generujících teplo do chladicí kapaliny prostřednictvím studených desek a chladicí kapalina pak odvádí teplo prostřednictvím svých chladicích vlastností. V tomto systému pracovní kapalina není v přímém kontaktu s elektronickými součástmi, což má za následek minimální úpravy počítačového systému. Původní chladič vzduchového chlazení lze jednoduše vyměnit za sadu pro chlazení kapalinou a potrubí chladicí kapaliny lze vyvést mimo šasi. Tato technologie je vhodná zejména pro požadavky na chlazení se střední až vysokou hustotou tepelného toku.

 

Chladicí kapalinový chladicí systém se primárně skládá z chladicí věže, jednotky pro distribuci chladicí kapaliny (CDU), primárních a sekundárních chladicích okruhů kapalin, chladicího média a kapalinou chlazené skříně. Primární okruh označuje smyčku, která odvádí teplo ze sekundárního okruhu do venkovního prostředí nebo jiných rekuperačních jednotek, zatímco sekundární okruh označuje smyčku, která odvádí teplo ze serverů a odvádí je přes primární okruh. Tyto dva okruhy si vyměňují teplo přes CDU neboli jednotku distribuce chladicí kapaliny.

 

Princip činnosti chladicího systému chladicích desek je relativně jednoduchý, ale v praktických aplikacích je třeba vzít v úvahu návrh chladicích desek, výběr chladicích kapalin a údržbu systému. Kromě toho chladicí systémy kapalinového chlazení fungují výjimečně dobře v prostředích s vysokou hustotou tepelného toku, díky čemuž jsou velmi vhodné pro požadavky moderních datových center na uspořádání s vysokou hustotou.

 

▲ Schematický diagram chladicího systému kapalinového chlazení

 

Ponorné kapalinové chladicí systémy dosahují účinného odvodu tepla přímým ponořením komponent generujících teplo do nevodivých chladicích kapalin. Podle toho, zda chladicí kapalina při cirkulaci prochází fázovou změnou, lze imerzní chlazení kapaliny rozdělit na jednofázové ponorné chlazení a dvoufázové ponorné chlazení.

 

Při jednofázovém ponorném chlazení dochází v chladicí kapalině ke změně teploty pouze během procesu výměny tepla bez změny fáze. Přenos tepla zcela závisí na citelné změně tepla kapaliny, přičemž se využívá charakteristiky, že kapalina expanduje a při zahřívání klesá její hustota. Teplejší chladicí kapalina přirozeně stoupá a je ochlazována výměníkem tepla externí chladicí smyčky. Ochlazená kapalina pak gravitací klesá a dokončuje chladicí cyklus. Při tomto způsobu zůstává chladicí kapalina v kapalném stavu během celého procesu. Naproti tomu dvoufázové ponorné chlazení zahrnuje, že chladicí kapalina prochází fázovou změnou z kapaliny na plyn během rozptylu tepla a poté se vrací z plynu do kapaliny.

 

Ponorný kapalinový chladicí systém zahrnuje vnitřní i venkovní komponenty. Venkovní strana zahrnuje chladicí věž, primární potrubní síť a primární chladicí kapalinu; vnitřní strana obsahuje chladicí jednotku (CDU), ponornou nádrž (skříň), IT zařízení, sekundární potrubní síť a sekundární chladicí kapalinu. Během používání je IT zařízení zcela ponořeno do chladicí kapaliny, takže výběr chladicí kapaliny musí brát v úvahu nevodivé kapaliny, jako je silikonový olej nebo fluorované kapaliny.

 

▲ Schematický diagram jednofázového imerzního kapalinového chlazení

 

Přestože existuje sprejové chlazení, jeho použití je relativně omezené a není vhodné pro servery s vysokou hustotou a rozsáhlá datová centra. Krátkodobě je chlazení studenými deskami vysoce vhodné pro potřeby chlazení éry AI a přechodu datových center ze vzduchového chlazení na kapalinové chlazení díky své vyspělosti, kompatibilitě se stávajícími systémy, snadné údržbě a nízkým nákladům na modernizaci. . Z dlouhodobého hlediska bude pro vyvíjející se potřeby chlazení budoucích datových center vhodnější imerzní kapalinové chlazení se svou vynikající tepelnou vodivostí, účinnou schopností rekuperace odpadního tepla a podporou vyššího výkonu skříně. Zejména s tím, jak se stále zvyšuje výkon skříňových jednotek, může ponorné kapalinové chlazení poskytnout efektivnější řešení chlazení, což pomáhá snížit celkovou efektivitu využití energie (PUE) datových center.

 

2. Preferovaná volba pro inteligentní výpočetní centra – kapalinové chlazení

S rostoucí hustotou výkonu se řešení kapalného chlazení stávají volbou pro více nově konstruovaných výpočetních center GPU. Podle zprávy IDC „China Semiannual Liquid-Cooled Server Market (H1 2023) Tracker“ čínský trh kapalinou chlazených serverů dosáhl v roce 2023 1,51 miliardy USD. IDC předpovídá, že od roku 2022 do roku 2027 bude složené roční tempo růstu Čínský trh kapalinou chlazených serverů dosáhne 54,7 %, přičemž se očekává, že velikost trhu dosáhne do roku 2027 8,9 miliardy USD.

 

Aplikace technologie kapalinového chlazení v inteligentních výpočetních centrech nejen zvyšuje výpočetní výkon, ale také výrazně snižuje spotřebu energie a provozní náklady. Propagace technologie kapalinového chlazení povede datová centra k efektivnějšímu, ekologičtějšímu a inteligentnějšímu vývoji, který poskytne pevný základ pro splnění potřeb zpracování dat v éře AI.

 

▲ Velikost trhu serveru kapalinového chlazení

 

IV Průmyslový řetězec chlazení kapalin

 

Průmyslový řetězec kapalinového chlazení zahrnuje tři hlavní segmenty: dodavatelé produktových komponent, střední výrobci kapalinou chlazených serverů a uživatelé výpočetního výkonu. Mezi současnými následnými uživateli se domácí společnosti jako Alibaba zaměřují na vývoj jednofázového imerzního kapalinového chlazení, zatímco jiné, jako Baidu, Tencent a JD.com, používají hlavně kapalinové chlazení studenými deskami. V zámoří je imerzní chlazení pokročilejší než chlazení studenými deskami, přičemž přední americké společnosti jako Intel, Google a Meta řídí rychlý vývoj imerzního kapalinového chlazení, zejména s podporou AI.

 

▲ Řetěz pro průmyslové chlazení kapalinou

 

 

V Potenciální problémy s technologií Immersion Liquid Cooling

 

1. Výběr chladicí kapaliny

Chladivo je jednou z klíčových surovin v technologii chlazení kapalin a představuje vysokou technickou bariéru. V technologii imerzního kapalinového chlazení potřebuje chladicí kapalina přímý kontakt s elektronickými produkty, což klade vysoké požadavky na výkon chladicí kapaliny, jako je vynikající tepelná vodivost, dobrá izolace a materiálová kompatibilita. Kromě toho jsou důležité také vlastnosti prostředí, jako je zápach, toxicita a snadná degradace, a chladicí kapalina by měla být co nejpříjemnější pro uživatele a životní prostředí.

 

Mezi nejběžněji používaná ponorná chladiva v současnosti patří uhlovodíky a organokřemičité látky (běžně označované jako „oleje“, jako je minerální olej) a fluorované sloučeniny (jako jsou fluorované kapaliny). Fluorované kapaliny mají dobrý celkový výkon a jsou považovány za ideální kapalinové chladicí materiály. Hlavním problémem fluorovaných kapalin je však jejich vysoká cena. Se stále přísnějšími požadavky na ochranu životního prostředí je silikonový olej, který má vyšší tepelnou vodivost a nižší hustotu, také šetrnější k životnímu prostředí. Volba chladicího média závisí především na procesu chlazení.

 

2. Problémy s těsněním optické cesty

Chladicí kapaliny, jako jsou fluorované kapaliny nebo silikonové oleje, mají vynikající izolační vlastnosti a účinně zabraňují zkratům v obvodu. V podmínkách nízkofrekvenčního signálu tyto chladicí kapaliny minimálně ruší přenos signálu. V případě vysokofrekvenčních signálů však vliv chladicí kapaliny na přenos signálu vyžaduje pečlivé posouzení a kontrolu. Celkově je dopad na okruhy zvládnutelný.

 

Pokud jde o optické cesty, většina optických modulů v datových centrech je navržena s nehermetickým obalem, což znamená, že bez příslušných úprav může chladicí kapalina proniknout do optické dutiny a ovlivnit optický výkon. I při hermetickém balení zůstávají některé pasivní optické dráhy, jako jsou čočky, mimo hermetickou komoru.

 

Návrh optických drah je obvykle založen na indexu lomu vzduchu (přibližně 1.0). Když jsou optické součásti ponořeny do chladicí kapaliny, index lomu chladicí kapaliny, který se liší od vzduchu, může způsobit změny v ohniskových bodech a účinnosti vazby. Například index lomu fluorovaného oleje je obvykle kolem 1,3 a tato změna indexu lomu může vyžadovat úpravy parametrů návrhu optické dráhy.

 

K řešení potenciálního dopadu imerzního kapalinového chlazení na optické a elektrické cesty podniká průmysl různá opatření, jako je vývoj nových technologií balení optických modulů přizpůsobených prostředí chladicí kapaliny, optimalizace návrhu obvodů pro vysokofrekvenční signály a výzkum optických materiálů a struktury vhodnější pro imerzní chlazení.

 

3. Integrované doručování vs. oddělené doručování

V současné době existují tři modely doručení pro servery chlazené kapalinou:

① Strana IT zařízení dodává pouze kapalinou chlazený server;

② IT strana dodává „kapalinou chlazený server + kapalinou chlazená skříň“;

③ IT strana dodává „kapalinou chlazený server + kapalinou chlazená skříň + CDU + sekundární okruh“.

 

Nejpoužívanější je třetí model dodávky, integrovaná dodávka, kdy je celá skříň dodávána stejným výrobcem se samostatně definovaným standardem integrovaného návrhu a vývoje. Oddělená dodávka zahrnuje dodržování uživatelsky definovaných specifikací návrhu rozhraní mezi kapalinou chlazenou skříní a kapalinou chlazeným serverem, přičemž skříň a server dodávají různí výrobci. Výrobci infrastruktury a serverů se musí koordinovat a spolupracovat. Oddělené dodávky lze snadněji škálovat a flexibilně zavádět.

 

▲ Rozlišení režimu dodávání chladicího serveru kapalinou chlazeného serveru

 

V současné době je úroveň standardizace v technologii chlazení kapalin v Číně relativně nízká. Různá serverová zařízení, chladicí kapaliny, chladicí potrubí a produkty napájecího zdroje se liší ve formě a neexistuje jednotný standard rozhraní, který představuje výzvy pro standardizaci a rozsáhlé aplikace. Bílé knihy zveřejněné třemi hlavními tuzemskými telekomunikačními operátory nastiňují tříletou vizi technologie kapalinového chlazení, postupné ověřování a testování technologie s plány na zahájení rozsáhlých aplikací kapalinového chlazení do roku 2025. Očekává se, že více než 50 % datových projektů přijme tuto technologii, podporuje standardizaci a rozsáhlou implementaci kapalinového chlazení a podporuje oddělené dodávky.