serverkoeling

Oorzaken van computerfalen

Uitvalsoorzaken Warmte is de echte vijand van uw computer- en telecom-apparatuur. Volgens het BBC verslag "Report GB-185R" wordt meer dan de helft van elektronisch falen veroorzaakt door temperatuursproblemen. Dit wordt ook in weergave gebracht in de naaststaande figuur. 74% van de uitvallen worden veroorzaakt door temperatuur en vochtigheid.   
Een adequate koeling is bijgevolg geen overbodige luxe, maar een noodzaak. Bovendien blijft de warmte, geproduceerd door 1 server, stijgen. Daar is ook een goede reden voor.

De wet van Moore zegt dat het aantal transistors in een processor elke 2 jaar verdubbeld. De figuur hiernaast toont het exponentieel stijgen van het aantal transistors per processor (Y-as een logaritmische schaal).
Wet van MooreDe warmteafgifte van een CMOS chip is evenredig aan het vermogen opgenomen door de processor (=C.V^2.f).

  •  C = Capaciteit, evenredig aan het aantal transistors en stijgt exponentieel.
  •  V = Spanning, meestal constant vermits een lagere spanning een lagere performatie impliceert.
  •  f = Frequentie, MHz, blijft over de jaren stijgen.

Aangezien het aantal transistors en de kloksnelheid (frequentie) stijgen en de spanning constant blijft, stijgt de geproduceerde warmte per processor.

Warmtebelasting groeitEnergieverbruik en warmtegeneratie vragen meer aandacht van data centeradministrators, ondermeer omdat de infrastructuur meer en meer compact wordt. Men wil kleinere, meer krachtige systemen met natuurlijk steeds snellere processoren.
Maar terwijl bedrijven meer en meer rekenkracht op een smallere basis kunnen plaatsen, betekent dit ook dat er meer warmte wordt gegenereerd, wat de noodzaak van en adequate koeling alleen maar verhoogd. Immers een aantal jaren geleden werden datacenters nog voorzien op 300 tot 650 watt per vierkante meter rack terwijl dit nu meer naar 1000 watt per vierkante meter rack gaat.

Beheer van temperatuur beschermt tegen onbetrouwbaarheid van hardwareTemperatuur beïnvloedt IT-hardware op verschillende manieren en vaak hebben schijnbaar onbelangrijke veranderingen een grote impact op performantie en levensduur. Een goede vuistregel: elke 10°C verhoging in omgevingstemperatuur zorgt voor een 50% verlaging van de betrouwbaarheid op lange termijn van uw IT-hardware.

Militaire onderzoeken hebben een correlatie aangetoont tussen de levensduur van een processor en zijn werkingstemperatuur. Vaak liggen maximum temperaturen voor CPU's rond de 95°C, maar de MIL-HNBK-217 en Bellcore onderzoeken beweren dat indien men constant op deze temperatuur zou werken de levensduur van de processor beperkt is tot een jaar of minder. Een reductie van 5°C kan de levensduur van de apparatuur kan verdrievoudigen. Dit is ook afgebeeld in de figuur hiernaast.

Temperatuur is een heel belangrijke factor voor IT-apparatuur. Maar er zijn natuurlijk ook nog andere eisen: Naast een constante temperatuur is ook een constante luchtvochtigheid cruciaal. Deze laatste mag echter niet te laag worden, want een te lage luchtvochtigheid zorgt voor een hoge mate van statische elektriciteit. Verder is ook een goede luchtcirculatie en een laag stofniveau belangrijk.

Technische aspecten van computerkoeling

In koeling van computerruimtes kunnen we 2 grote klassen onderscheiden: met of zonder verhoogde vloer.

Computerruimtes zonder verhoogde vloer volstaan meestal met een computer-airconditioner. Deze computer-airconditioner of HPAC (High Performance Air Conditioner) hebben heel andere eigenschappen dan de 'comfort' airco's die u vindt in kantooromgevingen. Een comfortairco draait gemiddeld een 4-tal uren per dag, terwijl een HPAC 24u per dag zijn werk doet! Verder is het ook belangrijk om te weten dat een comfort airco naast de temperatuur ook de luchtvochtigheid verlaagd! Dit kost ongeveer 20% van het totaal verbruikte vermogen. Een zeer lage vochtigheid is een taboe voor een computerruimte omdat dit de statische elektriciteit gevoelig verhoogd. Dit ongewenst effect zorgt eveneens voor onnodige kosten. Een HPAC werkt steeds op een onafhankelijk circuit van de algemene koeling/verwarming en kan dus ook niet conflicteren met de wensen van het gebouw (koelen in serverruimte, verwarmen in kantoren).

Computerruimtes met een verhoogde vloer zijn complexer van opbouw en qua koeling. Historisch werd enkel gedacht aan het verwijderen van de warmte uit het rack en deze warmte naar een zgn. 'hot spot' brengen waar deze warme lucht wordt aangezogen door een airconditioner. De principes van warmteoverdrachtratio's door convectie bij gedwongen luchtcirculatie tonen aan dat dit niet voldoende is. Het hoofdaandachtspunt van serverkoeling is niet het verwijderen van warmte maar het brengen van voldoende gekoelde lucht tot aan de processor en de componenten. Dit vereist een optimale airflow tot aan de aanzuigopening van de apparatuur. Een goed beheer van de gekoelde airflow kan grote besparingen mogelijk maken.

BELANGRIJK:

  • Beperken van de flowverliezen door vloeropeningen (bv openingen voor kabels). Onderzoek heeft uitgewezen dat 50-80% van de lucht die aangeleverd wordt in de verhoogde vloer verloren gaat door vloeropeningen (niet afgedichte kabeldoorvoeren, openliggende tegels, ...). Door het afsluiten van openingen wordt de statische druk in de verhoogde vloer opgevoerd, met resultaat dat de gekoelde lucht kan worden aangeleverd op plaatsen waar deze (ook) nodig is met name bovenaan in de racks.   
  • Verder is de plaatsing van de binnentoestellen en hun uitblaasrichting van uitermate groot belang om zgn. 'hot spots' te vermijden. Empirisch onderzoek toont aan dat uitblaasstromen van haaks op elkaar staande binnentoestellen, zich niet met elkaar vermengen, maar worden afgebogen in hoeken die niet kunnen voorspelt worden. In het beste geval zullen deze patronen een verspilling zijn van koelingcapaciteit. Echter meer waarschijnlijk zorgen ze voor hot spots in de ruimte die de performantie en de levensduur van de computer apparatuur bedreigen.

Luchtstromen onder de vloerIn de figuur zijn de ingeschreven temperaturen in de Computer Room AirConditioners (CRAC's) de insteltemperaturen van de binnentoestellen. De figuur toont ook verschillende (afgebogen) luchtstromen onder de vloer. Boven de vloer krijgt CRAC-2 (Computer Room AirConditioning) warme lucht krijgt van punt B, gemengd met retour flow origineel afkomstig van CRAC-3. CRAC-4 krijgt warme retour van punt A met retour flow van CRAC-3. CRAC-1 krijgt warme lucht van punt A.

Als we stellen dat de koude lucht 15°C opwarmt tijdens het doorstromen van alle electronica in de racks kunnen er in deze setup verwarring en problemen voorzien worden.
Immers CRAC-1 krijgt aanvoerlucht op 30°C, door de hot spot op punt A en laat zijn uitblaastemperatuur dalen om meer koeling te leveren welke echter nooit op punt A aankomt.
CRAC-4 krijgt aanvoerlucht van punt A op 30°C gemixt met aanvoerlucht op 24°C vanuit de zone van CRAC-3 en blijft deze koelen.
Anderzijds krijgt CRAC-2 aanvoerlucht op 21°C van punt B gemixt met lucht op 24°C vanuit de zone van CRAC-3. Als CRAC-2 wordt ingesteld op 22°C staat is het logisch dat CRAC-2 zijn koeling uitschakelt en ongekoelde lucht in de vloer blaast. Ongelukkig genoeg wordt een deel van deze lucht aangeleverd in de warmste zone.
Ondertussen merkt de beheerder dat er hot spots in de ruimte zijn en stelt hij de temperatuur op CRAC-1 en CRAC-4 nog lager in. Dit heeft als resultaat dat aanzuigtemperatuur van CRAC-2 nog daalt waardoor er nog minder koude lucht wordt aangeleverd op de hot spot A. Hoewel de acties van de beheerder zeer logisch zijn zullen de hot spots in deze setup zeer moeilijk te vermijden en zal het probleem steeds erger worden.
   
Ideaal data centerEen betere aanpak is de zgn koude en warme straat aanpak met goede plaatsing van de binnentoestellen. In deze aanpak zullen de kabels onder de vloer in dezelfde richting lopen als de airflow. Deze aanpak geeft ook qua luchtdynamica zowel boven als onder de vloer een grote zekerheid wat op zich redundantie geeft voor downtime van enkele airco toestellen.

Echter de koude en warme straat aanpak is geen cure-all. Ook hier is het enorm belangrijk van de statische druk in de vloer op peil te houden en verliezen tot een minimum te beperken. Zelf in de rack's zelf is het belangrijk om ook hier een adequate statische druk en koude lucht distributie te voorzien. Het verhaal gaat dus verder dan een goed management onder de vloer het moet verder getrokken worden tot in de kast.

Een menselijk probleem bij de koude en warme straat is niet ingelicht personeel: men voelt dat een aantal doorgangen zeer warm zijn en andere zeer koud en veronderstellen dat dit een niet gewenste situatie is. Om dit op te lossen zorgt men dat er vanuit de koude zone koude lucht naar de warme zone gaat en omgekeerd. De scheiding van koude en warme lucht: hetgene men probeert te verwezelijken, wordt door het personeel gezien als een gebrek welke op hun beurt aktie ondernemen om de lucht te mengen. Deze menselijke reactie laat de perfomantie dalen en de kosten van het systeem stijgen. Onthoud: warme straten worden verondersteld warm te zijn.

Het belangrijkste principe is (bij zowel verhoogde vloer en niet verhoogde vloer): de koude lucht moet rechtstreeks gebracht worden tot aan de aanzuig van de apparatuur.

Soms gaat de aanpak met verhoogde vloer en het cold aisle, hot aisle principe niet ver genoeg om tegemoet te komen aan de koelings problemen in een data center of er wordt nadien een grote capaciteit bijgevoerd. Dit geeft dan aanleiding tot zeer lokale hot-spots. Verscheidene fabrikanten bieden oplossingen aan om de warmte de rack niet te laten verlaten of toch de warmte-load te verkleinen per rack. Vooral bij high density blade servers en zware virtualisatie-toepassingen kan het nodig zijn om deze warmte output per rack te gaan reduceren om een nog werkbaar geheel te bekomen. Zelf dan kan TAC! uw koelings problemen het hoofd bieden. Hierbij wordt meestal ijswater (systemen op basis van koelgassen bestaan ook) tot aan elk rack afzonderlijk gebracht waar dan aan of boven het rack een warmtewisselaar wordt aangebouwd. De beste van deze systemen zorgen er echter voor dat deze koude lucht terug naar de bovenkant van de racks aan de kant van de koude straat wordt gebracht.

Zoals u merkt zijn data centers en server ruimtes geen onbekende markt voor TAC!. Wij zijn thuis in uw wereld en houden het daar koel. Want zelf aan de beste servers en apparatuur hebt u niets...tenzij het werkt.


Volledige onderzoeken, informatie en tips voor inrichting van data centers vind u terug op de volgende websites: