Redactie - 14 oktober 2014

Blauwe zwaailampen op de stoep

Op donderdag 9 oktober 2014 kom ik rond 01.30 uur in de nacht aanrijden bij ons datacenter BIT-2. Van verre had ik de blauwe lampen van de brandweer al zien flitsen. Vlak voordat ik het terrein op liep had ik al twee collega’s van ‘mijn afdeling’ gesproken. Ze hadden me gebeld om te vragen of hulp bij BIT gewenst is. Ik heb met ze afgesproken dat ik ze terugbel als dat het geval is.

Op het terrein aangekomen zie ik dat de helden van de Edese brandweer rustig staan te praten. Ze grappen dat de medewerkers van BIT wel broertjes lijken met hun brilletjes en opgeschoven haargrens. Een collega, ook met bril en opschuivende haargrens, informeert me beknopt over de gebeurtenissen van de afgelopen drie kwartier. Ik pak een portofoon en installeer me aan mijn bureau op kantoor.

De twee collega’s die mij een minuut of tien geleden al gebeld hebben, bel ik terug om te vragen of ze ook naar kantoor willen komen. Inmiddels lopen er al zo’n tien BIT medewerkers rond, midden in de nacht. Ik bel nog een collega om te vragen of ook hij naar kantoor wil komen en ik vertel hem wat er gebeurd is:

Om 00.45 uur detecteren meerdere sensoren in serverruimte BIT-2B roetdeeltjes.

00511: Don 09-Okt-14 00:44:00: VOOR-ALARM
L3 Sens. 30 – Zone21 – VIEW
Zone: VM GROEP 1 BIT-2-B
Lok: Onder Vloer Waarde: 37%
00512: Don 09-Okt-14 00:44:04: VOOR-ALARM
L3 Sens. 12 – Zone21 – VIEW
Zone: VM GROEP 1 BIT-2-B
Lok: Onder Vloer Waarde: 25%
00513: Don 09-Okt-14 00:44:04: VOOR-ALARM
L3 Sens. 13 – Zone21 – VIEW
Zone: VM GROEP 1 BIT-2-B
Lok: Onder Vloer Waarde: 31%

Omdat het diverse sensoren zijn die roet hebben gemeten, wordt automatisch de interne storingsdienst en de brandweer gewaarschuwd.

00514: Don 09-Okt-14 00:44:06: ** ALARM **
L3 Sens. 30 – Zone21 – VIEW
Zone: VM GROEP 1 BIT-2-B
Lok: Onder Vloer Waarde: 37%

Automatisch wordt ook de blusinstallatie geactiveerd. Het stikstof-argon-mengsel in de blusflessen wordt onder druk van zo’n 60 bar geleegd in de ruimte.

Om te voorkomen dat de muren uit de serverruimte worden geblazen bij een blussing, zijn er overdrukroosters geplaatst. De roosters springen open en er wordt lucht naar buiten geblazen.

Tien minuten nadat de brandmelding is geplaatst, is de brandweer ter plaatse. Het voor BIT opgestelde aanvalsplan is geraadpleegd en de brandweermannen betreden met volledige uitrusting de serverruimte. De inspectie richt zich in eerste instantie alleen op eventuele slachtoffers en controle of er nog vuur en/of rook in de ruimte aanwezig is.

Na de eerste controle door de brandweermannen, mogen vijf minuten later ook BIT-medewerkers de ruimte betreden. Omdat het zuurstofniveau in de ruimte nog te laag is mogen zij alleen met perslucht erin, zij hebben daar een aparte training voor gekregen. Er wordt nu gecontroleerd hoe groot de materiële schade is en of de brandhaard gevonden kan worden.

Tot slot vertel ik mijn collega dat het incident op onze site is geplaatst, ongeveer op het moment dat ook de eerste BIT-medewerker de ruimte in mocht.

Nadat ik mijn collega kort de gebeurtenissen uit de doeken heb gedaan, komt ook hij naar BIT toe.

Als gevolg van de blussing is de temperatuur in de ruimte kortstondig verlaagd, daarnaast heeft de blussing een drukgolf en geluidsgolf veroorzaakt in de ruimte. Door (een combinatie van) deze gevolgen is een beperkt deel van de harde schijven in de ruimte in storing gegaan. De datacenterbeheerders van BIT inventariseren welke apparatuur in storing staat. De supportmedewerkers nemen vanaf 2.20 uur telefonisch contact op met de getroffen klanten om ze te informeren voor zover de storing nog niet bekend was en om te bespreken of remote-hands nodig zijn. Een groot deel van deze klanten laat BIT de getroffen apparatuur rebooten waarna deze apparatuur weer werkt zoals zou moeten. Bij een deel van de apparatuur kost het wat meer moeite om deze weer werkend te krijgen. Onze systeembeheerders nemen deze apparatuur onder handen en zorgen er onder andere voor dat RAID sets weer opgebouwd worden. Een klein aantal klanten komt zelf op locatie.

Om 6.30 uur verlaat ik het terrein en ga ik richting bed. Vrijwel alle klanten hebben aangegeven dat hun apparatuur weer functioneert zoals zou moeten. Een groot deel van de gasflessen is al losgekoppeld en staat klaar voor transport naar het vulstation. De medewerkers die die nacht niet nodig waren op locatie zijn geïnformeerd over wat er gebeurd is en zullen verdere acties in gang zetten. Trots op het team van BIT stap ik een half uurtje later mijn bed in.

Als ik donderdag aan het begin van de middag op kantoor arriveer, lijkt het ‘business as usual’. Weinig verraadt er wat er afgelopen nacht gebeurd is. Een collega vertelt me dat inmiddels ook de dader van het onheil gevonden is en hij laat me een foto zien van een opengeschroefde taperobot. 

Wido Potters. Bekijk de foto's en filmpjes hier.

Copaco | BW 25 maart tm 31 maart 2024 Trend Micro BW BN week 10-11-13-14-2024
Copaco | BW 25 maart tm 31 maart 2024

Wil jij dagelijkse updates?

Schrijf je dan in voor onze nieuwsbrief!