Woensdag 8 augustus: Het netwerk gaat plat

Beeld John Peters/De Beeldredaktie
Het is 8 augustus 2012, 11.30 uur. Het directieteam van de gemeente Weert vergadert wanneer onverwacht een ICT-adviseur komt binnenlopen en beleefd maar resoluut de vergadering onderbreekt. “Sorry dat ik stoor”, zegt hij en deelt mee dat er een virus in het netwerk actief is. Hij heeft met hoge spoed twee besluiten nodig. Legt de gemeente het netwerk actief plat? Gaat Weert met dit nieuws naar buiten?

Het komt aan op de drie die vergaderen: locogemeentesecretaris Myriam Meertens en voorzitter van de vergadering, de directeur bedrijfsvoering en de directeur inwoners. Vanwege de vakantietijd is de gemeentesecretaris afwezig.
Myriam Meertens vertelt: “We hebben de ICT’er direct bestookt met vragen. Wist hij meer over het virus? Hadden we dan geen actuele virusscanners? Zag hij een andere oplossing dan het netwerk uitschakelen? Al snel wisten we dat er maar één besluit mogelijk was. Het virus was nog onbekend, kon om die reden door de scan komen en verspreidde zich verder als het netwerk aanstond. We hebben daarom direct gehandeld.”

Ouderwetse communicatiemiddelen
Een half uur na het besluit gaat er een mail uit naar alle medewerkers van de gemeente. Iedereen moet uitloggen en mag de pc niet meer gebruiken. De kamer van Myriam Meertens wordt omgedoopt tot crisiskamer. De kamer waar we haar nu spreken. Ze wijst naar een rode map op de kast. “Dat is een draaiboek bij rampen. Maar daar hadden we niets aan. Er staat alles in over hoe de organisatiestructuur er bij rampen uitziet en over hoe mensen bij een ramp opgevangen dienen te worden, niets over een computervirus.”

Om 12.00 uur staat de kamer van de locogemeentesecretaris vol met vijftien tot twintig leidinggevenden voor een briefing. Meertens: “Een aparte beleving. We vielen bijna helemaal terug op mondelinge communicatie.” Direct daarna brengt Meertens burgemeester Heijmans op de hoogte en geeft hem het advies om het probleem niet binnenskamers te houden. Meertens: “Ik zei hem: ‘Straks komen er mensen aan het loket die we niet kunnen helpen. We willen onze inwoners zo snel mogelijk laten weten welke dienstverlening we wel en niet kunnen bieden. Bovendien is het belangrijk dat andere organisaties gewaarschuwd worden voor het virus.’” Meertens en burgemeester Heijmans zijn het snel eens en besluiten actief naar buiten te treden. De burgemeester geeft haar een advies: “Zorg dat je een logboek hebt.” “Dat bleek een goede tip”, zegt Meertens.

Crisisteam
Het directieteam vormt het kernteam voor de crisis onder voorzitterschap van Meertens. Naast een communicatiemedewerker wordt de ICT-adviseur aan het team toegevoegd. Meertens: “Omdat hij de situatie zo helder kon schetsen tijdens de directievergadering. Hij werd een belangrijke schakel tussen techniek en management, een soort verbindingsofficier.” Het kernteam spreekt met het management af hen een aantal keren per dag te informeren. De gemeente Weert hanteert een informatiestroom op basis van het cascademodel. Laag voor laag in de organisatie raakt zo mondeling geïnformeerd via de leidinggevenden.

Daarnaast regelt het kernteam een aantal praktische zaken. Standalone (dus niet op het netwerk aangesloten) laptops en printers zijn nodig om medewerkers in het Weerter stadhuis op de hoogte te houden. Op de laptops staat onder meer informatie over de laatste status van de crisis en medewerkers vinden er veelgestelde vragen en de antwoorden daarop. Schriftelijke mededelingen over de situatie komen op centrale plekken in het gebouw. Standalone oplossingen maken bovendien een aantal basishandelingen mogelijk. Alle werkprocessen die computers nodig hebben, liggen immers stil.

De beste back-up
Omdat de website extern gehost wordt, kan Weert zonder probleem de inwoners van de gemeente via de website informeren over het virus en de ontregelde dienstverlening. Dezelfde dag stuurt de gemeente een persbericht uit. Niet veel later is Weert landelijk nieuws. Die middag moet het kernteam weer een belangrijk besluit nemen. Welke back-up is veilig om de systemen weer te kunnen opstarten? Meertens: “We wisten dat de back-up van de vorige dag zeker geïnfecteerd was. We kozen het zekere voor het onzekere. We gingen voor de back-up van vrijdag.”

ICT werkt samen met ingehuurde experts hard aan het in quarantaine brengen van de besmette bestanden, het voorkomen van nieuwe besmettingen en het terugzetten van de back-up (restore) van vrijdag voor de virusinfectie om de systemen voor te bereiden op een nieuwe opstart (reboot). Om half 12 in de avond krijgt Myriam Meertens een verontrustend telefoontje. De restore is mislukt. En het alternatief, een workaround, is ook niet gelukt. Myriam Meertens: “Ik heb toen tegen de ICT’ers gezegd dat ze beter naar huis konden gaan; ik hoorde de vermoeidheid door de telefoon. Ik zei: ‘We hebben meer aan fitte mannen morgen.’ Ze konden op dat moment niets meer doen.”

Donderdag 9 augustus: Alles is digitaal beschikbaar, maar niet toegankelijk.

Donderdag om 6.45 uur is het hele netwerk besmet. ’s Nachts werken antivirusbedrijven aan een update voor antivirusprogramma’s op basis van de kenmerken van het virus in Weert. Weert moet de complete back-up van vrijdag scannen. De verwachting is dat de scan acht uur gaat duren. Meertens: “We hebben systemen met veel opslagcapaciteit, maar niet de snelste processors.”

Weert levert intussen de belangrijkste dienstverlening zo goed als dat kan via andere oplossingen. Publiekszaken krijgt een stand-alone oplossing voor onder meer aangiftes burgerlijke stand en de gemeente zorgt dat de uitkeringen worden uitgekeerd. De noodprocedures voor de dienstverlening blijken niet op papier te staan. Alles is digitaal beschikbaar, maar nu dus niet toegankelijk. Meertens: “Dat realiseer je je pas tijdens zo’n situatie.”

NOS-journaal
Op die donderdag staat er volop pers op de stoep van het Weerter stadhuis. Zelfs het NOS-journaal en een Duitse zender zijn ter plaatse. Meertens: “We waren overdonderd door de hoeveelheid media-aandacht. Je denkt: ‘Wat gaan ze filmen?’ We zijn een open organisatie maar we wilden voorkomen dat er een beeld ontstond van een gemeente die haar zaken niet op orde had.” In nauwe samenwerking met de afdeling communicatie staat de gemeente Weert de pers te woord. De impact van het virus komt in beeld door medewerkers die op ouderwetse typemachines hun werk doen. Weert monitort de media-aandacht.

Hulp van buiten
De gemeente Weert heeft contact met KING (Kwaliteitsinstituut Nederlandse Gemeenten) en het Nationaal Cyber Security Centrum om zich te laten adviseren. Meer gemeenten en ook andere organisaties blijken last te hebben van het virus. KING zorgt voor een informatiebemiddelaar tussen de diverse gemeenten, maar al snel blijkt dat de situaties niet te vergelijken zijn door de verschillende systemen. Geen van de adviseurs van deze landelijke organisaties kan Weert precies zeggen hoe het virusprobleem kan worden opgelost. Maar de genomen stappen zijn volgens hen de juiste.

Weert kan niet uitsluiten dat ook computers van inwoners via de gemeente zijn besmet. Door een verwijzing op de website en het Twitter-account van de gemeente laat de gemeente het Nationaal Cyber Security Centrum particulieren informeren over wat ze moeten doen bij computerproblemen. Meertens: “Dat konden wij niet allemaal oppakken, bovendien zijn zij daarin gespecialiseerd.” De gemeente Weert doet daarnaast een oproep aan burgers om een paar dagen te wachten met hun aanvragen voor alle diensten van de gemeente, voor zover mogelijk. Meertens: “Mensen gaven hieraan gehoor. Er was gelukkig veel begrip. De hoeveelheid vragen die onze extra bezetting op het Klant Contact Centrum ontving, bleek goed te hanteren. En er werd slechts een enkeling boos.”

In de avond wordt een nieuwe restore gedaan. Die mislukt, doordat een van de schoon geachte computers toch geïnfecteerd blijkt te zijn. Dit is een domper, juist omdat voor een veilige aanpak is gekozen. Weert sluit de dag af zonder zicht op een snelle oplossing.

Vrijdag 10 augustus: Er komt een ongelooflijke energie vrij.

Er ontstaan twijfels of de mislukte restore daadwerkelijk niet te voorzien was geweest. Het kernteam wordt steeds meer onder druk gezet. Meertens: “Dit gaf me een ongemakkelijk gevoel omdat iedereen zo stinkend zijn best had gedaan. Er wordt gevraagd om een datum af te geven waarop het probleem opgelost is. Raadsleden gaan misschien vragen stellen. De vraag komt of meer capaciteit moet worden ingezet. Meertens: “We hebben een selectie gemaakt in de soort en hoeveelheid hulp die we inzetten. Je moet in dit soort situaties zoeken naar het optimum dat werkt.”

Met de leidinggevenden in de organisatie neemt het kernteam continu alle door de secretariaten verzamelde vragen door en beantwoordt deze. Meertens: “Het is begrijpelijk dat mensen onzeker worden en er steeds meer vragen opkomen. Er waren zelfs medewerkers die twijfelden of ze nog met hun mobiele telefoon konden internetten!” Ondanks de onzekerheid komt er tijdens deze dagen een ongelooflijke energie vrij bij onze medewerkers. “Iedereen wilde helpen om het probleem op te lossen”, vertelt Meertens. “Er meldden zich medewerkers vrijwillig aan om mee te helpen. Zo ondersteunden medewerkers collega’s bij onze telefonische helpdesk. We hebben geen vervelende reacties van onze medewerkers ontvangen. De crisis schiep juist een hechte groepsband, mede door onze openheid naar de medewerkers.”

Er ontstaan ook nieuwe problemen. Zo moet Weert uren onderhandelen om de juiste software-experts binnen te krijgen die in het weekend willen werken en blijkt de benodigde reservehardware nergens te krijgen. Er wordt nog tot laat in de avond doorgewerkt.

Zaterdag 11 en zondag 12 augustus: Op zondag ziet het er hoopvol uit.

De afdeling ICT gaat het hele weekend door. De nieuwe quarantaineomgeving wordt ingericht en alle servers komen in een virusvrije omgeving. Weert kiest voor een extra veilige aanpak met twee schaduwnetwerken. Het duurt lang om de reserveopslag in de veilige omgeving te plaatsen. Uiteindelijk is dit zondag klaar. Na een controle blijkt dat de servers schoon zijn. De nieuwe virusscans vinden geen virus meer. De pc’s bij Publiekszaken worden aan het netwerk gehangen en blijken te werken. Meertens: “Op zondag zag het er hoopvol uit. We durfden in samenspraak met ICT de verwachting uit te spreken dat de dienstverlening op maandag weer normaal kon gaan verlopen.”

Maandag 13 augustus: Ik zag de spanning op de gezichten van onze medewerkers.

Stapsgewijs sluit de gemeente Weert alle pc’s weer aan op het netwerk. De pc’s en de applicaties van Publiekszaken hebben prioriteit. Medewerkers met een gele stip op de computer mogen na berichtgeving aan de slag. Wie geen gele stip op de computer vindt, mag niet inloggen. Ondanks eerdere voorspellingen blijken de systemen voor de diensten bij Publiekszaken nog niet goed te functioneren. Een netwerkswitch blijkt niet te werken en er blijkt een controle nodig te zijn door een landelijke organisatie die in Weert wil nagaan of de ICT-omgeving veilig is, voordat uitgifte van rijbewijzen weer mogelijk is.

Er ontstaat druk bij Publiekszaken, want na dagen wachten verwachten burgers dat de dienstverlening nu op orde is. Meertens: “Ik zag de spanning op de gezichten van onze medewerkers. We hebben toen extra medewerkers met flair ingezet die als gastvrouwen en -mannen konden fungeren om de burgers gerust te stellen en de medewerkers te ontlasten. Het bleek te werken.” De aanloopproblemen zijn binnen enkele uren opgelost.

Dinsdag 14 augustus: Dit kun je niemand uitleggen

Een onverwacht probleem. Als stapsgewijs alle computers worden aangesloten, gaat iedereen weer gretig aan het werk. Vanaf maandag wordt er dus ook weer volop gemaild. De verzonden mails blijken echter niet aan te komen. Een groot telecombedrijf heeft een signaal gekregen dat de omgeving van de gemeente Weert niet veilig is en zonder berichtgeving de uitgaande mails geblokkeerd. Weert weet niet of de zwevende mails nog aankomen. Het bedrijf kan niet zeggen wanneer het probleem is verholpen. Meertens: “We dachten de IT-problemen opgelost te hebben en toen kwam dit akelige feit om de hoek kijken. We hebben het via de hoogste bazen van de provider geprobeerd. Het probleem duurde nog twee dagen. Dat kun je niemand uitleggen.”

Complimenten
Op deze dag zijn er ook complimenten voor de mensen die dag en nacht hebben gewerkt. Ze ontvangen bonbons. Meertens: “Van onze medewerkers kreeg ik terug: ‘We wisten altijd precies wat er aan de hand was, dat was fijn.’ Dat vind ik een groot compliment. De directe betrokkenheid en de aandacht voor hun aandeel in het proces vonden mensen zeer aangenaam.”

Donderdag 15 augustus: De gemeente Weert functioneert weer normaal.

Wat het COT zegt

Het instituut voor veiligheids- en crisismanagement (COT) evalueert de aanpak in Weert. Het COT concludeert dat de gemeente Weert niet was voorbereid op deze crisis. Eenmaal geconfronteerd met het probleem oordeelt het COT dat de crisis goed is aangepakt. Er is lof voor de crisisorganisatiestructuur, de systematische aanpak en de actieve, transparante communicatie van de gemeente Weert.

Leerpunten

Na de crisis gaat de gemeente Weert mede op basis van de aanbevelingen van het COT met de volgende leerpunten aan de slag.

Tips bij aanpak virusinfectie:

• Richt een crisisorganisatie in
• Scherm ICT’ers af van vragen uit de organisatie
• Stel een ‘verbindingsofficier’ in tussen management en technici
• Stel (herstel van de) dienstverlening centraal
• Wees transparant in wat er wel en niet aan de hand is
• Houd vanaf het begin een logboek bij
• Houd contact met andere organisaties, maar durf ook op eigen oordeel af te gaan
• Pak het probleem vanaf het begin honderd procent safe aan; betrek zo nodig een specialistische ICT-calamiteitenmanager
• Regel een communicatieteam en spreek af hoe de organisatie te informeren
• Gebruik kwaliteiten in de organisatie
• Houd een lijst bij met ‘veelgestelde vragen’ en beantwoord die steeds via een centraal punt; voorkom onduidelijkheden

Preventieve leerpunten

• Preventieve leerpunten
• Houd administratief goed overzicht over inrichting servers en netwerk en koppelingen tussen applicaties
• Bestudeer contracten met leveranciers (ICT-bedrijven, providers e.d.) opnieuw, ook de kleine lettertjes, op o.a. snelheid van dienstverlening en tarieven
• Gedragsturing is erg belangrijk
• Beschouw digitalisering en de daarmee verbonden risico’s als vraagstukken voor directie en bestuur