Of en zo ja, in welke vorm het Bureau ICT-Toetsing (BIT) verder gaat, is nog niet duidelijk. De geluiden daar over zijn divers. Joost Visser en Bas Cornelissen zien het BIT graag doorgaan, maar hebben wel adviezen voor een beter BIT. Volgens hen mag het BIT (2.0) meer de verbinding zoeken met kennispartners en kan het, naast kritische constateringen achteraf, een actievere rol invullen bij preventie.
Beeld: Shutterstock
Sinds zijn oprichting medio 2015 heeft het Bureau ICT-Toetsing (BIT) ons het nodige gebracht. Op de BIT-website zijn 50 adviezen terug te vinden en volgens een recente evaluatie wordt (op papier) 65 procent daarvan volledig opgevolgd. De adviezen worden elk jaar kritischer en hebben een preventieve werking.
Een voortzetting van het BIT na medio 2020 is nog afhankelijk van aanvullende evaluaties, met onder meer de departementale CIO’s. Vooruitlopend hierop heeft staatssecretaris Knops (Binnenlandse Zaken) al in maart 2019 besloten het BIT in zijn huidige vorm nog zeker tot 31 december 2020 te verlengen. Ook na het recente vertrek van de bureaumanager sprak hij zich in een recent algemeen overleg uit voor het voortbestaan van een BIT, al is nog onduidelijk in welke vorm en zijn recentelijk alle vacatures van de website verdwenen.
Intussen kan het BIT in overheidsland rekenen op waardering, maar ook op het nodige commentaar. Veelgehoorde kritiek betreft het ontbreken van inhoudelijke transparantie en de perceptie van een rem op innovatie. In deze sfeer van verkramping gaat het minder over de inhoud en meer over ‘wat het BIT gaat vinden’. Opmerkelijk vinden wij verder de soms felle toon waarmee individuele BIT-medewerkers deelnemen aan het publieke debat, bijvoorbeeld als het gaat om nieuwbouw.
BIT na 2020: vijf adviezen
Ten behoeve van het debat over de continuering van het BIT en de invulling daarvan, hebben wij vijf adviezen op een rij gezet voor een beter BIT. Het betreft advies op inhoudelijke aspecten, omdat die in die media relatief onderbelicht zijn ten opzichte van bijvoorbeeld vraagstukken over de ‘ophanging’ en over het aantrekken van IT-expertise. De adviezen zijn toepasbaar ongeacht de vorm waarin ‘BIT 2.0’ verder gaat. De rode draad is dat het BIT meer de verbinding mag zoeken met kennispartners en, naast kritische constateringen achteraf, een actievere rol kan invullen bij preventie. Aansluitend aan de vijf adviezen doen we een handreiking in de vorm van een toetsraamwerk voor renovatie en herbouw. Per direct bruikbaar voor CIO-offices en aanstaande ICT-programma’s.
1. Standaardiseer, normaliseer en verhoog de transparantie
Het BIT gaat in haar onderzoeken grondig te werk, kijkt zeer breed en neemt daar ook de tijd voor. Daarbij hanteert zij een toetskader dat feitelijk een reeks best practices omvat. Op deze aanpak valt echter het nodige aan te merken:
• Het kader is op het gebied van normering bijzonder summier. Zo is bijvoorbeeld onduidelijk wat het BIT verstaat onder goede software. Onduidelijkheid over meetlatten leidt bij programmamanagement tot verwarring en bijvoorbeeld in het programma oBRP tot een zelfgemaakt codekwaliteitskader dat 40 (!) pagina’s telde.
• Met slechts 12 vaste onderzoekers en een toenemende vraag naar advies is het BIT sterk afhankelijk van externe inhuur. De vrijheid in aanpak en de wisselende samenstelling van onderzoeksteams leidt zichtbaar tot verschillende accenten per onderzoek. Zo wordt bijvoorbeeld soms wel en soms niet onder de motorkap gekeken, ongeacht de beschikbaarheid van reeds bestaande onderzoeksresultaten.
• Adviezen van het BIT zijn geformuleerd in bestuurlijke taal. Gegeven de primaire doelgroep (de Tweede Kamer) is dat begrijpelijk, maar zonder de onderliggende bijlagen krijgen inhoudelijk betrokkenen te weinig inzicht in de (totstandkoming van de) bevindingen. Technische briefings voorzien niet in de behoefte doordat deze besloten zijn.
In dit licht pleiten wij ten eerste voor verdere standaardisatie en normalisatie van de onderzoeksaanpak. Wij denken bijvoorbeeld aan aansluiting bij (internationale) standaarden en normen, zoals ISO 25010 voor de toetsing van productkwaliteit. Waar nodig kunnen daarbij nog eigen raamwerken worden ontwikkeld. Voor optimaal draagvlak gebeurt dat bij voorkeur in samenwerking met verschillende kennispartners, zoals universiteiten, CIO-offices en gespecialiseerde adviesbureaus.
Ten tweede pleiten wij voor nadere transparantie omtrent bevindingen, bijvoorbeeld via een bijlage bij elk advies. We denken daarbij niet aan volledige meetrapporten, maar wel (per deelgebied) aan een systematische beschrijving van de gehanteerde aanpak en de uitkomsten ervan.
Deze aanvullende standaardisatie, normalisatie en transparantie bieden meerdere voordelen:
• BIT-onderzoeken worden consistenter, herhaalbaarder en kennen een minder sterke afhankelijkheid van (externe) onderzoekers en hun interessegebieden.
• De leercurve voor nieuw aan te trekken BIT-medewerkers wordt korter.
• Bij de initiatie van ICT-programma’s ontstaat een beter begrip van welk ‘huiswerk’ wordt verwacht. Daardoor wordt het programmamanagement tevens minder snel verrast door toekomstige toetsresultaten.
• Het draagvlak bij inhoudelijk betrokkenen voor de toetsresultaten wordt vergroot, omdat immers duidelijker wordt beschreven op welke punten het beter had gekund.
• Andere onderzoekspartijen (zowel commerciële als bijvoorbeeld de Auditdienst Rijk) begrijpen beter hoe het BIT opereert. Dit stelt hen in staat om hun eigen onderzoeksaanpak te verbeteren of juist gerichte suggesties aan het BIT te doen.
2. Blijf kritisch, maar niet dogmatisch
In recente BIT-adviezen en publicaties van BIT-medewerkers tekent zich een duidelijk patroon af: nieuwbouwtrajecten krijgen de meeste kritiek, zeker die met een technologisch innovatieve component. Elementen die telkens terugkomen zijn dat überhaupt geen noodzaak tot nieuwbouw bestaat omdat de bestaande legacysystemen nog prima mee kunnen. Ook wordt gebruik van innovatieve technologieën risicovol bevonden in relatie tot benodigde (schaarse) competenties. In dit licht pleiten BIT-medewerkers in hun adviezen en publicaties voor ‘beheerst vernieuwen’.
Het publieke debat lijdt onder continue negatieve berichtgeving omtrent mislukte ICT-projecten bij de overheid
Wij onderschrijven het belang van een gezonde terughoudendheid ten aanzien van nieuwbouw en innovatieve technologieën. Het is echter zaak om dogma’s te vermijden en situationeel te blijven oordelen:
• Innovatie vooruitschuiven is niet altijd een optie: er moet worden meebewogen met groeiende verwachtingen van de moderne maatschappij.
• Met gebruik van automatische build-pipelines en automatische testing bieden moderne platformen meer mogelijkheden voor beheersbaarheid dan legacyplatformen.
• Bij gebruik van onconventionele technologieën en pakketten zijn adequate maatregelen denkbaar om een vendor lock-in te voorkomen.
• Het behoud van een legacylandschap is evenmin risicoloos. Ook daar kan vendor lock-in ontstaan; bovendien klinkt terugvallen op oude vertrouwde COBOL-systemen aantrekkelijk totdat je kennis neemt van de duidelijk dalende trend in beschikbare COBOL-expertise op de markt.
Wij adviseren het BIT dan ook om niet dogmatisch te worden in de kritiek op structurele vernieuwing: niet in adviezen en niet in publicaties. In plaats hiervan zijn handvatten nodig om te kunnen bepalen wanneer nieuwbouw een geëigend middel is en wanneer niet. Dit kan bijvoorbeeld via het toetsraamwerk dat we verderop beschrijven. Ook zijn handvatten nodig waar het aankomt op de keuze van en omgang met onconventionele technologieën. In dat verband zou het BIT programma’s kunnen uitlichten die hier positieve ervaringen mee hebben.
3. Zoek verbinding met kennispartners
Het BIT opereert sterk autonoom. Dit is goed te begrijpen vanuit de noodzaak van onafhankelijkheid. Tegelijk doet het BIT zichzelf tekort als het niet openstaat voor kruisbestuiving en de jarenlange ervaring van andere onderzoekspartijen. Wellicht speelt daarin een rol dat onnodige ICT-projecten en commerciële belangen van adviesbureaus regelmatig met elkaar in verband worden gebracht. (In onze ervaring bestaat de behoefte aan IT-advies overigens bij zowel behoud van bestaande software als structurele vernieuwing.)
In plaats hiervan pleiten wij voor aansluiting op bestaande ervaringen, werkwijzen en normeringen en, waar nodig, voor de ontwikkeling van nieuwe. Zoek actief de dialoog op, bijvoorbeeld via plenaire kennissessies; neem kennis van bestaande analysetechnieken en lessons learned; en adopteer standaarden of scherp de eigen standaarden aan (zie ook advies #1). Distilleer succesfactoren en profiteer van specialistische kennis van commerciële adviesbureaus.
Deze dialoog wordt bij voorkeur publiekelijk gevoerd. Een goed voorbeeld is de Nederlandse Praktijkrichtlijn 5325: hier heeft een krachtenbundeling van publieke en private sector geleid tot een vastgesteld toetskader voor veelvoorkomende vraagstukken rondom overdraagbaarheid van software.
4. Kies je leest en blijf daarbij
BIT-onderzoeken gaan zeer breed. In een tijdbestek van gemiddeld vier maanden worden nagenoeg alle denkbare programma-aspecten doorgelicht, van organisatie en cultuur tot aan softwarearchitectuur en broncode. Zo’n breed spectrum aan competenties stelt hoge eisen aan de onderzoekers.
Waar het aankomt op programmamanagement en IT-audit zitten de huidige 12 BIT-toetsmanagers en -specialisten ruim in hun ervaring. Dat is niet het geval op het ‘harde’ vlak. Slechts enkele medewerkers beschikken over een informatica-achtergrond of hebben zelf aan systemen ontwikkeld. Intussen neemt de vraag naar BIT-adviezen toe en zijn dus keuzes nodig.
Met haar missie en omvang zou het BIT niet moeten nastreven om alle aspecten van ICT tot in detail te beheersen en te onderzoeken. In plaats daarvan ligt een meer generalistische benadering en regiefunctie voor de hand. Daarbij moet het BIT ofwel durven terugvallen op reeds beschikbare onderzoeksresultaten, ofwel terughoudend zijn bij het trekken van eigen deelconclusies. Een bijkomend voordeel is dat BIT-toetsen daarmee korter kunnen worden en de uitkomsten actueler.
5. Benoem ook succesfactoren en geef programmaoverstijgend advies
Het publieke debat lijdt onder continue negatieve berichtgeving omtrent mislukte ICT-projecten bij de overheid. Schrijvers vallen over elkaar heen om actuele debacles te analyseren en bedienen zich daarbij van de gebruikelijke platitudes. Dit alles onder het motto dat een goede probleemanalyse de helft van de oplossing is. Echter, een recente halve finale toonde weer eens aan dat je zonder de tweede helft de wedstrijd niet wint.
Voor een positiever en constructiever sentiment is meer aandacht nodig voor de successen. Als organisatie die menig programma van dichtbij ziet ligt hier een unieke kans voor het BIT. Wij pleiten voor het volgende:
• Benoem in de adviezen (of bijlagen) ook positieve bevindingen. Dit vergroot meteen de acceptatie bij de getoetste organisatie.
• Bundel terugkerende bevindingen en aandachtspunten en geef deze terug, bijvoorbeeld in regelmatige kennissessies met departementale CIO-offices en andere kennispartners.
• Doe concrete handreikingen aan nieuwe en lopende programma’s, bijvoorbeeld instrumenten om tot onderbouwde besluiten omtrent renovatie en nieuwbouw te komen.
Met name programmaoverstijgende adviezen zijn essentieel om de overheids-ICT op een hoger niveau te krijgen. Vragen die wij regelmatig horen zijn onder andere: hoe kan een CIO zelf de noodzaak van een renovatie of nieuwbouw toetsen? Met welke vraag aan externe adviesbureaus kan hier maximaal op worden aangesloten? Welke instrumenten kunnen gaandeweg worden ingezet, bijvoorbeeld de statistische defectenanalyse die het BIT recent meermaals heeft toegepast?
Handvatten
Het komen tot de juiste – of in elk geval voldoende onderbouwde – keuze tussen renovatie van bestaande software en (gedeeltelijke) nieuwbouw is een lastig vraagstuk. Wat voor ‘huiswerk’ is nodig, en wanneer is het voldoende? Beslissers in overheidsland, zo laten zij weten, hebben in dit opzicht behoefte aan handvatten.
Wij zijn daartoe een toetsraamwerk aan het ontwikkelen dat voor dit doeleinde kan worden gebruikt. Hieronder geven we alvast een doorkijk. Het raamwerk is reeds aan een aantal CIO’s voorgelegd en kan worden gebruikt door initiatiefnemers van programma’s zelf, bij wijze van huiswerk; of door tweedelijnsonderzoekers ter verificatie. In de komende maanden zal het verder worden uitgewerkt en gepubliceerd.
Overzicht van de vier hoofdstappen in het toetsraamwerk. In de eerste twee stappen worden de to-be en as-is situatie grondig in kaart gebracht. In de derde stap worden twee scenario’s uitgewerkt voor de transitie van as-is naar to-be. Tot slot worden in de vierde stap een vergelijking en afweging gemaakt van deze scenario’s.
Uitwerking van de cruciale eerste stap: het duiden van de gevraagde verandering. Deze voorbeelden van veranderingsaspecten komen herhaaldelijk langs in adviestrajecten voor de Rijksoverheid.
Joost Visser is hoogleraar aan de Radboud Universiteit Nijmegen en daarnaast werkzaam bij de R&D afdeling van Software Improvement Group (SIG). Bas Cornelissen is Principal Consultant publieke sector bij SIG.
Het beoogde toetsraamwerk gaat uit van een vraagstuk dat opgelost moet worden. De kans dat daarbij bestuurlijke invalshoeken worden vergeten, onderschat danwel overschat is groot. Een ander risico zit in de to-be benadering. Als het al lukt om die in kaart gebracht te krijgen is de situatie al weer veranderd bij de start van de realisatie/transformatie. Wij geloven veel meer in een integrale benadering waarin eerst de samenhang van een organisatie expliciet wordt gemaakt en met behulp hiervan een integrale oplossingscontour voor het betreffende vraagstuk wordt ontwikkeld. Hoe wij dat al vele keren succesvol hebben gedaan? Zie ons nieuwe boek GEA: Enterprise Architectuur in de praktijk met als subtitel Betere prestaties door sturen op samenhang dat op 20 juni 2019 verschijnt.
Knops zei weinig meer dan dat de functie van het BIT behouden blijft terwijl hij, zou hij dat vinden, natuurlijk ook eenvoudig had kunnen zeggen dat het BIT behouden blijft. Met die terughoudende uitspraak sloot hij, ongetwijfeld niet toevallig, naadloos aan bij de Strategische I-agenda Rijksdienst 2019-2012 van BZK waarin te lezen valt dat het BIT een tijdelijke organisatie is waarvan de taken op termijn overgaan naar de departementale CIO’s. Dat zou dan een buitengewoon onverstandig besluit zijn (zie mijn weblog “BIT: de muis die een tijger bleek”).
Overigens behoeft het geen verwondering te wekken dat het BIT in overheidsland op het nodige verzet stuit. Overheidsopdrachtgevers konden, daarbij enthousiast begeleid door de markt, decennia lang vrijelijk aanmodderen zonder dat ook maar iemand zich over de immense bedrijfsvoerende en financiële consequenties van hun handelen druk leek te maken. Met de komst van het BIT is dat veranderd en daar was niet iedereen binnen de overheid blij mee. Een overwegend positief oordeel vanuit departementale hoek over het functioneren van het BIT zou dan ook vooral een signaal zijn geweest dat het BIT (dus) niet goed functioneert.
Dat het publieke debat zou lijden onder “continue negatieve berichtgeving omtrent mislukte ICT-projecten bij de overheid” vermag ik niet in te zien. Voor wie transparantie boven “met de mantel der liefde bedekken” verkiest, stof te over zou ik zeggen. Ik zou, een enkele uitzondering daargelaten, ook niet weten hoe positief te berichten over een mislukt ICT-project.
Dat kritische schrijvers bij hun analyses van die projecten regelmatig stuiten op dezelfde faalfactoren, zegt vooral veel over de bedrijfscultuur bij de overheid. Waarom het bij herhaling signaleren daarvan tot de categorie platitudes behoort, behoeft enige toelichting. Terechte feitelijke constateringen verworden nu eenmaal niet tot platitudes enkel omdat ze worden herhaald.
Ongetwijfeld valt aan de organisatie en werkwijze van het BIT nog het een en ander te verbeteren. Dat neemt echter niet weg dat het BIT, ondanks een door de politiek bewust gefrustreerde start, kans heeft gezien zich binnen de Rijksoverheid in korte tijd als gezaghebbend gremium te positioneren. En dat alleen al is een groot compliment waard.
Dag Ruud, graag geven wij de gevraagde toelichting.
Wij bedoelen niet dat positief moet worden bericht over onsuccesvolle projecten, maar over succesvolle projecten. Want die zijn er wel degelijk. Daarnaast mag meer aandacht worden besteed aan positieve bevindingen: bestempel die (waar van toepassing) als succesfactoren, en draag ze als zodanig uit ter lering voor andere organisaties.
Wat betreft de platitudes: waar wij op doelen is dat herhaaldelijk de vinger op dezelfde zere plekken leggen (blijkbaar) niet tot verbetering leidt. Als deze auteurs zich werkelijk bekommeren om een verbetering van de digitale overheid zouden zij zich bij terugkerende patronen moeten richten op oorzaken en oorzaken van oorzaken. Of bijvoorbeeld op randvoorwaarden waarmee die herhaaldelijke (ongetwijfeld goed bedoelde) adviezen nu eens wél haalbaar worden. De verse motie van Tweede Kamerleden om het BIT-takenpakket verder uit te breiden is een goed voorbeeld: in de wetenschap dat de BIT-medewerkers reeds teveel werk hebben is dat volkomen onrealistisch als je niet eerst ofwel het takenpakket op andere punten inperkt, ofwel iets slims weet te verzinnen om hun personeelstekort op te lossen.