Nieuw wondermiddel: het antifaalteam
In de VS gaat een team van 25 mensen voortaan voorkomen dat grote federale ICT-projecten falen. Dit naar aanleiding van de problemen met de vergelijkingssite voor ziektekostenverzekeringen van Obama. Er waren tal van operationele problemen na de lancering van de site. Een eerste post mortem zou meer dan 600 hard- en softwarefouten hebben opgeleverd na de live-gang van het systeem.
En dat was de langste lijst die iemand ooit had gezien, aldus de berichtgeving in de New York Times. Een deel van de groep van 25 was ingeschakeld om de problemen de baas te worden. Never change a ‘winning’ team.
Saillant detail is dat de NY Times uitlicht dat het dagelijks management van Obama-care’s site aan iemand zonder formele opleiding in software engineering werd overgelaten. Met alleen een antifaalteam kun je natuurlijk niet voorkomen dat amateurs zich manifesteren. En daar ligt ook een van de majeure oorzaken van het falen van IT-projecten: ignorami praten elkaar naar de mond over hoe florissant het project erbij ligt, tot de werkelijkheid van het falen ze inhaalt. En dan is het te laat.
En dan de 600 defecten die experts schijnbaar hebben blootgelegd; zijn dat er eigenlijk wel veel? We doen een gooi. Gemiddeld zitten er per functiepunt vijf fouten in software. Als je heel goed bent haal je 99 procent van de fouten eruit voor oplevering. Stel nu eens dat die 600 gevonden fouten die ene procent is. Dan waren er kennelijk 60.000 fouten in totaal, en met vijf fouten per functiepunt was men dan kennelijk een systeem van 12.000 functiepunten aan het maken.
En de inspanning zit inderdaad in de orde van tienduizend(en) functiepunten. Dat rekenen we uit aan de hand van de kosten van de software. Analyses van journalisten laten schattingen tussen 88 miljoen en 515 miljoen zien. Dit soort forse systemen vergt ongeveer 30 uur werk per functiepunt. Stel nu even dat het om 100 dollar per uur gaat, dan kom je op 3000 dollar per functiepunt uit. Zelfs bij de lage schatting van 88 miljoen komen we dan uit op bijna 30.000 functiepunten, dus 150.000 fouten. Daar dan 600 stuks van zou betekenen dat 99,6 procent van alle fouten eruit is. Ook dan is 600 fouten ultraweinig.
Een ding is duidelijk: het cijfermateriaal rammelt aan alle kanten, ook van het post mortem onderzoek. Omdat het systeem kennelijk niet (goed) functioneerde, is er vast veel meer aan de hand dan de 600 defecten. Een plausibele verklaring is dat de software niet af was. Door collectief niet te snappen wanneer software technisch voldoende goed is, blijven we dit soort problemen houden. Een ICT-commissaris, een antifaalteam, of een parlementaire onderzoekscommissie ten spijt. Wondermiddelen bestaan niet. Koel rekenen aan de veelheid van data die vrijkomt bij dit soort projecten levert vroegtijdig zicht op status en voortgang, zodat tijdig en krachtig kan worden (bij)gestuurd.
