Bij de invoering van dashboards, bijvoorbeeld ingezet in de strijd tegen het coronavirus, staat vaak de techniek centraal. Uit onderzoek van de Datawerkplaats blijkt dat organisatorische en menselijke aspecten minstens zo belangrijk zijn. Wouter Nieuwenhuizen legt uit hoe je tot dashboards met waarde voor de hele organisatie kunt komen aan de hand van een door de Datawerkplaats ontwikkeld instrument.
Een willekeurig voorbeeld van een dashboard dat overheden kan helpen bij het opstellen van beleid, in dit geval over het gebruik van de voorzieningen in het sociaal domein in de provincie Fryslân. Beeld: Fries Sociaal Planbureau
Wat is de Datawerkplaats?
Binnen de Datawerkplaats werkt de Universiteit Utrecht samen met diverse gemeenten en provincies. Doel van de Datawerkplaats is het ontwikkelen van toegepaste kennis over datapraktijken voor de publieke sector.
Op 19 mei werd bekend dat het kabinet dashboards wil inzetten in de strijd tegen corona om ‘de verspreiding van het virus sneller tegen te gaan’. Dit is geen toeval: dashboards groeien binnen de publieke sector in populariteit en stralen controle over de situatie uit. Ook veel gemeenten in Nederland beschikken al over dashboards of zijn bezig met de invoering hiervan. Een dashboard is een real-time visualisatie van de sleutelinformatie voor een organisatie. Dashboards zouden daarom maandelijkse tussenrapportages en Excel-sheets kunnen vervangen en maken het mogelijk om op elk moment processen in de organisatie bij te sturen.
Het verzamelen en gebruiken van informatie helpt ons om betere keuzes te maken. Toch? Vaak wordt de rol van informatie in organisaties gezien als onderdeel van een rationeel proces om tot een goede keuze te komen. Informatie heeft dan als doel om onzekerheden in besluitvormingsprocessen te reduceren. Toch blijkt uit eerder onderzoek dat organisaties niet altijd rationeel functioneren: organisaties verzamelen vaak informatie zonder deze te gebruiken en nemen daarna alsnog beslissingen die niet op informatie gebaseerd zijn. Waarom hebben we dan toch altijd de behoefte aan meer informatie?
Competentie
Organisaties zoeken naar manieren om besluiten te rationaliseren op basis van informatie om zo steun te krijgen voor het besluit. Informatie is niet alleen een signaal dat je kan gebruiken in rationele besluitvormingsprocessen, maar ook een symbool dat mensen gebruiken om anderen te laten zien dat hun acties rationeel zijn en daarom steun verdienen. Het verzamelen van informatie laat aan je omgeving zien dat je competent bent en weet waar je het over hebt. Alleen al het ‘hebben van’ een dashboard straalt daarom competentie uit, ook richting politiek en de samenleving, zelfs als het niet per se iets verbetert aan de besluitvorming.
Het introduceren van dashboards betekent niet automatisch dat ze ook waarde opleveren voor de organisatie. Uiteindelijk bepaalt het gebruik van dashboards door mensen in de organisatie hoe de informatie daaruit ten goede komt aan besluitvorming. Veel dashboards worden niet of nauwelijks gebruikt: ze stralen dan misschien wel uit dat de organisatie competent is, maar de toegevoegde waarde voor de organisatie is beperkt. Daarom moeten we bij de introductie van een dashboard in een organisatie ons niet laten leiden door technologische mogelijkheden, maar door de vraag welke waarde het dashboard heeft voor mensen in de organisatie. Om die te kunnen bepalen moeten we iets dieper ingaan op de vraag hoe medewerkers van een organisatie betekenis toekennen aan informatie.
Dashboards gaan uit van een werkelijkheid die onafhankelijk is van hoe ze door mensen geïnterpreteerd wordt. Dashboards gaan ervan uit dat de wereld gevisualiseerd kan worden op één manier, maken onderliggende data onzichtbaar en ‘feiten’ real-time zichtbaar. Maar data bestaan niet voordat ze worden verzameld. Het ligt niet op straat, het is niet zichtbaar, het wordt gegenereerd op basis van (bewust) gemaakte keuzes.
Zelf gecreëerde wereld
Veel indicatoren die gebruikt worden in dashboards zijn opgebouwd uit meerdere datapunten. Data over bijvoorbeeld armoede kan op verschillende manieren gemeten en geïnterpreteerd worden. Welzijn, gemiddeld besteedbaar inkomen, werkloosheid en gezondheid spelen allemaal een rol. Tenminste, ze kunnen allemaal een rol spelen. Als je armoede wilt weergeven in een dashboard, loop je dus tegen twee problemen aan. Ten eerste is er vaak geen real-time informatie beschikbaar over sociale indicatoren die aan armoede ten grondslag liggen. Ten tweede is het niet evident waar armoede uit bestaat. Organisatorische, politieke en culturele opvattingen binnen de organisatie beïnvloeden hoe armoede in een dashboard weergegeven wordt. Daarom geven dashboards de wereld niet weer zoals we die kennen: ze creëren zelf een wereld.
Dashboards zijn geen spiegels van de sociale werkelijkheid, maar een vertaling waaraan keuzes ten grondslag liggen
Dashboards zijn geen spiegels van de sociale werkelijkheid, maar een vertaling waaraan keuzes ten grondslag liggen. Die keuzes vertellen ons wat belangrijk genoeg gevonden wordt om te meten. Daarmee hebben dashboards een potentieel groot effect op beleid: wat niet in het dashboard opgenomen is, kan uit het zicht raken. Tegelijkertijd blijkt uit eerder onderzoek dat indicatoren uit een dashboard een stimulans zijn voor medewerkers om bewust te gaan sturen op het manipuleren van de indicatoren, in plaats van op maatschappelijk effect: het zogeheten ‘gaming the system’.
Stel je een team voor dat dashboards gaat gebruiken om de doorlooptijd van aanvragen levensonderhoud (bijstand) te visualiseren. Als indicator wordt het aantal afgehandelde casussen per week gebruikt. Dat roept direct vragen op. Is een korte doorlooptijd altijd beter? Betekent het sturen op een kortere doorlooptijd geen vermindering van kwaliteit van behandeling? Het effect zou kunnen zijn dat gemakkelijke casussen snel behandeld worden, waardoor de gemiddelde doorlooptijd daalt. Dit zou ten koste kunnen gaan van de behandeling van complexe casussen, waarvan de behandeling dan misschien nog langer gaat duren.
Verschillende betekenissen
Terug naar het voorbeeld over de doorlooptijd. Verschillende betrokkenen van dit proces zullen op een andere manier naar het dashboard kijken: burgers, managers, uitvoerend en administratief medewerkers zijn ieder op een andere manier betrokken bij dit proces. Voor hen betekent het dashboard dan ook allemaal iets anders. Als je het dashboard zo wilt organiseren dat het waarde voor de hele organisatie oplevert, moet je oog hebben voor deze verschillende betekenissen. Waar een manager blij kan zijn met nieuwe informatie om op te sturen, kunnen medewerkers zich gewantrouwd voelen.
Bovenstaand voorbeeld maakt drie dingen duidelijk:
- Het organiseren van dashboards is niet neutraal of objectief: keuzes over het meten van verschijnselen met indicatoren zijn altijd gebaseerd op een subjectief perspectief en waarden.
- De organisatie van dashboards draait om het begrijpen van de betekenis die mensen aan de dashboards geven en niet alleen om de technologische organisatie van de achterliggende data.
- Dashboards zijn sturend en weerspiegelen niet per definitie de werkelijkheid. Manieren van meten roepen strategische reacties op die gericht zijn op het beïnvloeden van de indicatoren.
In het onderzoek dat de Datawerkplaats samen met een gemeente heeft uitgevoerd, werd zichtbaar hoe de betekenis van dashboards door allerlei partijen binnen de organisatie verschillend werd gedefinieerd. Wanneer verschillende belangen en percepties niet worden besproken en meegenomen in het invoeren van dashboards, kunnen dashboards ontstaan die alleen zijn gevormd vanuit een bepaalde rationaliteit en beperkte waarde opleveren voor de hele organisatie.
Conflicterende belangen
In ons onderzoek zagen wij dat de ambitie voor het creëren van zinvolle dashboards voor de gehele organisatie hoog was en het geloof in technologie soms groter dan het geloof in het gebruik van die technologie. Laat we enkele voorbeelden geven die illustreren hoe verschillende perspectieven op het dashboard kunnen conflicteren:
- Sommige data-analisten vonden medewerkers die dashboards niet wilden gebruiken ‘lui’. Ze stelden echter niet de vraag wáárom de medewerkers het dashboard niet wilden gebruiken en probeerden niet hun perspectief te begrijpen.
- Een manager wilde graag elke maand een overzicht ontvangen van het dashboard. Vanuit de rationele logica van het dashboard druist dit in tegen de idee van een ‘real-time’ dashboard, maar vanuit het werk van die manager is het begrijpelijk.
- Vanuit financieel oogpunt moest het dashboard vooral gebaseerd zijn op financiële indicatoren om te slagen. Domeinspecialisten vonden het op hun beurt belangrijk dat het dashboard zo volledig mogelijk was en om veel van hun huidige rapportages te kunnen vervangen.
- Data-analisten waren gebaat bij een IT-infrastructuur die gedegen en toekomstbestendig was, botsend met de snelheid van het realiseren van de dashboards waar anderen weer meer belang aan hechtten.
Deze voorbeelden onderstrepen niet alleen de verschillende gebruikspatronen van het dashboard, maar tonen ook welke verschillende perspectieven op een dashboard bestaan binnen een organisatie. Daarmee laat dit onderzoek helder zien dat we de introductie van een dashboard zeker niet alleen kunnen begrijpen als een technisch proces: het gaat om een organisatorisch proces van betekenisgeving aan informatie.
Instrument
Hoe kan het proces van betekenisgeving aan het dashboard worden gefaciliteerd? De Datawerkplaats heeft een instrument ontwikkeld om tot dashboards met waarde voor de hele organisatie te komen. Dit instrument bestaat uit tien stellingen om met een diverse groep van ongeveer acht mensen uit de organisatie te bespreken. Soms heb je namelijk niet door dat jouw standpunten niet universeel zijn. Zo kunnen dashboards voor een administratief medewerker een andere lading hebben dan voor een teamleider. Door de stellingen uit deze tool met elkaar te bespreken wordt inzichtelijk hoe verschillende mensen binnen de organisatie anders kunnen denken over de organisatie van dashboards en kan gezamenlijk worden gesproken over de waarde van het dashboard voor de organisatie in brede zin.
De stellingen hebben betrekking op de verschillende aspecten van een dashboard. ‘Zorgen dashboards voor betere besluitvorming?’, ‘Zouden besluiten gebaseerd moeten zijn op data?’, ‘Kan het ontsluiten van data waar geen behoefte voor is alsnog zinvol zijn?’, ‘Vertrouwen managers medewerkers in het uitvoeren van hun taken?’ Voor iedereen kan het antwoord op deze vragen anders zijn. Door het gebruik van dit instrument wordt die antwoorden inzichtelijk gemaakt.
Een organisatie moet het gesprek over dashboards breder voeren dan op technologisch en rationeel vlak. Heb oog voor de organisatorische, menselijke en politieke elementen van dashboards en reflecteer hier actief op. Daarmee zorg je voor een brede inbedding in de organisatie, ben je je bewust van eventuele negatieve effecten en zie je de verscheidenheid aan betekenissen die dashboards kunnen hebben. Onderken dat dashboards per definitie sturend zijn en niet de werkelijkheid weerspiegelen, maar blijf ook door de voorruit kijken, met je handen aan het stuur.
Wouter Nieuwenhuizen is junior onderzoeker bij de Datawerkplaats
