Écht toezicht is niet gratis
Mensen lezen niet, luisteren niet, zien niet en interpreteren signalen vaak zo simpel mogelijk. Daardoor kun je heel ver komen met fake-verhalen. Oobah Butler wist van zijn tuinhuisje London’s top-rated restaurant te maken, zonder ooit een klant te hebben gehad. Noem het een restaurant, zorg voor positieve reviews, maak een website, leen de reputatie van sterren en misbruik de menselijke slordigheid van geest.
Ik zie gelijkenissen tussen Oohbah’s Shed at Dulwich en het WODC. Noem het wetenschap en het is wetenschap. Een begeleidingscommissie, voorgezeten door een hoogleraar. Gemiddeld vier á vijf bijeenkomsten met als taak: toezicht houden, toetsen aan het onderzoeksplan, het plan eventueel aanpassen, dienen als informatiebron enzovoort. Potentieel houd je dan toezicht op je eigen gewijzigde onderzoeksplan, lekker handig.
Maar toetsen of een plan gevolgd wordt is heel iets anders dan toetsen of het onderzoek goed is. Zo’n onderzoekscommissie doet dit voor de gemeenschap, tegen alleen een reiskostenen een standaard vergadervergoeding. Dat levert geen diepgaand toezicht op; dát vergt een fikse tijdsinspanning van de uiteraard drukbezette leden. Men besteedt onderzoek uit en de controle daarop ook. Daar komen ongelukken van!
Hoe kan goed toezicht eruitzien? Door er echt werk van te maken. Uit antwoorden op enquêtevragen over Europese subsidies aan boeren maken onderzoekers van Ecorys op dat een bepaald type subsidie meer is gericht op het in stand houden van een voorzieningenniveau dan een ander type. Wiskundig gezien betekent dit dat er een afhankelijkheid bestaat tussen het voorzieningenniveau en het type subsidie.
Zo’n afhankelijkheid kun je testen op significantie. Zit de uitkomst van zo’n test onder de 0,05, dan is de afhankelijkheid er zeer waarschijnlijk wel en daarboven niet. Narekenen levert 0,64 op. Dus de gesuggereerde afhankelijkheid wordt door de data helemaal niet ondersteund. Het is maar een voorbeeldje, maar dit soort reviews kost serieus tijd en geld. Eerst moet je zien dat er geen analyse is gedaan, dan welke er wel nodig is, dan begrijpen wat er precies verondersteld wordt, en daarna heb ik dit door een collega laten reviewen: een dag werk voor één fluttabelletje. Vergaderen met een begeleidingscommissie, dat gaat hem niet worden.
Zolang als feiten gepresenteerde zaken niet serieus bekritiseerd zijn, is het verstandiger om in het beste geval van opinies uit te gaan. In het slechtste geval van betekenisloosheid. Maar omdat de mens een nogal gemakzuchtige denker is, sluipt fake er zomaar in.
Chris Verhoef is hoogleraar informatica en wetenschappelijk adviseur voor overheid en bedrijfsleven. Hij is bereikbaar via x@cs.vu.nl
