Hoe maak je resultaten tastbaar?

Roelant van Zevenbergen, mede-initiatiefnemer Slimmernetwerk: “Op een gegeven moment komt dan wel de vraag: wat levert het op? Hoeveel rendement haal ik uit mijn investering?”

Slimmernetwerk (ministerie van BZK) en de programmadirectie Biobased Economy (ministerie van Economische Zaken) zetten netwerken in als instrument, ieder op een heel eigen manier. Beide hebben hun werkwijze geëvalueerd. Twee keer een zoektocht naar een manier om resultaten tastbaar te maken.
Slimmernetwerk is een innovatorsnetwerk van ruim 4.000 publieke professionals. Het project is onderdeel van het programma Beter Werken in het Openbaar Bestuur. Het ‘consortium’ van Kennisland, de Kafkabrigade en TNO voert het uit. Centraal staan de zogenaamde ‘Doetanks’, waarin publieke professionals uit verschillende sectoren gestructureerd en ondersteund door een coach samenwerken aan innovatieve oplossingen voor vraagstukken uit hun eigen werkpraktijk.

Rendement

Slimmernetwerk is de afgelopen drie jaar geprofessionaliseerd, vertelt mede-initiatiefnemer Roelant van Zevenbergen: “We hebben drie jaar de gelegenheid gekregen om aan de slag te gaan met slimmer werken, sociale innovatie en ruimte voor professionals. We hadden het tij mee; de overheid moet kleiner en goedkoper. Maar op een gegeven moment komt dan wel de vraag: wat levert het op? Hoeveel rendement haal ik uit mijn investering?”
TNO voerde de evaluatie over 2013 uit. Daarvoor zijn interviews gehouden met initiatiefnemers van Doetanks en coaches. Deelnemers hebben vragenlijsten ingevuld. Tijdens Slimmernetwerkcafés zijn evaluatieformulieren verspreid. Managers en bestuurlijk verantwoordelijken zijn gevraagd hoe het netwerk hen beter kan ondersteunen. Onderzoeker Peter Oeij: “Slimmernetwerk heeft als doelstelling ‘bottom-up’ vernieuwing binnen de overheid te stimuleren om daarmee publieke waarde te creëren. Wij hebben de vraag beantwoord: werkt dat?”

Tastbaar maken

Het is lastig de opbrengsten kwantitatief meetbaar te maken, vertelt Oeij: “Je mag niet verwachten dat we hogere productiviteit van de overheid – ‘meer met minder’ – hard kunnen maken met informatie uit Slimmernetwerk.” De onderzoekers hebben het dus anders aangepakt. “We hebben een aantal vooronderstellingen geformuleerd. Zoals: ‘Als medewerkers meer ruimte krijgen voor bottom-up inbreng, dan is dat goed voor de productiviteit en leidt dat tot publieke waarde.’ Die vooronderstellingen evalueer je op een kwalitatieve manier. Je maakt verbanden aannemelijk door argumentatie.” In 2014 wordt meer storytelling ingezet. Verhalen over de opbrengsten van Doetanks komen onder meer in het blad Public Mission. Oeij: “Dat is een andere manier om resultaat tastbaar te maken. Het mes snijdt dan aan twee kanten, je deelt je kennis en doet ook aan marketing van het gedachtegoed.”

Lessen

De evaluatie van 2013 gaat ook in op de lessons learned van het consortium. Van Zevenbergen: “Allereerst leiden innovaties die wij op kleine schaal in Doetanks realiseren er niet toe dat er overheidsbreed iets verandert. Oplossingen blijken lastig op te schalen.” Daarmee samen hangt een andere les: “Het knelpunt of vraagstuk moet een eigenaar hebben. De organisatie van de professional die het knelpunt inbrengt, moet mee kunnen gaan in het vernieuwingsproces. Vaak is daarvoor een besluit op directieniveau nodig.”

Een relevante constatering is dat vraagstukken die professionals inbrengen nauwelijks aansluiten bij vraagstukken die de top belangrijk vindt. Van Zevenbergen concludeert: “Slimmernetwerk op deze manier is niet hét instrument gebleken om antwoorden te formuleren op belangrijke maatschappelijke vraagstukken. In die zin zijn we niet succesvol geweest.” Die les heeft óók waarde: “Je komt nooit verder als je niet experimenteert.”

Innovatieve overheid

Het evaluatierapport laat voor Van Zevenbergen ook zien waar de waarde van Slimmernetwerk wél zit. “Professionals worden besmet met het innovatievirus en we dragen bij aan cultuurverandering binnen de overheid.” Oeij vult aan: “Slimmernetwerk geeft de innoverende kant van de overheid een gezicht en laat zien waar de overheid heen moet. Innoveren mét eigen mensen. Daar moet de overheid ook in willen investeren.”
In 2014 laat BZK Slimmernetwerk los. “We gaan door”, verzekert Van Zevenbergen. “We experimenteren inmiddels met ‘Social R&D labs’. Mét verantwoordelijke probleemhouder voor een maatschappelijk vraagstuk. Alle betrokkenen werken erin samen aan een innovatieve oplossing door prototyping. Een werkwijze waarbij ideeën voordat ze helemaal af zijn steeds direct in de praktijk worden getest.”

Het is lastig de opbrengsten kwantitatief meetbaar te maken

Biobased Economy staat voor de overgang van de Nederlandse economie die draait op fossiele grondstoffen, naar een economie die vooral draait op biomassa als brandstof: van ‘fossil based’ naar ‘biobased’. De interdepartementale programmadirectie Biobased Economy vult haar rol in door netwerksturing. Uitgangspunt daarbij is: bedrijven staan centraal.

In de tien jaar dat het programma loopt, is een goed functionerend netwerk van bedrijven, overheden, kennisinstellingen en NGO’s opgebouwd. De beginfase was puur pionierswerk. “Het onderwerp ‘biobased economy’ bestond toen eigenlijk nog niet”, vertelt Paul Boeding, werkzaam bij de programmadirectie. “Er werd al wel gebruikgemaakt van biomassa als grondstof, maar bedrijven, onderzoekers en overheden waren zich er niet van bewust dat ze deel uitmaakten van zoiets als een biobased economy en de nieuwe kansen op dit gebied.” Het eerste doel was dus agendering van het onderwerp. Binnen de rijksoverheid, waar het thema maar liefst zes departementen raakt, maar bovenal daarbuiten: bij bedrijven, kennisinstituten, lokale overheden en NGO’s. Het programmateam heeft vele netwerkbijeenkomsten georganiseerd en talloze ondernemers gesproken. Inmiddels is een gezamenlijke richting ontwikkeld, is met andere departementen afgestemd over integraal beleid en heeft de biobased economy in Nederland en internationaal een vlucht genomen. Ook politiek doet het thema het goed. De biobased economy is als sectoroverstijgend thema onderdeel van de Nederlandse ‘topsectorenaanpak’, en heeft een plek gekregen binnen de ‘groene groei’-paragraaf in het regeerakkoord.

Laten zien

De directie Biobased Economy wilde haar eigen rol binnen het netwerk graag evalueren. Boeding over de aanleiding: “De directie is vooral buiten aan de slag geweest. Met de evaluatie laten we zien wat we gedaan hebben. Daarnaast willen we ervan leren en ideeën krijgen hoe we onze rol in de volgende fase het best kunnen insteken.”
“We sturen regelmatig voortgangsrapportages met outcome-achtige metingen aan de Tweede Kamer.” Maar dat zegt weinig over de rol in het netwerk, vindt hij. “We vonden het belangrijk onze netwerkpartners te vragen wat ze van ons functioneren vonden. Alleen onze klanten kunnen dat bepalen.” Daarom hebben we de Nederlandse School voor Openbaar Bestuur (NSOB) als onafhankelijke partij gevraagd een evaluatie te doen die past bij ons programma en onze rol.”

“Er zijn nog geen kant en-klare methoden voor evaluatie van de effectiviteit van de overheid in een netwerk”, vertelt onderzoeksbegeleider Martijn van der Steen (NSOB). “Bij traditionele evaluatie zet je de effecten af tegen de ingezette middelen en kijk je of die effecten voldoen aan de verwachtingen. Dat impliceert dat vooraf duidelijk is wat er gaat gebeuren. Dat was hier niet aan de orde.” Het onderzoeksteam heeft daarom vooronderstellingen opgesteld. “We weten min of meer wat er belangrijk is bij de vorming van een netwerk. In grote lijnen: je bent succesvol als je dynamiek brengt in het netwerk, zonder de verantwoordelijkheid over te nemen. En je moet zorgen dat de beweging gaat in de richting die je beoogt.”

We weten min of meer wat er belangrijk is bij de vorming van een netwerk

Het onderzoek bestond uit deskresearch en interviews met ondernemers en mensen van het programmateam. Van der Steen licht toe: “We hebben gereconstrueerd hoe het proces verliep en welke stappen zijn gezet. Ook is gekeken naar versnellingen en vertragingen in de ontwikkeling van het netwerk. Hoe verhielden die zich tot de interventies van de programmadirectie? Is bijvoorbeeld achteraf te herleiden hoe is bijgedragen aan de sneeuwbaleffecten die je beoogt in netwerken? Zo leg je een relatie tussen inspanning en resultaat, al kun je nooit helemaal hard maken dat de inspanningen van de programmadirectie daar debet aan zijn.”

Ambachtelijk voorbeeld

Het NSOB doet meer onderzoek naar netwerken. Van der Steen vindt het “een knap ambachtelijk voorbeeld van hoe je netwerksturing kunt aanpakken en de buitenwereld echt kunt raken”. Hij geeft een voorbeeld: “Een ondernemer vertelde dat hij gebeld is en persoonlijk is uitgenodigd voor een netwerkbijeenkomst. Dat was hij niet gewend van de overheid.” Minstens even belangrijk voor het succes: ze waren ook in staat intern de spelregels te volgen en konden daardoor binnen en buiten effectief verbinden. Van der Steen: “Het beeld dat Roel Bol, tot 1 januari programmadirecteur, gaf, was dat van een bergbeklimmer. Je beklimt de bergwand en gebruikt ankers om te zekeren. Die ankers staan voor het intern borgen van het resultaat.” Een andere conclusie: “Het succes hangt zeker samen met de betrokkenheid van Roel Bol, voormalig directeur Handel en Industrie bij het ministerie van Landbouw: iemand van statuur, met een groot netwerk, die ook de taal van het bedrijfsleven spreekt en kan enthousiasmeren en binden.”

Attributie van succes

Na de eerste fase van pionieren is het netwerk steeds meer zelforganiserend geworden. Een succes in de theorie over netwerksturing, maar lastig wanneer je de bijdrage van de overheid tastbaar wilt maken. “Onze rol nu is heel anders dan in de begintijd. We hebben bijvoorbeeld regio’s actief met elkaar in contact gebracht. Ze weten elkaar inmiddels perfect te vinden. Het is vaak ook niet meer nodig tegen bedrijven te zeggen: ‘Goh, ga daar eens kijken.’ De Europese Unie heeft de biobased economy ook omarmd. “Die Europese motor is ook weer verbonden met het Nederlandse netwerk.”

Boeding kijkt terug: “Achteraf gezien klinkt het allemaal logisch. Maar tijdens het proces is er een grote mate van onzekerheid. Uit de evaluatie blijkt dat we erin geslaagd zijn de juiste partners aan tafel te krijgen en steeds verbindingen hebben gelegd. We hebben een gezamenlijke richting ontwikkeld en ondernemers verder geholpen door innovatie te bevorderen of belemmeringen weg te nemen. Voor de transitie naar een biobased economy moeten vooral heel veel partijen elkaar vinden en samenwerken. En dat blijft zo.”