Verslag bijeenkomst klankbordgroep meerjarenprogramma “Effecten van toezicht” op 26 januari 2010

Toezicht en effectmeting. Het kán!

Heinrich Winter en Ko de Ridder hebben voor de meerjarenprogramma “Effecten van Toezicht” een studie uitgevoerd naar onderzoeken die op valide wijze de effecten van toezicht meten. Beide heren zijn verbonden aan de Rijksuniversiteit Groningen, vakgroep ‘bestuursrecht en bestuurskunde’ en Heinrich ook aan Pro Facto B.V. Na het bestuderen van een zeventigtal effectonderzoeken uit binnen- en buitenland concluderen de onderzoekers dat effectmeting wel degelijk mogelijk is. De klankbordgroepvergadering van 26 januari stond in het teken van de presentatie van deze studie. 

Opening door Ralph Vossen

Het Kan!
Na een warm welkom van Rob Dortland van de VWA, waar de bijeenkomst plaatsvond. Opende Ralph Vossen, lid van de begeleidingscommissie van de studie, de middag met een korte presentatie waarin hij een overzicht gaf van de opdracht en de stand van zaken op dit moment. Heinrich Winter nam het woord over en begon de presentatie van zijn studie met bemoedigende woorden: Toezicht en effectmeting: Het kán! 
De titel van de presentatie liet niets te wensen over. Wel werden de uitdagingen van het meten van de effecten van toezicht kort aangestipt. Hoe toon je aan dat een effect daadwerkelijk wordt veroorzaakt door het toezicht en hoe onderscheid je het effect van toezicht van het effect van het stellen van een nieuwe norm? Vervolgens werden een aantal in het oog springende onderzoeken besproken die op een creatieve manier een antwoord hebben gegeven op de uitdagingen van effectmeting.

Handreikingen
Heinrich Winter vervolgde zijn presentatie met het een aantal handreiking voor het doen van effectonderzoek. ‘Hou het eenvoudig, vooral als je weinig ervaring hebt met het doen van effectmeting’, was één van zijn adviezen. En het is van belang dat effectmeting aansluit bij de toezichtspraktijk; het is verspilde moeite om het effect te meten van een onuitvoerbare toezichtstrategie. Ook kan het zinvol zijn om een kwalitatief effectonderzoek te koppelen aan kwantitatief onderzoek. Kwalitatief onderzoek kan waardevol zijn doordat het duiding kan geven aan de resultaten van kwantitatieve metingen. Tevens geldt dat een goed doordacht onderzoeksdesign vaker leidt tot waardevolle resultaten. Een controlegroep die bij voorkeur op aselecte wijze is samengesteld is daarbij van groot belang. En als informatie over de onderzoekspopulatie voorafgaande het onderzoek niet beschikbaar is, kan het gebruik van een tijdreeks uitkomst bieden. Daarbij wordt aangenomen dat door toezicht het gedrag niet direct, maar geleidelijk veranderd. Door op opeenvolgden momenten te meten kan zichtbaar worden hoe het effect van het toezicht zicht ontwikkeld. 

Heinrich Winter vertelt waarom Het kán!

Hoe kan het rapport gebruikt worden?
Met gepaste trots leverde professor Ron Visser als voorzitter van de begeleidingscommissie commentaar op het onderzoeksrapport. Verstandig beleid is evidence based beleid en effectmeting is daarom van groot belang. ‘Ga doen wat in dit rapport staat’ was dan ook de boodschap. Ook gaf Ron een toelichting over hoe en waarvoor het rapport gebruikt kan worden: De afstand tussen wetenschap en het primaire proces is vaak nog groot. Door de kennis over effectmeting te verspreiden kan dit gat worden gedicht. De rapportage van deze studie kan hiervoor als medium dienen. 

Tijdens de pauze werd er volop bijgepraat

Hoopvol
Paul Robben, voorzitter van de werkgroep effectmeting en sinds kort hoogleraar aan de Erasmus Universiteit Rotterdam leidde de afsluitende discussie. Paul Robben is hoopvol. Het onderzoeksrapport geeft praktische handreikingen voor het doen van effectmeting en is daarom verplichte kost voor eenieder die zich met effectmeting gaat bezighouden. Jeroen Staal, Secretaris van het Bureau Inspectieraad benadrukte het belang om beleidsdepartementen van de ministeries te betrekken bij de implementatie van effectmeting. 
Aansluitend op de vergadering werd op de 17de etage van het gebouw van de VWA een borrel gedronken. Met een prachtig uitzicht over Den Haag werd nagepraat over de woorden waarmee Paul Robben de vergadering afsloot: ‘Toezicht en Effectmeting. Het Kán!’

Een zeer tevreden Paul Robben

Klik hier om het rapport en hier om de bijlage 2 van het rapport Toezicht en effectmeting. Het kán! te downloaden. De geraadpleegde studies verschijnen binnenkort in de bibliotheek  van onze website.