Bijlage 1 en 2 - Kader evalauties - Evaluatiekaarten

25it00322

Definitiekaart Beleidsevaluaties Wat zijn mogelijke doelen van een beleidsevaluatie? Analyseren en verklaren Beoordelen Verbeteren en innoveren Dialoog aangaan met belanghebbenden Verantwoorden Agenderen Wat verstaan we onder een beleidsevaluatie?

Een beleidsevaluatie is een systematische analyse en beoordeling van hoe beleid werkt. Een evaluatie beoordeelt beleid op basis van criteria, zoals doelmatigheid, -treffendheid en/of rechtmatigheid. Evalueren vindt voorafgaand aan, tijdens of na uitvoering van beleid plaats. Doelen van evaluaties zijn divers, zoals analyseren, verbeteren of verantwoorden. Evalueren vergt gerichte verzameling van informatie, zoals over effecten, kosten en belanghebbenden. Evalueren kan met diverse kwalitatieve of kwantitatieve methodes (of een combinatie). Beleidsevaluaties kunnen in omvang verschillen: van een beperkt aantal uur tot een grote hoeveelheid uren.

Op welke momenten kunnen we beleid evalueren? Je kunt beleid evalueren vóórdat het wordt ingevoerd, in de ontwikkelfase. Je kunt beleid tussentijds evalueren, als beleid in de uitvoeringsfase zit. Je kunt gevoerd beleid achteraf evalueren.

Wat kan het doel ‘analyseren en verklaren’ inhouden? De effecten, neveneffecten, kosten en ervaringen van beleid in kaart brengen. Inzicht geven in de mechanismen en/of context waardoor beleid wel of niet werkt.

Definitie

Wat kan het doel ‘beoordelen’ inhouden?

Doelen

De doeltreffendheid, doelmatigheid of uitvoering van beleid beoordelen. De waardering van beleid door belanghebbenden beoordelen. Wat kan het doel ‘verbeteren en innoveren’ inhouden? Voorstellen doen voor het aanpassen van beleid of voor het ontwerpen van nieuw beleid.

Tijdstippen

Wat kan het doel ‘dialoog aangaan met belanghebbenden’ inhouden? Leren van de perspectieven, ervaringen en context van belanghebbenden. Met belanghebbenden en experts zoeken naar consensus over feiten en verklaringen. Wat kan het doel ‘verantwoorden’ inhouden?

Wat zijn beleidsevaluaties en wat zijn onderscheidende kenmerken en voorbeelden?

Verantwoording afleggen over beleid, werkwijze, procedures en middelen (geld, inzet mensen en tijd). Wat kan het doel ‘agenderen’ inhouden? Problemen, kansen of successen in de uitvoering van beleid agenderen. Maatschappelijke problemen als aandachtspunt voor (nieuw te ontwikkelen) beleid agenderen.

Wat zijn voorbeelden van evaluaties voorafgaand aan het invoeren van beleid? Modelsimulaties over te verwachten (gedrags)effecten, zoals door de invoering een CO2-heffing. Systematische ontleding van beleid, zoals tot welke activiteiten, resultaten en doelen een Regiodeal leidt. Enkele denksessies met deskundigen zoals over scenario’s voor de bestuurlijke toekomst van een gemeente. Het vooraf, kwantitatief inschatten van beleidseffecten, zoals van beleid voor leefbaarheid in een wijk. Een maatschappelijke kosten-batenanalyse, zoals van verduurzamingsopties voor een ministerie. Het doorrekenen van beleidsopties of scenario’s, zoals scenario’s voor mobiliteit in 2030. Een experiment waarbij een groep wel en de andere niet te maken krijgt met een maatregel, zoals instrumenten om mensen aan betaald werk te helpen.

Wat zijn voorbeelden van beoordelingscriteria om te evalueren? Het criterium ‘doeltreffendheid’ oordeelt of beleid de doelen effectief behaalt. Het criterium ‘doelmatigheid’ oordeelt of de kosten van beleid in verhouding staan tot de baten. Het criterium ‘proceskwaliteit’ oordeelt over de uitvoering beleid, zoals qua rechtmatigheid of menselijke maat. Het criterium ‘waardering’ onderzoekt hoe belanghebbenden beleid beoordelen en/of ervaren.

Beoordelingscriteria

Wat zijn voorbeelden van methodes en gereedschappen voor evaluaties? Kwalitatieve voorbeelden zijn interviews, enquêtes, focusgroepen, denksessies, literatuurstudie, scenario’s, participatie-sessies, simulaties, multicriteria-analyse, doelengereedschap en expliciteren van beleidstheorie. Kwantitatieve voorbeelden zijn kwantitatieve vergelijking, data-analyse, maatschappelijke kosten-batenanalyse, meta-analyse, econometrische modellering, doorrekenen van scenario’s en (quasi) experimenten.

Voorbeelden Methodes en gereedschappen

Over deze kaart Deze kaart geeft een overzicht van wat we bij De Argumentenfabriek verstaan onder beleidsevaluaties en wat kenmerken en voorbeelden van beleidsevaluaties zijn. Beleid kan op verschillende momenten worden geëvalueerd en evaluaties kunnen verschillende inhoudelijke beoordelingscriteria of doelen hebben. Hierdoor zijn allerlei variaties mogelijk. In de praktijk heeft een evaluatie meerdere doelen, die vaak ook

Wat zijn voorbeelden van evaluaties tijdens of na uitvoering van beleid? Beleidsdoorlichting door informatie uit evaluaties te combineren, zoals over het rijksbeleid voor de arbeidsmarkt. Het toetsen van een causale relatie tussen beleid en effecten, zoals de effecten van het verkorten van de WW. Het berekenen van de (maatschappelijke) kosten en baten van beleid, zoals van beleid voor geestelijke gezondheidszorg. Een lerende evaluatie waarin onderzoekers en belanghebbenden samen beleid en ervaringen onderzoeken, zoals van provinciaal natuurbeleid.

overlappen. De vragen die een ambtenaar zich kan stellen bij het nadenken over beleidsevaluaties, staan op de Vragenkaart Beleidsevaluaties. Deze kaart is gemaakt op basis van literatuur en onze ervaring met beleidsevaluaties. Meer weten over hoe we bij De Argumentenfabriek kunnen helpen bij het evalueren van beleid? Neem contact met ons op via +31 20 412 4001 of beleid@argumentenfabriek.nl.

De ArgumentenFabriek

De Informatiekaart

2021

Vragenkaart Beleidsevaluaties Waarom evalueren we beleid en op welk moment? Welke doelen hebben wij (en anderen) met het evalueren van beleid? In welke fase van beleid evalueren we, voorafgaand aan, tijdens of na uitvoering van beleid? Wat is op hoofdlijnen het beleid dat we gaan evalueren en hoe zou het moeten werken? Hoe is het beleid ontstaan en wat is de voorgeschiedenis van het beleid? Wat zijn de doelen en subdoelen van het beleid en hoe hangen deze samen? Welke indicatoren meten of (sub)doelen dichterbij komen en is er een nulmeting beschikbaar? Hoe zou het beleid in theorie moeten werken, hoe leiden hulpbronnen en acties tot resultaten en doelen?

Wat zijn de conclusies van de evaluatie?

Aan welke voorwaarden moet de evaluatie voldoen? Zijn er (wettelijke) regels die we moeten volgen bij het evalueren? Welke kaders gelden zoals voor de planning, geld en inzet van mensen? Welke procedures gelden, zoals voor inkoop van onderzoek en hoor- en wederhoor van betrokkenen? Wat eisen gebruikers van de eindproducten van de evaluatie, zoals qua kwaliteit, vorm en leesbaarheid?

❶

Voorbereiden

Conclusies formuleren

❸

Waarop richten we ons in de evaluatie en welke criteria hanteren we bij het evalueren? Op welk (deel van het) beleid richt de evaluatie zich precies (en waarop niet)? Wat zijn - op basis van de doelen van de evaluatie - de onderzoeksvragen die we willen beantwoorden? Welke criteria hanteren we, zoals doeltreffendheid, doelmatigheid of ervaringen van mensen?

Welke vragen beantwoorden wij als ambtenaren stap voor stap bij het evalueren van beleid?

Wie gaan evalueren en wie zijn verder betrokken? Wie is opdrachtgever en opdrachtnemer van de evaluatie en wie zijn verder betrokken en in welke rol? Evalueren we zelf, samen met belanghebbenden en/of laten we dit (deels) een externe partij doen?

Welke gegevens verzamelen we en met welke methodes en gereedschappen? Welke kwalitatieve en kwantitatieve gegevens zijn beschikbaar en welke gegevens gaan we verzamelen? Is een (quasi)experiment mogelijk? Zijn de gegevens valide, betrouwbaar, volledig en actueel? Welke gegevens zoals interviewverslagen, leggen we ter goedkeuring of toets voor aan betrokkenen? Bestaat er consensus over gegevens onder experts, belanghebbenden en/of de ambtelijke organisatie? Hoe analyseren we de gegevens en wat zijn hiervan de (concept-)resultaten? Welke methodes gebruiken we om de gegevens te analyseren en welke aannames doen we? Wat is de invloed van beleid op het bereiken van de doelen en wat is de invloed van externe factoren? Tot welke neveneffecten leidt het beleid? Wat komt uit feedback op concept-bevindingen, zoals door experts, tegendenkers of belanghebbenden? Welke onderzoeksvragen zijn nog onvoldoende te beantwoorden en vragen om aanvullend onderzoek?

In hoeverre werkt het beleid zoals is verondersteld in de beleidstheorie? Wat zijn de antwoorden op de onderzoeksvragen? Welke conclusies zijn verder te trekken op basis van de analyse? Willen we belanghebbenden betrekken bij het formuleren van conclusies? Vragen we in deze stap bestuurders te reageren op de conclusies van de evaluatie ? Welke aanbevelingen volgen uit de evaluatie? Wie formuleren de aanbevelingen, de onderzoekers zelf of anderen zoals ambtenaren of bestuurders? Voor wie formuleren we aanbevelingen, zoals voor volksvertegenwoordigers, bestuurders en uitvoerders? Geeft de evaluatie aanleiding om het beleid aan te passen of te stoppen? Wat zijn de lessen zoals over doeltreffendheid en doelmatigheid voor nieuw te ontwerpen beleid?

Hoe rapporteren we over de evaluatie? Aan wie rapporteren we en welke omvang en vorm sluit aan bij hun wensen, zoals visualisaties? Wat zijn de sterktes, zwaktes en/of kanttekeningen bij de evaluatie? Hoe en wanneer publiceren we de evaluatie en wat is de mogelijke impact voor betrokkenen? Wat is een geschikt moment voor publicatie, zoals vanwege (lokale) politieke besluitvorming? Hoe informeren we belanghebbenden en mensen die meewerkten aan de evaluatie? Willen we media-aandacht genereren en zo ja hoe en met welke afspraken over een embargo? Wat zijn de (mogelijke) gevolgen van de uitkomsten van de evaluatie voor betrokkenen? Hoe bevorderen we dat betrokkenen de evaluatie gaan gebruiken?

❷

Gegevens verzamelen en analyseren

Over deze kaart Deze kaart geeft een overzicht van vragen die ambtenaren zich kunnen stellen bij het evalueren van beleid. De kaart kan zowel gebruikt worden bij het nadenken over het ontwerp van de evaluatie, als gedurende het doorlopen van de stappen tijdens het evalueren. Wat we bij De Argumentenfabriek onder beleidsevaluaties verstaan en wat hun kenmerken zijn, staat op de Definitiekaart. Soms is het doorlopen van de stappen een iteratief proces, waarbij je na het doorlopen van een stap nog eens teruggaat naar de vorige stap en het geheel overdenkt. Voor het leesgemak spreken we op deze kaart van ‘we’ en ‘ambtenaren’, terwijl er bij een evaluatie verschillende personen, organisaties en/of afdelingen betrokken

❹

Communiceren en evaluatie benutten

Hoe zorgen we dat betrokkenen kennis nemen van de evaluatie en deze kennis verder verspreiden? Willen we informatie- en/of discussiebijeenkomsten organiseren over de evaluatie en zo ja, voor wie? Hoe zorgen we dat de evaluatie niet ‘in de bureaula’ belandt maar impact heeft? Gaan we later onderzoeken of de aanbevelingen uit de evaluatie in de praktijk zijn opgevolgd? Hoe evalueren we de evaluatie? Hoe evalueren wij en betrokkenen het evaluatieproces en wat leren we hiervan?

kunnen zijn, in verschillende rollen. Bijvoorbeeld in de rol van opdrachtgever, opdrachtnemer, onderzoeker, of als het onderwerp van evaluatieonderzoek. Ook kan de mate waarin het evaluatieonderzoek plaatsvindt in samenwerking met belanghebbenden verschillen: van een ‘klassieke’ onderzoeker-participantrelatie, tot een relatie waarin de onderzoekers gezamenlijk optrekken en leren met de belanghebbenden. Deze kaart is gemaakt op basis van literatuur en onze ervaring met beleidsevaluaties. Meer weten over hoe we bij De Argumentenfabriek kunnen helpen bij het evalueren van beleid? Neem contact met ons op, via +31 20 412 4001 of beleid@argumentenfabriek.nl.

De ArgumentenFabriek

De Informatiekaart

2021