[22bb004516] NSOB (2021) Evalueerkunst Sociaal 29-6-2022

Evalueerkunst Een praktische toepassing van het publieke waarde perspectief op het evalueren van beleid

Scott Douglas Jorren Scherpenisse Marije Huiting Martijn van der Steen

dr. Scott Douglas is Universitair Hoofdocent bij de Universiteit Utrecht en expert in de prestaties van samenwerkingen. Hij werkt veelvuldig samen met publieke organisaties en is directeur van de rekenkamer van Almere.

dr. Jorren Scherpenisse is organisatiepsycholoog en bestuurskundige. Hij promoveerde in 2019 aan de Universiteit Utrecht op zijn proefschrift ‘Tucht van de tijd: over het tijdigen van bestuur en beleid”. Als adjunct-directeur van de NSOB Denktank is hij verantwoordelijk voor verschillende onderzoekstrajecten.

Marije Huiting MSc is als onderzoeker en opleidingsmanager verbonden aan de Nederlandse School voor Openbaar Bestuur

prof. dr. Martijn van der Steen is sinds 2002 in verschillende functies werkzaam bij de NSOB. Hij is co-decaan en adjunct-directeur van de NSOB en directeur van de Denktank. Naast zijn functie bij de NSOB is hij bijzonder hoogleraar bij de Erasmus Universiteit Rotterdam.

Inhoudsopgave 1. Inleiding: Zoeken naar een tweede taal voor evaluaties 1.1

Van prestatienormen naar publieke waarde

1.2

Zoeken naar een tweede taal

1.3

Manifest, handreiking en praktische voorbeelden

2.

Manifest voor kunstzinnig evalueren

4

4

5 7

9

2.1 Evaluaties moeten de dynamiek en complexiteit van beleid niet temmen, maar expliciteren

9

2.2 Evaluaties moeten een ‘oeuvre’ vormen van prikkelende evaluatie-objecten

10

2.3 Het kunstzinnig perspectief is geen vrijbrief, maar vereist vakmanschap

11

2.4 Er is lef nodig om nieuwe dingen te proberen en wijsheid om goede dingen te behouden

13

3.

Handreiking voor kunstzinnig evalueren

14

3.1

Het programmeren van de evaluatie

3.2

Het uitvoeren van de evaluatie

3.3

Het vervolg van de evaluatie

20

4.

Casus 1: Publieke omroep

22

4.1

Programmeren van de evaluatie

4.2

Het uitvoeren van de evaluatie

4.3

Het vervolg van de evaluatie

Evalueerkunst

14

17

23 26

29

2

5.

Casus 2: Segregatie in het onderwijs

5.1

Programmeren van de evaluatie

5.2

Het uitvoeren van de evaluatie

33

5.3

Het vervolgen van de evaluatie

35

30

31

6. Vanaf hier: boekhoudkundige én kunstzinnige evaluatieprocessen Literatuur

36

39

Bijlage: Werkblad voor werkgroepen Het programmeren van de evaluatie Het uitvoeren van de evaluatie Het vervolg van de evaluatie

Evalueerkunst

40 40

41 42

3

1.

Inleiding: Zoeken naar een tweede taal voor evaluaties 1.1

Van prestatienormen naar publieke waarde

In het openbaar bestuur wordt steeds meer en intensiever gewerkt vanuit het idee dat het realiseren van publieke waarde centraal moet staan in overheidshandelen. Dat is een zinvolle, nobele, maar tegelijkertijd ook proble­ matische gedachte. Het idee van het creëren van publieke waarde is onmisbaar geworden in de publieke sector, maar tegelijkertijd ongrijpbaar gebleken. Beleidsmakers willen maatschappelijke meerwaarde realiseren, maar in het opstellen, uitvoeren en vooral het evalueren van beleid zijn de instrumenten vooral gericht op het behalen van strak geformuleerde en meetbare doelen. Dit is meer dan een probleem van de beleidsevaluatie op zich. Voor beleids­ makers, politici en bestuurders is het verleidelijk om te anticiperen op beleids­ evaluaties die vooral getalsmatig zijn, waarbij ‘vage’ prestaties op het gebied van draagvlak en rechtvaardigheid op maatschappelijke bijdrage minder mee zullen tellen. Dit heeft tot gevolg dat wie in complexe vraagstukken op knappe wijze bijdraagt aan verbetering, bij de evaluatie toch een vermanende boodschap kan krijgen; het voldoet niet, het klopt niet, of het is niet helder of en hoe de inspanningen aan de doelen bijdragen. Niet omdat er geen publieke waarde opbrengsten zijn, maar omdat die vanuit de doorgaans gehanteerde evaluatie­ methodieken niet vast te stellen zijn.

Cynisch uitgedrukt: de evaluatie verleidt bestuurders en ambtenaren ertoe om platte prestatie-indicatoren na te jagen die straks in de evaluatie worden gebruikt. Hitting the target, missing the point, noemen we dat. Deze dynamiek is door niemand werkelijk zo bedoeld. Geen ambtenaar of bestuurder is uit op het behalen van doelen die geen relevantie hebben. Ze willen helpen, het goede doen, de samenleving verbeteren en het vraagstuk oplossen. In dit essay beginnen we bij de basis, bij de bron van het han­ delen dat we hier bedoelen: de beperkte en beperkende praktijk van evalueren en verantwoorden die nu vaak gehanteerd wordt, het discours waaruit deze praktijk voortkomt, en – vooral – de noodzaak voor een aanvullend evaluatie­ perspectief dat publieke waarde in beeld brengt.

Evalueerkunst

Inhoudsopgave

4

Hiermee sluiten we aan bij bestaande ontwikkelingen in het evaluatieveld, waar al jarenlang gewerkt wordt aan nieuwe methoden die maatschappelijke impact, maatwerk of publieke waarde centraal stellen. De cijfermatige of rationele benadering van evaluaties is verder verrijkt en verdiept door de toegang tot nieuwe soorten data en analysemethoden. Daarnaast is een meer responsieve, contextgerichte stijl van evalueren ontstaan die juist inzicht geeft in meer immateriële opbrengsten (Pattyn e.a. 2020). In de praktijk lijken deze nieuwe methoden niet vanzelf te beklijven en de nieuwe standaard te worden. Dat heeft te maken, zo ondervinden wij zelf tijdens ons onderzoek, met de taal die doorgaans rondom evalueren hangt. Een meer boekhoudkundige taal en logica is dominant als het om evalueren gaat. Evalueren wordt door veel ambtenaren, bestuurders en onderzoekers gelijkgesteld met tellen en afrekenen, terwijl dat helemaal niet zo hoeft te zijn. Om daar alternatieven voor te vinden, zijn niet alleen andere criteria en cijfers nodig, maar ook een andere taal en denkwijze over wat evalueren kan zijn.

1.2

Zoeken naar een tweede taal

In dit essay ontwikkelen we op basis van werksessies met verschillende beleidsafdelingen van het ministerie van Onderwijs, Cultuur en Wetenschap (OCW) een alternatief perspectief voor het evalueren van overheidsinzet. De vraag van OCW naar dit onderzoek en de inzet van dit onderzoek is onderdeel van de bredere zoektocht binnen de overheid en wetenschap naar ‘inzicht in kwaliteit’ en ‘rijker verantwoorden’ (Zie Scherpenisse, Van Twist & Van Delden, 2019; Vos, Nap & Los, 2020). Het vertrekpunt voor dit onderzoek is het werken en denken vanuit publieke waarde. Het publieke waarde perspectief is ontstaan in reactie op het bedrijfsmatig denken over de overheid. Onderzoekers als Mark Moore (1995; 2013) en John Alford (2008) stellen dat de overheid zich niet blind moet staren op het behalen van nauw geformuleerde targets door de eigen organisatie, maar zich moet richten op het creëren van grote waarde-geladen ambities zoals rechtvaardigheid, welvaart en welzijn, die alleen in samenspel met anderen behaald kunnen worden. De ideeën van publieke waarde worden door veel ambtenaren en experts gesteund, maar in de praktijk blijkt het moeilijk te zijn deze ambities te vertalen naar het opstellen, uitvoeren en vooral het evalueren van beleid (Bryson e.a. 2014).

Verschillende beoordelingsinstrumenten voor publieke waarde bouwen vooral voort op het boekhoudkundige evaluatieperspectief (zie bijvoorbeeld Evalueerkunst

Inhoudsopgave

5

Public Value Account van Moore, 2013), terwijl de meer dynamische evaluatiemethoden beperkt worden geconcretiseerd (Van der Torre e.a., 2019). Specifiek vroeg het ministerie van OCW ons om samen met verschillende beleidsafdelingen in werksessies te experimenteren met nieuwe evaluatiebenaderingen. Het leidde tot boeiende, verrijkende gesprekken met ambtenaren van de verschillende directies. Maar het was ook zoeken naar de juiste taal om dit gesprek te voeren, dit hebben we pas gaandeweg gevonden. In de eerste sessie, over het evalueren van de publieke waarde van de Publieke Omroep, probeerden we achteraf gezien het publieke waarde perspectief nog teveel in te passen in het boekhoudkundige evaluatieperspectief. Samen met de ambtenaren probeerden we alle verschillende soorten waarden, uiteenlopende stakeholders en verschillende werkprocessen netjes te ordenen en te meten. Dit leidde tot volle flipcharts en veel kleurige post-its, maar weinig duidelijke of nieuwe inzichten. Door alle complexiteit zo onbegrensd mogelijk op tafel te krijgen, raakte een concrete evaluatie steeds verder uit het zicht en werd de behoefte om de complexiteit te ordenen, categoriseren en inperken steeds groter. We liepen zelf vast in onze boekhoudkundige benadering van het evaluatieproces.

Daarom besloten we om voor de daarop volgende werksessie, over segregatie in het Primair Onderwijs, het radicaal anders in te steken. In plaats van te putten uit de taal van de boekhouding, leenden we de taal en ambities van kunst en cultuur. Het idee was dat deze taal wellicht beter geschikt is voor het adresseren van ambigue, dynamische en menselijke processen rond waarde (Noordegraaf, 1999). Net als de evaluatie die wij beogen, hoeft een kunstwerk niet een feitelijke en definitieve weergave van de praktijk te geven – van kunst verwachten we eerder dat het het kijken naar de werkelijkheid verrijkt, soms de vinger op de gevoelige plek legt, en dat het de discussie niet sluit maar juist oproept en activeert. Voor deze zoektocht naar een kunstzinnige benadering bezaten we zelf niet veel meer kwalificaties dan een Museumjaarkaart en amateuristisch enthousiasme, maar de focus op spanning, emotie en sprekende voorbeelden brachten in deze sessie juist wel nieuwe dynamiek en inzichten. In onze laatste werksessie keken we naar het evalueren van Wetenschapsbeleid. In deze sessie bleek dat het kunstzinnige perspectief niet de boekhoud­ kundige benadering kan en moet vervangen, maar dat beide perspectieven elkaar juist aanvullen.

Ambtenaren gaven aan dat het boekhoudkundige perspectief niet alleen politiek belangrijk is – men wil ook de rekening kunnen opmaken van al dat gespendeerde belastinggeld – maar dat met tellen en meten ook aspecten van publieke waarde inzichtelijk gemaakt worden – het aantal patenten, promovendi of vrouwen op topposities zegt niet alles Evalueerkunst

Inhoudsopgave

6

maar wel iets over de waarde van wetenschap. Juist de wisselwerking tussen het boekhoudkundige en kunstzinnige perspectief op evalueren heeft meerwaarde.

1.3

Manifest, handreiking en praktische voorbeelden

Dit essay is het product van deze zoektocht, die we samen met de verschillende beleidsafdelingen hebben doorgemaakt. Het essay bevat zowel een manifest waarin het perspectief van de kunstzinnige evalueerbenadering scherp wordt neergezet (hoofdstuk 2), als een praktische handreiking voor beleidsmakers die een kunstzinnige evaluatie willen opzetten (hoofdstuk 3). We geven hiervoor ook enkele concrete voorbeelden op basis van de werksessies (hoofdstuk 4 en 5). Tenslotte bespreken we hoe deze nieuwe, kunstzinnige evalueerbenadering zich verhoudt tot een boekhoudkundige evaluatie­ benadering en hoe de wisselwerking tussen beide praktisch vorm kan krijgen (hoofdstuk 6). In dit essay plaatsen we bewust een stereotype beeld van een ‘boekhoudkundige’ evaluatiebenadering tegenover een ‘kunstzinnige’ benadering. In de werksessies, maar ook daarbuiten, proefden we een grote frustratie met de dominantie van het ‘boekhoudkundige’ denken. Hoewel in theorie genuanceerde metingen mogelijk zijn, of juist gekozen kan worden voor context­ gerichte evaluatiebenaderingen (Pattyn e.a., 2020), ervaren veel ambtenaren en bestuurders dat evaluaties in de praktijk worden gelijkgesteld aan het stereotype ‘getalsmatig afrekenen’. Omdat we hier op zoek gaan naar een andere taal en denkwijze, plaatsen we dit stereotype beeld van ‘boekhoudkundig evalueren’ diametraal tegenover het ‘kunstzinnig evalueren’.

Door te focussen op de verschillen is er minder aandacht voor de nuances en de overeenkomsten, maar het essay biedt daarmee wel een prikkelende opening voor het loskomen van de bestaande en geïnternaliseerde denkpatronen. Door even afstand van het één te nemen, ontstaat ruimte voor een ander perspectief. En met een scherp beeld van wat beide perspectieven inhouden, kan ook zichtbaar worden hoe ze elkaar kunnen aanvullen. Onze uiteindelijke overtuiging is dat evalueren moet leiden tot valueren. Ofwel waarderen in goed Nederlands. Publieke idealen als rechtvaardigheid, welvaart en welzijn worden niet uit zichzelf bereikt of beschermd. Ze moeten actief afgewogen, nagejaagd, verdedigd en gewaardeerd worden. Evaluatie­ processen kunnen bijdragen aan een actieve weging van het beleid door de samenleving in brede zin, dus ook door burgers en andere betrokken partijen. Evalueerkunst

Inhoudsopgave

7

Evaluaties zijn dan niet de slotsom, maar het startpunt voor nieuwe ideeën, discussies en acties. Een evaluatie uitgevoerd door een kleine groep deskundigen en gelezen door een net iets grotere groep beleidsmakers draagt onvoldoende bij aan een publieke waardering van beleid en bestuur. Krachtige combinaties van ‘boekhoud­k undige’ en ‘kunstzinnige’ evaluatieprocessen kunnen een breder inzicht en grotere beweging mogelijk maken. Waar boekhoudkundige evaluatie­processen inzicht kunnen geven in de feiten, cijfers en duidelijkheid, verrijken kunstzinnige evaluatieprocessen dit beeld met emoties, beleving en beweging.

Evalueerkunst

Inhoudsopgave

8

2.

Manifest voor kunstzinnig evalueren 2.1

Evaluaties moeten de dynamiek en complexiteit van beleid niet temmen, maar expliciteren

‘Publieke waarde’ is op uiteenlopende wijzen te definiëren, waarbij elke definitie weer uiteenvalt in meerdere dimensies. Volgens Moore (1995) bestaat publieke waarde bijvoorbeeld uit het realiseren van maatschappelijke gewenste uitkomsten, met gebruik van zo min mogelijk publieke middelen en zo weinig mogelijke inperking van individuele vrijheden. Volgens Van der Torre e.a. (2018) draait publieke waarde om het realiseren van materiële en immateriële uitkomsten zoals welvaart en welzijn, met respect voor proceswaarden als zorgvuldigheid en inspraak. Omdat publieke waarde bestaat uit meerdere dimensies, waarbij verschillende actoren ook verschillende dimensies van de waarde zullen najagen, wordt het creëren van publieke waarde een worsteling tussen meerdere vereisten. Dit wordt het beste verbeeld door de ‘strategische driehoek’ van Moore (1995). Hierin dient de overheid te navigeren tussen de gestelde ambities in de waardepropositie, de vereiste steun van de verschillende actoren in de ‘authorizing environment’ en de beschikbare operationele capaciteit. Idealiter zijn deze elementen in balans, maar vaak is hier een spanning tussen willen, mogen en kunnen. Door de inherente spanning in publieke waarde is publieke waardecreatie altijd in beweging. Er is geen aanpak die kan worden ingeregeld zonder hier nog verder naar om te hoeven kijken.

De ambities voor een beleidsdomein veranderen, door schuivende voorkeuren van het electoraat, nieuwe belanghebbenden die zich aandienen of de operationele capaciteit die groeit door technologische ontwikkelingen, etc. Hiermee zijn de beleidsdoelen en beleidsmiddelen zoals vastgesteld aan het begin van een periode vaak al achterhaald als ze geëvalueerd moeten worden. De driehoek van Moore ziet er op ieder tijdstip anders uit: krachtenveld, operationele capaciteiten en waarden/ambities zijn niet statisch maar constant in beweging. Te midden van deze continue worsteling en beweging kan geen ultieme beoordelaar van publieke waarde worden aangewezen. Publieke waarde gaat voor een deel om wat ‘het publiek’ waardeert, maar dit publiek valt uiteen in verschillende stemmen. De volksvertegenwoordiging moet de kaders Evalueerkunst

Inhoudsopgave

9

neerzetten, maar is vaak sterk verdeeld. Instituties als de Raad van State en de Algemene Rekenkamer kijken ieder vanuit hun eigen positie naar specifieke waarden, zoals rechtvaardigheid en doelmatigheid. Professionals hebben vanuit hun praktijkverantwoordelijkheid vaak weer andere opvattingen over wat ‘goed beleid’ is. En te midden van al het tumult kunnen zwakke minderheidsstemmen ook verdrongen worden (Noordegraaf, 1999). Publieke waardecreatie vraagt daarmee om een continue wisselgesprek tussen actoren, waarbij waarde steeds vanuit een ander perspectief wordt bekeken. Een stereotype boekhoudkundige evaluatiebenadering zou deze continue worsteling, beweging en perspectiefwisseling proberen te temmen. Door gebruik te maken van heldere criteria, afgebakende tijdsperiodes en gezaghebbende experts moeten evaluaties ‘duidelijkheid scheppen’, ‘een punt zetten’ en ‘het stelsel optimaliseren’. Echter, een kunstzinnig evaluatieproces heeft tot doel om spanningen bloot te leggen, discussies los te maken en het gesprek in beweging te brengen. De dynamiek moet niet geëlimineerd, maar verbeeld worden.

2.2

Evaluaties moeten een ‘oeuvre’ vormen van prikkelende evaluatie-objecten

Evaluaties ontstaan vanuit de continue druk op de verantwoording van publieke middelen of vanuit een plotseling opvlammende onrust over een specifiek thema. Een onafhankelijke groep experts moet dan het ultieme rapport schrijven waarmee de opbrengst van het beleid volledig transparant wordt en de discussie kan worden beëindigd. In de praktijk kunnen de meeste evaluaties niet veel concreets zeggen over de relatie tussen in- en outputs, laat staan de verbinding leggen naar maatschappelijke effecten. De politieke dynamiek van het debat rondom het rapport staat daarbij vaak los van de inhoudelijke bevindingen, wellicht omdat evaluatierapporten zo weinig gelezen worden (Van der Knaap en Turksema, 2016). Het doel van een kunstzinnige evaluatie waarin publieke waarde centraal staat, is niet om een discussie af te sluiten maar om een discussie te stimuleren en te starten. Het evaluatieproces moet een maatschappelijk vraagstuk op de kaart zetten, door onvermoede misstanden aan te kaarten of ongeziene successen te vieren. De Algemene Rekenkamer zette bijvoorbeeld het thema cyberveiligheid stevig op de kaart door een hacker de controlekamer van de stormvloedkering te laten overnemen. Tezamen met het onderliggende rapport bracht dit het gewenste politieke debat op gang.

Evalueerkunst

Inhoudsopgave

10

Het doel van een kunstzinnige evaluatie is niet volledigheid, maar focus en scherpte. Men kan proberen alle complexiteiten, afwegingen en dimensies van het hele beleidsdomein te vatten in één rapport, maar een kunstzinnige evaluatie richt zich op een specifiek pijnpunt, bereikte doorbraak, of prangende vraag. De Onderwijsinspectie publiceerde in 2016 bijvoorbeeld naast haar generieke verslag over de onderwijskwaliteit een specifiek rapport over kansenongelijkheid. Dit specifieke rapport hielp het debat over dit thema aan te zwengelen. Omdat specifieke evaluaties op zichzelf niet een heel beleidsveld kunnen afdekken, is de ambitie om een serie van evaluatie-objecten te maken die gezamenlijk de verschillende aspecten belichten. Neem bijvoorbeeld de Expertise-Unit Sociale Stabiliteit. Deze Unit stimuleert gemeenten om de lokale radicaliseringsaanpak op uiteenlopende wijzen te evalueren. Gemeenten krijgen instrumenten aangereikt om plan-, proces- en effect­ evaluaties te doen, gericht op specifieke projecten of de aanpak als geheel, uit te voeren door professionals, bewoners of juist externe deskundigen. Het idee is dat al deze evaluatie-objecten tezamen een beeld geven van de radicali­ seringsaanpak in Nederland dat recht doet aan lokale verschillen. Dit oeuvre moet niet tot stand komen in isolatie, maar juist in constante dialoog met de omgeving.

Het proces van evalueren is even belangrijk als het product van de evaluatie. In Utrecht werd bijvoorbeeld een experiment met vluchtelingenopvang midden in de wijk geëvalueerd door wetenschappers (Dekker e.a. 2020). Ze deden dit in continue en wederzijdse afstemming met de vluchtelingen, buurtbewoners en ambtenaren, waardoor de ervaren relevantie, legitimiteit en bruikbaarheid van de evaluatie-uitkomsten groeide.

2.3

Het kunstzinnig perspectief is geen vrijbrief, maar vereist vakmanschap

De vrijheid die het kunstzinnige perspectief creëert ten opzichte van boekhoudkundige evaluatiekaders komt ook met een verantwoordelijkheid. De ruimte moet benut worden om authentieke en prikkelende evaluatie­ processen te ontwikkelen. En dat vereist vakmanschap. In traditionele evaluatieperspectieven hebben rapporten validiteit als ze kloppen, als ze de waarheid weergeven. In het kunstzinnig evaluatieperspectief zijn evaluatie-objecten valide als ze de werkelijke, doorvoelde meningen van mensen weergeven, als ze als authentiek worden ervaren. De check is dus niet of de meningen en emoties overeenkomen met de feiten, maar of de geuite opinies en de gepresenteerde cijfers doorvoeld worden door de Evalueerkunst

Inhoudsopgave

11

belanghebbenden zelf. Andere belanghebbenden kunnen dan nog steeds een andere opvatting hebben; mensen kunnen het heel goed oneens zijn met datgene wat ze als een werkelijke en authentieke emotie erkennen. In 2017 lieten de inspecties binnen het Toezicht Sociaal Domein bijvoorbeeld mensen met een licht verstandelijke beperking als mystery shopper openbare voorzieningen testen in tien verschillende gemeenten. Zo gingen de mystery shoppers met een hulpvraag naar de balie van het stadshuis of benaderden de schuldhulpverlening. De persoonlijke ervaringen van deze mensen waren wellicht statistisch niet representatief voor alle maatregelen die de gemeente heeft genomen om de toegankelijkheid te verbeteren, maar vertegenwoordigden wel een authentiek perspectief dat het startpunt vormde voor verder gesprek. Het evaluatieperspectief geeft veel ruimte aan speelse, vrije vormen, maar vakmanschap is nodig om creatieve vormen mogelijk te maken. Aansprekende evaluatie-objecten zoals het hacken van de waterwerken door de Algemene Rekenkamer of het onderwijsrapport over kansenongelijkheid zijn geworteld in een diepgaande kennis van het beleidsdomein en uitvoerig onderzoek naar de praktijk van het beleid. Ook het aanspreken en betrekken van verschillende doelgroepen vergt verfijnde procesvaardigheden. Tenslotte moeten kunstzinnige evaluaties het publiek verder helpen.

Het kan geen l’évaluation pour l’évaluation worden. Een typische boekhoudkundige evaluatie kan bijvoorbeeld waardevol zijn door gerichte en praktische aan­ bevelingen te bieden. Een kunstzinnige evaluatie zal vooral gesprekspunten en gespreksvormen kunnen genereren die de verschillende actoren in staat stellen door te praten over de belangrijkste keuzes. In het lerende evaluatiemodel zoals ontwikkeld door het Planbureau voor de Leefomgeving zit dit vervolggesprek bijvoorbeeld al besloten in de evaluatie-­ aanpak. Voor de evaluatie worden verschillende stakeholders rond een probleem samengebracht, die later ook met elkaar doorwerken aan het vervolg.

Evalueerkunst

Inhoudsopgave

12

2.4

Er is lef nodig om nieuwe dingen te proberen en wijsheid om goede dingen te behouden

Het kunstzinnige evaluatieperspectief daagt ambtenaren, bestuurders, politici en andere betrokkenen uit om niet automatisch en alleen te kiezen voor een typische boekhoudkundige evaluatiebenadering, die steevast eindigt in een dik rapport van en voor hooggeleerden. Het daagt uit om een gok te nemen en te zoeken naar nieuwe vragen, nieuwe vormen en onverwachte gevolgen. Tegelijkertijd pleiten we niet voor het algeheel verlaten van de boekhoud­ kundig-geïnspireerde benaderingen van evaluaties. Juist de combinatie van rationele, reguliere evaluatietrajecten met prikkelende, opvallende evaluatie­ objecten levert het meest volledige inzicht op en de krachtigste bijdrage aan het gewenste debat. De boekhoudkundige en de kunstzinnige evaluatievormen kunnen elkaar versterken om gezamenlijk meer impactvol leren mogelijk te maken. We willen niet het één in plaats van het ander, maar het één naast het ander. Dit vergt van evaluatoren dat ze zowel de boekhoudkundige als kunstzinnige evaluatiebenadering op zijn minst begrijpen, en waar nodig beide kunnen toepassen. Dit vraagt van de opdrachtgevers voor evaluaties dat ze per situatie kunnen inschatten wat de meeste passende combinatie is van kunstzinnige en boekhoudkundige evaluatievormen. En voor dit alles is lef nodig om nieuwe dingen te proberen en de wijsheid om goede dingen te behouden.

Evalueerkunst

Inhoudsopgave

13

3.

Handreiking voor kunstzinnig evalueren De hoogdravende woorden in ons manifest moeten ook vertaald kunnen worden naar de praktijk van het beleid. Om te concretiseren hoe een kunstzinnige beleidsevaluatie er uit kan zien, reiken we een kader aan waarin systematisch de verschillende ontwerpvragen van een evaluatieproces worden langsgelopen. Om aan te scherpen hoe het kunstzinnige perspectief tot nieuwe benaderingen kan leiden, contrasteren we het steeds met een stereotype weergave van een boekhoudkundige evaluatiebenadering. Zoals gezegd is de praktijk genuanceerder en ligt de meerwaarde juist in het combineren van de perspectieven, maar om het debat op scherp te zetten maken we hier gebruik van sterk gestileerde verschillen.

3.1

Het programmeren van de evaluatie

Welke onderwerpen staan centraal in de evaluatie? Een boekhoudkundige evaluatie kiest voor een onderwerp omdat hier veel politieke aandacht voor is, veel geld in is gestoken of omdat het veel mensen raakt. De aandacht gaat bovendien vaak uit naar dossiers waarbij doelen niet lijken te zijn behaald, waar regels lijken te zijn geschonden of waar veel is veranderd. Bij de selectie en invulling van thema’s kijkt men hier dus primair vanuit beleid, bestuur en de regels en randvoorwaarden die daarbij gelden. De evaluatie kijkt ‘van binnen naar buiten’. In een kunstzinnige evaluatie kiest men een onderwerp omdat er maatschappelijke onrust over is. Of juist omdat het een klein aantal mensen, maar wel heel diep, raakt. In het bijzonder is er aandacht voor thema’s waar buikpijn, verdriet en frustratie over is, of juist veel trots, vreugde en opluchting. Bij de selectie van invulling van thema’s kijkt men hier dus vanuit wat er speelt en leeft in de samenleving. De evaluatie kijkt ‘van buiten naar binnen’. Wat moet de evaluatie in beeld brengen? Een boekhoudkundige evaluatie moet vooral in beeld brengen welke prestaties zijn behaald binnen de kaders van de regels en de budgetten. Worden de gestelde doelen behaald? Zijn de regels gehandhaafd? Is het stelsel robuust genoeg? Werken de organisaties, de systemen en de procedures zoals vooraf bedacht? Evalueerkunst

Inhoudsopgave

14

In een kunstzinnige evaluatie gaat het om het zichtbaar maken van de worsteling en de beweging. Wordt de publieke waarde gecreëerd waaraan de samenleving behoefte heeft? Wat voor waarden worden hierbij vernietigd? Welke kant beweegt het veld op? Wie wordt op welke manier geraakt door het beleid? Wie wint en wie verliest? Wat moet de evaluatie in gang zetten? Een boekhoudkundige evaluatie is gericht op het sluiten van de discussie: duidelijk maken wat wel en niet waar is, scherp krijgen wat wel en niet goed loopt en concreet krijgen wat wel en niet moet veranderen. Het is een vorm van afsluiten, om verder te kunnen gaan. In een kunstzinnige evaluatie gaat het juist om het openen van de discussie: het doorbreken van bestaande denkpatronen en tegenstellingen, het verbreden van discussie en mogelijke oplossingen en het mobiliseren van nieuwe actoren en belangengroepen in het debat. Het kan aanzetten tot nieuw beleid, maar ook tot het stellen van nieuwe vragen en het verder brengen van lastige maatschappelijke debatten.

Evalueerkunst

Inhoudsopgave

15

boekhoudkundig evalueren

kunstzinnig evalueren

Welke onderwerpen moeten geëvalueerd worden? Welk beleid is uitgevoerd?

Welke maatschappelijke thema’s

• Waar veel politieke aandacht

spelen er?

voor is.

• Waar maatschappelijke onrust over is.

• Waar veel geld in wordt gestoken. • Dat veel mensen raakt.

• Waar veel aandacht aan wordt besteed.

• Waarbij doelen niet lijken te zijn gehaald. • Waar regels lijken te zijn

• Die enkele mensen diep raken. • Waar buikpijn, verdriet en

geschonden. • In welk veld veel is veranderd.

frustratie over is. • Waar veel trots, vreugde en opluchting over is. • Waar veel zou moeten veranderen.

Wat moet de evaluatie in beeld brengen? Wat was de prestatie?

Wat is de beweging?

• Worden de gestelde doelen

• Aan wat voor waarde heeft de

behaald?

samenleving behoefte?

• Zijn de regels gehandhaafd?

• Wat voor waarden worden

• Is het stelsel robuust genoeg?

geproduceerd/vernietigd?

• Werken de organisaties, de systemen en de procedures zoals

• Welke kant beweegt het veld op? • Wie wordt op welke manier

vooraf gedacht en bedoeld?

geraakt door het beleid? • Wie wint en verliest, hoe is die verdeling? • Staat de discussie en het debat voldoende op scherp?

Wat moet de evaluatie in gang zetten? Sluiten van de discussie:

Openen van de discussie:

• Duidelijk maken wat wel en niet

• Doorbreken van denkpatronen en

waar is. • Scherp krijgen wat wel en niet goed loopt. • Concreet krijgen wat wel en niet moet veranderen.

Evalueerkunst

tegenstellingen. • Verbreden van discussie en mogelijke oplossingen. • Mobiliseren van nieuwe actoren en belangengroepen.

Inhoudsopgave

16

3.2

Het uitvoeren van de evaluatie

Welke actoren moeten op welke wijze worden betrokken? In een boekhoudkundige evaluatie heeft ieder zijn eigen afgebakende rol in het onderzoek: politici en bestuurders staan aan het begin van de evaluatie als opdrachtgever en aan het einde als gebruiker. Experts zijn de actieve onderzoekers die het beleid beoordelen. Bestuurders, ambtenaren en uitvoerders (en soms ook politici, maar in mindere mate) zijn informanten en lijdend voorwerp. In een kunstzinnige evaluatie gaat het erom dat iedereen een actieve rol heeft in het proces. Experts, die zich midden in beweging en gewoel plaatsen om van binnenuit te rapporteren over wat leeft en speelt; betrokken politici, bestuurders, ambtenaren, uitvoerders en burgers, die in het proces meedenken, meewerken en of meebeslissen; nieuwe en nog niet gehoorde stemmen, die inbrengen wat er volgens hen nu echt gebeurt. Welke informatie moet op welke wijze worden gebruikt? In een boekhoudkundige evaluatie telt mee wat te tellen is. Harde, objectieve en ‘representatieve’ cijfers en gegevens moeten beschikbaar zijn. Wat past binnen de scope van beleidsdoelen en regelgeving is relevant. Dataverzameling vindt plaats door het gericht ophalen van informatie, om deze vervolgens in afzondering te bestuderen. Effecten worden bezien door de lens van de vooraf gestelde doelen én vanuit het perspectief van de nu eenmaal toe te passen methode.

Wie werkt met rekenkundige modellen heeft getallen nodig. Wie kosteneffectiviteit berekent heeft waarde uitgedrukt in monetaire eenheden nodig. Vorm bepaalt dan de inhoud. Door verbastering van het één naar het ander, of door simpelweg te gebruiken wat er in de gewenste eenheid of vorm nu eenmaal voorhanden is. In een kunstzinnige evaluatie telt alles wat er volgens betrokkenen toe doet en wat dus raakt aan het maatschappelijke vraagstuk. Hier is met name behoefte aan diepgevoelde, persoonlijke, authentieke informatie van burgers, professionals, bestuurders en politici. Dataverzameling is niet neutraal, maar is een keuze over wie wel of niet wordt gehoord, wie wel of niet met elkaar spreken tijdens de evaluatie, en ook die dataverzameling is al onderdeel van de impact van het onderzoek. De vorm is daarin niet vrij, maar wel volgend. We erkennen dat de vorm vormend is en juist daarom hebben we in een kunstzinnige evaluatie oog en aandacht voor de vorm die past bij deze vraag, bij deze waarde, bij deze informatie, bij deze personen, bij deze beweging en bij deze verbeelding.

Evalueerkunst

Inhoudsopgave

17

Welke producten moet de evaluatie opleveren? Bij boekhoudkundig evalueren gaat het om het scheppen van duidelijkheid en overzicht, bijvoorbeeld door middel van rapporten, grafieken en powerpoints die qua taal aansluiten bij beleidsprocessen. Daarnaast gaat het om het bieden van concrete handelingsopties: conclusies, oordelen en aan­­ bevelingen moeten vertaald kunnen worden naar beleid, regels en budgetten. Dit alles leidt tot een geconsolideerd eindbeeld dat af is, helderheid schept en de aanzet geeft tot beleidsverandering. Bij kunstzinnig evalueren gaat het om het creëren van scherpte en inzichten. Hierbij passen objecten, documentaires, beelden, verhalen die qua taal aansluiten bij maatschappelijke gevoelens en strijd; verbeeldingen van de strijd, impasses, overwinningen, taboes en dominante denkpatronen in beleid. Deze objecten maken de ambiguïteit en dilemma’s zichtbaar, stellen de lezer niet gerust met een overzicht, maar verontrusten en roepen nieuwe vragen op.

boekhoudkundig evalueren

kunstzinnig evalueren

Welke actoren moeten op welke wijze worden betrokken? Ieder vanuit zijn afgebakende rol in

Iedereen die actief betrokken is in

het onderzoek:

het proces:

• Experts, die als deskundigen van

• Experts, die zich midden in

buiten waarnemen, meten en het

beweging en gewoel plaatsen om

beeld opstellen.

van binnenuit te rapporteren.

• Politiek als opdrachtgever en gebruiker. • Betrokken bestuurders, ambtenaren, uitvoerders en burgers (en politici), als bronnen en lijdend voorwerp.

• Betrokken politici, bestuurders, ambtenaren, uitvoerders en burgers, die in het proces meewerken. • Nieuwe en nog niet gehoorde stemmen, die inbrengen wat voor en volgens hen gebeurt.

Evalueerkunst

Inhoudsopgave

18

boekhoudkundig evalueren

kunstzinnig evalueren

Welke informatie moet op welke wijze worden gebruikt? Informatie en gegevens:

Gegevens en gevoelens:

• Wat te tellen is, telt mee.

• Alles wat er volgens betrokkenen

Alleen wat past binnen scope

toe doet, doet mee.

van doelen en regels van beleid.

• Alles wat raakt aan het

• Harde, objectieve, representatieve

maatschappelijke vraagstuk

gegevens over het beleid.

• Diepgevoelde, persoonlijke,

• Dataverzameling door gericht

authentieke belevingen van

ophalen van informatie, om

burgers, uitvoerders en

vervolgens in afzondering

bestuurders.

te bestuderen. • Wat zien we aan effecten door de lens van onze doelen?

• Dataverzameling als onderdeel van oordeelsvorming en product van evaluatie. • Wat zien we aan betekenis door de lens van verschillende betrokkenen?

Welke producten moet de evaluatie opleveren? Helderheid en handelingsopties:

Signalering en activering:

• Rapporten, grafieken,

• Objecten, documentaires,

powerpoints die qua taal

beelden, verhalen die qua taal

aansluiten bij beleidsprocessen.

aansluiten bij maatschappelijke

• Conclusies, oordelen, aanbevelingen die vertaald

gevoelens en strijd. • Signaleringen, confrontaties en

kunnen worden naar beleid, regels

markeringen die vertaald kunnen

en budgetten.

worden naar vervolggesprekken.

• Eindproducten bieden overzicht, duidelijkheid en rust.

• Eindproducten bieden inzicht, maken ambiguïteit en dilemma’s zichtbaar en verontrusten.

Evalueerkunst

Inhoudsopgave

19

3.3

Het vervolg van de evaluatie

Wanneer is de evaluatie goed genoeg om te delen? Bij klassiek evalueren hanteren we criteria die doorgaans ook gehanteerd worden bij natuurwetenschappelijk onderzoek: nauwkeurigheid, een representatief beeld, gebalanceerd en onafhankelijk opgesteld. De autoriteit van de onafhankelijke evaluator geeft een kwaliteitsstempel aan de evaluatie. Bij kunstzinnig evalueren gaat het om authenticiteit, betrokkenheid, en de aanzet tot beweging. Dit is uit te splitsen in een aantal verschillende type criteria (geïnspireerd op Vermaak, 2009). Een eerste set criteria heeft betrekking op de vorm van de evaluatie: die moet een zekere schoonheid bevatten. Dat klinkt wellicht vreemd, maar het vinden van de juist vorm van de ­evaluatie is een kwestie van schaven totdat het mooi in elkaar zit, de ervaring weet te vangen, en past bij de diversiteit aan data, ideeën en verzamelde inzichten. Een tweede set criteria heeft betrekking op de sociale werking van de evaluatie. De evaluatie moet mensen bereiken, weten te raken, in beweging brengen en gaan resoneren. Een derde set criteria heeft betrekking op het proces van het tot stand brengen van de evaluatie: dat moet als waardevol worden ervaren en betrokkenheid en plezier opleveren bij de betrokkenen.

Niet alleen de evaluatie als eindproduct, maar ook het evalueren als proces moet zinvol zijn voor de betrokkenen, zodat zij intrinsiek gemotiveerd meedoen. Welke vervolgacties moet de evaluatie bewerkstelligen? Bij boekhoudkundig evalueren is dat doorgaans dat aanbevelingen worden besproken door specifiek aangewezen actoren en na korte discussie leiden tot een keuze voor bepaalde actie. Zo worden de aanbevelingen omgezet in SMART-acties. De evaluatie brengt rust en het onderwerp wordt tot de volgende evaluatie afgesloten. Bij kunstzinnig evalueren moeten beelden gaan resoneren in het maatschappelijke debat en bij verschillende groepen in de samenleving. Als gevolg van het evalueren kan de discussie niet meer getemd worden en blijft deze in beweging. Door de discussie ontstaan scherpere beelden over wat goed is en wat niet, over wat nodig is en wat niet. In de discussie ontstaat een beeld van wat meer of beter en wat écht anders moet.

Evalueerkunst

Inhoudsopgave

20

boekhoudkundig evalueren

kunstzinnig evalueren

Wanneer is de evaluatie goed? • Nauwkeurig.

• Esthetisch.

• Representatief.

• Authentiek.

• Gebalanceerd.

• Aangrijpend.

• Onafhankelijk.

• Resonerend. • Dynamiserend. • Betrokken. • Zinvol en met plezier tot stand gebracht.

Welk vervolg moet de evaluatie bewerkstelligen? • Aanbevelingen worden besproken door specifiek aangewezen actoren. • Na korte discussie, keuze voor bepaalde actie, worden aanbevelingen in SMART-acties omgezet.

• Beelden gaan resoneren met maatschappelijke groepen binnen de samenleving. • Discussie kan niet meer getemd worden en blijft in beweging. • Door de discussie ontstaan scherpere beelden over wat goed

• De evaluatie brengt rust.

is en wat niet, over wat nodig is en

• Het onderwerp wordt tot de

wat niet.

volgende evaluatie afgesloten.

• In de discussie ontstaat een beeld van wat meer of beter en wat écht anders moet.

Evalueerkunst

Inhoudsopgave

21

4.

Casus 1: Publieke omroep Om de toepassing van het kunstzinnige perspectief verder te illustreren, geven we hierbij het uitgewerkte voorbeeld van een boekhoudkundige en kunstzinnige evaluatie van het publieke omroep beleid. Vanuit het perspectief van de boekhoudkundige evaluatie, richt de evaluatie zich op de doelmatigheid en doeltreffendheid van het gehele gevoerde mediabeleid. Getoetst wordt dan of gestelde beleidsdoelen, zoals een bestuurbaar en doelmatig omroepbestel zijn gehaald. In opdracht van de politiek kijken onderzoekers en experts naar trends en ontwikkelingen die van invloed zijn op het mediabeleid en wordt de beschikbare informatie over het gevoerde mediabeleid geduid. Aan het eind van de evaluatie ligt een rapport dat beschrijft in hoeverre de gebruikte beleidsinstrumenten doelmatig en doeltreffend zijn en de beleidsmaker voorziet van aanbevelingen. In de kunstzinnige evaluatie is niet het gehele mediabeleid vertrekpunt voor het evalueren, maar maatschappelijke thema’s die spelen. In onderstaande tabel wordt uitgewerkt hoe het thema diversiteit in de media geëvalueerd kan worden. In de evaluatie wordt zowel gesproken met bestaande omroepen en partijen die betrokken zijn bij het mediabestel, als partijen die zich in het huidige bestel niet herkennen en nieuwe omroepen hebben opgericht.

De evaluatie is een gezamenlijke zoektocht van deze partijen naar de vraag wat diversiteit in de media voor hen betekent en in hoeverre ze tevreden zijn met het huidige media-aanbod. Informatie en inzichten die tijdens de zoektocht worden gevonden, worden zowel in geschreven vorm als ook beeldend weergegeven. Dan gaat het bijvoorbeeld om beelden die voor betrokkenen weergeven hoe het gesteld is met de diversiteit in de media. De evaluatie­ producten die de zoektocht oplevert, zijn niet bedoeld als sluitstuk van de discussie, maar als onderdeel van de voortdurende beweging. Het dient om te laten zien wat er al goed gaat en wat niet, en wat er al dan niet nodig is. In onderstaande tabel laten we beide evaluaties stapsgewijs zien.

Evalueerkunst

Inhoudsopgave

22

4.1

Programmeren van de evaluatie

boekhoudkundig evalueren

kunstzinnig evalueren

Welke onderwerpen moeten geëvalueerd worden? Welk beleid is uitgevoerd?

Welke maatschappelijke thema’s spelen er?

De evaluatie licht het gehele mediabeleid door

Het werd in 2020 breed uitgemeten in het

om een conclusie te kunnen trekken over de

nieuws: in de NPO-Jeugdserie Spangas:

doelmatigheid en doeltreffendheid van het

De Campus werd een non-binair personage

gevoerde beleid. Daarbij wordt ook gekeken

­geïntroduceerd. De introductie van het

naar de houdbaarheid van het mediastelsel.

­personage Lesley, dat zich niet identificeert

Een belangrijke beleidsdoelstelling is een onaf-

als een jongen of meisje maar als een andere

hankelijk, gevarieerd en kwalitatief hoogwaardig

genderidentiteit, kan op gemengde reacties

media-aanbod. Daarvoor zijn prestatieafspraken

rekenen. Het regent negatieve reacties, maar

gemaakt tussen de NPO en OCW.

acteur Thorn Roos de Vries krijgt ook positieve

Het Commissariaat voor de media houdt

reacties, waaronder dat van een 11-jarige die

hier toezicht op. In de evaluatie wordt gekeken

dankzij het personage de kracht heeft gevonden

of alle gemaakte prestatieafspraken

uit de kast te komen voor diens klas. Het is niet

­gerealiseerd zijn.

voor het eerst dat de serie Spangas een personage introduceert die niet tot de norm behoort. “Ik wil dat alle jongeren zich gezien en gerepresenteerd voelen”, aldus scenarioschrijver Diana Sno. Dat in de serie Spangas geprobeerd wordt om alle jongeren te representeren, past bij het doel van het publieke mediastelsel, namelijk om een pluriform media-aanbod te genereren. Maar is genoeg pluriformiteit binnen het huidige aanbod wel aanwezig, worden alle doelgroepen genoeg bediend? En hoe te waken voor fragmen­tatie door juist verschillende groepen en verhalen bij elkaar te brengen? Volgens nieuwe omroepen die zich melden, is hier nog een wereld te winnen. In Nederland kan iedereen een omroepvereniging oprichten en proberen om erkenning te krijgen om programma’s te kunnen uitzenden op de publieke omroep. In 2020 meldden zich diverse zogeheten ­aspirant-omroepen, waaronder Ongehoord Nederland en Omroep X. >>

Evalueerkunst

Inhoudsopgave

23

boekhoudkundig evalueren

kunstzinnig evalueren

Welke onderwerpen moeten geëvalueerd worden? >> De omroepen die worden opgericht, hebben misschien hele verschillende geluiden die ze ten gehore willen brengen, maar wat ze gemeen hebben is dat ze hun geluid nu nog (te) weinig horen in de media. Zo gaf Omroep X vorig jaar te kennen: we vinden het huidige aanbod bij de NPO bij lange na niet divers genoeg en we willen andere mensen aan het woord laten komen in bijvoorbeeld talkshows. Aan de ene kant is het kenmerkend voor het Nederlandse stelsel dat nieuwe omroepen zich kunnen melden voor een eventuele erkenning. Aan de andere kant kan het ook ongemak oproepen: sommige groepen in onze samenleving herkennen zich blijkbaar niet in de programma’s van het huidige omroepenbestel. Zij voelen de behoefte om programma’s vanuit een aparte omroep in te vullen. Lukt het dan niet om diversiteit te vergroten binnen het bestaande bestel? Of is hier iets anders aan de hand? In de kunstzinnige evaluatie is deze puzzel het vertrekpunt.

Evalueerkunst

Inhoudsopgave

24

boekhoudkundig evalueren

kunstzinnig evalueren

Welke onderwerpen moeten geëvalueerd worden? Wat was de prestatie?

Wat is de beweging?

Een van de beleidsdoelstellingen is een open,

Het evalueren dient in beeld te brengen wat er

bestuurbaar en doelmatig omroepbestel, waar-

leeft in de samenleving als het gaat om diversi-

bij de omroepen het hart van het bestel vormen

teit in de media. Het moet blootleggen welke

en zorgen voor verscheidenheid. In de evaluatie

ontwikkelingen er rondom dit thema zijn en

wordt deze doelstelling getoetst en gekeken

welke discussies spelen, waarbij ook gekeken

wordt of beschikbaar gestelde middelen efficiënt

wordt in hoeverre diverse groepen in de

worden besteed. In de evaluatie wordt ook

samenleving zich in de discussie gehoord en

onderzocht op welke punten efficiencyverbete-

gezien voelen. Dat vraagt om het enerzijds in

ring mogelijk is. In de evaluatie wordt gekeken

beeld brengen van groepen die zich al wel

of doelmatigheidsverbetering mogelijk is: of de

uitspreken in het debat rondom diversiteit in

publieke omroepen er in slagen om met minder

de media, om te kijken hoe deze actoren

budget de pluriformiteit en kwaliteit van het

geraakt worden door het beleid (of de afwezig-

aanbod te handhaven.

heid van passend beleid). Anderzijds moet het evaluatieproces gericht zijn op het in beeld brengen van partijen die zich nog niet roeren in het debat, om te bevragen waar de behoeftes van deze partijen liggen en hoe ze denken over wat er nodig is voor diversiteit in de media.

Wat moet de evaluatie in gang zetten? Sluiten van de discussie:

Openen van de discussie

De evaluatie moet de vraag beantwoorden of

Het evalueren moet de huidige discussie

het huidige mediastelsel en het daarbij horende

openen en verbreden, door ruimte te creëren

mediabeleid nog toereikend is. Het moet bepalen

voor ­ongehoorde geluiden, om zo bestaande

in hoeverre doelen zijn bereikt, de instrument­

denk­patronen en tegenstellingen te doorbreken.

realisatie beoordelen, de mate van effectiviteit

Vanuit deze verbreding moet ruimte gecreëerd

van het beleid beoordelen, de mate van

worden voor actoren om oplossingen en

­doel­matigheid beoordelen (via de verhouding

­ver­­beteringen te opperen, die voor hen van

van ingezet budget). Zodoende moet het mogelijk

waarde zijn. De evaluatie dient zodoende

zijn om een conclusie te trekken over de

onderdeel te zijn van de beweging en ontwikke-

­doeltreffendheid en doelmatigheid van het

lingen als het gaat om diversiteit in

gevoerde beleid.

de media.

Evalueerkunst

Inhoudsopgave

25

4.2

Het uitvoeren van de evaluatie

boekhoudkundig evalueren

kunstzinnig evalueren

Welke actoren moeten op welke wijze worden betrokken? Ieder vanuit zijn afgebakende rol in

Iedereen actief betrokken in het proces

het onderzoek De politiek geeft opdracht voor de beleids­

Naast actoren die zich al roeren in het debat

doorlichting en wil inzicht in de vraag of het

over diversiteit in de media, zoals het

beleid doelmatig en doeltreffend is. Voor het

Commissariaat voor de Media,de Publieke

evaluatie­onderzoek worden experts en onder-

Omroep of oprichters van nieuwe omroepen,

zoekers betrokken die aantonen welke trends

wordt met mensen of groepen gesproken die

en ontwikkelingen van invloed zijn op het

zich nog niet mengen in het debat. We spreken

huidige mediabeleid. Ze duiden ook de beschik-

met belangenorganisaties van groepen in de

bare informatie van het evaluatieonderzoek.

samenleving die zich niet gezien voelen in het

De partijen in het mediabestel zijn in die zin

medialandschap. De evaluatie is gericht op het

betrokken bij de evaluatie dat ze de benodigde

samenbrengen van groepen, om te leren over

informatie aanleveren die hun presteren

en van elkaars ervaringen en om ook te zoeken

weergeeft.

naar overeenkomsten in plaats van verschillen. Wat hopen bijvoorbeeld de oprichters van nieuwe omroepen te bereiken? Wat missen ze in het huidige bestel, zien zij naast het oprichten van een eigen omroep ook nog andere manieren om in gezamenlijkheid de diversiteit van het mediabestel te vergroten? Hoe kijken partijen die zich al in dit bestel vinden aan tegen deze verhalen? Waar is verbinding mogelijk? In de evaluatie maken we dit heel concreet, door op zoek te gaan naar persoonlijke verhalen en motieven. Voor deze zoektocht worden spelers uit het hele bestel uitgenodigd: politici, beleidsmakers, uitvoerders, kijkers en luisteraars, initiatiefnemers van nieuwe omroepen, etc. In het evaluatieproces zijn ook experts betrokken die zich midden in de beweging en ontwikkelingen omtrent dit thema bevinden en zodoende kunnen vertellen wat er speelt en leeft. Bijvoorbeeld experts die zich al eerder hebben uitgesproken over diversiteit of die een nog ongehoorde groep representeren.

Evalueerkunst

Inhoudsopgave

26

boekhoudkundig evalueren

kunstzinnig evalueren

Welke informatie moet op welke wijze worden gebruikt? Informatie en gegevens

Gegevens en gevoelens

Informatie is nodig om op nauwkeurige en

In het evaluatieproces zetten we in op het

objectieve wijze weer te geven in hoeverre het

verzamelen van informatie die laat zien wat er

gevoerde beleid doelmatig en doeltreffend is en

bij alle actoren speelt en leeft. Wat zien groepen

wat de effecten van de ingezette beleids­

die zich niet herkennen in het huidige media-

interventies zijn. Ook dient de informatie het

bestel als ze naar de media kijken? Wat betekent

mogelijk te maken om te beoordelen in

het voor hen? En wat roept dit ook op bij

hoeverre de gemaakte prestatieafspraken zijn

huidige spelers in het mediabestel? Welk beeld

behaald. Als ijkpunt worden hiervoor bereiks-

hebben zij van de diversiteit in de media? De

en waarderingscijfers van het aanbod gebruikt.

evaluatie is gericht op het verzamelen van alles

Op basis hiervan kan ook beoordeeld worden in

wat er volgens betrokkenen toe doet. Het gaat

hoeverre het aanbod pluriform is.

dan om diepgevoelde, persoonlijke en authentieke informatie van burgers, professionals, bestuurders en politici. De verschillende betekenissen die zij geven aan deze informatie, is ook onderdeel van het verzamelen van data in het evaluatieproces. Informatie kan in geschreven vorm zijn, maar het kunnen ook beelden zijn die voor betrokkenen weergeven hoe het gesteld is met de diversi­teit in de media. De informatie hoeft niet op te tellen tot een gebalanceerd en nauwkeurig beeld, maar mag dynamiserend en confronterend zijn. In het evaluatieproces is het gezamenlijk betekenis geven aan de informatie een belangrijk onderdeel. Dataverzameling is zodoende onderdeel van de oordeelsvorming en een product van de evaluatie.

Evalueerkunst

Inhoudsopgave

27

boekhoudkundig evalueren

kunstzinnig evalueren

Welke producten moet de evaluatie opleveren? Helderheid en handelingsopties

Signalering en activering

Informatie is nodig om op nauwkeurige en

Er wordt in het evaluatieproces niet op voorhand

objectieve wijze te laten zien in hoeverre het

vastgesteld welke producten de evaluatie dient

gevoerde beleid doelmatig en doeltreffend is en

op te leveren. Dit is afhankelijk van het soort

wat de effecten van de ingezette beleidsinter-

informatie dat in het proces wordt opgehaald.

venties zijn. Ook dient de informatie het mogelijk

De evaluatieproducten moeten een passende

te maken om te beoordelen in hoeverre de

weergave van deze informatie geven, als signa-

gemaakte prestatieafspraken zijn behaald.

leringen die vertaald kunnen worden naar

Als ijkpunt worden hiervoor bereiks- en waar-

vervolggesprekken. De eindproducten van de

deringscijfers van het aanbod gebruikt. Op basis

evaluatie bieden inzicht, maken ambiguïteit

hiervan kan ook beoordeeld worden in hoeverre

zichtbaar en mogen ook verontrusten.

het aanbod pluriform is.

Bijvoorbeeld door de dromen en hoop die ­aspirant-omroepen hebben te laten zien, als beelden van wat er nu wordt gemist in het mediabestel. Of door te laten zien welke dilemma’s er uit de verzamelde informatie naar voren komen, of te laten zien welke worstelingen bestaande omroepen hebben als het gaat om diversiteit. Er hoeft geen dik evaluatierapport uit te rollen die ‘de staat van de diversiteit in de media’ zo neutraal mogelijk weergeeft. Eerder mogen de evaluatieproducten de dilemma’s, verschillen in opvattingen en de zoektocht omtrent dit thema laten zien, op zo’n manier dat het voor alle betrokkenen ook toegankelijk is. Het evaluatieproces is dus niet bedoeld als sluitstuk van de discussie, maar vanuit de erkenning dat het debat over diversiteit in de media voortdurend is.

Evalueerkunst

Inhoudsopgave

28

4.3

Het vervolg van de evaluatie

boekhoudkundig evalueren

kunstzinnig evalueren

Wanneer is de evaluatie goed? Een beoordelaar van deze evaluatie verwacht

Een beoordelaar van deze evaluatie vraagt zich

een nauwkeurig evaluatierapport, op basis

af: helpt deze evaluatie in vervolggesprekken

waarvan hij of zij kan beoordelen of huidige

en debat? Raakt het me, is het bedoeld om te

beleidsinstrumenten doelmatig en doeltref-

activeren? En is dit ook toegankelijk voor

fend zijn. De beoordelaar kijkt of de feiten klop-

iedereen?

pen, of deze onafhankelijk en objectief geformuleerd zijn en of concrete beleidsadviezen worden gegeven. Welk vervolg moet de evaluatie bewerkstelligen? De minister dient het evaluatierapport met de

Het evalueren dient beelden op te leveren die

Kamer te delen en daarbij aan te geven wat er

resoneren met het breed gevoerde maatschap-

met de gegeven aanbevelingen gedaan wordt.

pelijke debat en herkenning oproepen bij de

Toegezegd wordt dat evaluatieonderzoeken

verschillende groepen in de samenleving. Door

zullen volgen om informatie te verzamelen

bijvoorbeeld de dromen van aspirant-omroepen

over het effect van de aanbevelingen die

te laten zien, kan het gesprek worden gevoerd

worden overgenomen uit het rapport.

over de behoeften die in de samenleving leven en de mate waarin dit in het huidige media­ bestel genoeg ruimte krijgt. De evaluatieproducten zijn niet bedoeld als sluitstuk van de discussie, maar als onderdeel van de voortdurende beweging, om te laten zien wat er al goed gaat en wat niet en wat er al dan niet nodig is. Het geeft weer, zij het met erkenning van het ongemak rondom het thema, wat er écht anders moet.

Evalueerkunst

Inhoudsopgave

29

5.

Casus 2: Segregatie in het onderwijs We werken ook voor het thema ‘Segregatie in het onderwijs’ uit hoe deze geëvalueerd kan worden vanuit zowel het boekhoudkundige als het kunstzinnige perspectief. Bij de boekhoudkundige evaluatie staat de vraag centraal in hoeverre de beleidsmaatregelen voor het tegengaan van onderwijssegregatie effectief zijn. Daarbij wordt gekeken of lokale actoren, binnen de door de Rijksoverheid gestelde randvoorwaarden, genoeg doen om onderwijssegregatie tegen te gaan. Doel van de evaluatie is om te kijken of de gestelde randvoorwaarden nog passend zijn. Onafhankelijk onderzoek moet laten zien of door de ingezette beleidsmiddelen onderwijssegregatie is toe- of afgenomen, op basis waarvan aanbevelingen voor toekomstig beleid kunnen worden gedaan. Bij de kunstzinnige evaluatie is de maatschappelijke onrust rondom onderwijssegregatie het vertrekpunt. De evaluatie begint dan ook op plekken waar beweging plaatsvindt, dus bijvoorbeeld bij bijzondere initiatieven. In het evaluatieproces wordt actief gezocht naar het mobiliseren van nieuwe actoren en belangengroepen, om te zoeken naar oplossingen die wellicht eerder nog niet in beeld waren. De evaluatieproducten moeten een authentieke en aangrijpende weergave van het evaluatieproces zijn. Dat betekent dat ze recht moeten doen aan de ervaringen, ideeën en gesprekken die in het proces langs zijn gekomen.

De documentaire Klassen is een mooi voorbeeld van hoe op aangrijpende wijze kan laten zien hoe de strijd tegen onderwijssegregatie wordt gevoerd door betrokkenen, zoals docenten, politici en schoolbestuurders. De eindproducten van de evaluatie moeten uiteindelijk resoneren met wat in de maatschappij speelt en met wat er al wordt gedaan om onderwijssegregatie tegen te gaan en om dit thema bespreekbaar te maken. In onderstaande tabel worden beide evaluaties stapsgewijs beschreven.

Evalueerkunst

Inhoudsopgave

30

5.1

Programmeren van de evaluatie

boekhoudkundig evalueren

kunstzinnig evalueren

Welke onderwerpen moeten geëvalueerd worden? Om segregatie in het onderwijs effectief te

In de documentaire Klassen, die begin 2021

bestrijden, is een beleidsagenda opgesteld.

bij de Publieke Omroep te zien was, volgen we

Een evaluatie naar deze agenda dient te onder-

enkele leerlingen van basisscholen en middel-

zoeken in hoeverre de beleidsmaatregelen voor

bare scholen in Amsterdam-Noord. De docu-

het tegengaan van onderwijssegregatie

mentaire is, zoals de makers zeggen, ‘een serie

­effectief zijn.

over de strijd voor gelijke kansen in het onderwijs’. De serie brengt het thema onderwijs­ segregatie tot leven: op de ene school is balletles mogelijk, door financiële bijdragen van ouders. Op andere scholen is van extra lessen geen sprake en lopen tal van leerlingen rond die zich door een moeilijke thuissituatie maar lastig kunnen concentreren op school. Wie de documentaire kijkt, voelt ongemak en onmacht. Maar is ook trots op de docenten, politici en bestuurders en andere betrokkenen die zich inzetten om de ongelijkheid op scholen te verkleinen. Voor de kunstzinnige evaluatie is het ongemak, de trots en de maatschappelijke onrust rondom onderwijssegregatie het vertrekpunt voor het evalueren van dit vraagstuk en het gevoerde beleid.

Evalueerkunst

Inhoudsopgave

31

boekhoudkundig evalueren

kunstzinnig evalueren

Wat moet de evaluatie in beeld brengen? De Rijksoverheid stelt randvoorwaarden op

De evaluatie begint op plekken waar beweging

waarbinnen lokale maatregelen genomen

plaatsvindt: waar zijn bijzondere initiatieven,

kunnen worden om onderwijssegregatie tegen

waar wordt het thema onderwijssegregatie

te gaan. Een evaluatie naar deze randvoor-

besproken en bediscussieerd? Het kijkt naar wie

waarden brengt in beeld of deze er toe leiden

daar betrokken zijn en welke ontwikkelingen

dat op lokaal niveau genoeg wordt gedaan om

er zijn. Maar de evaluatie kijkt ook verder, door

onderwijssegregatie tegen te gaan, of dat

te bevragen wat er nog niet in beeld is bij

aanscherping of aanvulling van de randvoor-

betrokken, of welke actoren nog niet gehoord

waarden nodig is. De evaluatie bekijkt of de

worden in discussies of nog niet meegenomen

organisaties die geacht worden zich in te

worden bij hoopvolle initiatieven. Zo sluit de

zetten, zoals scholen en gemeenten, datgene

evaluatie aan bij de beweging die al gaande is

doen wat met de randvoorwaarden is beoogd.

en zoekt naar waar beweging nodig is.

De evaluatie laat dus zien of de beleidsinterventies van de Rijksoverheid het beoogde effect op lokaal niveau hebben. Wat moet de evaluatie in gang zetten? De evaluatie moet laten zien in hoeverre de

De evaluatie kijkt voorbij bestaande indicatoren,

gestelde randvoorwaarden het beoogde effect

beleidsinstrumenten of denkpatronen. In het

opleveren, zodat aanbevelingen voor eventuele

evaluatieproces wordt actief gezocht naar het

verbeteringen gedaan kunnen worden.

mobiliseren van nieuwe actoren en belangen-

Het dient in gang te zetten dat beter beleid

groepen, om te zoeken naar oplossingen die

wordt ontwikkeld.

wellicht eerder nog niet in beeld waren.

Evalueerkunst

Inhoudsopgave

32

5.2

Het uitvoeren van de evaluatie

boekhoudkundig evalueren

kunstzinnig evalueren

Welke actoren moeten op welke wijze betrokken worden? Ten eerste dient de evaluatie te bestaan uit

Het evaluatieproces is bedoeld om diverse,

onderzoek die op onafhankelijke en objectieve

soms nog ongehoorde geluiden te betrekken in

wijze laat zien wat de ontwikkelingen zijn als

de gezamenlijke zoektocht voor het tegengaan

het gaat over segregatie in het onderwijs.

van onderwijssegregatie. Politici, (school)

Daarnaast worden lokale partijen betrokken bij

bestuurders, ambtenaren, uitvoerders, ouders,

de evaluatie, door informatie op te vragen over

leerlingen, docenten, belangenorganisaties:

de inzet die ze hebben geleverd om segregatie

allen zijn zij onderdeel van het vraagstuk en in

in het onderwijs tegen te gaan. De evaluatie

het evaluatieproces krijgen ze allemaal een

laat zodoende aan de politiek zien wat de effecten

actieve rol. Als meedenkers, als aanhoorders

van de beleidsagenda omtrent onderwijssegre-

van de ervaringen van anderen, als meebeslis-

gatie zijn.

sers over mogelijke oplossingen of verbeteringen om onderwijssegregatie tegen te gaan. Voor het evaluatieproces zijn de ervaringen en ideeën van al deze actoren relevant. Er wordt niet over ze gesproken en geschreven, maar het evaluatieproces krijgt in gezamenlijkheid vorm.

Welke informatie moet op welke wijze worden gebruikt? Ten eerste dient informatie te worden verzameld

Het evaluatieproces is gericht op het weergeven

over segregatie in het onderwijs. Onafhankelijk

van de ervaringen en betekenissen van alle

onderzoek kan laten zien of deze is toegenomen

betrokken actoren. Verzamelende informatie is

of afgenomen.

diepgevoeld, persoonlijk en authentiek.

Daarnaast wordt informatie verzameld over de

Dan gaat het om vragen als: Wat ervaren leer-

inzet op lokaal niveau, binnen de door het Rijk

lingen? Wat maken docenten en leerkrachten