Notitie Winterswijk Meetbaar (maken van) beleid
Tekst van het document
Meetbaar (maken van) beleid ‘Geen exacte wetenschap’
MEETBAAR (MAKEN VAN) BELEID Geen exacte wetenschap
Voorwoord Het werken met meetbaar beleid is vooral van belang om met elkaar in een zinnig gesprek te raken over wat men nu eigenlijk precies met elkaar wil bereiken en hoe men dat doet, met welk beleid en daaraan gekoppelde inzet van middelen. Van wezenlijk belang daarbij is natuurlijk ook dat de doelen in overleg met partners worden vastgesteld. Een organisatie en regionaal samenwerkingsverband opereert in een maatschappelijk krachtenveld en dient inzicht te hebben in wie welke bijdrage kan leveren aan welk doel. Kortom: werken met meetbaar beleid is geen exacte wetenschap, maar een bereidheid om vooraf na te denken over wat en waarom en om achteraf het handelen ter discussie te durven stellen en met een open blik naar verbetering te zoeken. Ik hoop dat deze notitie nuttige en stimulerende handvatten biedt bij het formuleren van meetbare doelstellingen. Frans Koemans Consultant EIFFEL
2
MEETBAAR (MAKEN VAN) BELEID Geen exacte wetenschap
Inhoudsopgave 1.
Inleiding ...................................................................................................................... 4
1.1
Meetbare doelstellingen ................................................................................................................ 4
1.2
Leeswijzer .......................................................................................................................................... 5
2.
Doeltreffendheid en doelmatigheid ...................................................................... 6
2.1
Effecten: doeltreffendheid van beleid ......................................................................................... 6
2.2
Effecten: doelmatigheid van beleid ............................................................................................ 6
2.3
Prestaties ........................................................................................................................................... 7
3.
Welke begrippen kunnen we het beste hanteren? ............................................ 8
4.
Wat is SMART-doelstellingen? .................................................................................. 9
5.
Hoe volgen we het beleid? ................................................................................... 11
6.
Wat willen we meten? ............................................................................................ 13
6.1
Outcome-doelstellingen: lastig maar niet onmogelijk en tegelijkertijd noodzakelijk ........... 13
6.2
Eindconclusie: output- én outcome-doelstellingen.................................................................. 14
6.3
Moeilijkheidsgraad in benoemen en beschrijven ..................................................................... 14
7.
Hoeveel doelstellingen stellen we op? ................................................................ 14
8.
Dilemma’s en valkuilen .......................................................................................... 15
9.
Succesfactoren ....................................................................................................... 16
10.
Groeimodel ........................................................................................................... 16
3
MEETBAAR (MAKEN VAN) BELEID Geen exacte wetenschap
1.
Inleiding
Door een aantal ontwikkelingen in het lokale bestuur en de maatschappij zijn steeds meer beleidsvelden complexe netwerken van allerlei organisaties geworden. De vraag naar de precieze verantwoordelijkheid van de lokale overheid daarin dringt zich daardoor steeds meer op. Dit creëert de behoefte aan publieke verantwoording en aan helderheid om zicht te krijgen op de resultaten van het beleid. Mede als gevolg van het voorgaande is binnen het gemeentelijk bestuur de aandacht al een aantal jaren aan het verschuiven van het maken van plannen en het verdelen en besteden van geld, naar het uitvoeren van plannen en het boeken van resultaat bij een verantwoord financieel beheer. Voorheen voldeed de periodieke financiële verantwoording. De discussie ging over het "uitkomen" met de begroting. Dan deed men "het" goed. Zonder dat nu erg duidelijk werd gemaakt wat er goed gedaan was. Er werd daardoor weinig nagedacht over de vraag wat de gemeente nu eigenlijk levert en over de vraag of het gemeentelijke optreden enig effect heeft. Men dacht in termen van input (zoveel budget, zoveel mensen, zoveel uren) en niet in termen van output (zoveel prestaties: producten en diensten) en outcome (doel/effectrealisatie). De laatste 10 tot 15 jaar is men meer geïnteresseerd in niet-financiële prestaties en in niet-financiële organisatiegebieden en niet-financiële managementinformatie.
Hierbij staan los van allerlei ontwikkelingen nog steeds de drie W-vragen centraal; 'Wat willen we bereiken, wat gaan we daarvoor doen en wat mag dat kosten?'. Als tegenhanger zou de verantwoording logischerwijs antwoord moeten bieden op de vraag: 'Hebben we bereikt wat we hebben beoogd, hebben we gedaan wat we daarvoor zouden doen en heeft het gekost wat we dachten dat het zou kosten?' Dit leidde echter al gauw naar de vraag of en hoe het beleid van de lokale overheid meetbaar is.
1.1
Meetbare doelstellingen
Het nut van meetbare doelstellingen is te danken aan de volgende voordelen die ze kunnen bieden: 1.) Ze maken het beleid toetsbaar: ze zijn een instrument om te meten of de met het beleid nagestreefde doelen werkelijk worden gehaald. 2.) Ze hebben een motiverende functie; ze dwingen tot het maken van keuzes en geven de organisatie(s) een gezamenlijk doel om aan te werken en kunnen zo ook draagvlak voor het beleid creëren. 3.) Ze bieden de mogelijkheid achteraf rekenschap af te leggen aan de burger en de raad over het gevoerde beleid: ze leggen vast wat we beloven te doen, en maken meetbaar of we het daadwerkelijk hebben gedaan en of we de beoogde resultaten hebben bereikt. 4
MEETBAAR (MAKEN VAN) BELEID Geen exacte wetenschap In deze notitie worden een aantal vuistregels gegeven die van nut kunnen zijn bij het opstellen van meetbare doelen. Dit is nuttig, omdat blijkt dat iedereen weer een andere benadering en formulering kiest, hetgeen tot verwarring leidt. Er zijn momenteel namelijk tal van begrippen in omloop –indicatoren, meetbare doelstellingen, streefwaarden, maatstaven, normen etc.– die allemaal door elkaar gebruikt worden. Ook wordt er voor allerlei soorten doelstellingen gekozen, zonder dat helder is nagedacht wat de voor- en nadelen van verschillende vormen zijn. Bovendien blijken doelstellingen vaak niet meetbaar gemaakt. In andere gevallen zijn aan de algemene doelstellingen weliswaar meetbare doelstellingen gekoppeld, maar is de onderlinge relatie niet helder.
1.2
Leeswijzer
Achtereenvolgens wordt ingegaan op de volgende onderwerpen: • • • • • • • • •
Doelmatigheid en doeltreffendheid (hoofdstuk 2) Welke begrippen kunnen we het beste hanteren? (hoofdstuk 3) Hoe leg je een relatie tussen je doelstellingen en de indicatoren waarmee je wilt volgen of de doelstellingen gehaald zijn? (hoofdstuk 3) Hoe maak je beleid die SMART is? (hoofdstuk 4) Hoe volg je beleid? (hoofdstuk 5) Wat is het verschil tussen output- en outcome-indicatoren? (hoofdstuk 6) Hoeveel doelstellingen moet je formuleren (hoofdstuk 7) Wat zijn de dilemma’s en valkuilen van meetbaar beleid? (hoofdstuk 8) Factoren welke ten goede komen aan de het meetbaar maken alsmede het meten van beleid (hoofdstuk 9).
5
MEETBAAR (MAKEN VAN) BELEID Geen exacte wetenschap
2.
Doeltreffendheid en doelmatigheid
De informatie over de door gemeentes nagestreefde doelen en te leveren prestaties vallen onder de noemer prestatiegegevens. Als containerbegrip dient ‘prestatiegegevens’ de begrippen doeltreffendheid en doelmatigheid in zich te verenigen. Aan de ene kant duidt het dan op het bereiken van doelstellingen (effecten) als ‘de verdienste’ van gemeentelijk (of regionaal) beleid. Aan de andere kant zegt de term dan iets over het ‘presterend vermogen’ van de gemeente als producent van producten en diensten (prestaties).
2.1
Effecten: doeltreffendheid van beleid
Bij het vaststellen van de doeltreffendheid van beleid gaat het om de nagestreefde maatschappelijke effecten. Het doel van de te leveren prestaties van de gemeente (of de regio) is - direct of indirect - de realisatie van een gewenst maatschappelijk effect (Wat willen we bereiken?). Om prestatiegegevens te benoemen voor de realisatie van de beoogde maatschappelijke effecten zullen de beleidsdoelstellingen moeten worden vertaald in effectindicatoren. Effectindicatoren zijn vaak gegeven in termen van verandering ten opzicht van een referentie situatie, maar evenzo ook in termen van aantallen. In de praktijk laat het verband tussen de door een dienst geleverde prestaties en effecten zich echter niet vaak eenvoudig vaststellen. Het kan zijn dat de beleidsdoelen worden bereikt, maar dat het gevoerde beleid daar weinig of niets aan heeft bijgedragen. Voor het sturen op en beoordelen van de doeltreffendheid van gemeentelijk beleid, is het daarom van belang dat een aannemelijk verband kan worden gelegd tussen (1) de gemeentelijke beïnvloedingsmogelijkheden en prestaties en (2) de mate waarin dit leidt tot het bereiken van beleidsdoelen. De rijksoverheid, provinciale en gemeentelijke overheden spelen daarbij veelal een gezamenlijke rol.
De vraag of de gerealiseerde effecten vallen toe te rekenen aan het gevoerde gemeentelijke beleid, kan in de meeste gevallen slechts met behulp van periodiek uit te voeren evaluatieonderzoek worden beantwoord.
2.2
Effecten: doelmatigheid van beleid
Naast het bepalen van de doeltreffendheid van beleid, is het ook mogelijk om de doelmatigheid van beleid te bepalen (ook wel kosteneffectiviteit genoemd). Hiervoor dienen de te bereiken doelen zoveel als mogelijk gekwantificeerd te zijn en alsmede voorzien van een eindtermijn waarbinnen de effecten bereikt moeten zijn. Zonder duidelijke streefwaarden en eindtermijnen kan de doelstelling immers niet worden gebruikt als ‘ijkpunt’. Alleen wanneer er een vastomlijnde doelstelling aanwezig is, kan door middel periodieke rapportages ( zoals bestuursrapportages e.d.) en evaluatieonderzoek worden bezien of de doelstelling niet met de inzet van minder middelen bereikt had kunnen worden. Of dat er niet meer beoogde effecten gerealiseerd hadden kunnen worden met de ingezette middelen.
6
MEETBAAR (MAKEN VAN) BELEID Geen exacte wetenschap
2.3
Prestaties
Hoewel de finale doelstelling van beleid altijd betrekking heeft op de uiteindelijk te bereiken effecten, kunnen er goede redenen bestaan om voor doelstellingen te kiezen voor te leveren prestaties of te ondernemen activiteiten. Dit zijn doelstellingen op het gebied van de prestaties die de gemeente, de regio of verbonden partijen wil leveren. Bij prestaties gaat het om het concretiseren van de eigen inspanningen welke aangeven waar men zich op richt om de beoogde maatschappelijke effecten te bereiken. Hiervoor worden prestatie-indicatoren gebruikt. Prestatie-indicatoren brengen voornamelijk de voortgang van processen in beeld en meten daarbij de kwantiteit of kwaliteit van het handelen van de gemeente. Als prestatie-indicatoren worden gebruikt om te sturen kan dat alleen als er een norm is vastgesteld. Een afwijking van de norm is dan reden voor actie. Er is sprake van een norm als de prestatie-indicator een streefwaarde heeft, die op de een of andere wijze is onderbouwd
7
MEETBAAR (MAKEN VAN) BELEID Geen exacte wetenschap
3.
Welke begrippen kunnen we het beste hanteren?
Om begripsverwarring te voorkomen, is het verstandig consequent voor een bepaalde terminologie te kiezen. Het is aan te bevelen de volgende vier begrippen te gebruiken. Algemene doelstellingen Deze geven in kwalitatieve zin aan wat de belangrijkste door de gemeente nagestreefde doelen zijn op het voorliggende beleidsterrein. Het is zeker zinvol dergelijke algemene, richtinggevende doelstellingen te formuleren, maar het mag daar niet bij blijven; deze doelstellingen moeten vertaald worden in: Meetbare doelstellingen Om te bepalen of de algemene doelstelling gehaald wordt, dient die uiteengelegd te worden in aspecten die meetbaar zijn. Meetbare doelstellingen vormen dus de vertaling van de algemene doelstelling in gekwantificeerde subdoelstellingen. Eventueel kan deze vertaling geschieden via een tussenlaag van niet gekwantificeerde subdoelen. Indicatoren In een meetbare doelstelling is één of meer indicatoren opgenomen: de variabele(n) aan de hand waarvan wordt gemeten of de doelstelling wordt gehaald. Streefwaarden In de meetbare doelstelling worden streefwaarden geformuleerd, het nagestreefde niveau waarop de indicator op een vastgelegd moment moet komen. Een voorbeeld van een algemene doelstelling: Winterswijk moet een veilige stad worden.
Een voorbeeld van een meetbare doelstelling: Het aantal geregistreerde verkeersongelukken in de stad Winterswijk moet in 2025 gedaald zijn tot 3 ongelukken per 1000 inwoners. In deze meetbare doelstelling is "het aantal geregistreerde verkeersongelukken per 1000 inwoners" de indicator en 3 de streefwaarde. Zetten we de begrippen in een figuur, dan ziet dat er als volgt uit: Algemene doelstelling
Meetbare doelstelling
bevat
Indicator
8
niveau
Streefwaarde
MEETBAAR (MAKEN VAN) BELEID Geen exacte wetenschap De samenhang tussen algemene en meetbare doelstellingen Van wezenlijk belang is dat er een heldere relatie bestaat tussen algemene en meetbare doelstellingen. Kernbegrippen daarbij zijn consistentie en volledigheid. Ten aanzien van deze relatie moet gecheckt worden of: 1.) de meetbare doelstellingen logisch voortvloeien uit de algemene doelstellingen. 2.) de meetbare doelstellingen alle belangrijke aspecten van de algemene doelstellingen dekken. Een algemene doelstelling kan dus doorvertaald worden in meerdere meetbare doelstellingen. Begrippenkader Op basis van het bovenstaande kan het onderstaand schema als leidraad gebruikt worden bij het uitwerken van beleid.
Algemene doelstelling
Meetbare doelstelling
Meetbare doelstelling
Meetbare doelstelling
(Indicator, streefwaarde)
Indicator, streefwaarde)
Indicator, streefwaarde)
4.
Prestatie (Activiteit)
Prestatie (Activiteit)
Indicator, streefwaarde)
Indicator, streefwaarde)
Wat is SMART-doelstellingen?
9
Prestatie (Activiteit) Indicator, streefwaarde)
MEETBAAR (MAKEN VAN) BELEID Geen exacte wetenschap Hoe formuleer je een meetbare doelstelling en aan welke eisen dient deze te voldoen? Een veel gebruikt hulpmiddel bij het meetbaar maken van doelstellingen is het toepassen van het SMART-principe. Daarbij worden tegelijkertijd de indicatoren en de streefwaarden bepaald. S = specifiek Een te algemeen geformuleerde doelstelling geeft problemen bij de uiteindelijke meting van de prestaties en effecten. Hoe specifieker het beoogde resultaat is verwoord, hoe makkelijker het wordt om de benodigde gegevens te verzamelen om achteraf het succes van het beleid te bepalen. Onderstaande meetbare doelstelling is specifiek omdat deze voor de stad Winterswijk geldt: Het aantal geregistreerde verkeersongelukken in de gemeente Winterswijk moet in 2025 gedaald zijn tot 3 ongelukken per 1000 inwoners. M = meetbaar Een doelstelling beschrijft het resultaat dat bereikt moet worden. Het resultaat moet dusdanig beschreven worden dat het meetbaar (kwantitatieve waarde) is of vastgesteld kan worden. Zodoende is het resultaat toetsbaar. De meetbare eenheid die een benadering geeft van de realiteit noemen we een indicator. De indicator is het instrument waarmee de doelen worden gevolgd. Deze indicator dient te allen tijde relevant te zijn voor het volgen van de doelstelling, zodat de informatie de resultaten voldoende afdekt.
Dit is een andere manier om te zeggen dat de meetbare doelstelling op een logische manier voortvloeit uit de algemene doelstelling en daar een zo volledig mogelijk beeld van geeft. Het is op het niveau van de indicatoren, dat streefwaarden (het nagestreefde gekwantificeerde doel ofwel de meetlat) worden aangegeven. Let goed op dat je de keuze voor de streefwaarde altijd expliciet voorziet van een motivatie. Het leggen van de meetlat op een bepaalde hoogte is namelijk geen vrijblijvende aangelegenheid. Immers, het is tegenover deze norm dat je verantwoording af moet leggen, bijvoorbeeld in de jaarrekening. Onderstaande meetbare doelstelling is meetbaar omdat ze een indicator (het aantal geregistreerde verkeersongelukken per 1000 inwoners) en een streefwaarde (3) bevat. Het aantal geregistreerde verkeersongelukken in de gemeente Winterswijk moet in 2025 gedaald zijn tot 3 ongelukken per 1000 inwoners. A = aanvaardbaar/afgesproken Een doelstelling kan als een afspraak beschouwd worden tussen verschillende belanghebbende partijen en partners. Een afgesproken en aanvaarde doelstelling geeft het voordeel dat ze gedragen wordt door alle betrokkenen, wat belangrijk is voor de motivatie om het afgesproken resultaat te bereiken.
Sterker nog: als de betrokken partijen (zowel binnen als buiten de organisatie) niet achter de doelstelling staan, het draagvlak voor de doelstelling niet bestaat, dan is de kans 10
MEETBAAR (MAKEN VAN) BELEID Geen exacte wetenschap dat die gerealiseerd wordt gering. Voorwaarde voor een goede doelstelling is dus draagvlak, en andersom kan een goede doelstelling draagvlak creëren. Verschillende factoren spelen een rol om een doelstelling aanvaardbaar te maken. Zo dient bijvoorbeeld rekening te worden gehouden met politieke verhoudingen tussen college en raad; hoe aanvaardbaar is het om binnen bepaalde politieke verhoudingen een doelstelling te formuleren en te volgen? Maar denk bijvoorbeeld ook aan financiële kaders en met betrekking tot de burger en aansluiting bij diens prioriteiten. Onderstaande meetbare doelstelling is (mogelijk) aanvaardbaar omdat met betrokken partijen en partners hier afspraken over gemaakt kunnen worden en alle partijen het er (waarschijnlijk) over eens zijn dat dit een belangrijk doel is om te halen. Het aantal geregistreerde verkeersongelukken in de gemeente Winterswijk moet in 2025 gedaald zijn tot 3 ongelukken per 1000 inwoners. R = realistisch Een te hoog gestelde verwachting (streefwaarde) zal als onhaalbaar worden beschouwd en diegenen die het resultaat moeten proberen te bereiken onmiddellijk ontmoedigen. Ook mag de lat niet te laag worden gelegd, want dat betekent dat er geen uitdaging voor de uitvoerders is.
Onderstaande meetbare doelstelling kan realistisch zijn als de nagestreefde afname relatief bescheiden is ten opzichte van een nulmeting (bijvoorbeeld huidig aantal geregistreerde verkeersongelukken staat op 5) en de verkeersveiligheid een politieke prioriteit heeft, waardoor er extra inspanningen zullen worden verricht. Het aantal geregistreerde verkeersongelukken in de stad Winterswijk moet in 2025 gedaald zijn tot 3 ongelukken per 1000 inwoners. T = tijdgebonden De tijdshorizon geeft aan waarbinnen welke resultaten/gekwantificeerde effecten behaald moeten worden. Onderstaande meetbare doelstelling is tijdgebonden omdat deze aangeeft wanneer het doel gehaald moet zijn, namelijk in 2006. Het aantal geregistreerde verkeersongelukken in de stad Winterswijk moet in 2025 gedaald zijn tot 3 ongelukken per 1000 inwoners. Het opnemen van een tijdslimiet in de doelstelling stelt tegelijkertijd eisen aan de gegevens waarmee de doelstelling gevolgd wordt. Deze dienen namelijk de periode waarover de doelstelling is opgenomen af te dekken. In het geval van de programmabegroting: het kan ook zo zijn dat doelstellingen voor een langere periode dan de begrotingsperiode van een jaar worden geformuleerd. In dat geval is het zaak een tussendoel voor het begrotingsjaar aan te geven.
5.
Hoe volgen we het beleid?
11
MEETBAAR (MAKEN VAN) BELEID Geen exacte wetenschap Het beleid kan prachtig SMART zijn geformuleerd, maar als de benodigde informatie om het beleid te volgen onjuist of niet voorhanden is, schieten we daar weinig mee op. Daarom is een niet te vergeten stap in het maken van meetbaar beleid, te bepalen welke informatie nodig is en om deze te checken aan de hand van volgende vragen: 1.) Wordt de benodigde informatie momenteel al bijgehouden? 2.) Zo ja: met welke periodiciteit gebeurt dat? Worden er metingen op bepaalde tijdstippen gehouden, en stemmen die tijdstippen overeen met de meetmomenten die we nodig hebben voor het volgen van onze doelstelling? 3.) Zo nee: is het überhaupt mogelijk de benodigde informatie te verzamelen? Welke kosten en inspanningen zijn daaraan verbonden en wie zou dat kunnen doen? Ad 1. Wordt de benodigde informatie momenteel al bijgehouden? Enig pragmatisme bij het formuleren van meetbaar beleid kan geen kwaad: het is nuttig zoveel mogelijk aan te sluiten bij informatie die nu al goed wordt bijgehouden. Er is een schat aan informatie beschikbaar en het is wenselijk daar zo goed mogelijk gebruik van te maken. Dat bepaalde informatie er niet is, betekent niet zelden dat het heel moeilijk is eraan te komen.
Aan de andere kant kan het natuurlijk zo zijn dat het, om een bepaalde doelstelling goed te kunnen volgen, essentieel is nieuwe informatie te verzamelen. Veel voortgangsgegevens worden door de afdelingen/sectoren zelf bijgehouden. Bij het formuleren van een meetbare doelstelling is het van belang goed in beeld te krijgen welke informatie nodig is en wie hierover beschikt. Ad 2. Zo ja: met welke periodiciteit gebeurt dat? Worden er metingen op bepaalde tijdstippen gehouden en stemmen die tijdstippen overeen met de meetmomenten die we nodig hebben voor het volgen van onze doelstelling? Veel bronnen komen maar met een bepaalde frequentie ter beschikking. Bij het opstellen van een jaarlijks product als de programmabegroting kan dit een probleem vormen. In dat geval is het aan te raden bij het formuleren van een meetbare doelstelling hier rekening mee te houden door een tijdshorizon af te spreken die aansluit op de periodiciteit van de gegevensverzameling. (zie ook voorbeeld bij Tijdgebonden) Ad 3. Zo nee: is het überhaupt mogelijk de benodigde informatie te verzamelen? Welke kosten en inspanningen zijn daaraan verbonden en wie zou dat kunnen doen? Als de informatie niet beschikbaar is, moeten afspraken gemaakt worden wie deze kan verzamelen en bijhouden. In principe zijn de afdelingen/sectoren/diensten verantwoordelijk voor hun eigen informatievoorziening.
12
MEETBAAR (MAKEN VAN) BELEID Geen exacte wetenschap
6.
Wat willen we meten?
Niet alleen moet een doelstelling meetbaar zijn, ook moet er goed nagedacht zijn over wat we eigenlijk willen meten. Een essentiële vraag daarbij is: Willen we meten welke productie de organisatie levert (output) of willen we meten of maatschappelijke effecten optreden dankzij het gevoerde beleid (outcome)? Output-doelstellingen zijn doelstellingen op het gebied van de prestaties die je als organisatie wilt leveren. Zij hebben daarmee een directe relatie met de inspanningen die je als organisatie levert. Met andere woorden: de prestaties zijn door de organisatie direct stuurbaar. Het voordeel van dergelijke doelstellingen is dat je jezelf duidelijke normen kunt opleggen en daarop afgerekend kunt worden. Een voorbeeld van een output-doelstelling voor een gemeente is: Het aantal veeguren dat in de wijken gemaakt wordt is in 2021 met 2% gestegen ten opzichte van 2022. Outcome-doelstellingen zijn doelstellingen op het gebied van de maatschappelijke effecten die je wilt bereiken. Het voordeel hiervan is dat je gaat meten of je beleid het gewenste effect heeft gehad. Een voorbeeld van een outcome-doelstelling voor een gemeente is: Het rapportcijfer dat de Winterswijkse bevolking geeft voor 'onderhoud openbare ruimte' is in 2023 gestegen tot een 6,4.
Het nadeel van een outcome-doelstelling, en tevens het grote verschil met outputdoelstellingen, is dat het verband tussen gemeentelijke inspanningen en maatschappelijke effecten vaak moeilijk te leggen is. Met andere woorden, het in de doelstelling beoogde effect wordt door meer factoren beïnvloed dan door de geleverde inspanningen van de organisatie alleen. 6.1 Outcome-doelstellingen: lastig maar niet onmogelijk en tegelijkertijd noodzakelijk Ondanks het feit dat het bij outcome-doelstellingen lastig is een relatie te leggen tussen het gevoerde beleid en de maatschappelijke effecten, is het formuleren van outcome-doelstellingen belangrijk. Immers, het uiteindelijke doel van alle gemeentelijke inspanningen is resultaten in de samenleving te boeken. Het is dus van wezenlijk belang deze in het vizier te houden, hoe moeilijk het ook is een relatie te leggen tussen gevoerd beleid en maatschappelijke ontwikkelingen. Bovendien betekent het niet dat omdat deze relatie moeilijk te leggen is, het onmogelijk is. In het licht hiervan is het van belang om bij het maken van een outcome-doelstelling de relatie die we verwachten tussen het gevoerde beleid en het beoogde effect, plausibel te maken. Het plausibel maken kan bijvoorbeeld via een doelboomanalyse. In een zogeheten ‘doelboom’ wordt een specifiek beleid uiteengerafeld in activiteiten, tussendoelen en einddoelen.
Een doelboom expliciteert hoe het beleid in elkaar zit, waarom we verwachten dat het ingezette beleidsinstrument tot het verwachte maatschappelijke effect zal leiden. Het maken van een doelboom dwingt ons dus helder te maken hoe we het verwachte effect denken te bereiken.
13
MEETBAAR (MAKEN VAN) BELEID Geen exacte wetenschap Tevens schept de doelboom de mogelijkheid bepaalde verbanden kritisch tegen het licht te houden. Wanneer deze de toets der kritiek doorstaan, wordt de relatie meer waarschijnlijk.
6.2
Eindconclusie: output- én outcome-doelstellingen
Het is wenselijk zowel output- als outcome-doelen te formuleren. De eerste leggen concreet vast welke inspanningen de gemeente voorneemt te verrichten en maken meetbaar of de gemeente de beloofde inspanningen werkelijk uitvoert. Bij deze activiteiten heeft de gemeente altijd een maatschappelijk doel in het vizier. Om meetbaar te maken of dat doel gehaald wordt, is het belangrijk ook outcomedoelstellingen te formuleren. Wanneer we deze formuleren is het wel zaak heel goed na te denken over de relatie tussen de gemeentelijke en het beoogde effect. Een instrument dat daarbij van nut kan zijn is het maken van een doelboom.
6.3
Moeilijkheidsgraad in benoemen en beschrijven
Voor gemeenten en regionale samenwerkingsverbanden is het nog steeds lastig om producten en prestaties te benoemen en te beschrijven. De situatie van de overheidsorganisatie is soms dermate complex en uniek dat het praktisch onmogelijk is om geschikte (effect-) indicatoren te vinden die deze realiteit zouden kunnen bevatten. Een argument dat daarbij vaak aangehaald wordt is het feit dat de publieke sector niet hetzelfde is als de private sector en dat er rekening moet worden gehouden met zoveel factoren dat de metingen onmogelijk betrouwbaar en valide kunnen zijn.
7.
Hoeveel doelstellingen stellen we op?
Tot nu toe is behandeld hoe je beleid meetbaar maakt en hoe je kunt nadenken over de vraag wat je eigenlijk wilt meten. Een heel praktisch onderdeel van de kwestie wat je eigenlijk wilt meten, is de vraag hoeveel doelstellingen je moet opstellen. Aan de ene kant bestaat er terecht de drang volledig te zijn: het is niet logisch als op bepaalde beleidsterreinen geen doelstellingen geformuleerd zijn. Aan de andere kant heeft een beperkt aantal doelen als voordeel dat het overzichtelijker is en dat op de speerpunten van het beleid geconcentreerd kan worden. De gulden middenweg is uiteindelijk zoals zo vaak de beste. Formuleer in elk geval zowel output- als outcome-doelstellingen. Probeer daartoe in kaart te brengen wat de belangrijkste prestaties zijn die op een bepaald beleidsterrein geleverd moeten worden, en formuleer daar een output-doelstelling over. Tracht tevens de meest cruciale maatschappelijke doelen in kaart te brengen, en formuleer die in een outcome-doelstelling. Probeer in elk geval niet over elk detail van het beleid een doelstelling te formuleren, houd de hoofdzaken in de gaten! De ervaring leert dat het aantal doelstellingen snel oploopt. Selecteer daarom streng wat echt wezenlijk is!
14
MEETBAAR (MAKEN VAN) BELEID Geen exacte wetenschap
8.
Dilemma’s en valkuilen
Het meten van beleid en sturen op prestatiegegevens kan ook de nodige dilemma’s en valkuilen met zich meebrengen: Helder formuleren van beleid Het is een noodzaak om helder te zijn in het formuleren van doelen. Dit voorkomt onduidelijkheden bij de vertaling in prestatiegegevens. Hierdoor maakt men zich echter afrekenbaar, waardoor het niet meer mogelijk is tijdens het proces de gewenste resultaten op grond van de praktijk bij te stellen. Periodiek evaluatieonderzoek en bijsturing Het is aan te bevelen om aan periodiek evaluatieonderzoek (bijvoorbeeld voor de bestuursrapportages) geen voortijdige conclusies over de doeltreffendheid van het beleid te verbinden. Aangezien sommige nagestreefde maatschappelijke effecten pas op lange termijn zichtbaar worden, kan op de korte termijn worden volstaan met het volgen van de voortgang van de realisatie. Het bijsturen van het beleid kan dan eventueel averechts werken. Meten om slecht presteren te maskeren Het hanteren van prestatiegegevens kan worden gebruikt om 'slecht presteren' te maskeren. Overheidsorganisaties zullen leren om steeds 'handiger' gebruik te maken van prestatiegegevens. Denk hierbij aan 'nadelige' of eenzijdig selectie van informatie.
De tactiek om door het meten van prestaties slecht presteren te maskeren kan echter alleen werken, als het de overheidsmanager in kwestie wordt toegestaan prestatiegegevens te benoemen, die inderdaad een selectief inzicht verschaffen in - de kosten en kwaliteit van - zijn presteren. Als de bestuurder wél een goed beeld heeft van de prestaties of effecten waar het feitelijk om gaat, is dit risico goed te ondervangen. Meten maakt tekortkomingen zichtbaar Een logische uitkomst van het meetbaar maken en daadwerkelijk gaan meten van prestaties, is dat eventuele tekortkomingen beter zichtbaar worden. Inherent aan het streven naar meer transparantie is immers het gegeven dat de beschikbaarheid van prestatiegegevens vooraf, het achteraf mogelijk maken om eventuele feilen of 'fouten' haarscherp waar te nemen. Belangrijkste les is dat niet zozeer op de onvolkomenheden moet worden afgerekend die uit prestatiegegevens blijken, maar veeleer op de eventuele afwezigheid van die gegevens. Introductie van resultaatgericht management gaat ten koste van 'vertrouwen' Het is mogelijk dat het resultaatgerichte sturingsmodel te rigide wordt toegepast.
Het maken van zakelijke afspraken over te leveren prestaties en het vervolgens overgaan tot 'afrekenen' wanneer doelstellingen niet worden gehaald, kunnen leiden tot een erosie van de vertrouwensbasis tussen bestuurder en uitvoerende dienst (of zelfs tussen leiding en medewerkers). Het is dus zaak om verstandig om te gaan met 'transparantie door meetbaarheid'. Alleen dan kan vertrouwen over en weer worden waargemaakt. Het gaat immers niet om - als bestuurder -allerlei wensen en prioriteiten zonder meer 'over de schutting' te gooien. Een uitvoerende organisatie moet er bijvoorbeeld op kunnen vertrouwen dat er rekening wordt gehouden met beschikbare capaciteit en eerder gemaakte afspraken. 15
MEETBAAR (MAKEN VAN) BELEID Geen exacte wetenschap
Nadruk op meetbaarheid leidt tot tunnelvisie, rigiditeit en angst voor vernieuwing Wanneer er te veel nadruk op meetbaarheid wordt gelegd, kan dit leiden tot tunnelvisie, rigiditeit en angst voor vernieuwing. 'Tunnelvisie' vloeit voort uit selectieve aandacht van bestuurders (en managers) dat weer het gevolg kan zijn van het hanteren van prestatiegegevens. Een reëel risico van meetbaar beleid is dat alles wat niet in meetbare prestatiegegevens valt uit te drukken, zich aan de waarneming van de bestuurders zal gaan onttrekken.
9.
Succesfactoren
Naar aanleiding van deze notitie zetten we een aantal factoren nog even op een rij welke ten goede komen aan de het meetbaar maken alsmede het meten van beleid:
10.
•
Helder in kaart te brengen waar het in de verschillende gemeentelijke beleidsterreinen nu echt om gaat. Dit voorkomt onduidelijkheden bij de vertaling in prestatiegegevens. Hiernaast is het feedback geven op de resultaten van het beleid minstens zo belangrijk.
•
Rekening houden met de gemeentelijke beïnvloedingsmogelijkheden bij het nastreven van beleidsdoelen. Er zijn vaak meerdere partijen die invloed uitoefenen op het nagestreefde maatschappelijk effect.
Groeimodel Het meetbaar of concreter maken van beleid is een groeimodel. Het toewerken naar een volledig resultaatgericht voor stap uitgevoerd worden, waarbij het ‘schuifje’ van concreetheid en meetbaarheid steeds verschoven kan worden. In dit proces wordt steeds met de verschillende actoren afgestemd in hoeverre wordt voldaan aan de behoeften van concreetheid en resultaatgerichtheid en natuurlijk ook de sturingsbehoefte.
16