eindrapport evaluatie methode-Duisenberg

Evaluatie methode-Duisenberg 2024 onderzoek volgens de methode-Duisenberg bij de Jaarrekening 2023

14 juni 2024

Conclusie Wij adviseren door te gaan met de methode-Duisenberg. Hoewel de methode tijd en aandacht vergt van raadsleden en ambtenaren biedt zij meerwaarde doordat de raad meer grip krijgt op de uitvoering van beleid. Wij concluderen dat de aanbevelingen uit de Duisenberg-rapportages in veel gevallen niet zuiver volgens de methode-Duisenberg waren opgesteld en ook vaak niet SMART waren geformuleerd. Vaak is daarom niet goed vast te stellen of en hoe deze zijn opgevolgd. Waar dit wel het geval is, lijkt de nieuwe informatie niet te leiden tot andere besluitvorming in de raad. Voor de aanbevelingen in de Duisenberg-rapportages moet daarom duidelijk de lat omhoog. Daartoe doen wij hier een aantal concrete aanbevelingen. Mits goed toegepast kan de methode-Duisenberg zorgen voor betere afstemming tussen raad en ambtenaren. Hoewel de methode nu nog zorgt voor extra werk, kan zij juist technische vragen voorkomen en helpen complexe dossiers sneller te doorgronden. De rapporteurs, Carla Kabamba

Rogier Havelaar

Aanbevelingen 1: Ruimere planning De Duisenberg-onderzoeken worden uitgevoerd in het voorjaar (voorafgaand aan de jaarrekening) en voorheen ook in het najaar (voorafgaand aan de begroting). Dit zijn voor raadsleden, griffie en ambtenaren drukke perioden. Een ruimere planning maakt het makkelijker voor raadsleden om tijd vrij te maken voor de methode-Duisenberg, waardoor deze beter verankerd zal worden. 1.1 Stel aan het begin van elke raadsperiode de rapporteurs aan voor de komende vier jaar. Raadsleden zullen makkelijker deze rol op zich nemen als zij dit tijdig kunnen inplannen en als het werk verder in de toekomst ligt. Behoud ervaring door rapporteurs af te wisselen en steeds voor twee Duisenberg-onderzoeken te benoemen. Per onderzoek is dan een ervaren rapporteur gekoppeld aan een nieuwe rapporteur (de ‘dakpanmethode’). Omdat er ook tijdens de raadsperiode veel verloop is van raadsleden, zijn fracties verantwoordelijk voor het aanwijzen van vervangende rapporteurs. 1.2 Begin eerder met de Duisenberg-onderzoeken. Het onderzoek voor de jaarrekening start daarmee in maart. Het onderzoek voor de begroting start in september of, als dat de rapporteurs goed uitkomt, zelfs al in augustus. De Duisenberg-rapportage moet gereed zijn voordat raadsleden technische vragen stellen. Bedoeling is dat die vragen daarmee zo veel mogelijk worden voorkomen.

1.3 Neem de methode-Duisenberg op in het Reglement van Orde van de raad. Ook het coalitieakkoord of mogelijk een raadsakkoord kan de methode-Duisenberg aanwijzen als instrument.

Aanbevelingen 2: Zuivere methode De methode-Duisenberg is niet bedoeld om steeds te vragen om méér gegevens en méér harde indicatoren. Dat leidt immers vaak tot meer bureaucratie bij de uitvoering. Bovendien worden rapportages zo vaak juist complexer en verliezen zij aan focus. De bedoeling van de methode-Duisenberg is nu juist om precies die gegevens te benoemen die de raadsleden inzicht geven en die goed beschikbaar zijn of kunnen worden gemaakt. Dat hoeven niet altijd harde cijfers te zijn. Het formuleren van aanbevelingen is een vak op zich.* 2.1 Laat elk Duisenberg-onderzoek begeleiden door een Duisenberg-expert. Deze expert voert niet het onderzoek uit, maar waakt ervoor dat de methode goed wordt toegepast. En dat de aanbevelingen zo zijn geformuleerd dat zij raadsleden gaan helpen grip te krijgen op de uitvoering, zonder te leiden tot onnodige bureaucratie. 2.2 Train raadsleden en betrokken ambtenaren in de methode-Duisenberg. Dat kan bij de vorming van een nieuwe raad als deel van het introductieprogramma. Maar ook bij aanvang van elk Duisenberg-onderzoek. Bij voorkeur beide. 2.3 Bundel en beperk de vragen aan de ambtelijke organisatie. Gebruik de Duisenberg-rapportages om raadsleden in een vroeg stadium informatie te verschaffen. Spreek af dat raadsleden hun technische vragen in principe inbrengen in het Duisenberg-onderzoek.

Hiervoor is het nodig de Duisenberg-onderzoeken eerder uit te voeren (zie aanbeveling 1.2). Raadsleden stellen technische vragen niet langer om hun betrokkenheid bij een onderwerp te demonstreren. Laat wel ruimte aan de fracties om zich afzonderlijk inhoudelijk voor te bereiden. Het is goed de ambtelijke organisatie in de verkennende fase van het Duisenberg-onderzoek te betrekken. Zo kunnen de onderzoekers goed begrijpen welke informatie beschikbaar is of doelmatig beschikbaar kan worden gemaakt. Later moeten de rapporteurs echter zelfstandig aanbevelingen formuleren en daarbij niet varen op de opvattingen van de ambtenaren. Die werken immers in opdracht van het college dat de raadsleden controleren. * Vergelijk dit bijvoorbeeld met de rol van Lean Six Sigma / Black Belt of Scrum Master in de organisatiekunde

Aanbevelingen 3: Politieke relevantie Om goed tot hun recht te komen is aandacht nodig van raadsleden voor de Duisenberg-rapportages. Aandacht om rapporteur te worden, aandacht bij de selectie van onderwerpen en aandacht bij de presentatie van de uitkomsten. Tegelijk moet worden gewaakt dat de Duisenberg-rapportages geen politieke lading krijgen. Dat zou ten koste gaan van de acceptatie van de resultaten. 3.1 Creëer media-aandacht voor de presentatie van het Duisenberg-onderzoek. Deze presentatie wordt gegeven door de rapporteurs in een openbare bijeenkomst. De pers wordt daarvoor actief uitgenodigd. 3.2 Geef de rapporteurs het voortouw bij de keuze van het onderwerp. Dat een onderwerp politiek relevant is, hoeft niet te betekenen dat het onderzoek politiek gekleurd is. De griffie en het bureau dat het Duisenberg-onderzoek ondersteunt, bewaken tevens de politieke neutraliteit. Zij melden eventuele zorgen hierover. De eindverantwoordelijkheid hiervoor bij de rapporteurs.

Aanbevelingen 4: Opbouwen ervaring Het helpt Duisenberg-onderzoeken om te leren van ervaring. De griffie, de ambtelijke begeleiding door de Dienst Middelen en Control en het adviesbureau dat het onderzoek begeleidt, kunnen deze ervaring opbouwen en delen. Dat geldt niet voor de rapporteurs en de ambtenaren van de vakafdelingen. Bij elk onderzoek zijn nieuwe rapporteurs betrokken die soms ook nieuw zijn als raadslid. Afhankelijk van het onderwerp zullen bovendien andere inhoudelijke ambtenaren betrokken zijn. 4.1 Koppel voor elk onderzoek zoveel mogelijk een beginnend raadslid aan een ervaren raadslid als rapporteur. Selecteer zoals gebruikelijk een van de raadsleden uit de coalitie en een ander uit de oppositie. 4.2 Evalueer elk Duisenberg-onderzoek na afloop samen met de griffie en met de betrokken ambtenaren. Start elk Duisenberg-onderzoek met de evaluatie van het vorige onderzoek. 4.3 Contracteer hetzelfde adviesbureau voor vier jaar. Dit helpt ook bij het tijdig inplannen en starten van elk Duisenberg-onderzoek. Met name als ook de rapporteurs al aan het begin van elke raadsperiode bekend zijn. Start nu met het aanzoeken van het adviesbureau, zodat dit de laatste twee jaar van de raadsperiode begeleidt en ook de eerste twee jaar van de volgende periode. Zo start ook de nieuwe raadsperiode met ervaren ondersteuning.

4.4 Stel het adviesbureau ook beschikbaar voor ad-hoc ondersteuning bij complexe dossiers. Hiermee kan de raad zich ook buiten de begroting en jaarrekening laten bijstaan om volgens de methode-Duisenberg inzicht te krijgen bij complexe besluitvorming.

Aanbevelingen 5: Samenhang instrumenten De methode-Duisenberg vormt een aanvulling op andere instrumenten van de raad om grip te houden op de uitvoering. Als deze instrumenten aan elkaar raken is het belangrijk dat zij worden afgestemd en elkaar versterken. Sommige instrumenten vormen een bron van informatie voor Duisenbergonderzoeken. Andere instrumenten kunnen dienen om de aanbevelingen van Duisenberg-onderzoeken te implementeren. Bewaak de samenhang tussen deze instrumenten. Bronnen:

Implementatie van aanbevelingen:

5.1 De auditdienst ACAM controleert de jaarrekening van de gemeente. Hoewel daarbij de eerste nadruk ligt op rechtmatigheid, beschikt de auditdienst ook over waardevol inzicht in de effectiviteit en meetbaarheid van beleid. Maak waar beschikbaar gebruik van de kennis bij de auditdienst.

5.3 De Doelenboom dient om de raad grip te geven op de effectiviteit van zijn beleid. Veel aanbevelingen van de Duisenberg-onderzoeken zullen daarom betrekking hebben op deze Doelenboom. Neem deze op maar zorg, conform de uitgangspunten van de methode-Duisenberg, dat deze Doelenboom niet te complex wordt.

5.2 De Rekenkamer Metropool Amsterdam doet zelfstandig onderzoek. Anders dan de methode-Duisenberg heeft zij echter niet tot doel om raadsleden te verbinden en samen te laten werken bij hun gezamenlijke belang om meer grip te krijgen op de uitvoering. Maak waar beschikbaar gebruik van de inhoudelijke kennis bij de Rekenkamer.

5.4 Een interactief Dashboard van de gemeentelijke begroting en keuzeruimte komt naar verwachting dit najaar beschikbaar voor raadsleden. Neem de aanbevelingen van de Duisenberg-onderzoeken hierin op. 5.5 Fully-In-Control (FIC) is een systeem dat wordt gebruikt om de aanbevelingen van bijvoorbeeld de auditdienst en de Rekenkamer bij te houden totdat deze zijn geïmplementeerd. Neem ook de aanbevelingen van de Duisenberg-onderzoeken hierin op. Rapporteer hierover periodiek aan de raad.

Wat is de methode-Duisenberg en waarom is hij ingevoerd?

Wat is de methode-Duisenberg? De methode-Duisenberg werd in 2012 ontwikkeld in de Tweede Kamer door de leden Pieter Duisenberg en Paul van Meenen. Zij werden daarbij ondersteund door het Bureau Onderzoek en Rijksuitgaven* van de Tweede Kamer, het Ministerie van Financien, de Algemene Rekenkamer, de Audit Dienst Rijk en de Vrije Universiteit. Het doel van de methode was het verbeteren van de informatiepositie van Tweede Kamerleden om hun controlerende taak uit te kunnen voeren. Dit door aanbevelingen te doen die technisch van aard zijn en het inzicht in de samenhang tussen doelen, prestaties en middelen in Begroting en Jaarverslag verbeteren. De zes hoofdvragen die Kamerleden volgens de methode-Duisenberg kunnen stellen bij het controleren van de begroting en de verantwoording: n

Wat is het beeld van het beleidsterrein op hoofdlijnen?

n

Welke doelen zijn gepland/behaald?

n

Welke prestaties zijn gepland/geleverd?

n

Wat gaat het kosten/heeft het gekost?

n

Wat is het oordeel over de rechtmatigheid, doeltreffendheid en doelmatigheid?

n

Welke conclusies en aanbevelingen heb ik (als rapporteur aan de commissie)?

Voor de uitvoering van een Duisenberg-onderzoek worden doorgaans twee raadsleden, uit de coalitie en uit de oppositie, aangesteld als rapporteur en ondersteund door een onderzoeksbureau. Hun informatie komt uit openbare bronnen, wetenschappelijk onderzoek en de eigen ambtelijke organisatie.

* tegenwoordig de Dienst Analyse en Onderzoek

Waarom werd de methode-Duisenberg ingevoerd in Amsterdam? In de periode 2014 – 2016 hield onze raad een raadsenquête naar de organisatie van de financiën van de gemeente Amsterdam in de periode 2002– 2014. Aanleiding hiervoor waren de problemen die zich in die periode bij verschillende diensten en directies van de gemeente openbaarden, waarvan het vermoeden was dat de oorzaak lag in een niet goed functionerende financiële functie.* Een belangrijk incident, dat destijds veel publieke aandacht kreeg, bestond uit het verkeerd overmaken van de woonkostenbijdrage door de Dienst Belastingen Gemeente Amsterdam. Hierbij werd € 188 miljoen in plaats van € 1,88 miljoen overgemaakt. Eén van de aanbevelingen van de raadsenquête was aanbeveling 6: Introduceer de ‘methode-Duisenberg’ van de Tweede Kamer: Benoem twee raadsleden als rapporteurs voor de begroting en jaarrekening in iedere raadscommissie van de gemeenteraad. Als achterliggende oorzaak voor deze aanbeveling werd genoemd de onvoldoende structurele aandacht en prioriteit bij politiek en ambtelijke organisatie: n

Te weinig politieke interesse in de financiële functie.

n

Het gebrek aan leesbaarheid en inzichtelijkheid van financiële documenten, in het bijzonder de begrotingen en jaarrekeningen.

n

Dat begroten – vooruitkijken – politiek gezien interessanter is dan achteraf verantwoorden.

* aldus verwoord in het eindrapport Enquête Financiële functie Amsterdam 2002 – 2014

Wat zijn andere voordelen van de methode-Duisenberg? Hoewel de methode-Duisenberg in Amsterdam is ingevoerd naar aanleiding van het niet goed functioneren van de financiële functie, zijn er ook andere, gerelateerde voordelen van de methode-Duisenberg. n

Zij faciliteert politieke samenwerking binnen de raad, ook tussen college en oppositie.

n

Zij versterkt de duale, controlerende rol van de raad. Deze rol zou in Amsterdam nog verder kunnen worden verstevigd door het veelvuldiger inschakelen van experts uit de wetenschap. Omdat dit destijds niet de reden was om de methode-Duisenberg in te voeren, is ons onderzoek hier verder niet op ingegaan.

n

Zij kan helpen een brug te slaan tussen raad en ambtelijke organisatie.

Wat zijn de nadelen van de methode-Duisenberg? Het uitvoeren van een Duisenberg-onderzoek kost tijd en geld. n

Tijd van de rapporteurs.

n

Tijd van raadsleden voor het lezen van de Duisenberg-rapportages en de behandeling ervan in de raadscommissies.

n

Tijd van de griffie voor begeleiding.

n

Tijd van de ambtelijke organisatie. Mits goed uitgevoerd kan de methode-Duisenberg echter ook tijd opleveren indien technische vragen worden voorkomen, gebundeld en beter geformuleerd.

n

Kosten voor inhuur van een onderzoeksbureau.

Is de methode-Duisenberg in Amsterdam effectief?

Op welke punten is de methode-Duisenberg effectief? n

De methode-Duisenberg wordt door veel raadsleden positief beoordeeld. Niet zozeer omdat de aanbevelingen leiden tot concrete verbeteringen, maar omdat de methode de raadsleden helpt zich meer te richten op financiële aandacht en kennis. Ook in de commissiedebatten laten de raadsleden zich zonder uitzondering positief uit over de rapportages.

n

De methode-Duisenberg versterkt volgens de raadsleden de samenwerking tussen raadsleden en -fracties, en tussen coalitie en oppositie.

n

Inhoudelijk worden de Duisenberg-rapportages in de regel goed beoordeeld, hoewel dit oordeel verschilt per raadslid en per rapportage. De rapporteurs zelf zijn tevreden over de ondersteuning die zij kregen bij het opstellen van de rapportages. De tevredenheid van de ambtelijke organisatie verschilt per rapportage.

Uiteindelijk beoordelen wij de bijdrage van de methode-Duisenberg aan de structurele aandacht en prioriteit voor de financiële functie als positief. Dat wil niet zeggen dat deze aandacht en prioriteit nu kunnen worden beschouwd als voldoende. Ons oordeel is dat ook op de andere punten de bijdrage van de methode-Duisenberg positief is. De verhoudingen binnen de Amsterdamse raad, tussen raad en college, en tussen raad en ambtelijke organisatie zijn constructief en de methode draagt hier verder aan bij.

Op welke punten is de methode-Duisenberg minder effectief? De betrokkenheid van raadsleden is een belangrijk aandachtspunt bij het voortzetten van de methodeDuisenberg. Het gebrek aan financiële aandacht en kennis komt echter niet voort uit de methodeDuisenberg, maar is nu juist de reden dat destijds werd besloten de methode in te voeren. n

Het is moeilijk om rapporteurs te vinden.

n

De besloten vergaderingen waarin de Duisenberg-rapportages worden gepresenteerd, worden slecht bezocht door raadsleden. De rapportages dragen volgens de raadsleden niet of beperkt bij aan beeldvorming, oordeelsvorming en besluitvorming.

n

De Duisenberg-onderzoeken worden onder tijdsdruk uitgevoerd.

n

De Duisenberg-onderzoeken leggen een fors beslag op de ambtelijke organisatie. Naar schatting 30 werkdagen per rapportage. Daarbij komen de kosten van een adviesbureau. Deze bedragen gemiddeld 23 duizend euro per onderzoek.

n

De aanbevelingen uit de Duisenberg-onderzoeken worden niet eenduidig bijgehouden en opgevolgd.

De aanbevelingen in deze evaluatie kunnen helpen deze punten te verbeteren.

Hoe kijken raadsleden naar de methode-Duisenberg? Uit de interviews: n

Sommige dossiers zijn slecht inzichtelijk. Als raadslid krijg je erg veel informatie over je uitgestort. Het is dan met name moeilijk je controlerende taak te vervullen. Dan helpt een Duisenberg-rapportage. Wel schuiven deze rapportages aan tegen de rapportages van de Rekenkamer. Een groot voordeel van de methode-Duisenberg is dan dat raadsleden er beter door gaan samenwerken. Amsterdam kent van oudsher een zwakke raad tegenover een sterk college.

n

Niet het gevoel dat de Duisenberg-rapportages invloed hebben op de beeldvorming, oordeelsvorming of besluitvorming in de raad. Ook de aanbevelingen lijken in praktijk niet veel effect te hebben, maar dat komt doordat deze vaak ofwel te hoog-over en abstract zijn ofwel zozeer voor de hand liggen dat ze ook anders zouden worden geïmplementeerd. Wel leer je als raadslid op een andere manier kijken wat beleid doet in de uitvoering. Dat is heel waardevol.

n

De Duisenberg-rapportages zijn een goed middel om onderwerpen die je als raadslid belangrijk vindt extra aandacht te geven. Wellicht ook daarom dat zij wat meer zouden mogen inspelen op de actualiteit. Momenteel is dat bijvoorbeeld het opkomende antisemitisme.

n

Het werk als rapporteur kost veel tijd bovenop het normale raadswerk. De ondersteuning van het onderzoeksbureau neemt veel werk uit handen, maar de rapporteurs moeten wel genoeg meewerken aan het onderzoek. Anders schiet de methode-Duisenberg zijn doel voorbij om raadsleden inhoudelijk te betrekken.

n

Niet alle fracties lijken de methode-Duisenberg even belangrijk te vinden. Anders dan verwacht zijn er ook grotere fracties die weinig aandacht en tijd ter beschikking stellen. Het werk als rapporteur is geen voordeel voor je politieke carrière.

Hoe kijken ambtenaren naar de methode-Duisenberg? Uit de interviews: n

Als de raad onduidelijke kaders meegeeft, zijn de resultaten van het beleid moeilijk concreet te toetsen. Het begint dus met het formuleren van helder beleid, gewenste acties en outcome. Daar schort het vaak aan. De Doelenboom is bedoeld om de resultaten duidelijk te meten, maar deze lijkt toch niet goed aan te sluiten. De Doelenboom bevat te veel details en niet de juiste indicatoren.

n

Twijfel of bij de Duisenberg-onderzoeken wel doelgericht de juiste vragen worden gesteld. Vaak blijkt in praktijk dan ook dat de antwoorden, die veel tijd kosten om te geven, niet leiden tot concrete aanbevelingen of verbeteringen. Twijfel of de rapporteurs wel voldoende worden ondersteund bij het formuleren van vragen en richting geven aan het onderzoek. Stelden zij wel de juiste vragen en konden zij ook iets met de antwoorden?

n

De methode-Duisenberg lijkt wel te leiden tot meer gezamenlijkheid in de raad. Voor zijn controlerende rol is onderling vertrouwen belangrijk. Dat lijkt er zeker te zijn en de methode-Duisenberg versterkt dit.

n

De Duisenberg-onderzoeken starten vaak als de jaarrekening of begroting al is opgesteld. Er is dan vaak weinig tijd over. De doorlooptijd van een vragenronde is vaak slechts een week, terwijl tegelijkertijd ook veel technische vragen worden gesteld. Onduidelijk waarom er niet meer tijd wordt genomen.

n

Soms lijkt het alsof de raad zelf geen belangstelling heeft voor de methode-Duisenberg. Dat uit zich vooral bij het vinden van rapporteurs. Soms worden die pas op het laatste moment bekend. Maar de onderzoeken kosten wel veel aandacht en tijd.

Hoe kijkt Pieter Duisenberg naar de methode-Duisenberg? Uit ons interview met hem: n

In de Tweede Kamer is de methode-Duisenberg nu opgenomen in het Reglement van Orde. Dat helpt de methode te bestendigen, hetgeen tijd kost. De methode is nu meer dan 10 jaar geleden geïntroduceerd maar wint nog steeds aan momentum. Het helpt om de methode op te nemen in het opleidingsplan voor nieuwe Kamer/raadsleden. Bij nieuwe leden zie je vaak veel animo voor de methode. Het is zaak die te behouden.

n

Het bespreken van de uitkomsten met de rapporteurs helpt om hun de aandacht te geven die hun werk verdient. Hiervoor is het nuttig een media-moment te creëren en de rapporteurs als eerste het woord te geven bij de plenaire behandeling. Ook helpt het om stevige rapporteurs aan te stellen die het gesprek met het college aan kunnen. Anders bestaat het risico dat in het debat de stellingen en aanbevelingen uit de Duisenberg-rapportage geen stand houden.

n

Met ambtenaren heeft de methode-Duisenberg een wisselwerking. Zij moeten ook zien dat er wat gebeurt met de aanbevelingen uit de Duisenberg-rapportages. Vanuit het bedrijfsleven heeft Pieter Duisenberg ervaring met audit-comités. Die doen een extra check op de organisatie voor de raad van bestuur en worden daar altijd zeer serieus genomen. Duisenberg-onderzoeken zouden daarmee vergelijkbaar moeten zijn.

n

Voor de ambtelijke organisatie moet het Duisenberg-onderzoek niet bovenop de feitelijke/technische vragen komen, maar deze juist zo veel mogelijk voorkomen. Kamer/raadsleden zouden hun vragen al moeten zien beantwoord in de Duisenberg-rapportage.

Aanbevelingen uit de drie onderzochte Duisenberg-rapportages

Conclusie Om een beeld te krijgen of de aanbevelingen uit de Duisenberg-onderzoeken in praktijk worden gebracht, hebben wij de aanbevelingen uit de laatste drie Duisenberg-rapportages op een rij gezet. Deze gaan over onderwerpen uit verschillende domeinen, zijn recent uitgevoerd en stammen bovendien uit zowel de vorige als de huidige raadsperiode. Daarom vinden wij deze representatief. De onderwerpen waren: n Taaloffensief n Sportparticipatie bij de jeugd n Burgerparticipatie bij woningbouw Wij hebben de aanbevelingen voorgelegd aan een externe expert die destijds de methode-Duisenberg heeft helpen ontwikkelen voor de Tweede Kamer en later heeft doorontwikkeld voor gemeenteraden. Vraag was of de aanbevelingen waren geformuleerd zoals bedoeld volgens de methode-Duisenberg. Haar conclusie was dat de geformuleerde aanbevelingen hieraan slechts deels voldoen. Bovendien constateerde zij dat de aanbevelingen, ook al zijn zij opgesteld volgens de methode-Duisenberg, niet SMART waren geformuleerd. Dus niet Specifiek, Meetbaar, Acceptabel, Realistisch en Tijdsgebonden. Dat maakt de implementatie van de aanbevelingen moeilijk en moeilijk navolgbaar. Onze conclusie na onderzoek bij de ambtelijke organisatie was dat alleen sommige SMART-geformuleerde aanbevelingen daadwerkelijk effect hadden op de latere rapportages aan de raad. Veel aanbevelingen waren daarvoor te vaag geformuleerd.

Of de aanbevelingen werden al nagevolgd onafhankelijk van de Duisenberg-rapportage. Effectief opgevolgde aanbevelingen kwamen met name uit de Duisenberg-rapportage Taaloffensief. Op basis hiervan heeft de ambtelijke organisatie nieuwe informatie aan de raad verstrekt, die wel veel tijd vergde om te verzamelen. De ambtelijke organisatie betwijfelt of de raad deze informatie daadwerkelijk ging gebruiken voor het nemen van besluiten. Dit heeft ook te maken met het hoge verloop onder raadsleden. Om de effectiviteit van de methode en de aanbevelingen te garanderen, moeten niet alleen de aanbevelingen strakker worden geformuleerd, maar is er ook meer aandacht nodig voor de uitwerking en opvolging daarvan.

Methode Doel methode-Duisenberg Tweede Kamer Verbeteren van de informatiepositie van Tweede Kamerleden om hun controlerende taak uit te kunnen voeren. Dit door aanbevelingen te doen die technisch van aard zijn en het inzicht in de samenhang tussen doelen, prestaties en middelen in begroting en jaarverslag verbeteren. Doel methode-Duisenberg in gemeenten Verbeteren informatiepositie van de Raad om zijn controlerende en kaderstellende taak uit te voeren en beter in positie te brengen. Dit door aanbevelingen te doen die technisch van aard zijn en het inzicht in de samenhang tussen doelen, prestaties en middelen in begroting en jaarverslag verbeteren. Een aanbeveling is een Duisenberg-aanbeveling wanneer deze voldoet aan de volgende voorwaarden A. Is technisch van aard B. Is gericht op begroting en/of jaarverslag (of onderliggende documenten) C. Verbeterd het inzicht in de samenhang tussen doelen, prestaties en middelen Op de volgende pagina’s zijn de aanbevelingen uit de drie Duisenberg-rapportages gescoord op deze voorwaarden. X voldoet - voldoet niet ? onduidelijk

Taaloffensief Aanbeveling

1 1.1 1.2

Stel ambitieuzere doelstellingen Durf de totale laaggeletterdheid in Amsterdam als indicator te hanteren voor de doelstelling (en dus niet enkel meten welke geletterdheid de cursisten uit het formele traject hebben). Neem incentives ook op in de contracten met de taalaanbieders - Bvb. benchmark tussen 3 taalaanbieders NT2 per gebied - Bvb. ambities verhoging competenties / taalniveau

Is technisch van aard

Is gericht op begroting en/of Verbetert inzicht in de jaarverslag (of samenhang tussen doelen, onderliggende documenten) prestaties en middelen

X

X

X

-

X -

X

X

X

X X

? -

? X

1.3

Zoek naar indicatoren die zowel het formele als het informele aanbod omsluiten - Bvb. registreer het wervingskanaal van cursisten: hoeveel zijn geïnitieerd door mond-aan-mond reclame? - Toets de indicatoren aan de 9 voorwaarden zoals die door de Rekenkamer Metropool Amsterdam zijn geschetst in het onderzoek Bruikbaarheid van indicatoren (2020)

2 2.1 2.2

Verbeter rapportering Verhoog frequentie (minstens halfjaarlijks) Breng meer inzicht in effectiviteit, ‘doorleef de doelenboom’ - Intake cursisten per doelgroep - Verbeterde competenties en taalniveau (delta eind / begin) altijd nodig; zowel voor formele cursussen als informele begeleiding - Succes wervingskanalen - Succes informeel netwerk

2.3

Maak financiële stroom transparanter - Welke middelen (gemeente / regio / Rijk) werden aangewend voor welke activiteiten? - Aanpalende programmabegrotingen

X

X

X

2.4

Maak duidelijk hoe je de verbinding legt tussen andere domeinen die voor het Taaloffensief relevant zijn, zowel inhoudelijk als financieel (in rapportages) Zet in op gerichte aanpak doelgroepen Neem de gemeenteraad mee in de keuzes die gemaakt worden om in te zetten op bepaalde doelgroepen - In relatie tot sheet 10 is bijvoorbeeld de verwachting van de commissie dat de doelgroepen jongeren en divers snel leerbaar zijn (samen 27% van de laaggeletterden). Geef duidelijk aan op welke manier welke doelgroep benaderd wordt.

X

X

X

X

-

-

Breng de samenwerking tussen informele en formele netwerken en activiteiten beter in kaart en verbeter deze samenwerking - Onduidelijk is bvb. vandaag of mensen uit een informeel traject taalkoppel (taalcoach) ook ingang vinden in het formeel traject van taalcursussen.

X

X

X

3 3.1

3.2

Sportparticipatie bij de jeugd Aanbeveling

Is technisch van aard

Is gericht op begroting en/of Verbetert inzicht in de jaarverslag (of samenhang tussen doelen, onderliggende documenten) prestaties en middelen

1 1.1

Houd rekening met doelgroepen bij update sportnorm Bij de uitwerking van de herwerkte normen inzichtelijk te maken wat het effect ervan is op de doelgroepen (met name de stadsdelen waar de sport- en bewegingsdeelname lager is dan gemiddeld).

X

X

X

1.2 2 2.1 2.2

Effectmeting zowel op vlak van investeringen, project- en programma-uitgaven als op realisatie van de norm per stadsdeel. Rapporteer beter richting raad om haar in staat te stellen goed bij te sturen Maak effectmeting van activiteiten rond sportparticipatie jongeren inzichtelijk voor de raad, minstens jaarlijks. Wat doet de gemeente ervoor? • Scholen programma’s leeftijd 5 t/m 12; • Scholen programma’s leeftijd 12 t/m 17; • SV Jeugd leeftijd 5 t/m 17; • Stadsdeel programma’s; • (VIP) pedagogisch sterkere sportverenigingen; • Investeringen in infrastructuur; •…

X

X

X

X ?

X ?

X X

2.3

Wat zijn de effecten; • Per programma / project: Hoeveel scholen/ hoeveel kinderen/Welke gebieden/ hoeveel verzilveringen,… (en hoe gemeten); • Inzicht in evolutie sportparticipatie met focus op doelgroepen (SDI 2.0 zie verder); • Inzicht in behalen Sportnorm (toekomstige Sport en Groennorm) per stadsdeel.

X

X

X

2.4

Wat zijn de kosten (Begroting tov realisatie) • Middelen per programma / project; • Met ook inzicht in allocatie per doelgroep (stadsdelen / leeftijd).

X

X

X

3 3.1

Evalueer en stuur bij met stakeholders Ga als centrale beleidsmaker de dialoog aan met stakeholders om bij te sturen op basis van globale monitor en effectmeting: - Stadsdelen / buurtteams; - Bewoners; - Sportaanbieders; - Andere directies bvb. op het vlak van armoedebestrijding; -…

X

-

-

3.2 3.3 4 4.1 4.2

Doe dit over de kwantitatieve maar zeker ook over kwalitatieve uitkomsten (welke drempels zijn er nog en hoe kunnen deze weggewerkt worden). Ga na of bestaande overlegstructuren hiervoor kunnen worden gebruik (bvb. Sportraad). Zorg voor SDI 2.0 Investeer in een goede overkoepelende monitor SDI 2.0 Zowel voor sportdeelname als beweegrichtlijn dienen 5-12 en 13-18 separaat te kunnen worden opgevolgd. Te bekijken welke inspanningen vereist zijn om de steekproef van jeugd op lagere school en middelbare school te vergroten. Detailniveau in combinatie met stadsdelen is noodzakelijk. Breng naast cijfermatige inzichten ook kwalitatieve inzichten naar voor: - Waarom worden doelgroepen systematisch niet bereikt? - Wat zijn bottlenecks die kunnen worden aangepakt? - Toegang tot kwalitatieve sportinfrastructuur; - Mobiliteit / transport; - Taal / digitale laaggeletterdheid; -…

4.3 4.4

X X

_ -

_ -

X X

X X

X X

? X

X

X

Burgerparticipatie bij woningbouw Aanbeveling

1 1.1 1.2 1.3

2 2.1 2.2

2.3 2.4 2.5 2.6 2.7 3 3.1

Steek de participatie voldoende ambitieus in Versnel de uitwerking en implementatie van het participatiebeleid Zorg op korte termijn voor een verplichtend karakter via de participatieverordening in 2024; evalueer of een versterking van het Stedelijk Team wenselijk is Zorg dat geformuleerde doelen en indicatoren in de doelenboom het centraal uitgangspunt worden van het handelen van de afdelingen. Evalueer en stuur bij in de Voorjaarsnota 2023 en Begroting 2024. Maak de koppeling tussen de horizontale doelstelling en de verticale programma’s expliciet binnen de verticale pijlers in de Voorjaarsnota 2023 (zie ook volgende sheet) - Participatie moet hoger op de agenda komen. de directies hebben voordeel bij een zorgvuldig uitgevoerde Participatie en moeten verantwoordelijk worden gehouden voor de correcte uitvoering van participatietrajecten en de resultaten ervan. - De horizontale teams hebben vooral een aanjaagfunctie en bijsturingsfunctie. Maak effectmeting participatietrajecten Breng in 2023 de effectmeting van participatietrajecten inzichtelijk om een kosten / baten analyse te kunnen maken. Rapporteer meer output indicatoren binnen de verticale programma’s (redenen van vertraging en vertragingsduur bij woningbouw). Kwantificeer de effecten van vertragingen door bezwaarprocedures: - Juridische kosten. - Vertragingskosten aannemers.

Bevraag deelnemers aan participatietraject systematisch. Zorg dat het overkoepelend doel van participatiebeleid en de doelen van individuele trajecten op elkaar aansluiten (te evalueren vanuit Stedelijk Team Participatie). Analyseer good en bad practices en neem de uitkomsten mee in de kennisdeling. Maak inzichtelijk welke doelgroepen worden bereikt (inclusiviteit trajecten). Maak inzichtelijk op welke wijze hierin geïnvesteerd wordt en deel deze uitkomsten met de raad. Rapporteer halfjaarlijks aan de raad over de inspanningen en effecten van participatietrajecten en zorg voor bijstuurmogelijkheden. Onderzoek de mogelijkheid tot digitalisering participatietrajecten (ten behoeve van vastlegging en monitoring) Onderzoek de mogelijkheid van een in een digitale gebruiksvriendelijke tool voor participatietrajecten (geen invuldocumenten in Word) (onderzoek in Q4 2022 – Q1 2023)

Is technisch van aard

Is gericht op begroting en/of Verbetert inzicht in de jaarverslag (of samenhang tussen doelen, onderliggende documenten) prestaties en middelen

X -

X -

X -

X

X

X

-

-

-

-

-

-

X X X

X X X

X X X

X X X X X

X X X

? X X X

X

X

?

Hoe hebben wij dit onderzoek uitgevoerd?

Tekstanalyse In een documentstudie is het sentiment van de betrokken raadsleden over de toepassing van de methode-Duisenberg geanalyseerd. Dit op basis van de commissiedebatten over de tien uitgevoerde Duisenberg-onderzoeken. In totaal zijn dit acht commissieverslagen. Tweemaal zijn er in een commissievergadering twee Duisenberg-onderzoeken gepresenteerd. Voor de documentstudie is gebruik gemaakt van zowel een geautomatiseerde analyse met behulp van AI-tooling als een reguliere documentanalyse. Gezien het gebruik van AI en Large Language Models nog volop in ontwikkeling is, dient de geautomatiseerde analyse voornamelijk ter validatie en objectivering van de reguliere documentstudie. Uit de analyse komt naar voor dat raadsleden in de commissievergaderingen vooral ingaan op de inhoudelijke uitkomsten van de Duisenberg-rapportages. De effectiviteit van de methode-Duisenberg als instrument vormt veel minder het onderwerp van debat. Dit komt uit de geautomatiseerde analyse naar voor. Toch toont de analyse dat raadsleden zich ook uitlaten over de methode-Duisenberg zelf. Zij zijn daarover overwegend neutraal tot positief.

De formaliteiten als het bedanken van de rapporteurs voor de uitgevoerde werkzaamheden daargelaten zijn raadsleden vaak tevreden dat een gronding onderzoek is uitgevoerd en dat hierover verslag wordt uitgebracht aan de commissie door middel van een overzichtelijk rapport. De betrokken raadsleden en wethouder kunnen zich in grote meerderheid vinden in de aanbevelingen uit de Duisenberg-rapportages en zij vinden de conclusies herkenbaar. Tot slot komt meermaals naar voren dat raadsleden blij zijn dat het Duisenberg-onderzoek een onderwerp onder de aandacht brengt. Echt kritische noten ten aanzien van de methode-Duisenberg komen wij in de verslagen van de commissievergaderingen niet tegen. Wel wordt in het verslag van de vergaderingen over het onderzoek naar de Digitale Stad door meerdere raadsleden opgemerkt dat zij de Duisenberg-rapportage te kort voor de vergadering hebben ontvangen.

Documenten Geraadpleegde documenten voor dit onderzoek: n

De Duisenberg-rapportages over Taaloffensief, Sportparticipatie en Burgerparticipatie bij woningbouw.

n

De verslagen van de commissiedebatten waarin de afgelopen tien Duisenberg-rapportages werden behandeld.

n

Het eindrapport Enquête Financiële functie Amsterdam 2002 – 2014 van de gemeenteraad Amsterdam.

n

Voorbeelden van aangeleverde vragen aan de ambtelijke organisatie.

Achtergronden: n

Het onderzoek Performance Budgeting in the Netherlands van Tjerk Budding, Bram Faber en Ed Vosselman.

n

Het artikel How MPs in the Dutch parliament strengthened their budgetary and accounting powers van Pieter Duisenberg in Public Money & Management.

n

De afstudeerscriptie Vertrouwen op verantwoording van Wesley Boer aan de Hogeschool van Amsterdam.

Gesprekspartners Voor dit onderzoek spraken wij: n

Naast de rapporteurs zelf 3 raadsleden die de afgelopen drie jaar betrokken waren bij een Duisenberg-onderzoek.

n

7 ambtenaren uit verschillende afdelingen die de afgelopen drie jaar betrokken waren bij een Duisenberg-onderzoek.

n

De griffie.

n

Chris Peeters en Valerie de Kerpel van Policy Research, het onderzoeksbureau dat de afgelopen jaren de Duisenberg-onderzoeken heeft ondersteund.

n

Liesbeth Reekers, destijds werkzaam bij het Bureau Onderzoek en Rijksuitgaven en medeontwikkelaar van de methode-Duisenberg. Momenteel trainer methode-Duisenberg voor gemeenten.

n

Pieter Duisenberg.

Wij werden ondersteund door Martijn Bolkestein, Leon Priem, Paul Beemsterboer en Vincent Janssen van het bureau Berenschot.