Concept - Onderzoeksopzet doorwerking rekenkameronderzoeken - RK Barendrecht

Concept – Onderzoeksopzet doorwerking rekenkameronderzoeken Rekenkamer Barendrecht

Rekenkamer Barendrecht | Concept Concept -Onderzoeksopzet 2018 - 2023 -Onderzoeksopzetdoorwerking doorwerkingrekenkameronderzoeken rekenkameronderzoeken 2018 - 2023 | 1. | 6-3-2025

Colofon Datum: 6-3-2025 Rekenkamer Barendrecht: Prof. Dr. Marcel Boogers, directeur Dr. Marieke Oprel, plaatsvervangend directeur Contactgegevens Tim Kunis, secretaris [M] 06-10 10 79 78 [E] tim@necker.nl

Rekenkamer Barendrecht | Concept -Onderzoeksopzet doorwerking rekenkameronderzoeken 2018 - 2023 | 2.

1. Onderzoek naar doorwerking van rekenkameronderzoeken in Barendrecht 1.1 Waarom dit onderzoek? Aanleiding Een rekenkamerkamerrapport dat in de la blijft liggen, mist zijn doel. Rekenkamerrapporten kunnen bijdragen aan de controlerende en kaderstellende rol van de raad. Om na te gaan in hoeverre de rapporten daadwerkelijk bijdragen aan deze rol, is het belangrijk om te onderzoeken wat er precies met de aanbevelingen gebeurt. Het uitvoeren van een doorwerkingsonderzoek is daartoe een passend instrument. Tijdens een doorwerkingsonderzoek wordt er beoordeeld of de conclusies en aanbevelingen uit een afgerond onderzoek doorwerking hebben gekregen. Er wordt onderzocht hoe de raad het rapport heeft behandeld, hoe het college hierop heeft gereageerd en met de aanbevelingen aan de slag is gegaan en hoe het vervolgens door de ambtelijke organisatie is opgepakt. In 2025 is de zelfstandige rekenkamer Barendrecht van start gegaan. In de jaren daarvoor heeft rekenkamer Barendrecht als onderdeel van de Rekenkamer Rotterdam een aantal onderzoeken uitgevoerd. Bij de start van de nieuwe rekenkamer Barendrecht is het goed om in kaart te brengen wat de opbrengst is geweest van deze eerdere onderzoeken.

Welke onderzoeken en aanbevelingen hebben resultaat gehad? Welk effect zien organisatie, college en raad? Wat zijn succesfactoren en knelpunten in het proces van rekenkameronderzoek? En wat kan de nieuwe rekenkamer daarvan leren? Tijdens de kennismaking met de nieuwe rekenkamer op 17 februari 2025 bleek dat ook de gemeenteraad interesse heeft in de lessen die hieruit te leren zijn.

Verantwoording onderzoeksonderwerp Een doorwerkingsonderzoek geeft de raad inzicht in het effect van de door de raad overgenomen aanbevelingen en in eventuele nieuwe aandachtspunten. Het gaat daarbij niet enkel om het in kaart brengen van de feitelijke implementatie en het effect hiervan, maar ook om de redenen voor de mate van doorwerking. Dit stelt de raad in staat om het gesprek te voeren met het college en met elkaar over de realisatie van gemaakte afspraken en eventueel te komen tot hernieuwde afspraken, passend bij actuele ontwikkelingen. Ook geeft het de nieuwe rekenkamer een vliegende start, doordat duidelijk wordt wat wel en niet werkt in het onderzoeksproces en bijvoorbeeld de toonzetting en aard van de aanbevelingen. Eventuele lessen hieruit kan de rekenkamer meteen meenemen in haar werkwijze voor de komende jaren.

Onze kijk op dit onderzoek Doorwerking heeft een instrumentele kant, maar ook een meer conceptuele kant. Dit doorwerkingsonderzoek zal in eerste instantie in kaart brengen in welke mate de aanbevelingen en conclusies uit rekenkamerrapporten uiteindelijk hun doorwerking vinden in het beleid: dit is het instrumentele aspect van doorwerking. Daarnaast onderzoekt de rekenkamer welke impact de rekenkamer als instrument heeft gehad op het gevoerde bestuur en beleid: dit is de conceptuele kant van doorwerkingsonderzoek. Daarom onderzoekt de rekenkamer ook hoe de rekenkamerrapporten zijn behandeld door de raad, het college en de ambtelijke organisatie.

Rekenkamer Barendrecht | Concept -Onderzoeksopzet doorwerking rekenkameronderzoeken 2018 - 2023 | 3.

1.2 Vraagstelling en scope In dit onderzoek wordt in beeld gebracht of de (door de raad overgenomen) aanbevelingen van vier verschillende rekenkameronderzoeken navolging hebben gekregen in de gemeente Barendrecht. De rekenkamer onderzoekt de doorwerking van de onderstaande rekenkamerrapporten van de voormalige rekenkamer Barendrecht: - 2018: onderzoek ‘Riolering uit beeld’ - 2019: onderzoek ‘In gebreke gebleven’ - 2020: onderzoek ‘Grond voor twijfel’ - 2022: onderzoek ‘Bouwen in balans’ De keuze voor deze onderzoeken is gebaseerd op een aantal criteria. Om zinvol de opvolging van aanbevelingen te kunnen onderzoeken, is het van belang dat de onderzoeken dusdanig recent zijn dat de aanbevelingen en conclusies nog relevant zijn. Tegelijkertijd moet er wel voldoende tijd zijn verstreken om de aanbevelingen te implementeren. De onderzoeksperiode van dit onderzoek loopt daarom van 2018 tot 2023. Twee onderzoeken uit deze onderzoeksperiode worden niet behandeld in dit onderzoek. Dit betreft het onderzoek ‘Een taak voor de boeg’, over wijkteams, en ‘Huizen in de regio’, een synthese van onderzoeken naar woonbeleid. Het onderzoek over de wijkteams is kort na de decentralisaties in het sociaal domein uitgevoerd. Gezien de grote ontwikkelingen in het sociaal domein in de afgelopen jaren verwacht de rekenkamer dat dit onderzoek niet actueel genoeg is voor een zinvol doorwerkingsonderzoek.

De synthese over het woonbeleid combineert de inzichten uit vijf rekenkameronderzoeken naar woonbeleid uit de regio en bevat daarmee aanbevelingen die minder specifiek op de gemeente Barendrecht gericht zijn, waardoor het onderzoek zich minder leent voor een doorwerkingsonderzoek. De rekenkamer voert dit onderzoek uit aan de hand van de volgende centrale onderzoeksvraag: Hoe is aan de aanbevelingen van de rekenkameronderzoeken in de periode 2018-2023 opvolging gegeven door de gemeente Barendrecht en welke lessen volgen hieruit om de toekomstige doorwerking van rekenkameronderzoek te bevorderen? De hierboven geformuleerde centrale onderzoeksvraag zal worden beantwoord door middel van dertien deelvragen:

Adressering en aard van de aanbevelingen 1. Hoe luiden de vastgestelde aanbevelingen? 2. Aan welk gremium zijn de aanbevelingen van de rekenkamer gericht? 3. Wat is de inhoudelijke aard van de aanbevelingen?

Besluitvorming 4. Op welke manier is door de raad met de aanbevelingen omgegaan en welke besluiten zijn genomen? 5. Heeft het college van B&W concrete opdrachten gekregen van de gemeenteraad?

Uitvoering 6. In welke mate en op welke manier zijn deze aanbevelingen door het college van B&W opgepakt en uitgevoerd? 7. Zijn aanbevelingen vertaald in concrete maatregelen en hoe hebben deze opvolging gekregen?

Rekenkamer Barendrecht | Concept -Onderzoeksopzet doorwerking rekenkameronderzoeken 2018 - 2023 | 4.

8. Is duidelijk welk effect de opvolging van aanbevelingen heeft gehad en zo ja, wat is dat effect? 9. Welke aanbevelingen zijn niet geïmplementeerd en welke redenen zijn hiervoor aan te wijzen? 10. Hoe vindt verantwoording plaats over de uitvoering van raadsbesluiten ten aanzien van rekenkameronderzoek? 11. Heeft de raad zelf de uitvoering van de vastgestelde aanbevelingen gecontroleerd en op basis daarvan gehandeld?

Lessen 12. Welke lessen kunnen worden getrokken uit de wijze waarop aanbevelingen doorwerking hebben gekregen en hoe hierover verantwoording wordt afgelegd? 13. Welke lessen kunnen worden getrokken over de positionering van de raad ten aanzien van de doorwerking van aanbevelingen?

1.3 Onderzoeksmethodologie en analysekader We zetten in op verschillende onderzoeksmethoden om de hoofd- en deelvragen in dit onderzoek te beantwoorden. In het plan van aanpak werken we dit verder uit. Wetenschappelijk onderzoek naar de impact van doorwerkingsonderzoeken van rekenkamers, alsmede de handreiking van de Vereniging van Rekenkamers (voorheen NVRR) voor doorwerkingsonderzoek, geven een aantal mogelijke verklaringen voor het wel of niet realiseren van doorwerking (zie bijlage). In het onderzoek gebruiken we de aandachtspunten die hieruit naar voren komen als analysekader bij het verkennen van mogelijke verklaringen voor de mate van doorwerking, al sluiten we niet bij voorbaat verklaringen uit die niet in dit overzicht zijn opgenomen. Zo voorkomen we dat het onderzoek te breed wordt, maar bieden we ook ruimte voor verklaringen die op dit moment nog niet kunnen worden voorzien. Daarbij richten we ons overigens niet alleen op mogelijke knelpunten, maar ook op zaken die juist bijdragen aan de mate van doorwerking.

.

Rekenkamer Barendrecht | Concept -Onderzoeksopzet doorwerking rekenkameronderzoeken 2018 - 2023 | 5.

2. Plan van aanpak We voeren dit onderzoek uit in vier fases. Hieronder wordt een korte toelichting bij elke fase gegeven. Deze fases zijn: ● ● ● ●

Startgesprek en informatieverzoek; In kaart brengen aanbevelingen; Verdieping op verklaringen; Rapportage

Fase 1: Startgesprek en informatieverzoek In een startbijeenkomst bespreken we de voorliggende onderzoeksopzet met de griffier en/of het centrale aanspreekpunt in de organisatie op het gebied van rekenkameronderzoek. Doel van dit gesprek is dat de werkafspraken helder zijn over de samenwerking tussen de rekenkamer en de ambtelijke organisatie. In het startgesprek maken we afspraken over het opvragen van dossiers, het invullen van de invulformats en het plannen van interviews. Het startgesprek geeft duidelijkheid over hoe dit doorwerkingsonderzoek eruit komt te zien en wat we wanneer van de ambtelijke organisatie vragen. Voorafgaand aan de startbijeenkomst sturen we een invulformat en informatieverzoek waarin staat welke documenten wij bij de ambtelijke organisatie opvragen. In het invulformat staan de aanbevelingen van de betreffende rekenkameronderzoeken. Per aanbeveling wordt gevraagd of deze is opgepakt en zo niet, waarom niet. Voor de aanbevelingen die wel zijn opgepakt, vragen we naar de maatregelen die zijn getroffen en het effect dat daarmee is bereikt. Tot slot wordt gevraagd om per aanbeveling onderbouwing aan te dragen in de vorm van beleidsstukken of andere documentatie. Fase 1. Samenvatting Resultaat: Onderlinge werkafspraken zijn vastgesteld, ambtelijke organisatie is op de hoogte en kent de informatievraag. Methode: Startgesprek, informatieverzoek en invulformat

Fase 2: In kaart brengen aanbevelingen In de tweede fase van het onderzoek bekijken we welke beleidsterreinen er de afgelopen jaren onderzocht zijn in de rekenkameronderzoeken. Er wordt gekeken naar de invalshoek van de rekenkameronderzoeken en naar de aard van de aanbevelingen. Zijn er vaak dezelfde soort aanbevelingen gedaan of is het type aanbevelingen juist divers? We analyseren de wijze waarop raad en college de rekenkamerrapporten hebben behandeld. Hiervoor gebruiken wij de antwoorden op de vragen van het format. Welke aanbevelingen zijn wel en welke niet geïmplementeerd? Hoe is de bijsturing van het beleid tot stand gekomen? Op welke manier is er teruggekoppeld aan de raad? En heeft de raad bijgestuurd? Is er een herleidbare relatie tussen de aanbevelingen van de rekenkamer en doorgevoerde verbeterslagen op de onderzoeksonderwerpen?

Rekenkamer Barendrecht | Concept -Onderzoeksopzet doorwerking rekenkameronderzoeken 2018 - 2023 | 6.

De aangeleverde 'bewijsstukken' analyseren we om de antwoorden van de betrokken ambtenaren zelfstandig te toetsen. De uitkomsten van de deskresearch worden overzichtelijk gepresenteerd. Daarvoor hanteren wij een stoplichttabel die in één oogopslag laat zien hoe het met de doorwerking gesteld is. De stoplichttabel is bedoeld om inzicht te geven in de gepleegde inspanningen en de mate waarin de doorwerking per aanbeveling overeenkomt met hoe de aanbeveling destijds door de rekenkamer bedoeld is. In de stoplichttabel geeft de rekenkamer hier per aanbeveling een kwalitatieve duiding aan. Daarnaast hebben we per onderzoek aandacht voor de communicatie tussen college en raad gedurende het proces van doorwerking. Aanbeveling Aanbeveling 1 Aanbeveling 2 Aanbeveling 3

Mate en wijze van doorwerking PM PM PM

Effect PM PM PM

Fase 2. Samenvatting Resultaat: Aanbevelingen zijn in kaart gebracht, mate van doorwerking is geïnventariseerd, wijze van terugkoppeling aan de raad is in kaart gebracht. Methode: Documentanalyse, stoplichttabel.

Fase 3: Verdieping op verklaringen In deze fase van het onderzoek toetst de rekenkamer de bevindingen uit de documentanalyse door middel van verdiepende interviews. Wij maken gebruik van interviews omdat wij naast de feitelijke doorwerking van aanbevelingen ook inzicht willen krijgen in de redenen voor het wel of niet doorwerken van aanbevelingen (zie ook ons analysekader in de bijlage). Inzicht in die redenen zorgt er namelijk voor dat er maatregelen kunnen worden getroffen om de doorwerking van aanbevelingen te verbeteren. Per onderzoek dat onderwerp is van dit doorwerkingsonderzoek, voeren we één gesprek met een betrokken ambtenaar. Naast de gesprekken met ambtenaren, voeren we ook een gesprek met de griffier. In het gesprek met de griffier staan we stil bij de wijze waarop de raad de onderzoeken van de rekenkamer behandelt, hoe de monitoring van doorwerking is ingericht en welke succespunten en verbetermogelijkheden er zijn.

Fase 3. Samenvatting Resultaat: Inzicht in het effect van de implementatie van de aanbevelingen, inzicht in de redenen voor het niet uitvoeren van aanbevelingen, factoren die het uitvoeren van de aanbevelingen hebben bevorderd en patronen hierin.

Rekenkamer Barendrecht | Concept -Onderzoeksopzet doorwerking rekenkameronderzoeken 2018 - 2023 | 7.

Methode: Interivews

Fase 4: Rapportage en wederhoor In de laatste fase van het onderzoek wordt het onderzoeksrapport opgesteld. Dit rapport bestaat uit een deel met bevindingen (nota van bevindingen) en een bestuurlijk deel (bestuurlijke nota met kernbevindingen en conclusies en aanbevelingen). Het rapport zal concrete handvatten bieden om bij toekomstige rekenkameronderzoeken de processen zo in te richten dat aanbevelingen beter worden opgevolgd. De nota van bevindingen wordt bij de ambtelijke organisatie teruggelegd voor een feitenverificatie. Na verwerking van het ambtelijk wederhoor sturen wij de definitieve versie inclusief de conclusies en aanbevelingen voor bestuurlijk wederhoor naar het college. Daarna biedt de rekenkamer het onderzoeksrapport aan de raad aan. De rekenkamer licht het rapport graag toe aan de gemeenteraad. Fase 4. Samenvatting Resultaat: Beantwoording van de hoofdvraag en deelvragen in een onderzoeksrapportage met conclusies en aanbevelingen. Methode: Rapportage, ambtelijk en bestuurlijk wederhoor, presentatie gemeenteraad.

Rekenkamer Barendrecht | Concept -Onderzoeksopzet doorwerking rekenkameronderzoeken 2018 - 2023 | 8.

3. Onderzoeksteam en planning Marcel Boogers is de directeur van de rekenkamer, Marieke Oprel de plaatsvervangend directeur. Tim Kunis is de secretaris. Zij begeleiden het onderzoek dat uitgevoerd wordt door onderzoekers van Necker. Het onderzoeksteam start dit onderzoek in april 2025. U kunt ons rapport verwachten voor de zomer van 2025, ervan uitgaande dat de dossiers op orde zijn en dat de personen voor interviews tijdig beschikbaar zijn.

Voorlopige planning Onderzoeksfase

Periode

Fase 1 – Startgesprek

April 2025

Fase 2 – In kaart brengen aanbevelingen

April 2025

Fase 3 – Verdieping op verklaringen

Mei 2025

Fase 4 – Rapportage en wederhoor

Mei-juni 2025

Rekenkamer Barendrecht | Concept -Onderzoeksopzet doorwerking rekenkameronderzoeken 2018 - 2023 | 9.

Bijlage: Analysekader Onderstaande lijst met mogelijke verklaringen voor het wel of niet realiseren van doorwerking van aanbevelingen gebruiken we als uitgangspunt in het onderzoek:           

Keuze voor een onderwerp dat aansluit bij de (informatie)behoefte van de gemeenteraad; Timing van het onderzoek; Kwaliteit van de analyse, conclusies en de aanbevelingen; Vorm/presentatie van het onderzoek; Heldere communicatie rond de publicatie van het rapport; Heldere procedures en besluitvorming rond de behandeling van rekenkamerproducten; Heldere procedures en verantwoordelijkheden omtrent de afhandeling van aanbevelingen uit rekenkameronderzoek; Bestuurscultuur binnen de organisatie; Interactie rekenkamer met de gemeenteraad en het college; Interactie rekenkamer met de ambtelijke organisatie en bekendheid van de rekenkamer bij de organisatie; Acceptatie/steun binnen de ambtelijke organisatie voor de aanbevelingen.

Bronnen: Nederlandse Vereniging van Rekenkamers en Rekenkamercommissies (2018), Inzicht in doorwerking van rekenkamerproducten; Keulen, S. (2021), De doorwerking van lokaal rekenkameronderzoek: een empirische zoektocht naar succesfactoren van gebruik. Bestuurswetenschappen 75, 2, pp. 82-100.

Rekenkamer Barendrecht | Concept -Onderzoeksopzet doorwerking rekenkameronderzoeken 2018 - 2023 | 10.