20210622 definitief onderzoeksplan aanbestedingen AVG-proof

Definitief Onderzoeksplan Inkooptrajecten gemeente Schouwen-Duiveland Datum:

22 juni 2021

1 Inleiding In de vergadering van 7 april 2021 heeft de Rekenkamer een keuze gemaakt voor een onderwerp van onderzoek. Hiervoor is een voorlopig onderzoeksplan opgesteld, dat - na de keuze voor het bureau dat het onderzoek gaat uitvoeren - is omgezet in dit definitieve onderzoeksplan. In dit onderzoeksplan komen achtereenvolgens aan de orde: • aanleiding en doel • onderzoeksvragen • normenkader • uitvoering onderzoek • onderzoekmethoden • onderzoekplanning • onderzoekrapportage • contactpersonen

2

Aanleiding en doel

2.1 Keuze onderzoeksonderwerp Besloten is het onderwerp Inkooptrajecten gemeente Schouwen-Duiveland te kiezen voor het rekenkameronderzoek. De gemeente Schouwen-Duiveland hanteert bij het inkoop- en aanbestedingsbeleid het paradigma van Best Value Procurement en heeft dat vastgelegd in haar Inkoop- en aanbestedingsbeleid 2019-20231. Dit beleid is onder meer aangepast nadat de (toenmalige interne) Rekenkamercommissie van de gemeente Schouwen-Duiveland in 2017 - 2018 onderzoek verricht had naar de toepassing van het inkoop- en aanbestedingsbeleid2. Dit onderzoek heeft tot verschillende aanbevelingen geleid die voor een belangrijk deel door de gemeente zijn overgenomen in het bovenvermelde beleidsdocument. Door de leden van de gemeenteraad is geconstateerd dat in ieder geval bij twee aanbestedingen er sprake is geweest van forse overschrijdingen. De overschrijdingen zelf worden daarbij als probleem ervaren, maar ook de (beperkte) mogelijkheden die de raad geboden zijn om hierop te anticiperen. Dit is voor de huidige Rekenkamer van de gemeente Schouwen-Duiveland aanleiding om het inkoop- en aanbestedingsbeleid nader tegen het licht te houden. 2.2 Doel van het onderzoek Het doel van het onderzoek is tweeledig.

Ten eerste dient inzicht verkregen te worden in de factoren en omstandigheden die relevant zijn voor de overschrijdingen bij een aantal aanbestedingstrajecten van de gemeente Schouwen-Duiveland. Waarin verschillen de casussen met de overschrijdingen van de andere casussen die wel binnen budget zijn gebleven. Factoren en omstandigheden die relevant zijn voor de overschrijdingen kunnen verband houden met alle onderdelen van het inkoopproces: het voortraject waarin de inkoopbehoefte wordt geformuleerd; het daadwerkelijk aanbestedingstraject met de offerteaanvraag en de 1

https://www.schouwenduiveland.nl/_Resources/Persistent/2/b/5/5/2b5577f287e40d2176e507134755786e80c53146/inkoop_en_aanbestedi ngsbeleid_2019-2023%20PDF-A.pdf 2 https://www.schouwenduiveland.nl/_Resources/Persistent/5/9/b/2/59b22c7b8108d09deb9d7a25eae66dd3a88d1b58/Rapport_Rekenkamer onderzoek_prestatieafspraken_bij_aanbestedingen_en_inkooptrajecten.pdf

1

selectie van de opdrachtnemer; het afsluiten van de overeenkomst; de begeleiding en bewaking van de uitvoering van de gecontracteerde activiteit. Bij de te onderzoeken inkoop- en aanbestedingstrajecten dient nadrukkelijk nagegaan te worden of de (beleids)uitgangspunten zoals geformuleerd in het Inkoop- en aanbestedingsbeleid 2019-2023 - of indien het dossier van voor die tijd dateert van het eerder beleidsdocument3 - van de gemeente zijn gevolgd. Ten tweede dient het onderzoek inzicht te geven in de wijze en het moment waarop de gemeenteraad van de gemeente Schouwen-Duiveland tussentijds is geïnformeerd over eventuele overschrijdingen en welke mogelijkheden er in die omstandigheden voor de raad nog waren om te anticiperen of te reageren op de overschrijdingen. 2.3 Toetsing aan criteria en randvoorwaarden Het gekozen onderzoeksonderwerp past, zoals uit onderstaand overzicht blijkt, binnen de voor de werkzaamheden van de Rekenkamer geformuleerde criteria voor onderwerpselectie en de randvoorwaarden, zoals die zijn opgenomen in het Reglement van Orde van de Rekenkamer Schouwen-Duiveland4. Criterium Toegevoegde waarde / nieuwe informatie. Risico's van ineffectiviteit en / of ondoelmatigheid en / of onrechtmatigheid. Actueel en / of groot maatschappelijk en / of financieel belang. Raakt direct of indirect het belang burger, maar overstijgt individuele belang.

Kan leiden tot concrete verbeteringen en / of bevorderen lerend vermogen organisatie. Randvoorwaarden Haalbaar zijn in de tijd. Haalbaar zijn binnen het budget. Draagt bij aan de variatie in onderwerpen en de gemeentelijke beleidsvelden die betrokken zijn bij het onderwerp van onderzoek Rekenkamer is in staat om onderzoek te doen naar het onderwerp op basis van haar bevoegdheden, kennis en vaardigheden

3

Resultaat van toetsing Het onderzoek heeft toegevoegde waarde en leidt tot nieuwe informatie. Deze aspecten kunnen in het onderzoek aan de orde komen. Het onderwerp heeft vanwege het voorkomen van toekomstige overschrijdingen een groot financieel belang Het onderwerp overstijgt het individuele belang en raakt direct of indirect het belang van de burger. Het onderzoek kan tot verbeteringen en leerervaringen leiden. Resultaat van toetsing Het onderzoek is binnen redelijke tijd af te ronden. Het onderzoek is haalbaar binnen budget. Het onderwerp is weliswaar enige tijd geleden ook voorwerp van onderzoek geweest, maar het nu voorgestelde onderzoek betreft andere aspecten. Het onderzoek past binnen bevoegdheden en de Rekenkamer heeft voldoende kennis en vaardigheden om als opdrachtgever voor het extern uit te voeren onderzoek op te treden.

Onderzoeksvragen

3.1 Onderzoeksvragen Zoals hierboven al is aangegeven dient het onderzoek inzicht te geven: • in de factoren en omstandigheden die relevant zijn voor de overschrijdingen bij een aantal aanbestedingstrajecten; • in de wijze en het moment waarop de gemeenteraad van de gemeente SchouwenDuiveland is geïnformeerd over eventuele overschrijdingen en welke mogelijkheden er in die omstandigheden voor de raad nog waren om te anticiperen of te reageren op de overschrijdingen. De centrale vraag in het onderzoek is: Waarom was er sprake van overschrijdingen bij een aantal inkopen van de gemeente Schouwen-Duiveland & in hoeverre was de gemeenteraad aan zet om bij te sturen?

3

Hierbij is ook relevant of bij aanbestedingen onder het oude beleid de overschrijdingen onder het nieuwe beleid voorkomen zouden zijn. 4 http://decentrale.regelgeving.overheid.nl/cvdr/xhtmloutput/Actueel/Schouwen-Duiveland/CVDR655755.html

2

De centrale onderzoeksvraag is uitgewerkt in de volgende deelvragen: 1. Welke factoren en omstandigheden waren relevant voor de geconstateerde overschrijdingen? 2. Waren dit wezenlijk andere factoren en omstandigheden dan bij inkopen waarbij geen sprake was van overschrijdingen? 3. Op welke factoren en omstandigheden had de gemeente invloed en op welke niet? 4. Heeft het college getracht bij te sturen om overschrijdingen te voorkomen? Zo ja, hoe dan? Zo nee, waarom niet? 5. Is de gemeenteraad juist, volledig en tijdig geïnformeerd over de overschrijdingen? Zo ja, hoe dan? Zo nee, waarom niet? 6. Heeft de raad getracht bij te sturen om overschrijdingen te voorkomen? Zo ja, hoe dan? Zo nee, waarom niet? 7. Welke lessen kunnen hieruit worden getrokken om overschrijdingen in de toekomst te voorkomen? 3.2 Methode van onderzoek Het onderzoeksrapport wordt gebaseerd op feitenmateriaal dat hoofdzakelijk wordt verzameld met een dossierstudie (aanbestedingsdossiers, beleidsstukken, procedurebeschrijvingen, verslagen, raadsstukken, collegestukken, relevante rapporten etc.). Deze feiten worden met elkaar vergeleken om ze te valideren of juist discrepanties op te sporen, zodat nadere zoekrichtingen voor het onderzoek wordt gevonden. Daarnaast worden er interviews gehouden.

De bevindingen uit deze interviews dienen op hun beurt enerzijds ter validering van de feiten uit de dossierstudie en om eventuele discrepanties op te sporen voor nadere zoekrichtingen voor het onderzoek. Conform de wensen van de Rekenkamer worden 4 casussen uitgewerkt, te weten • 2 casussen met overschrijdingen; ➢ Restauratie Zuidwellebrug Zierikzee (2018); ➢ Onderhoud buitenruimte 2016 - 2023. • 2 casussen zonder overschrijdingen: ➢ Restauratie Blauw Bolwerk in Zierikzee (2019); ➢ Herinrichting Dreef in Bruinisse (2019). Omdat er slechts 4 casussen worden uitgewerkt, is er geen sprake van een representatieve steekproef. Het onderzoek richt zich op de jaren die relevant zijn voor de 4 in het onderzoek uit te werken casussen. Voor een deel van het te verzamelen onderzoeksmateriaal is medewerking nodig van partijen waarbij de rekenkamer Schouwen-Duiveland geen wettelijke bevoegdheden heeft (zoals bijvoorbeeld aannemers).

4 Normenkader Om de bevindingen te kunnen wegen en om daaraan een oordeel te kunnen verbinden en conclusies te kunnen trekken, wordt gebruik gemaakt van vooraf vastgestelde normen. Voor dit onderzoek is het volgende normenkader vastgesteld: 1. De gemeente voldoet in haar inkoopbeleid en in de uitvoering daarvan aan de dan geldende wet- en regelgeving. 2. De gemeente koopt doelmatig in. Dit houdt in: a. Inkopen worden gedaan met een goede prijs/kwaliteit verhouding. b. Er is sprake van kostenbeheersing en verantwoorde uitgave van gelden. 3. De gemeente koopt doeltreffend in. Dit houdt in: a. De beoogde leveringen, werken en diensten worden ingekocht. b. Deze dragen aantoonbaar bij aan de realisatie van gemeentelijke doelen. 4. Het college voldoet aan haar actieve en passieve informatieplicht: a. De raad wordt door het college juist, tijdig en volledig ingelicht.

3

b. De door het college aan de raad verstrekte informatie is eenduidig, inzichtelijk en informatief. 5. De raad is kaderstellend en controlerend en stuurt zo nodig bij.

5 Uitvoering onderzoek Omdat de capaciteit van de Rekenkamer beperkt is, maar ook omdat elk onderzoek specifieke deskundigheid vraagt, worden de onderzoeken in de regel uitbesteed. Dit onderzoek wordt uitgevoerd door Bongers Onderzoek & Advies te Baarn. Bij de uitvoering van de onderzoeken hanteert de Rekenkamer een systematische werkwijze, waarbij de in onderstaand schema opgenomen stappen worden gevolgd. Elke stap leidt tot een (tussen)product. Stap Voorbereiden onderzoek Selectie bureaus Beoordeling offertes Eventuele bijstelling onderzoeksplan Opdracht verstrekking Uitvoeren onderzoek Ambtelijk en bestuurlijk wederhoor Presentatie en publicatie Evaluatie van het proces en onderzoek Nazorg

Product Voorlopig onderzoeksplan Offertes Keuze bureau Definitief onderzoeksplan Contract Conceptrapport Eindrapport Presentatie aan raad en persbericht Evaluatieverslag Rapportage in jaarverslag over navolging

In bijlage 2 zijn de stappen nader uitgewerkt.

6. Onderzoeksmethoden Om de onderzoeksvragen te beantwoorden kunnen diverse onderzoeksmethoden worden ingezet. In elk geval zijn dossieronderzoek en vraaggesprekken met betrokkenen nodig. Ook kan worden gekeken of bij andere gemeenten sprake is geweest van vergelijkbare trajecten en wat de ervaringen in die gemeenten zijn. Van alle interviews die tijdens het onderzoek gehouden worden, worden beknopte verslagen gemaakt, die voor akkoord worden voorgelegd aan de respondenten.

Gespreksverslagen worden vertrouwelijk behandeld. Het citeren uit interviewverslagen is slechts mogelijk met toestemming van de geïnterviewde.

7. Onderzoekplanning De Rekenkamer hanteert voor onderzoeken het volgende planningsschema. Stap Voorbereiden onderzoek Selectie bureaus en beoordeling offertes Uitvoeren onderzoek, inclusief ambtelijk en bestuurlijk wederhoor Presentatie en publicatie eindrapport

Planning 1 maand 1 maand 4 maanden 1 maand

Afhankelijk van hoe snel het onderzoek van start kan gaan, het verdere verloop van de corona-pandemie, de recesperiode en de vlotte doorloop van het ambtelijk wederhoor (dat volgens protocol minimaal 10 werkdagen duurt) en het bestuurlijk wederhoor (minimaal 15 werkdagen) wordt een concrete planning opgesteld. Een voorlopige inschatting is dat publicatie aan het eind van dit jaar mogelijk zou moeten zijn.

8. Onderzoekrapportage Voor rekenkameronderzoek is het van groot belang, dat een sterk feitencomplex wordt neergezet en dat feiten goed onderbouwd worden. Verder is het van belang, dat de 4

gehanteerde normen, de bevindingen uit het onderzoek, de conclusies en de oordelen duidelijk onderscheiden van elkaar worden weergegeven en naadloos op elkaar aansluiten. Een van de hoofddoelstellingen van rekenkameronderzoek is dat de onderzoekrapportages tot leerervaringen moeten leiden. In elke rapportage dient daarom in de conclusies en aanbevelingen uitdrukkelijk te worden aangegeven wat hieruit en voor wie valt te leren. De rapporten van de Rekenkamer moeten als zodanig herkenbaar zijn. Het logo van het onderzoeksbureau kan in de rapportage worden opgenomen. Er wordt ingezet op een kort en bondig rapport, dat goed leesbaar is. Daarbij wordt de volgende opbouw voorzien: 1. Inleidend hoofdstuk met aanleiding, opzet e.d. 2. Bestuurlijk deel met conclusies en aanbevelingen 3. Onderzoeksverslag met daarin antwoorden op de onderzoeksvragen Bijlagen (onderzoeksverantwoording, lijst bronnen etc.)

9 Contactperso(o)n(en) Vanuit de Rekenkamer wordt het onderzoek begeleid door de drie leden, waarbij de volgende twee leden optreden als contactpersonen: 1e contactpersoon: de heer A. Kersten, lid en 1e waarnemend voorzitter. 2e contactpersoon: mevrouw drs. J.E. Talstra, lid en 2e waarnemend voorzitter. Het secretariaat van de Rekenkamer, is het eerste aanspreekpunt: • raadsgriffier de heer T. van Oostenbrugge (telefoon 0111-452310) of locogriffier mevrouw E. Goossens (telefoon (0111-452 129) / e-mailadres: rekenkamer@schouwenduiveland.nl; Voor de gemeente Schouwen-Duiveland treden de volgende personen op als contactpersoon: • de heer P. Swerus, inkoper. • de heer P. Kieboom, hoofd afdeling Bedrijfsvoering 2. Voor Bongers Onderzoek & Advies is het aanspreekpunt mevrouw Drs. K. Bongers. Tussentijds vindt regelmatig overleg met de Rekenkamer plaats over de voortgang van het onderzoek. Tussenproducten (nota van bevindingen, voorstellen voor conclusies en aanbevelingen en conceptrapport) worden besproken met de Rekenkamer en door tussenkomst van het secretariaat van de Rekenkamer -na vaststelling door de Rekenkamerdoorgeleid naar de ambtenaren en/of het college.

Bijlage 1: Onderzoeksaanpak Bijlage 2: Uitwerking systematische werkwijze rekenkameronderzoek Schouwen-Duiveland

5

Bijlage 1

Onderzoeksaanpak Vanwege eventuele gevolgen van de corona-pandemie en mogelijk tijdens het onderzoek wijzigende maatregelen, wordt het onderzoek wordt daarom in fases uitgevoerd. De uitvoerende fases worden steeds afgesloten met een overleg met de rekenkamer aan de hand van een tussenrapportage en overdracht van bijbehorende dossierstukken. Deze tussenrapportages zijn zelfstandig leesbare stukken, die uiteindelijk na ambtelijk wederhoor dienen als hoofdstukken van het uiteindelijke, definitieve eindrapport.

Fase I, Start 1. Startgesprek en brainstorm met rekenkamer (doel: nadere kennismaking, bespreken specifieke wensen, mogelijkheden, onmogelijkheden en bespreken en vaststellen normenkader). 2. Startgesprek ambtelijk (doel: introduceren onderzoek, toelichten gang van zaken, beantwoorden vragen over de aanpak, maken van werkafspraken, opvragen dossierstukken). 3. Identificeren gesprekspartners en (laten) inplannen interviews. 4. Overleg met rekenkamer. 5. Beknopte tussenrapportage en delen van dossierstukken met rekenkamer.

Fase II, Documentanalyse 1. Dossieronderzoek. Vooralsnog wordt gedacht aan de volgende documenten voor het dossieronderzoek (de lijst is niet uitputtend); • Beleid (Inkoop- en aanbestedingsbeleid 2019-2023). • De complete aanbestedingsdossiers van de 4 geselecteerde casussen. • Rapportages aan de raad/raadsinformatiebrieven over inkopen en aanbesteden in het algemeen en over de 4 geselecteerde casussen in het bijzonder. • Raadsvragen (met bijbehorende beantwoording) over inkopen en aanbesteden in het algemeen en over de 4 geselecteerde casussen in het bijzonder. • Notulen collegevergaderingen ter zake. • Notulen/verslagen van raads- en commissievergaderingen ter zake. • Gemeentebegrotingen relevante jaren (vanaf eerste relevante jaar van de 4 casussen, dus het jaar waarin de aanbesteding werd begroot tot en met de laatst beschikbare gemeentebegroting). • Gemeentelijk jaarverslagen (vanaf eerste relevante jaar van de 4 casussen, dus het jaar waarin de over de eerste bestedingen wordt gerapporteerd tot en met de laatst beschikbare gemeentebegroting). 2. Beknopte tussenrapportage en delen van dossierstukken met rekenkamer. 3. Overleg met rekenkamer.

Fase III, Uitwerken casussen 1. Uitvoeren interviews, inclusief voorbereiding en verslaglegging. Er worden maximaal 8 interviews voorzien. Vooralsnog wordt gedacht aan de volgende gesprekspartners: • De ambtenaar (of ambtenaren) die betrokken was (of waren) bij de aanbesteding. • De bestuurlijk portefeuillehouder. • De controller (of vergelijkbare functie) van de gemeente. • 1 interview met een persoon of personen, nader te bepalen in overleg met de rekenkamer. • Per case één aanvullend diepte-interview, zo mogelijk met de uitvoerder (bijv. de betrokken aannemer). 2. Beknopte tussenrapportage en delen van dossierstukken met rekenkamer. 3. Overleg met rekenkamer.

6

Fase IV, Raadsinterview of werksessie 1. Voorbereiden van de sessie met een vertegenwoordiging van de rekenkamer. 2. Interview of werksessie met een vertegenwoordiging uit de gemeenteraad. 3. Beknopte tussenrapportage. 4. Overleg met de rekenkamer.

Fase V, Analyse & Beoordeling 1. Analyse en beoordeling: onderzoeksbevindingen fases II t/m IV. 2. Vergelijking bevindingen met bevindingen in andere gemeenten. 3. Overleg met rekenkamer. 4. Beknopte tussenrapportage en delen van dossierstukken met rekenkamer. Fase VI: Concept – rapportage (Nota van Bevindingen) 1. Maken eindrapportage: samenvoegen tussenrapportages fases II t/m V tot Nota van Bevindingen voor ambtelijk wederhoor. 2. Opstellen voorstel voor conclusie. 3. Opstellen lijst met aanbevelingen (aanknopingspunten voor verbetering). 4. Bespreking met rekenkamer.

Fase VII: Afronding (Eindrapportage) 1. Verwerken resultaten ambtelijk wederhoor. 2. Verwerken resultaten bestuurlijk wederhoor. 3. Opleveren Eindrapportage (inclusief conclusies en aanbevelingen). 4. Presentatie van de onderzoeksresultaten aan de gemeenteraad.

7

Bijlage 2 Uitwerking systematische werkwijze rekenkameronderzoek Schouwen-Duiveland

1 Voorbereiden onderzoek Een onderzoek van de Rekenkamer start met het nader specificeren en afbakenen van het onderwerp. Deze stap resulteert in een voorlopig onderzoeksplan. Omdat de capaciteit van de Rekenkamer beperkt is, maar ook omdat elk onderzoek specifieke deskundigheid vraagt, worden de onderzoeken in de regel uitbesteed. De kwaliteit van het onderzoek en uiteindelijk het onderzoeksrapport is in hoge mate afhankelijk van degene die het onderzoek uitvoert. Suggesties van de opdrachtnemer kunnen er toe leiden dat het onderzoeksplan wordt aangevuld of gewijzigd. Het definitieve onderzoeksplan wordt ter kennisname gestuurd aan de raad, het college van burgemeester en wethouders en het management van de in het onderzoek betrokken afdeling(en). Daarbij wordt ook aangegeven wie het onderzoek gaat uitvoeren. Het management wordt daarbij verzocht een contactpersoon voor het onderzoek aan te wijzen.

2 Selectie bureaus De Rekenkamer bepaalt op basis van een marktoriëntatie welke bureaus (maximaal drie) uitgenodigd worden een offerte met plan van aanpak uit te brengen. Naast deskundigheid en onafhankelijkheid geldt de voorwaarde dat het bureau goed ingevoerd moet zijn in gemeentelijke organisaties. Vanwege het waarborgen van de onafhankelijkheid worden bij de selectie bureaus uitgesloten, die gedurende de laatste 7 jaar op het terrein waarop de Rekenkamer onderzoek gaat doen eerder een onderzoeks- of adviestraject voor de gemeente hebben verzorgd. De offerte bestaat uit een plan van aanpak waarin u in elk geval in gaat op: • het op te leveren resultaat; • de door Rekenkamer voorgestelde aanpak; • een eventueel alternatieve aanpak van het bureau; • het normenkader dat in het onderzoek wordt gehanteerd; • de onderzoekers / adviseurs die het bureau inzet (per persoon uitgesplitst naar ureninzet, kwaliteiten, ervaring en deskundigheden); • de tarieven die het bureau per onderzoeker hanteert en eventuele bijkomende kosten; • de planning van het onderzoek; • de terugkoppelmomenten aan de Rekenkamer; • relevante referenties; • een opgave van eventueel door het onderzoeksbureau op het onderzoeksterrein voor de gemeente uitgevoerde advies- of onderzoeksopdrachten.

3 Beoordeling offertes De Rekenkamer stelt de aanbieders in de gelegenheid de offerte toe te lichten op woensmiddag 9 juni 2021. De toelichting dient te worden verzorgd door de personen die het onderzoek uitvoeren. We hanteren het gunningscriterium ‘economisch meest voordelige inschrijving’ (EMVI). We beoordelen alleen de kwaliteit, waarbij centraal staat dat de probleem- / vraagstelling met voldoende diepgang en methodisch verantwoord beantwoord wordt. De volgende deelbeoordelingsaspecten spelen daarbij een rol: • mate waarin volgens presentatie door onderzoekers blijk wordt gegeven de onderzoeksvragen te begrijpen en van antwoord te voorzien (geloof in de goede invulling van de opdracht); • aanpak (aansluiting opzet onderzoek / aanpak bij onderzoeksplan / methodische degelijkheid / eigen inbreng / creativiteit); • kennis en ervaring van de onderzoeker(s), inclusief eventueel ingewonnen referenties. 8

Kort gezegd gaat het om de wijze van aanpak, inclusief de toelichting en de kennis en ervaring van de onderzoekers. De beoordeling gaat als volgt. De aanbieder met de hoogste score wint de aanbesteding en wordt uitgenodigd voor een startgesprek. Beoordelingscijfer 10

8

6

Onvoldoende

Waardering Het plan van aanpak inclusief toelichting en de kennis en ervaring van de onderzoekers dragen uitmuntend bij aan het bereiken van de doelstelling Het plan van aanpak inclusief toelichting en de kennis en ervaring van de onderzoekers dragen goed bij aan het bereiken van de doelstelling Het plan van aanpak inclusief toelichting en de kennis en ervaring van de onderzoekers dragen voldoende bij aan het bereiken van de doelstelling Uit het plan van aanpak inclusief toelichting en uit de kennis en ervaring van de onderzoekers blijkt dat de aanbieder onvoldoende in staat is de doelstelling te bereiken.

Toelichting

Ongeldige aanbieding

4 Opdrachtverstrekking Op basis van de offerte en de mondelinge toelichting maakt de Rekenkamer een keuze aan wie de opdracht wordt verstrekt. De niet gekozen onderzoeksbureaus ontvangen schriftelijk een afwijzing met daarin de reden(en) van de afwijzing. Voor de te verstrekken opdracht hanteert de Rekenkamer in beginsel een modelcontract. In de opdracht wordt vastgelegd: • wie namens het bureau het onderzoek uitvoert; • hoe omgegaan wordt met afspraken die tijdens de uitvoering van het onderzoek worden gemaakt; • hoe de tussentijdse communicatie over de uitvoering van het onderzoek verloopt; • de tijdsbesteding door het bureau; • de vorming van het onderzoekdossier; • de overdracht van het complete onderzoekdossier (digitaal en op papier) na afronding van het onderzoek; • vertrouwelijkheid van en toegang tot gegevens; • eigendom van rapporten (rapport wordt eigendom van de Rekenkamer en uitsluitend de Rekenkamer maakt het rapport openbaar).

Verder wordt in de opdracht vastgelegd dat: • het onderzoekbureau verantwoordelijk is voor de juistheid en volledigheid van het feitenmateriaal; • het onderzoekbureau verantwoordelijk is voor het transparant en gestructureerd rapporteren van het feitenmateriaal; • het toetsen en verwerken van opmerkingen bij deze verantwoordelijkheid hoort; • het onderzoekbureau in een side-letter een voorstel doet voor conclusies en aanbevelingen aan de Rekenkamer; • de conclusies en de aanbevelingen (direct of indirect) terug te voeren moeten zijn op concrete in het onderzoeksrapport vermelde bevindingen; • de Rekenkamer direct verantwoordelijk is voor de conclusies en aanbevelingen en deze (mede) op basis van de side-letter definitief vaststelt; • het onderzoeksbureau niet toegestaan is zelf derden informatie te verstrekken over het onderzoek.

9

5 Uitvoeren onderzoek Bij uitvoering van het onderzoek verzamelen de onderzoekers gegevens, bijvoorbeeld via dossiers- en documentenonderzoek, interviews en enquêtes. Met betrokkenen worden afspraken gemaakt over het aanleveren van gegevens, de eventueel te interviewen personen en de planning van het ambtelijke en bestuurlijke wederhoor. De Rekenkamer wordt ten minste elke vier weken geïnformeerd over wat men tegen is gekomen (zowel qua proces als inhoud) en hoe men daar mee om wil gaan. Belangrijke keuzes in de uitvoering van het onderzoek worden ter besluitvorming aan de Rekenkamer voorgelegd. Om een bruikbaar resultaat van het onderzoek te bereiken, is een goede afstemming met de Rekenkamer nodig. Overleg tussen onderzoeksbureau en Rekenkamer vindt plaats tijdens: • de startbijeenkomst, waarbij aan de orde komen: o Definitieve onderzoeksvragen o Definitief normenkader o Afspraken over aanlevering stukken e.d. o Selectie cases o Voorlopige lijst van te interviewen personen en leveranciers / aanbieders o Planning o Definitief onderzoeksplan o Communicatie-afspraken • de bespreking van de nota van bevindingen en concept-conclusies en -aanbevelingen.

Naast deze overlegmomenten wordt intensief contact onderhouden via telefoon en e-mail, onder anderen over: • tussenrapportage uitkomsten van deskresearch en casestudy; • voorstel te interviewen personen, te stellen vragen en interview protocol. Om het onderzoek zo goed mogelijk uit te voeren: • vervult de Rekenkamer en het secretariaat van de Rekenkamer een ondersteunende rol bij: o het verkrijgen van de benodigde dossiers en beleidsstukken; o het maken van afspraken en het plannen van interviews; o de eventuele introductie van het onderzoek bij betrokken personen en het plannen van gesprekken; • zorgt de Rekenkamer voor: o de eventuele verslaglegging van bijeenkomsten met de Rekenkamer; o bundeling van reacties van leden van de Rekenkamer op concepten, itemlijsten, et cetera; o communicatie via het secretariaat van de Rekenkamer, zodat contacten snel en efficiënt plaatsvinden.

6 Ambtelijk en bestuurlijk wederhoor Het ambtelijk wederhoor is een essentiële stap in het proces en bedoeld om de feitelijke juistheid van het rapport te waarborgen. Daarvoor wordt de volgende werkwijze aangehouden. • de Rekenkamer stelt het rapport van bevindingen dat voor wederhoor wordt verzonden eerst vast; • de Rekenkamer maakt met de externe onderzoeker afspraken over de duur van het wederhoor en welke ambtenaren (en eventueel portefeuillehouders) aan het wederhoor deelnemen; • de Rekenkamer neemt kennis van de originele reacties op het rapport; • de Rekenkamer vraagt de externe onderzoeker om de wijzigingen die zijn doorgevoerd naar aanleiding van het wederhoor zichtbaar te maken in het rapport. Het definitieve rapport van bevindingen wordt door de Rekenkamer vastgesteld alvorens de definitieve conclusies en aanbevelingen worden toegevoegd. 10

Hierna vindt over het rapport (inclusief de conclusies en aanbevelingen) het bestuurlijke wederhoor plaats. Daarbij worden de dezelfde eerste drie stappen doorlopen als voor het ambtelijk wederhoor. De laatste stap is het schrijven van het nawoord; dit is aan de Rekenkamer.

7 Presentatie en publicatie De Rekenkamer presenteert het rapport tijdens een openbare bijeenkomst. Daar de externe onderzoekers de detailkennis over de inhoud en het verloop van het onderzoeksproces hebben, zijn zij eveneens bij de presentatie aanwezig. Vooraf worden afspraken gemaakt over wat er van hen wordt verwacht.

8 Evaluatie van het proces en onderzoek Na afronding van de werkzaamheden evalueert de Rekenkamer samen met het externe bureau het verloop van het onderzoeksproces en de communicatie en samenwerking met het externe bureau. Zowel de Rekenkamer als het externe bureau bereidt de evaluatie voor. Het doel van de evaluatie is lering trekken. Bij de evaluatie komen de volgende zaken aan de orde: 1. Is de opdracht volgens de afspraken uitgevoerd (zijn de gestelde vragen met voldoende diepgang beantwoord, is de expertise geleverd die geoffreerd is, is volgens planning geleverd, is het feitenrapport naar tevredenheid?). Zo nee, waarom niet? 2. Zijn de kosten volgens de offerte geweest (in de zin van geld, inzet en aandacht van de Rekenkamerleden)? Zo nee, waarom niet? 3. Is het proces en de werkwijze verlopen volgens afspraak (kwaliteitsborgen zoals verificatie van interviews en feitenrapport, terugkoppeling naar de Rekenkamer, is het bureau voldoende proactief geweest)? Zo nee, waarom niet? 4. Heeft het rapport het gewenste effect opgeleverd bij het college of bij andere doelgroepen? Zo nee, waarom niet? Het verslag van de evaluatie behandelt de Rekenkamer vertrouwelijk en wordt ter kennisname aan het externe bureau verzonden.

9 Doorwerking en navolging De Rekenkamer volgt wat er met de onderzoeken gebeurt. In het jaarverslag neemt de Rekenkamer op wat de gemeenteraad heeft besloten over de conclusies en aanbevelingen en of en op welke wijze dit nadien opvolging heeft gekregen.

11