RIS315740 Bijlage 5 Handboek

DDO handboek Doelmatigheids- en doeltreffendheidsonderzoek

1

Colofon Datum: maart 2022 Versie: 0.4 Auteur: Demelza Scheffer, Frans Koemans Afdeling: Financieel beleid Directie: DMC Dienst: BSD

2

Inhoudsopgave 1.

Inleiding .......................................................................................... 4

1.1

Waarom doelmatigheidsonderzoek- en doeltreffendheidsonderzoek? ... 4

1.2

Focus

1.3

Eenduidigheid in uitvoering ....................................................................... 5

2.

Achtergrond en begrippen ............................................................... 6

2.1

Artikel 213a Gemeentewet ........................................................................ 6

2.2

Procedure en verantwoordelijkheden ....................................................... 7

2.3

Onderzoek .................................................................................................. 8

2.4

Onderzoekmethoden en -technieken ........................................................ 8

2.5

Onderzoek naar doelmatigheid ................................................................. 9

2.6

Onderzoek naar doeltreffendheid ........................................................... 10

3.

Onderzoeksaanpak .........................................................................12

3.1

Oriëntatiefase .......................................................................................... 14

3.2

Diagnosefase ............................................................................................ 16

3.3

Organisatiefase ........................................................................................ 16

3.4

Realisatiefase ........................................................................................... 17

3.4

Afrondingsfase ......................................................................................... 18

.................................................................................................. 4

DDO in het kort Het DDO-programma wordt jaarlijks in Q1 door het college vastgesteld en bevat onderzoeksonderwerpen voor de komende 2 jaar met een doorkijk voor de komende 4 tot 6 jaar. Voorafgaand aan de vaststelling wordt ieder jaar het DDO-programma in het GMT besproken en de onderzoeksonderwerpen herijkt. Jaarlijks wordt de doelmatigheid en doeltreffendheid van 2 of 3 (delen van) programma's en integrale opgaven onderzocht. Hiermee komen alle 12 programma's in 4 tot 6 jaar aan bod. Daarnaast kan zowel het GMT als het college jaarlijks een special, een actueel aandachtsgebied, als onderzoeksonderwerp aandragen. De onderzoeksonderwerpen kunnen de focus van één dienst overstijgen en hebben aandacht voor integraliteit, samenhang, financieel inzicht en de potentie tot leren en verbeteren. Ieder DDO wordt gestructureerd uitgevoerd en heeft een doorlooptijd van maximaal 6 maanden (streefdoorlooptijd), waarbij minimaal de standaard onderzoeksvragen beantwoord worden, eventueel aangevuld met een kwalitatief normenkader. Ieder DDO wordt begeleid door een stuurgroep (GS, CC, GMT-leden) en wordt nauw samengewerkt met de betrokken dienst(en)/afdeling(en) en afgerond met een eindrapport welke wordt vastgesteld door het college. Het college informeer de raad en de rekenkamer schriftelijk over de resultaten van het onderzoek.

3

1.

Inleiding

doorgevoerd worden. Daarnaast kan met deze inzichten besloten worden dat het verstandig is om ergens extra geld voor uit te trekken of juist minder.

De gemeente Den Haag investeert in een gemeentelijke organisatie waar de basis op orde is. Onderdeel hiervan zijn de programmabegroting en aanverwante P&C-producten. Deze vormen een belangrijk element in de ambitie van het college om de communicatie en participatie met burgers te versterken.

Op grond van artikel 213a Gemeentewet stelt de raad een verordening vast, waarin de kaders voor de DDO’s op het terrein van het college, de beleidsuitvoering, zijn geregeld. Het college wordt dus opgedragen onderzoek te doen naar de doelmatigheid en de doeltreffendheid van het gevoerde bestuur.

Een duidelijke begroting en P&C-producten helpen hierbij, zodat voor burgers en de raad duidelijker wordt wat we willen bereiken, wat we daarvoor gaan doen en wat dit kost. De koppeling tussen input (de uitgaven), de output (de daarmee geleverde prestaties, bijvoorbeeld het aantal gerealiseerde subsidieverstrekkingen of inspecties) en de outcome (het maatschappelijke resultaat) blijkt vaak lastig te leggen. Hebben subsidies het welzijn van burgers verbeterd? Is de veiligheid toegenomen door meer BOA’s?

De verantwoording door het college en de controle door de raad zijn nauw met elkaar verbonden. De afspraken die de raad met het college heeft over de informatievoorziening maakt het voor de raad mogelijk om, vanuit zijn controlerende functie, zaken aan de orde te stellen die door het college worden besloten. Daarnaast moet het college ook uit eigen beweging verantwoording afleggen. Hierbij is onderzoek naar de doeltreffendheid en doelmatigheid van belang.

Meer inzicht is gewenst (mede op concernniveau) in het daadwerkelijk uitvoeren van beleid en het boeken van resultaat bij een verantwoord financieel beheer. De reguliere planning en control rapportages en monitorgegevens kunnen niet altijd aan deze behoefte voldoen:

Onderzoek is dan een vereiste. 1.1 Waarom doelmatigheidsonderzoek- en doeltreffendheidsonderzoek? Doelmatigheids- en doeltreffendheidsonderzoeken (DDO’s) leiden tot meer inzicht in de resultaten van het beleid en tot grotere transparantie waar ook burgers baat bij hebben. Hiermee wordt lering getrokken wat werkt, wat niet en waarom dit zo is en kunnen verbeteringen

1.2 Focus Periodiek stelt het GMT een programma op (en stelt het college vast) waarin staat welke onderzoeken uitgevoerd gaan worden. Inhoudelijk zijn de DDO’s gericht op het beter begrijpen van de doelmatigheid en doeltreffendheid van een gekozen aanpak en de mogelijkheden om die doelmatigheid en doeltreffendheid te optimaliseren. Financieel bieden DDO’s inzicht in de mogelijkheden om doelmatig en doeltreffend te intensiveren, ofwel om middelen vrij te maken door doelmatiger te opereren of beleidsvelden te combineren om effecten te versterken zodat het totale rendement van de gemeentebegroting wordt vergroot.

4

1.3

Eenduidigheid in uitvoering

Dit handboek heeft als doel om een basis te vormen voor het eenduidig uitvoeren van de doelmatigheids- en doeltreffendheidsonderzoeken. Het biedt een heldere en toegankelijke vastlegging van het proces waarbij een vaste procedure en vorm de basis vormen voor het uitvoeren van de onderzoeken, waarbij tevens ruimte is voor aanvullend maatwerk. Dit biedt helderheid bij betrokkenen over wat ze kunnen verwachten. Het handboek biedt een theoretische ondergrond (hoofdstuk 2) op het gebied van onderzoek naar doelmatigheid en doeltreffendheid. Begrippen worden uitgelegd, de aanpak wordt uiteengezet en een stappenplan voor het uitvoeren van een onderzoek wordt uitgebreid toegelicht. Het handboek is een praktisch document, bedoelt om behulpzaam te zijn bij het uitvoeren van een onderzoek naar doelmatigheid en doeltreffendheid (hoofdstuk 3). Per te onderscheiden fase wordt toegelicht welke stappen worden gezet en met welke tussenresultaat ieder fase wordt afgesloten. Daarnaast kunnen de bijgevoegde werkdocumenten  de basis vormen voor bepaalde stappen in het onderzoek. Allemaal bedoeld om praktische handvatten te bieden om zo de aanpak te standaardiseren, kwaliteit te verankeren en de aanwezige kennis te delen. Daarnaast is het handboek een kaderstellend document en bevat het de kaders welke bij ieder onderzoek gehanteerd worden.

5

2.

Achtergrond en begrippen

In dit hoofdstuk wordt in hoofdlijnen beschreven wat de achtergrond is van onderzoek naar doelmatigheid en doeltreffendheid. 2.1

Artikel 213a Gemeentewet

Artikel 213a Gemeentewet 1. Het college verricht periodiek onderzoek naar de doelmatigheid en de doeltreffendheid van het door hem gevoerde bestuur. De raad stelt bij verordening regels hierover. 2. Het college brengt schriftelijk verslag uit aan de raad van de resultaten van de onderzoeken. 3. Het college stelt de rekenkamer tijdig op de hoogte van de onderzoeken die hij doet en zendt hem een afschrift van een verslag als bedoeld in het tweede lid. Op grond van artikel 213a stelt de raad een verordening vast, waarin de kaders voor de doelmatigheids- en doeltreffendheidsonderzoeken zijn opgenomen. Het college wordt opgedragen onderzoek te doen naar de doelmatigheid en de doeltreffendheid van het gevoerde bestuur. Deze richten zich op zowel beleid als de daaraan gerelateerde bedrijfsvoering. DDO-programma De beslissing wat te onderzoeken is aan het college. Het DDO-programma moet een volledig beeld geven van de voorgenomen onderzoeken, zij het uiteraard nog globaal. Vanuit het oogpunt van evenwichtigheid is het van belang om in het DDOprogramma alle programma’s aan bod te laten komen, waarbij de onderzoeksonderwerpen de focus van één dienst kan overstijgen

en aandacht hebben voor integraliteit, samenhang, financieel inzicht en de potentie tot leren en verbeteren. Vanuit dit uitgangspunt wordt jaarlijks de doeltreffendheid en/of doelmatigheid van 2 of 3 (delen van) begrotingsprogramma’s en integrale opgaven onderzocht. Hiermee komen alle begrotingsprogramma’s in 4 tot 6 jaar aan bod. Het DDO-programma wordt jaarlijks vastgesteld door het college en bevat de onderzoeksonderwerpen voor de komende 2 jaar met een doorkijk naar de komende 4 tot 6 jaar. Het college kan een aanvulling maken bij de aangedragen onderzoeksonderwerpen. Daarnaast kan zowel het GMT als het college jaarlijks een zogenaamde special, een actueel aandachtsgebied, als onderzoeksonderwerp aandragen. Deze special kan zowel dienstoverstijgend als dienstspecifiek zijn. Het DDO-programma wordt aangeboden aan de raad en de raad kan het ter bespreking agenderen, maar het wordt door het college vastgesteld. Reikwijdte onderzoek De reikwijdte van ieder onderzoek strekt zich in beginsel uit over alle diensten en instellingen, waar de gemeente bestuurlijk verantwoordelijk voor is, of waarvan de activiteiten geheel of in belangrijke mate door de gemeente worden bekostigd. De reikwijdte kan in het DDO-programma worden ingeperkt door het aangeven van het te onderzoeken tijdsvak en de te onderzoeken diensten en instellingen.

De onderzoeken in het DDOprogramma worden per onderzoek uitgewerkt in een onderzoeksplan. Het uitgangspunt voor de onderzoeken is om te leren van de uitkomsten en verbeteringen door te voeren. Dit betekent een nauwe samenwerking met de betrokken diensten en afstemming met de aldaar lopende of afgeronde relevante onderzoeken. Dit betekent ook dat de doorlooptijd van ieder onderzoek te overzien moet zijn om maximale betrokkenheid van de diensten en opvolging van de aanbevelingen te bewerkstelligen.

6

Selectiecriteria onderzoeksonderwerpen Integraliteit Al het beleid en de activiteiten die gezamenlijk het totaalbeeld van het desbetreffende onderzoeksonderwerp vormen. Samenhang Duidelijke invloed/verbanden van de verschillende betrokken onderdelen op elkaar. Financieel inzicht Invulling geven aan de behoefte van (meer) financieel inzicht Leren en Leren voor nu, verbetering voor de toekomst verbeteren Rapportage en gevolgtrekking Met de instelling van de onderzoeken beoogt de gemeente de transparantie van gemeentelijk handelen te vergroten en de publieke verantwoording daarover te versterken. De bevindingen van de onderzoeken worden dan ook neergelegd in rapporten voor de raad. De rapporten moeten volgens art. 197, lid 2 GW worden gevoegd bij de jaarrekening en het jaarverslag. Dat betreft uiteraard de verslagen die lopende het verslagjaar zijn afgerond. 2.2

Procedure en verantwoordelijkheden

De wethouder Financiën is instrumenteigenaar van 213a-onderzoeken. 213a-onderzoeken zijn ondergebracht bij de Directie Middelen en Concern (DMC, afdeling Financieel beleid) en vallen onder de verantwoordelijkheid van de Concern Controller (CC) (gedelegeerd door de Gemeentesecretaris, GS).

stuurgroep, tenzij het onderzoek een thema betreft waarvoor deze zelf verantwoordelijk is. Daarnaast neemt de Gemeentesecretaris standaard als voorzitter zitting in de stuurgroep, tenzij het onderzoek een thema betreft waarvoor deze zelf verantwoordelijk is. In dat geval is het deelnemende GMT-lid voorzitter. Onderstaande tabel bevat de kaders en richtlijnen voor het uitvoeren van 213a-onderzoeken. In dit overzicht wordt per thema aangegeven welke betrokken actoren verantwoordelijk zijn. Proces van opstellen DDO-programma Ambtelijke opdrachtgeverschap Onderwerpinventarisatie

Onderwerpselectie Vaststellen programma Uitvoering onderzoek Vaststellen onderzoeksplan Stuurgroep Begeleiding tijdens onderzoek Stuurgroep Ambtelijk vaststellen van het Stuurgroep onderzoeksrapport Afronden onderzoek, opleveren onderzoeksresultaat Bestuurlijk vaststellen van onderzoeksrapport College Ingebracht door wethouder Financiën, betrokken portefeuillehouder heeft voorvisie en stelt beleidsreactie op. Onderzoeksrapport delen met de raad en de Wethouder Financiën rekenkamer (inclusief beleidsreactie) namens het college Implementatie aanbevelingen

Voor het begeleiden van de uitvoering wordt voor ieder onderzoek een stuurgroep geformeerd bestaande uit de GS als voorzitter, het GMT-lid (leden) van de onderzochte dienst(en) en een GMT-lid anders dan de onderzochte dienst. De concerncontroller neemt standaard zitting in de

GS GMT levert onderwerpen aan GMT, op advies CC College

Monitoring & toezicht aanbevelingen

Geadresseerde van aanbeveling(en) CC rapporteert aan GS, GS aan GMT

7

2.4 2.3

Onderzoekmethoden en -technieken

Onderzoek

Voor het uitvoeren van doelmatigheids- en doeltreffendheidsonderzoek worden twee belangrijke aspecten gevolgd: 1. Onderzoek is het produceren van bruikbare kennisresultaten, hier in de vorm van antwoorden op vragen. Dit leidt ertoe dat voor ieder onderzoek een beoordelingskader wordt opgesteld met onderzoeksvragen en een toetsingskader. De onderzoeksvragen bestaan uit de standaardvragen die voor ieder onderzoek gelden en uit de specifieke aandachtsgebieden van het onderzoek. Het toetsingskader geeft weer hoe deze onderzoeksvragen d.m.v. het onderzoek worden getoetst en/of beantwoord. 2. Het zoekproces dient systematisch te verlopen. Hierbij is een onderzoek als een project, want het verrichten van onderzoek is maatwerk, dat voldoet aan de kenmerken van projecten, zoals een concreet resultaat, een geheel aan onderscheidbare activiteiten en een begrenzing in tijd en middelen. Dit biedt transparantie in de aanpak van doelmatigheids- en doelmatigheidsonderzoeken en borgt dat de doorlooptijd van het onderzoek te overzien is (en blijft). Hierbij is wel van belang te melden dat

Voor onderzoek naar doelmatigheid en doeltreffendheid wordt gebruik gemaakt van de volgende verschillende onderzoeksmethoden en -technieken: • • • • •

Interviews Sessies Enquête Documentatieonderzoek Benchmarking

Deze opsomming is niet bedoeld uitputtend te zijn, maar dient als illustratie om aan te geven dat er vele onderzoeksmethoden zijn. Gedurende de uitvoering kunnen, indien noodzakelijk, aanvullende methoden worden ingezet. Interviews Interviews zijn er in vele soorten. Ze variëren van gestructureerdheid (open respectievelijk gesloten interview) en naar de vraag of ze individueel of per groep worden afgenomen. In het algemeen kun je bij interviews in vergelijking met bijvoorbeeld enquetes van minder mensen diepgaander dingen aan de weet komen. Interviews vragen een degelijke voorbereiding waarin met name het onderscheid een rol speelt tussen: “Wat wil ik in dat interview aan de weet komen?” en “Welke vragen moet ik stellen om dat aan de weet te komen?” Sessies Een sessie is een groepsinterview over een specifiek onderwerp, dat wordt geleid door een facilitator. Het aantal deelnemers varieert meestal tussen de 4 en de 12. Bij sessies speelt met name de groepsdynamica een rol. Van belang bij dergelijke sessies is een goede voorbereiding, juiste verslaglegging en de kwaliteit van de facilitator.

8

Enquête Enquêteren is schriftelijk interviewen. Enquêteren kost over het algemeen minder afnametijd, waardoor je in kortere tijd meer mensen kunt bereiken dan met mondelinge interviews.

Benchmarking Benchmarking is een methode die het mogelijk maakt organisaties of organisatieonderdelen of vergelijkbare projecten binnen een organisatieonderdeel met elkaar te vergelijken.

Documentatieonderzoek Bij documentatie (of dossier) onderzoek wordt de met het onderzoeksobject gemoeide en relevante documentatie c.q. dossiers onderzocht. Hieronder vallen tevens de beschikbare dashboards, wijkscans en dergelijke van de verschillende diensten.

Benchmarking is het systematisch onderzoeken van de prestaties (en maatschappelijke effecten) en achterliggende processen en werkwijzen van één of meer referentie-organisaties of projecten op een bepaald gebied en het spiegelen van de eigen prestaties en werkmethoden aan deze best practices, met als doel te komen tot een plaatsbepaling en verbetering van het eigen presteren. De samenwerking met de G4 is één van de mogelijkheden om hier invulling aan te geven, onder andere door onderzoeksonderwerpen te synchroniseren. Daarnaast kan ook gebruik gemaakt worden van gegevens van bijvoorbeeld het CBS en/of relevante koepelorganisaties. 2.5

Onderzoek naar doelmatigheid

Bij doelmatigheid gaat het om de mate waarin de gewenste prestaties en beoogde maatschappelijke effecten worden gerealiseerd met een zo beperkt mogelijke inzet van middelen of met beschikbare middelen zo veel mogelijk resultaat wordt bereikt (efficiency, doen we de dingen goed). Het eerste deel wordt ook wel ‘inputoriëntatie’ genoemd, het tweede ‘outputoriëntatie’. De onderzoeken naar doelmatigheid betreffen onderzoeken naar de uitvoering van het beleid en beheer van middelen. Feitelijk heeft een doelmatigheidsonderzoek tot doel vast te stellen of de gestelde doelen op een efficiënte manier bereikt zijn. Het gaat bij een dergelijk onderzoek dus primair om de doelmatigheid van het beleid. Om de doelmatigheid van het beleid te bepalen wordt gekeken naar de gestelde doelen, de bereikte resultaten en de hiervoor ingezette middelen.

9

Middelen zijn het ingezette personeel, het verbruikte materiaal, de ingehuurde diensten en uitgaven aan (niet-) financiële beleidsinstrumenten (zoals subsidies, leningen en voorlichtingsprogramma’s) en de daarmee gemoeide uitgaven. Indien concreet beleid en concrete doelen ontbreken, kan geen antwoord gegeven worden op de vraag of het beleid doelmatig is. In dat soort gevallen wordt ervoor gekozen om een beoordeling te geven van de doelmatigheid van de met het beleid gemoeide proces(sen) in plaats van de doelmatigheid van het beleid. De doelmatigheidsbeoordeling gebeurt aan de hand van de volgende drie (globale) stappen: 1. Eerst wordt beoordeeld of duidelijk is welke doelen er met het te onderzoeken beleid moeten worden bereikt. Daarbij wordt bekeken of er voldoende goede informatie beschikbaar is om de realisatie van het beleid te kunnen volgen. In gevallen dat de doelstellingen niet SMART genoeg zijn, zal door middel van bijvoorbeeld interviews een kwalitatief normenkader (afgestemd met de stuurgroep en betrokkenen) ontwikkeld moeten worden op basis waarvan onderzoek gedaan kan worden. 2. Daarna wordt onderzocht of het beleid volgens plan wordt uitgevoerd: is het proces zo ingericht dat de gewenste prestaties worden bereikt? 3. Vervolgens wordt onderzocht de ‘juiste’ hoeveelheid middelen wordt ingezet in verhouding tot de bereikte resultaten (doelmatigheid).

De ‘juiste’ hoeveelheid kan bepaald worden door een vergelijking te maken of door een kwalitatief oordeel van de onderzoeker aan de hand van het kwalitatieve normenkader. Hierbij wordt de verhouding op ieder (toepasselijk) niveau van de resultaten onder de loep genomen.

Het regelmatig uitvoeren van deze onderzoeken kan tevens een aanleiding vormen voor het concreter formuleren van beleid. Verklarende factoren Voor organisatie-onderdelen die minder systematisch onderzoek doen, is het van belang om te weten wat ze kunnen doen om doelmatiger te worden. Daarom moet naar factoren gezocht worden die verschillen in doelmatigheid verklaren, zodat duidelijk wordt hoe een organisatie haar doelmatigheid kan verbeteren.

2.6

Onderzoek naar doeltreffendheid

Bij doeltreffendheid gaat het om de mate waarin de gewenste prestaties en beoogde maatschappelijke effecten van het beleid daadwerkelijk worden behaald (effectiviteit, doen we de goede dingen). De onderzoeken naar doeltreffendheid vinden plaats op basis van het in de programma’s of paragrafen van de begroting geformuleerde beleid. Dit beleid kan gehele begrotingsprogramma’s omvatten of delen daarvan. Om doeltreffendheid te kunnen onderzoeken is het van belang dat zowel de organisatie als de politiek bij de vaststelling van nieuwe beleidsnota’s en de begroting nagaan of er aandacht is voor het evaluatie-aspect en of (een deel van) de te bereiken maatschappelijke effecten meetbaar zijn geformuleerd. Bij het vaststellen van de doeltreffendheid van beleid gaat het om de nagestreefde maatschappelijke effecten. Het doel van de te leveren prestaties is - direct of indirect - de realisatie van een gewenst maatschappelijk effect (Wat willen we bereiken?).

10

Om prestatiegegevens te benoemen voor de realisatie van de beoogde maatschappelijk effecten zullen de beleidsdoelstellingen moeten worden vertaald in effectindicatoren. Effectindicatoren zijn vaak gegeven in termen van verandering ten opzichte van een referentie situatie, maar evenzo ook in termen van aantallen. In de praktijk laat het verband tussen de door een dienst geleverde prestaties en effecten zich echter niet vaak eenvoudig vaststellen. Ook hier geldt dat in gevallen dat de doelstellingen niet SMART genoeg zijn, door middel van bijvoorbeeld interviews een kwalitatief normenkader ontwikkeld zal moeten worden op basis waarvan onderzoek gedaan kan worden. Het kan zijn dat de beleidsdoelen worden bereikt, maar dat het gevoerde beleid daar weinig of niets aan heeft bijgedragen. Voor het sturen op en beoordelen van de doeltreffendheid van beleid, is het daarom van belang dat een plausibel verband kan worden gelegd tussen (1) de gemeentelijke beïnvloedingsmogelijkheden en prestaties en (2) de mate waarin dit leidt tot het bereiken van beleidsdoelen. De rijksoverheid, provinciale en gemeentelijke overheden spelen daarbij veelal een gezamenlijke rol. De vraag of de gerealiseerde effecten vallen toe te rekenen aan het gevoerde gemeentelijke beleid, kan in de meeste gevallen slechts met behulp van periodiek uit te voeren evaluatieonderzoek worden beantwoord.

11

3.

Onderzoeksaanpak

Een onderzoek is onder te verdelen in vijf fasen, welke hieronder nader worden toegelicht. Waarom fasering? De belangrijkste redenen voor fasering zijn de volgende: 1.

Het onderzoek wordt beheersbaarder. Gedurende het onderzoek kan de organisatie vaak beperkte (noodzakelijke) capaciteit vrijmaken om aan het onderzoek te participeren. Door het onderzoek op te delen in fasen, wordt het gestructureerder. Zowel de onderzoeker(s) als de stuurgroep kunnen op deze wijze de activiteiten van het onderzoek makkelijker inplannen, monitoren en eventueel bijsturen.

2.

Elke fase heeft een eigen doelstelling en kan dus separaat worden gezien van de overige fasen. Door het onderzoek in fasen te delen, wordt de aandacht dus niet verdeeld over meerdere doelen, maar gericht op één doel, wat efficiënt en effectief werkt. De activiteiten die in elke fase worden ondernomen, zijn dus ook alle consistent met elkaar.

3.

Door in fasen te werken, worden de betrokken dienst(en) stapsgewijs meegenomen in het onderzoek, hetgeen transparantie en betrokkenheid ten goede komt.

4.

De stuurgroep (en betrokkenen) kunnen duidelijk worden geïnformeerd over de voortgang van het onderzoek.

Fasen en tussenresultaten Per te onderscheiden fase worden de te zetten stappen toegelicht en met welk tussenresultaat iedere fase wordt afgesloten en wie daarbij betrokken is. Op het overzicht op de volgende pagina staan de fasen met de daarbij behorende tussenresultaten weergegeven. In de volgende paragrafen worden de fasen verder toegelicht.

12

Oriëntatiefase Oriëntatiesessie

Diagnosefase

Onderzoeksopdracht

(Concept) activiteitenplanning

Voorbereiden onderzoek

Input van betrokken dienst(en)/afdeling(en) Stuurgroep keurt onderzoeksopdracht goed

Input van betrokken dienst(en)/afdeling(en) Stuurgroep stelt aanpak en planning vast

Plan van aanpak

Organisatiefase Bespreken plan van aanpak

Bespreking aanpak onderzoek

Afstemmen activiteiten

(Definitieve) activiteitenplanning

Afstemming met en goedkeuring door betrokken dienst(en)/afdeling(en)

Realisatiefase Realisatiefase

Documentatieonderzoek

Documentatieverslag

Input van betrokken dienst(en)/afdeling(en) Stuurgroep stelt aanpak en planning vast

Interviews

Interviewverslag

Input van betrokken dienst(en)/afdeling(en) Stuurgroep stelt aanpak en planning vast

Sessies

Sessieverslag

Input van betrokken dienst(en)/afdeling(en) Stuurgroep stelt aanpak en planning vast

Opstellen concept eindrapport

Concept eindrapport

Bespreken met stuurgroep en betrokken dienst(en)/afdeling(en)

Hoor- en wederhoorprocedure

Oplegnotitie/opmerkingenparagraaf

Input van betrokken dienst(en)/afdeling(en) Bespreken met stuurgroep

Afrondingsfase Overdragen definitief eindrapport

Definitief (vastgesteld) eindrapport

Vaststellen door stuurgroep

Eindrapport (incl. beleidsreactie)

Beleidsreactie van portefeuillehouder College stelt eindrapport vast

Reguliere rapportages

Concerncontroller (GS en GMT)

Bestuurlijke vaststelling Overdragen definitief eindrapport

Opvolging aanbevelingen Monitoring

13

3.1

Oriëntatiefase

Voor aanvang van het daadwerkelijke onderzoek wordt door middel van een startbespreking met de stuurgroep het onderzoeksobject en de opdrachtformulering doorgenomen. Aan het GMT-lid/de GMT-leden van de te onderzoeken dienst c.q. diensten wordt gevraagd de contactpersoon/contactpersonen aan te wijzen. Door middel van een oriëntatiesessie of interviews met betrokkenen van de desbetreffende dienst(en)/afdeling(en) zal de definitieve opdrachtformulering voor het onderzoek worden geformuleerd en wordt het onderzoeksobject afgekaderd. Hierbij wordt tevens geïnventariseerd of er reeds binnen de betrokken dienst/diensten onderzoek is uitgevoerd waarop het desbetreffende DDO kan aansluiten. Daarnaast wordt een beoordelingskader opgesteld, op basis waarvan een uitspraak gedaan zal worden over de doelmatigheid en de doeltreffendheid. Het beoordelingskader bestaat uit twee onderdelen; onderzoeksvragen en toetsingskader. De onderzoeksvragen bestaan uit de specifieke aandachtsgebieden van het onderzoek. Het toetsingskader geeft weer hoe deze onderzoeksvragen d.m.v. het onderzoek worden getoetst en/of beantwoord alsook een reeks standaard onderzoeksvragen die in ieder DDO terugkomen. Standaard onderzoeksvragen De volgende standaard onderzoeksvragen komen minimaal aan bod bij ieder DDO.

Beleid Welke doelen zijn er geformuleerd, vastgelegd en vastgesteld voor het beleid van het desbetreffende onderzoeksonderwerp en hoe wordt daar uitvoering aan gegeven? a) Waarom voeren we als gemeente het desbetreffende beleid uit, waarom is er een rol voor de overheid? b) Wat is de visie van het bestuur op het desbetreffende beleid? c) Hoe is de uitvoering van het beleid georganiseerd? Meerjarig? Welke uitgangspunten worden hierbij gehanteerd? d) Welke actoren zijn er gemoeid met het uitvoeren van het beleid? e) Wat is de formele en feitelijke rol (taken, verantwoordelijkheden en bevoegdheden) van de desbetreffende actoren? f) Hoe wordt bij de uitvoering van de activiteiten rekening gehouden met verwante beleidsthema’s? Doeltreffendheid Hoe doeltreffend was de uitvoering van het desbetreffende onderzoeksonderwerp? a) Welke doelen zijn er geformuleerd, vastgelegd en vastgesteld voor het desbetreffende beleid. b) Zijn prestaties, resultaten en effecten (expliciet) benoemd? c) Zijn termijnen, doorlooptijd of periodes, waarbinnen doelen gerealiseerd dienen te worden, aangeduid? d) Wat is de huidige stand van zaken in de uitvoering van het beleid? Zijn doelstellingen gerealiseerd? Bij prestaties valt te denken aan de prestaties die jaarlijks terugkomen (aantal verstrekkingen).

Hoe verhoudt de realisatie zich tot de planning? e) Welke maatregelen kunnen worden genomen om de doeltreffendheid te verhogen? f) Welke combinaties van beleidsvelden zijn mogelijk om effecten van het desbetreffende beleid te versterken?

14

Doelmatigheid Hoe doelmatig was de uitvoering van het desbetreffende onderzoeksonderwerp? a) Is er sprake van haalbare doelen? b) Zijn er middelen toegewezen aan de doelen, zo ja, welke? c) Is er sprake is van een (logische) koppeling tussen doelen, producten, prestaties, effecten en middelen? d) Zijn termijnen, doorlooptijd of periodes, waarbinnen doelen gerealiseerd dienen te worden, aangeduid? e) Met welke uitgaven gaat het beleid gepaard, inclusief kosten op andere terreinen of voor verbonden partijen? f) Wat is de onderbouwing van deze uitgaven? Hoe zijn deze te relateren aan de componenten volume/gebruik en aan prijzen/tarieven? g) Hoe verhouden de ingezette middelen zich ten opzichte van de bereikte doelstellingen en resultaten? (Hoe doelmatig is het beleid geweest?) Financieel Inzicht Welke financiële mogelijkheden zijn er om doelmatig te intensiveren? a) b)

In het geval dat er significant minder middelen beschikbaar zijn (-/- circa 20% van de middelen) welke beleidsopties zijn dan mogelijk? In het geval dat er significant meer middelen beschikbaar zijn (+ circa 20% van de middelen) welke beleidsopties zijn dan mogelijk?

Nadat de definitieve onderzoeksopdracht door de stuurgroep is goedgekeurd, kan tot uitvoering van onderzoek worden overgegaan.

 De oriëntatiefase wordt afgerond met een onderzoeksopdracht. Hiervoor kan het format onderzoeksopdracht gehanteerd worden.

15

3.2

Diagnosefase

In de diagnosefase wordt een plan van aanpak opgesteld, op basis waarvan het onderzoek wordt uitgevoerd. Het plan van aanpak vormt samen met de onderzoeksopdracht het onderzoeksplan. Naar aanleiding van de goedgekeurde onderzoeksopdracht kan ook nauwkeurig(er) bepaald worden wat de benodigde capaciteit (mensen, middelen, timing) voor het onderzoek zal zijn.

Het plan van aanpak biedt de stuurgroep inzicht in de beoogde aanpak en de tussentijdse afstemmingsmomenten met de stuurgroep. Daarnaast fungeert het plan van aanpak als een communicatiemiddel met betrokkenen. Na vaststelling van het plan van aanpak bestaat inzicht in de taken, verantwoordelijkheden en bevoegdheden van de bij het onderzoek betrokken medewerkers en management en is er een basis gelegd zijn voor:

Dit wordt opgenomen in het plan van aanpak alsmede in de activiteitenplanning voor het onderzoek. Hierin staat aangegeven welke activiteiten (o.a. interviews en documentatieonderzoek) wanneer worden uitgevoerd en door wie. Voor het documentatieonderzoek wordt een inventarisatie gemaakt in hoeverre de benodigde informatie beschikbaar is.

 

De diagnosefase wordt afgerond met een plan van aanpak. Hiervoor kan het format plan van aanpak gehanteerd worden. De diagnosesfase wordt afgerond met een (concept) activiteitenplanning. Hiervoor kan het format activiteitenplanning gehanteerd worden.

Plan van aanpak Het plan van aanpak werkt (naast de onderzoeksopdracht) “gedachtenvormend”. Het gehele onderzoek wordt in gedachten doorlopen, waarbij alle fasen van het onderzoek benoemd en toegelicht worden. Dat dwingt om na te denken over de wijze van uitvoering (onderzoeksaanpak, onderzoeksorganisatie en dergelijke) en over mogelijke knelpunten en beheersmaatregelen daarbij.

• Commitment van de betrokken medewerkers, het (betrokken) management en de stuurgroep en van de overige betrokkenen; • Inzicht in de benodigde capaciteit van de betrokkenen; • Inzicht in de wijze van communicatie en informatieoverdracht; • Goede voorbereiding en planning; • Indicatie urenbesteding en doorlooptijd onderzoek. Op basis van het verzamelde onderzoeksmateriaal en het verloop van het onderzoek kunnen de onderzoekers gedurende het onderzoek besluiten om af te wijken van de gekozen aanpak in de onderzoeksopzet. Indien dit van toepassing is, dan wordt de aanpassing in een tussentijds afstemmingsmoment met de stuurgroep en de betrokkenen besproken.

3.3

Organisatiefase

In de organisatiefase staat het creëren van draagvlak van het onderzoek centraal. Dit gebeurt door middel van een bespreking van het plan van aanpak met de betrokkenen. Tevens wordt de activiteitenplanning afgestemd met de betrokkenen, zodat deze definitief gemaakt kan worden.

16

3.4

Realisatiefase

In deze fase worden de daadwerkelijke werkzaamheden verricht om de onderzoeksdoelstellingen en -resultaten te realiseren. Deze fase is per onderzoek doorgaans in drie1 stappen onder te verdelen: 1. Documentatieonderzoek; 2. interviews en/of sessies; 3. Opstellen eindrapport. Stap 1 Documentatieonderzoek Stap 1 is het uitvoeren van documentatieonderzoek en het opstellen van een documentatieverslag. In het documentatieverslag worden de resultaten van het documentatieonderzoek per onderzoeksvraag uit (zie beoordelingskader in de onderzoeksopdracht) uitgewerkt. Stap 2 Interviews en/of sessies Stap 2 behelst het houden van de interviews en/of sessies met sleutelpersonen en het opstellen van een interview- of sessieverslag. Hieronder vallen tevens de eventuele vragen die naar aanleiding van het documentatieonderzoek gesteld kunnen worden.

In het interview/sessieverslag werk je de resultaten van de interviews/sessies uit. Dit kan per onderzoeksvraag (zie beoordelingskader in de onderzoeksopdracht). Het verslag stuur je naar de desbetreffende personen, waardoor zij kunnen aangeven of de uitwerking een juiste weergave is van het interview c.q. de sessie. Ieder interview/sessie wordt zo schriftelijk vastgelegd en ter controle/toetsing teruggekoppeld.



Hiervoor kan het werkdocument Interviewen gebruikt worden.

Stap 3 Opstellen eindrapport Het combineren van de verkregen informatie tot een eindrapportage (bevindingen, conclusies en aanbevelingen) inclusief de bespreking van het concept eindrapport zijn onderdeel van stap 3. Belangrijk in deze stap is de hoor- en wederhoorprocedure. Hierin kunnen betrokkenen op- of aanmerkingen maken op het concept eindrapport. Deze opmerkingen worden met de stuurgroep besproken, opgenomen in een oplegnotitie (of in een apart hoofdstuk van het eindrapport) en al dan niet doorgevoerd in het definitieve eindrapport.



De realisatiefase wordt afgerond met het opleveren van een eindrapportage. Hiervoor kan het werkdocument Rapporteren gehanteerd worden.

1 Hier is uitgegaan van de onderzoeksmethoden interviews en documentatieonderzoek.

Indien er tevens een enquête of een benchmark uitgevoerd wordt, dan worden deze in de realisatiefase in aparte stappen opgenomen.

17

3.4

Afrondingsfase

Deze fase bestaat uit het overdragen van de (definitieve) eindrapportage en de (ambtelijke) vaststelling door de stuurgroep. Hiermee is het DDO afgerond. Als de onderzoeksconclusies en -aanbevelingen direct van invloed zijn op het welzijn, de arbo en veiligheid van de medewerkers, dan zorgt de CC/GS ervoor dat de Centrale Ondernemingsraad zijn medezeggenschapsrechten, tijdig kan uitoefenen. Indien van toepassing dan voegt de CC/GS het advies van de Centrale Ondernemingsraad toe aan het eindrapport. Bestuurlijke vaststelling De wethouder Financiën brengt het eindrapport in het college, waarbij de betrokken portefeuillehouder voorvisie heeft. De betrokken portefeuillehouder biedt met het aanbieden van het rapport een beleidsreactie op het rapport aan, waarbij de wethouder Financiën de voorvisie heeft. Het college stelt de rapportage en de eventuele beleidsreactie vast en informeert de raad en de rekenkamer schriftelijk over de resultaten van het onderzoek. Monitoring aanbevelingen De acties omtrent monitoring van de aanbevelingen worden in de afrondingsfase besproken en vastgelegd. De informatie over de voortgang van de aanbevelingen wordt opgenomen in de reguliere rapportages. De implementatie van de aanbevelingen ligt bij de geadresseerde van de aanbeveling(en).

Indien gewenst kan er gebruikt gemaakt worden van vervolgonderzoek om inzicht te krijgen in de ondernomen acties en de mogelijke effecten van de aanbevelingen.

18