Bijlage 1. Monitoring en Evaluatieontwerp Middelburgs Model 8 maart 2023

MONITORING & EVALUATIEONTWERP MIDDELBURGS MODEL

AUTEURS DATUM

Pieter Paardekooper, Nienke Bilo, Wouter Oosterom 7 maart 2023

Inhoudsopgave 3

Inleiding

4

Leeswijzer

5

Hoe past het M&E-ontwerp in de beleidscyclus?

6

M&E-ontwerp

7

Doelenboom

8

Advies bij het vaststellen van het ontwerp

9

Advies voor de monitoring en evaluatie

2

Inleiding Voor u ligt het Monitoring en Evaluatie (M&E)-ontwerp voor het Middelburgs Model. Dit ontwerp is opgesteld in opdracht van het college van B&W van de gemeente Middelburg. Het M&E-ontwerp is het instrument voor het college voor de monitoring, evaluatie en sturing van het Middelburgs Model.

Op basis van het M&E-ontwerp zal ook de raad periodiek worden geïnformeerd over de voortgang van Middelburgs Model. De uitgebreide set van 30 indicatoren biedt de mogelijkheid om de belangrijkste indicatoren aan de raad te kunnen rapporteren. Het M&E-ontwerp omvat niet alle activiteiten in het Middelburgs Model, maar de activiteiten die de meeste impact hebben op de stuurdoelen. Dit betreft het Sociaal Team, Onafhankelijke cliëntondersteuning en Ondersteuningsstructuur onderwijs. Naderhand zijn door de gemeente Middelburg zelf een aantal indicatoren voor TIM en zorggebruik aan de indicatorenset toegevoegd.

Dit ontwerp is tot stand gekomen door middel van groepsgesprekken met raadsleden, sociale partners en ambtenaren van de gemeente Middelburg: • 27 september met de Raad, sociale partners en ambtelijke organisatie over indicatoren voor het Middelburgs Model; • 15 december werksessie met sociale partners en ambtelijke organisatie over nadere definiëring en operationalisering indicatoren Sociaal Team en Ondersteuningsstructuur onderwijs; • 31 januari werksessie met sociale partners en ambtelijke organisatie over nadere definiëring en operationalisering indicatoren Onafhankelijke cliëntondersteuning; • 13 februari laatste afstemming over indicatoren en toetsing van de kernactiviteitenplannen; • Tussentijds hebben verschillende afstemmingsmomenten plaatsgevonden met de gemeente en andere betrokken organisaties.

3

Leeswijzer Dit document start met een uitleg hoe dit M&E-ontwerp past binnen de beleidscyclus van het Middelburgs Model. Daarbij hebben we de indicatorenset die in de verschillende werksessies tot stand is gekomen, opgenomen in de doelenboom.

Implementatie- en borgingsplan Naast dit document is een Implementatie- en borgingsplan opgeleverd. Hierin zijn kernactiviteitenplannen en indicatorenplannen opgenomen. Voor alle activiteiten (Sociaal team, Ondersteuningsstructuur onderwijs, Onafhankelijke cliëntondersteuning, TIM en Zorggebruik) zijn kernactiviteitenplannen (KAP’s) opgesteld. Deze KAP’s zijn erop gericht om werkelijk tot meting van de indicatoren te kunnen overgaan. Daarnaast is één overkoepelende KAP opgesteld. De KAP’s zijn uitgewerkt in drie verschillende fasen (opstart, doorontwikkeling en borging) op de onderdelen: doelen/resultaten, (proces)indicatoren, bronnen, randvoorwaarden, risico’s en aandachtspunten, te nemen acties. De te meten indicatoren zijn nader uitgewerkt in indicatorenplannen. Iedere indicator meet minimaal één beoogd doel of resultaat. In de indicatorenplannen is uitgewerkt hoe de betreffende indicator gemeten wordt.

4

Hoe past het M&E-ontwerp in de beleidscyclus van het Middelburgs Model?

1 Beleidskader bepalen

6 Wijzigingen of nieuwe activiteiten (indien nodig)

2 Sturingsdoelen bepalen

5 Evalueren → Go/no-go beslissing

Monitorings- en evaluatiekader

Referentiekader

3 Kernactiviteiten bepalen

4 Monitoren ontwikkelingen

Het referentiekader vormt de basis van het monitorings- en evaluatiesysteem. Binnen dit kader zijn de criteria vastgelegd op basis waarvan in de monitorings- en evaluatiecyclus beslissingen genomen kunnen worden. Uitgangspunt hierbij is de doelenboom waarin alle beleidsdoelen, stuurdoelen en activiteiten in samenhang met elkaar zijn weergegeven. Op basis van de doelenboom kunnen besluiten worden genomen over: • Het opnemen van nieuwe stuurdoelen in het programma; • Het opnemen van nieuwe activiteiten in het programma; • De te hanteren sturingsspeerpunten; • De kernactiviteiten binnen het programma. Binnen het monitorings- en evaluatiekader worden de daadwerkelijke monitorings- en evaluatieactiviteiten vormgegeven. Het bestaat uit: • De technische invulling van de monitoring. Het gaat hierbij om het bepalen van de manier waarop indicatoren worden gemeten en het plan van aanpak voor het genereren van deze data (indicatorenplannen). • De invulling van de evaluatiegesprekscyclus. Op welke momenten overleggen en beslissen welke stakeholders over de gemonitorde resultaten onder het Middelburgs Model of een van de kernactiviteiten?

5

M&E IN HOOFDLIJNEN DOELENBOOM EN ADVIES

6

Beleidsdoelstellingen

Indicatoren

Stuurdoelen

Inrichting

Aantal overdrachten van TIM naar Sociaal Team Bevorderen sociale cohesie en informele hulp

Aantal en aard interventies en aantal jeugdigen/ouders dat bereikt is door de inzet van het jeugdteam Aantal inwoners dat geïndiceerde zorg gebruikt Hoogte van totaal gedeclareerde kosten zorg

Normaliseren

Aantal inwoners dat zich meldt bij het Sociaal Team

B1.

Tevredenheid van inwoners over de vindbaarheid en de bereikbaarheid van het Sociaal Team Tevredenheid van onderwijs, jeugdigen/ouders vindbaarheid en toegankelijkheid jeugdteam op school

Passende zorg en ondersteuning. Nu en in de toekomst

Vindbare en toegankelijke dienstverlening

Ambitie

DOELENBOOM MIDDELBURGS MODEL

Hoogte van gedeclareerde kosten duurste casussen Wmo en Jeugd Verminderen specialistische en individuele ondersteuning

Ontwikkelen Sociaal Team

Tevredenheid van jeugdigen/ouders over hulp die zij van het jeugdteam op school ontvangen Bekendheid onderwijspersoneel met het aanbod

B2.

Aantal inwoners dat bekend is met onafhankelijke cliëntondersteuning Laagdrempelige informatie en advies

Aantal binnenkomende signalen TIM Tevredenheid inwoners over vindbaarheid en toegankelijkheid TIM

Verbeteren onafhankelijke cliëntondersteuning

De mate waarin inwoners uit kwetsbare doelgroepen bereikt worden (OCO)

Voorkomen (preventie)

B3. De wijze waarop inwoners bekend zijn geraakt met onafhankelijke cliëntondersteuning Vroegsignalering

Tevredenheid over ondersteuning van onafhankelijke cliëntondersteuner Aantal verwijzingen van het Sociaal Team naar voorliggende voorzieningen

Versterken zorgstructuur in het onderwijs

Doorlooptijd Sociaal Team Effectieve (en efficiënte) dienstverlening

Doorlooptijd TIM C2. Wachttijd TIM Mate van tevredenheid inwoner over geboden hulp zorgaanbieder

Optimaliseren samenwerking

TIM

Wachttijd zorgaanbieder Ervaren effectiviteit van de samenwerking binnen het jeugdteam op school

Kwaliteit

Tevredenheid onderwijspersoneel over inzet van het jeugdteam op school Waardegedreven werken

Tevredenheid medewerkers TIM over de samenwerking met Sociaal Team

Zorggebruik

Tevredenheid medewerkers Sociaal Team over samenwerking met TIM Mate waarin inwoner ervaart samen met OCO naar een oplossing te hebben gezocht Mate van tevredenheid inwoner over dienstverlening TIM Integraal werken Mate waarin de inwoner volgens hem/haarzelf of diens ouders passende hulp krijgt (Sociaal Team) Tevredenheid van de inwoner geholpen door het Sociaal Team

7

Advies bij het vaststellen van het ontwerp In het algemeen geven wij voor het M&E-ontwerp voor de verschillende activiteiten van het Middelburgs Model de volgende adviezen. Op pagina 9 geven wij ook enkele algemene adviezen gericht op monitoring en evaluatie. Vanaf pagina 14 volgen ook de kernactiviteitenplannen (KAP’s).

Algemeen advies: 1. Enkele activiteiten zijn nog in ontwikkeling. Stel waar nodig indicatoren nog bij; 2. Richt een klanttevredenheidsonderzoek (KTO) in, en baseer de vragenset op het M&E-ontwerp; • Overweeg een doelgroepenanalyse vooraf - niet iedereen die ondersteuning ontvangt zal een online vragenlijst invullen; • Meetmoment: voer het KTO situatiespecifiek in of vraag direct na afloop of tijdens de geboden ondersteuning uit om onderscheid naar soort dienst te kunnen maken. Een algemeen KTO geeft alleen een oordeel over de totale dienstverlening; • Stem af met Orionis.

3.

4.

Overweeg de inrichting van een klantpanel naast KTO, zodat ook Inwoners of inwonersgroepen die een KTO niet invult, kunnen worden bevraagd; Zorg dat de indicatorenplannen concreet en eenduidig zijn voor wordt gestart aan de inrichting van de registratie;

5. 6. 7.

Stel registratieafspraken en een leidraad voor registratie op, zodat iedereen weet wat waar en hoe geregistreerd wordt; Maak een proefopstelling van het gemeentedashboard in de inrichtingsfase; Bepaal welke informatie op welk niveau beschikbaar komt: raad, college, management, uitvoering.

Algemene randvoorwaarden: 1. Goede afstemming met en tussen de betrokken partijen; 2. Draagvlak bij verantwoordelijke organisaties. Algemene uitgangspunten voor de indicatoren: 1. 2.

Aansluiting bij bestaande registraties; Geen grote administratieve last voor verantwoordelijke organisaties.

De kernactiviteitenplannen (KAP’s) zijn niet in beton gegoten, maar levende documenten, waarin de invulling van de fases afhankelijk is van de uitkomsten van de voorgaande fase. Reflectie en aanscherping zijn daarom na afronding van elke fase nodig en het is goed om tijdens fases ook te blijven reflecteren op wat er moet gebeuren en welke randvoorwaarden nog moeten worden ingevuld.

8

Advies voor de monitoring en evaluatie 1.

Zorg dat alle betrokken partijen goed in beeld zijn en op de hoogte van wat van hen in iedere fase verwacht wordt.

2.

Zorg voor een duidelijke (cyclische of Plan-Do-Check-Act) planning van de: •

Overlegcyclus, zowel intern als extern. Neem monitoring mee in de opdrachtgever-opdrachtnemerrelatie;

•

Datalevering en rapportage, ook gekoppeld aan de P&C-cyclus;

•

Inhoudelijke evaluatie → hoe staat het ervoor met het doelbereik? en aanscherping → leveren de indicatoren het gewenste inzicht, is aanscherping, aanvulling of vervanging nodig?

•

Procesmatige evaluatie → hoe gaat het met de registratie, datalevering en rapportage? en aanscherping → moeten er procesafspraken gewijzigd of aangescherpt worden?

•

3.

Rapportage aan de verschillende stakeholders.

Beleg verantwoordelijkheden voor: •

Aanlevering data op activiteitniveau;

•

Regulier overleg op activiteitniveau;

•

Transformatieoverleg op M&E-niveau;

•

Inrichting en updaten Gemeentedashboard;

•

Rapportage aan College en Raad.

9