02 Bestuurlijk rapport Indicatoren discriminatie-def
Tekst van het document
BESTUURLIJK RAPPORT
Indicatoren discriminatie Grip op het antidiscriminatiebeleid 13 JULI 2023
DEFINITIEF Dit bestuurlijk rapport is een document van de Rekenkamer Amsterdam en bevat de bevindingen en aanbevelingen van het onderzoek Indicatoren discriminatie. Het digitale document kunt u raadplegen op de projectpagina.
INDICATOREN DISCRIMINATIE - BESTUURLIJK RAPPORT
Inhoudsopgave Samenvatting ..................................................................................................................... 3 Hoofdconclusie en analyse ................................................................................................. 4 Aanbevelingen ................................................................................................................... 7 1
Zorg voor relevante en betrouwbare indicatoren ...................................................... 7
1.1 Aanbeveling 1: Hou meer rekening met de relevantie ..................................................................7 1.2 Aanbeveling 2: Werk meer systematisch en zorgvuldig rondom indicatoren ................................9
2
Verken hoe aanvullende informatie kan worden verstrekt ...................................... 10
2.1 Aanbeveling 3: Verken manieren om aanvullende informatie te verstrekken ............................11
Reactie college en nawoord rekenkamer ......................................................................... 13 3
Bestuurlijke reactie .................................................................................................. 13
4
Nawoord rekenkamer............................................................................................... 15
Gedetailleerde onderzoeksbevindingen .......................................................................... 17 5
Formulering van de indicatoren ............................................................................... 17
5.1 Formulering voldoende duidelijk en specifiek .............................................................................18 5.2 Kwantitatieve informatie voldoende aanwezig ...........................................................................19 5.3 Conclusie .....................................................................................................................................21
6
Betrouwbaarheid van de indicatoren ....................................................................... 21
6.1 Gepresenteerde kwantitatieve informatie onvoldoende betrouwbaar........................................22 6.2 Peilwaardes onvoldoende onderbouwd .......................................................................................26 6.3 Indicatoren onvoldoende consistent ............................................................................................28 6.4 Conclusie .....................................................................................................................................31
7
Relevantie van de indicatoren .................................................................................. 32
7.1 Tot 2023: voldoende logische samenhang en deels voldoende inzicht ........................................33 7.2 Vanaf 2023: onvoldoende logische samenhang en deels voldoende inzicht ................................35 7.3 Ervaren mismatch tussen indicatoren en het beleid ....................................................................36 7.4 Conclusie .....................................................................................................................................37 1
REKENKAMER AMSTERDAM
8
Begrijpelijkheid van de indicatoren .......................................................................... 37
8.1 Onvoldoende adequate toelichting ..............................................................................................37 8.2 Conclusie .....................................................................................................................................40
9
Informatiebehoefte van de raad .............................................................................. 40
9.1 Conclusie .....................................................................................................................................43
Aanleiding ........................................................................................................................ 45 10 Inleiding ................................................................................................................... 45 10.1 Indicatoren in de Amsterdamse begroting ..................................................................................45 10.2 Discriminatie in de stad en de inzet van het Amsterdamse college .............................................46 10.3 Doelstelling, onderzoeksvragen en aanpak ................................................................................48
Onderzoeksverantwoording ............................................................................................ 52 11 Onderzoeksteam ...................................................................................................... 52 Eindnoten ......................................................................................................................... 53
2
INDICATOREN DISCRIMINATIE - BESTUURLIJK RAPPORT
Samenvatting De gemeente Amsterdam wil allerlei doelen halen voor de stad. Ze gebruikt indicatoren om te laten zien hoe het daarmee staat. Een van haar doelen is het verminderen van discriminatie in Amsterdam. Wij onderzochten of de begrotingsindicatoren van het antidiscriminatiebeleid bruikbaar zijn. En of de raad ze gebruikt. Ons onderzoek is af en staat vanaf vandaag online. Onze conclusie? De indicatoren zijn niet bruikbaar genoeg en de raad gebruikt ze bijna niet. Indicatoren zijn niet bruikbaar genoeg De indicatoren van het antidiscriminatiebeleid geven de raad geen goed beeld van hoe het gaat op het antidiscriminatiebeleid. De indicatoren zijn duidelijk verwoord. Maar twee van de drie indicatoren zeggen niks over de doelen die de gemeente wil halen. Ook vinden we dat de indicatoren weinig inzicht geven in wat de gemeente doet om discriminatie te verminderen. Dit vinden de ambtenaren ook. Daarnaast zijn de cijfers van de indicatoren vaak fout, waardoor de indicatoren niet betrouwbaar zijn. Als laatste geeft het college weinig uitleg bij de indicatoren. Hierdoor is niet goed te begrijpen waarom de indicatoren belangrijk zijn en wat ze betekenen. Raad gebruikt de indicatoren bijna niet Raadsleden gebruiken de indicatoren bijna niet. De raad vindt de indicatoren niet veel zeggen over het antidiscriminatiebeleid.
Daarom gebruiken raadsleden andere documenten om meer te weten te komen over hoe het gaat. Maar de raadsleden vinden de informatie die ze nu krijgen niet duidelijk genoeg. Het is voor hen moeilijk te volgen wat de gemeente precies doet om discriminatie tegen te gaan. Ons advies aan het college Het college werkt al aan een plan om de resultaten van het antidiscriminatiebeleid beter te laten zien. Als eerste raden we het college aan om binnen dit beleid indicatoren te kiezen die iets zeggen over de doelen van het beleid. En over wat de gemeente doet om die doelen te halen. Ten tweede adviseren we om rondom de indicatoren een vaste manier van werken te ontwikkelen. Dit om fouten in de cijfers te voorkomen. Ons laatste advies is om te onderzoeken wat een goede manier is om de raad uitleg en meer informatie bij de indicatoren te geven. De ambtenaren en de raad vinden extra informatie belangrijk. Maar er is weinig ruimte in de documenten waarin de indicatoren staan. Het college kan deze documenten bijvoorbeeld digitaal verbinden met andere documenten waarin meer details staan. De burgemeester en wethouders zijn het eens met onze conclusies. Zij geven ook aan dat ze alle aanbevelingen zullen opvolgen. In ons nawoord geven we daarvoor een paar aandachtspunten mee.
3
REKENKAMER AMSTERDAM
Hoofdconclusie en analyse De centrale onderzoeksvraag die we met dit onderzoek beantwoorden, luidt:
Dragen de indicatoren van het antidiscriminatiebeleid bij aan grip van de raad op het beleidsveld? Hoofdconclusie De indicatoren van het antidiscriminatiebeleid dragen weinig bij aan grip van de raad op het antidiscriminatiebeleid. De drie indicatoren uit de begroting – een doelindicator en twee activiteitindicatoren – geven onvoldoende inzicht in de uitvoering van dit beleid. Dat ligt niet aan de formulering van de indicatoren zelf; ze zijn duidelijk geformuleerd en ingevuld met kwantitatieve informatie. Maar de relevantie, betrouwbaarheid en begrijpelijkheid van de indicatoren is onvoldoende. De activiteitindicatoren zijn onvoldoende relevant omdat ze geen inzicht geven in wat de gemeente daadwerkelijk heeft gedaan om het doel dat zij nastreeft te bereiken. Alle drie de indicatoren van het antidiscriminatiebeleid zijn onvoldoende betrouwbaar en begrijpelijk. Veel waardes in de indicatoren zijn fout omdat deze, zonder dat de ambtelijke organisatie het doorhad, onjuist zijn overgenomen uit de rapportages die als bron zijn gebruikt. En er mist verduidelijking over het belang van de indicatoren, wat ze precies zeggen en wat de ontwikkeling op de indicatoren betekent in de context van het antidiscriminatiebeleid. De ambtelijke organisatie is zelf ook niet tevreden over de indicatoren en zij spant zich in om betere indicatoren te ontwikkelen.
Raadsleden maken weinig gebruik van de indicatoren. Dat komt met name doordat ook zij beperkte relevantie ervaren. Raadsleden informeren zich op andere manieren over het antidiscriminatiebeleid dan door de indicatoren. Maar de huidige informatie vanuit het college vinden ze niet concreet en navolgbaar genoeg om te kunnen sturen op het antidiscriminatiebeleid. Analyse De gemeente slaagt er vooralsnog niet goed in om voldoende bruikbare indicatoren over het antidiscriminatiebeleid in de begroting en het jaarverslag (de jaardocumenten)1 op te leveren. Gedurende het onderzoek zijn we aanknopingspunten tegengekomen voor oorzaken en mogelijke gevolgen hiervan. In deze analyse gaan we daar nader op in. Gelegenheidsindicatoren leiden tot ervaren gebrek aan relevantie De keuze voor de huidige doel- en activiteitindicatoren is gemaakt aan het begin van de vorige bestuursperiode. In die keuze is informatie die toen al voorhanden was als uitgangspunt genomen, zodat cijfers relatief makkelijk aangeleverd konden worden. Daarbij lijkt de samenhang tussen de beschikbare informatie/cijfers en het ingezette
1 Wanneer we de begroting en het jaarverslag samen bedoelen, spreken we over ‘de
jaardocumenten’ die binnen de gemeentelijke planning- en control cyclus worden uitgebracht.
4
INDICATOREN DISCRIMINATIE - BESTUURLIJK RAPPORT beleid beperkt te zijn doordacht. Ondanks dat de keuze destijds waarschijnlijk met de beste intenties is gemaakt, leiden de ‘gelegenheidsindicatoren’ van destijds nu tot de situatie dat noch de ambtelijke organisatie, noch de raad, de indicatoren gebruikt. Dit omdat beiden de indicatoren onvoldoende relevant vinden. De ambtelijke organisatie kan met de indicatoren geen inzicht geven in de inspanningen van de gemeente op het beleidsveld antidiscriminatie. En de raad kan er niet mee sturen omdat de indicatoren niet laten zien wat het resultaat is van het gevoerde beleid. Verantwoordingsinformatie verliest aan kwaliteit Vanuit ons onderzoek rijst een beeld op van beperkte interesse in, beperkte kennis over en slordigheden in de omgang met de huidige drie begrotingsindicatoren. Het aanleveren van de indicatoren voor de jaardocumenten staat ver af van de dagelijkse bezigheden van de ambtenaren die wij spraken; het wordt gezien als een ‘moetje’. Bovendien worden de indicatoren niet gebruikt in andere voortgangsinformatie buiten de jaardocumenten om en is het aan de raad aangekondigde gesprek over de indicatoren niet gevoerd. Daarnaast is beschikbare verduidelijkende informatie over de indicatoren bij de ambtelijke organisatie niet bekend.
Tot slot zijn de in de jaardocumenten gepresenteerde cijfers niet consistent en foutief overgenomen uit de broninformatie zonder dat de ambtelijke organisatie zich daarvan bewust was. Dit alles is wellicht een logisch gevolg van het ervaren gebrek aan relevantie – en het daaruit voortkomende beperkte gebruik. Immers, waarom tijd en energie steken in indicatoren waarvan het belang beperkt wordt gezien? Zeker in een beleidsveld als antidiscriminatie, dat volop in beweging en ontwikkeling is, zijn er voortdurend andere activiteiten en prioriteiten die de aandacht en (schaarse) capaciteit van de ambtelijke organisatie opslokken. Maar dit kan dan wel tot een negatieve en zichzelf versterkende cyclus leiden waarin de verantwoordingsinformatie - ongemerkt - aan kwaliteit blijft verliezen. Het gevolg is dat het onderwerp antidiscriminatie dan alleen nog te volgen is voor hen die zich in dit onderwerp vastbijten, anderen haken af of raken gaandeweg verkeerd geïnformeerd. Valkuil gelegenheidsindicatoren ligt opnieuw op de loer De ambtelijke organisatie heeft de wens om betere indicatoren te ontwikkelen en is daarmee aan de slag gegaan. Die houding vinden we positief.
Wel zien we in de manier van werken vooral ‘de blik vooruit’, richting de nieuwe visie op het antidiscriminatiebeleid.I Er wordt beperkt geleerd uit het verleden, door middel van een reflectie op wat er wel en niet goed ging rondom de huidige indicatoren. De nadruk lijkt te liggen op het veranderen van de indicatoren - in lijn met de nieuwe visie - in plaats van op het bewust verbeteren ervan. Tegelijkertijd is binnen dit beleidsveld nog onvoldoende duidelijk wat de gemeente wil bereiken en wat ze daarvoor gaat doen. Om tot zinnige indicatoren te komen, moet er juist een helder idee zijn over wat de belangrijkste doelen en activiteiten van het beleid zijn.II In dit stadium – waarin de nieuwe visie nog wordt omgezet in een beleidskader en waarin het beleidsveld nog volop in ontwikkeling is – is dat voor antidiscriminatie nog niet het geval. Wij zien het risico dat hierdoor in dezelfde valkuil kan worden gestapt als in het verleden:
5
REKENKAMER AMSTERDAM een keuze voor gelegenheidsindicatoren zonder dat goed is verkend en beargumenteerd waarom juist deze indicatoren relevant inzicht geven in en verantwoording afleggen over wat de gemeente wil en doet. Balans tussen inzicht en overzicht Het beperkte gebruik van de indicatoren door zowel de ambtelijke organisatie als de gemeenteraad is mogelijk ook terug te voeren op de wens – of zelfs noodzaak - om meer te vertellen dan met de indicatoren in de jaardocumenten kan. Aansluitend op wat wij al langere tijd in onze rapporten benadrukkenIII, benadrukt ook de ambtelijke organisatie dat het belangrijk is om oog te hebben voor meer dan alleen de cijfers in de indicatoren. Het geven van inzicht door toelichting en duiding bij indicatoren is minstens zo belangrijk, net als het toegankelijk aanbieden van contextuele informatie. Dat geldt zeker voor de huidige begrotingsindicatoren van het antidiscriminatiebeleid waarvan de uitkomsten mede worden beïnvloed door maatschappelijke bewegingen en gebeurtenissen die in de media worden uitgelicht. De ambtelijke organisatie werkt aan het geven van meer gedetailleerd en breder inzicht, bijvoorbeeld door het uitbrengen van de Monitor Diversiteit.IV Tegelijkertijd hebben de indicatoren in de jaardocumenten een heldere functie, die op gespannen voet staat met de hiervoor beschreven wens voor inzicht.
Die functie is het bieden van overzicht – een meer overkoepelende ‘foto’ van een beleidsveld. Op basis van dat overzicht moeten raadsleden kunnen signaleren of er in dat veld mogelijk iets speelt waarnaar hun aandacht uit moet gaan. Om deze overzicht-functie te vervullen zullen indicatoren de kernelementen van het beleid en de uitvoering moeten bevatten, maar kunnen ze niet een volledig beeld bieden en alle activiteiten of nuances laten zien die voor de beleidsuitvoering van waarde zijn. De uitdaging én complexiteit bij het kiezen en invullen van bruikbare begrotingsindicatoren die bijdragen aan grip van de raad zit dan ook in het vinden van een balans tussen overzicht over en bruikbaar inzicht in de beleidsuitvoering.
6
INDICATOREN DISCRIMINATIE - BESTUURLIJK RAPPORT
Aanbevelingen 1 Zorg voor relevante en betrouwbare indicatoren Uit ons onderzoek ontstaat het beeld dat de huidige indicatoren niet altijd relevant en onvoldoende betrouwbaar zijn. Om de indicatoren meer van waarde te laten zijn voor de raad, raden we het college aan om relevantie meer in acht te nemen. Daarnaast vinden we het belangrijk dat het college zorgt voor betrouwbare, en dus juiste, indicatoren. Dat vraagt volgens ons tenminste om een meer systematische manier van werken bij het aanleveren van informatie voor de jaardocumenten.
1.1 Aanbeveling 1: Hou meer rekening met de relevantie Met indicatoren geeft de gemeente invulling aan de verplichting om systematisch inzicht te geven in de uitvoering van het gemeentelijk beleid. We raden het college aan om bij het kiezen van de indicatoren meer rekening te houden met relevantie. Dat kan door het beleid en de onderliggende beleidstheorie als uitgangspunt te nemen en door te kiezen voor verschillende typen indicatoren. Achterliggende bevindingen • De huidige indicatoren zijn gelegenheidsindicatoren. •
De twee activiteitindicatoren zijn onvoldoende relevant. Ze hangen niet samen met het doel dat de gemeente nastreeft. De doelindicator hangt daar wel logisch mee samen.
•
De huidige indicatoren zijn alle drie outcome2 indicatoren die niks zeggen over de inspanningen van de gemeente. De indicatoren over ervaren discriminatie gaan niet specifiek over ervaren discriminatie in Amsterdam.
•
De indicatoren bevatten geen verduidelijkende informatie over bijvoorbeeld doelgroep en tijdspanne. Deze informatie is wel bekend bij de organisaties die de cijfers aanleveren, maar niet bij de ambtelijke organisatie.
•
Volgens de ambtelijke organisatie reflecteren de indicatoren niet goed hoe de afdeling Diversiteit werkt aan de essentie van het antidiscriminatiebeleid en in hoeverre hierop voortgang wordt geboekt.
•
Raadsleden gebruiken de indicatoren nauwelijks omdat ze hen onvoldoende inzicht geven in het beleid.
2 Een outcome indicator beschrijft het maatschappelijke effect of maatschappelijke uitkomsten en is
daarmee niet direct of alleen gerelateerd aan inspanningen die de gemeente pleegt.
7
REKENKAMER AMSTERDAM Neem het beleid als uitgangspunt We vinden het van belang dat de relevantie leidend is bij het kiezen van indicatoren voor de jaardocumenten. Daarom raden we het college aan om in het kiezen van indicatoren meer rekening te houden met het gevoerde of beoogde antidiscriminatiebeleid en de beleidstheorie die daaraan ten grondslag ligt. De beleidstheorie is naar ons idee van belang voor het kiezen van indicatoren die relevant inzicht geven in het beleid. Met de beleidstheorie geeft de gemeente immers inzicht in de eigen doelstelling (wat wil ze bereiken) en maakt zij met een logische redenatie aannemelijk welke beleidsactiviteiten, mechanismes en middelen op welke manier zullen bijdragen aan die doelstelling (hoe gaat ze dat bereiken). Deze systematiek geeft een kapstok voor het kiezen van indicatoren, omdat het de kernelementen van het beleid zichtbaar maakt waarop indicatoren relevant inzicht kunnen bieden. We raden het college dan ook aan om eerst de beleidstheorie uit te werken, en pas daarna de indicatoren. Daarbij merken we op dat zinnige indicatoren (evenals een beleidstheorie) niet van de ene op de andere dag ontwikkeld worden. Daarom vinden we het belangrijk dat het college de tijd neemt voor het kiezen en verbeteren van de indicator(en).
Volgens ons is het beter om (tijdelijk) geen indicator(en) te hebben dan onbruikbare en niet-relevante indicatoren. Overweeg verschillende typen indicatoren Met het oog op relevantie, kunnen we ons voorstellen dat het college de huidige doelindicator niet zonder meer vervangt.3 Daarentegen vinden we het raadzaam dat het college voor de huidige activiteitindicatoren wel andere opties verkent.4 Om de relevantie van die begrotingsindicatoren te vergroten, lijkt het ons zinnig dat het college daarbij verschillende typen indicatoren – anders dan enkel outcome indicatoren5 - overweegt. Voortbouwend op de beleidstheorie kan het college hierbij denken aan indicatoren die inzicht bieden in de inbreng, inspanningen of werkprocessen van de gemeente om toe te werken naar het beleidsdoel. Of indicatoren die inzicht bieden in de structuren of randvoorwaarden die de gemeente daarvoor inricht. In onderstaand kader geven we mogelijke startvragen weer die het college kan gebruiken om relevante indicatoren te ontwikkelen.
3 De doelindicator is ons inziens bruikbaar als de formulering wordt verduidelijkt en de
betrouwbaarheid en begrijpelijkheid worden verbeterd. 4 Dit wil overigens niet zeggen dat de cijfers die het MDRA aanlevert voor deze indicatoren irrelevant zijn. De cijfers uit de jaarrapportages van het MDRA zijn op zichzelf betrouwbaar en bruikbaar. Maar ze zijn niet relevant voor het doel waar de gemeente Amsterdam ze nu voor inzet, namelijk het afleggen van verantwoording over het gevoerde antidiscriminatiebeleid. 5 Een outcome indicator beschrijft het maatschappelijke effect of maatschappelijke uitkomsten en is daarmee niet direct of alleen gerelateerd aan inspanningen die de gemeente pleegt. De huidige begrotingsindicatoren zijn alle drie outcome indicatoren.
8
INDICATOREN DISCRIMINATIE - BESTUURLIJK RAPPORT
Mogelijke startvragen voor relevante indicatoren • Wat is de kern van het antidiscriminatiebeleid? •
Wat is het belangrijkste doel dat het college met dit beleid wil bereiken?
•
Hoe wil het college het doel bereiken? Wat richt het college daarvoor in aan randvoorwaarden, structuren of processen?
•
Wat zijn de (categorieën van) activiteiten die het college onderneemt om bij te dragen aan het doel? Waarom passen deze activiteiten bij het toewerken naar het doel?
•
Welke processen, activiteiten of randvoorwaarden – die van belang zijn voor het toewerken naar het beleidsdoel – liggen binnen de invloedssfeer van de gemeente / afdeling Diversiteit?
1.2 Aanbeveling 2: Werk meer systematisch en zorgvuldig rondom indicatoren We raden het college aan om te zorgen voor een meer systematische manier van werken rondom de indicatoren en deze werkwijze ook vast te leggen. Ook denken we dat het beter benutten van de kennis van de organisaties die de bronnen beheren de betrouwbaarheid van de indicatoren ten goede komt. Achterliggende bevindingen •
•
•
•
Rondom het ophalen in invullen van de cijfers van de indicatoren zien we positieve punten. De gepresenteerde cijfers zijn afkomstig uit betrouwbare bronnen. En de indicatoren zijn vaak voorzien van kwantitatieve informatie. We constateren veel fouten in de gerapporteerde cijfers van de indicatoren. o De gepresenteerde realisatiecijfers kloppen vaak niet. Ze zijn foutief overgenomen uit de bronnen. Voor de activiteitindicatoren lijken steeds de regiocijfers in plaats van de gemeentecijfers te zijn gerapporteerd. o We zien fouten rondom verwijzingen naar waardes. De pijlwaardes verschillen van de realisatiewaardes uit het bij de peilwaarde behorende peiljaar. En verschillende realisatiewaardes voor dezelfde jaartallen. De verschillen tussen de jaardocumenten en achterliggende bronnen waren onbekend bij de ambtelijke organisatie. Ontbrekende peilwaardes en peiljaren konden door de ambtelijke organisatie over het algemeen niet worden achterhaald. Datzelfde geldt voor de motivatie achter gekozen peiljaren en doorgevoerde veranderingen. De ambtelijke organisatie ontvangt of vraagt een informatie of toelichting bij de aangeleverde broninformatie.
9
REKENKAMER AMSTERDAM Leg een systematische werkwijze vast rondom indicatoren We raden het college aan om meer systematiek aan te brengen in de manier van werken rondom de indicatoren van het antidiscriminatiebeleid. Een meer systematische werkwijze kan houvast en structuur geven en zo zorgvuldigheid in de hand werken. Enerzijds bij het invullen van de indicatoren. En anderzijds bij het periodiek aanleveren van informatie voor de jaardocumenten. Bij het invullen van de indicatoren gaat het er ons inziens om dat het college weloverwogen en navolgbaar invulling geeft aan de elementen waar iedere indicator uit bestaat (omschrijving, peilwaarde, peiljaar, streefwaarde en bron voor realisatiewaarde, inclusief achterliggende keuzes). We raden het college aan om deze ‘statische’ informatie per indicator van het antidiscriminatiebeleid vast te leggen. Dit vinden we niet alleen van belang vanuit het oogpunt van navolgbaarheid en overdraagbaarheid. Het geeft ook handvatten om de betrouwbaarheid van de indicatoren te verbeteren6 en om de indicatoren over de tijd in een eenduidig en zinnig historisch perspectief te kunnen plaatsen. Daarnaast raden we aan om een meer systematische manier van werken vast te leggen voor het periodiek aanleveren van informatie voor de jaardocumenten.
Hierbij denken we bijvoorbeeld aan de te doorlopen stappen voor het ophalen, beschrijven en controleren van de juiste informatie, maar ook aan het toekennen van de verantwoordelijkheid voor dit proces. Benut kennis van de organisaties die de bronnen beheren We raden het college aan om beter gebruik te maken van de kennis die aanwezig is bij de organisaties die aan de gemeente de broninformatie voor de indicatoren aanleveren. Zij kunnen aangeven welke cijfers over Amsterdam gaan, wat deze cijfers wel en niet laten zien, welke ontwikkelingen zichtbaar zijn over de tijd en welke contextinformatie relevant is voor het interpreteren van de cijfers. We vinden het raadzaam om een warme overdracht te overwegen van de beschikbare informatie. Een dergelijke overdracht draagt ons inziens bij aan het op de juiste manier rapporteren over de indicatoren.
2 Verken hoe aanvullende informatie kan worden verstrekt In ons onderzoek constateren we dat zowel de raad als de ambtelijke organisatie behoefte heeft aan het geven of ontvangen van context en duiding bij de indicatoren. Hiervoor bieden de jaardocumenten in de planning en control (P&C) cyclus weinig ruimte; zij hebben de functie om vooral overzicht te bieden. Tegelijkertijd is aanvullende informatie voor de raad van belang om het inzicht in het beleidsveld te vergroten. We denken dan ook
6 Zoals de consistentie van de indicatoren over de tijd en een onderbouwing voor het gekozen
peiljaar in het licht van het gevoerde beleid.
10
INDICATOREN DISCRIMINATIE - BESTUURLIJK RAPPORT dat het nuttig is om manieren te verkennen waarop aanvullende informatie kan worden verstrekt om de raad zowel overzicht als inzicht te geven.
2.1 Aanbeveling 3: Verken manieren om aanvullende informatie te verstrekken We raden aan om te verkennen hoe het college aanvullende informatie rondom de indicatoren kan bieden. Voor het creëren van overzicht voor de raad zien we mogelijkheden in het verbeteren van de toelichting op de indicatoren in de jaardocumenten. Voor het bieden van meer inzicht kan het college onderzoeken hoe binnen de P&C cyclus de informatie over het antidiscriminatiebeleid kan worden aangevuld, bijvoorbeeld met behulp van een gelaagde verantwoording. Achterliggende bevindingen • De indicatoren zijn onvoldoende begrijpelijk. Het belang en de betekenis van de indicatoren wordt in de jaardocumenten nauwelijks toegelicht. Duiding van de ontwikkeling rondom de indicatoren mist in het overgrote deel van de jaardocumenten. In de begroting van 2022 werden de indicatoren wel deels toegelicht. •
Het gesprek over de indicatoren, dat door het college in de jaardocumenten is aangekondigd, wordt niet gevoerd.
•
Zowel de raad als de ambtelijke organisatie hecht waarde aan context en duiding.
•
De ambtelijke organisatie heeft de Monitor Diversiteit opgesteld om meer informatie te geven over de beleidsuitvoering.
•
De raadsleden die wij spraken weten aan welke sturingsinformatie ze behoefte hebben.
Verbeter overzicht door toelichting in de jaardocumenten Een begrotingsindicator biedt de raad zinnig overzicht en een bruikbare signaalfunctie wanneer zij de indicator op de juiste manier kan interpreteren. Om dit te bevorderen in de indicatoren van het antidiscriminatiebeleid is het ons inziens nodig dat het college de indicatoren voorziet van een toelichting. Deze toelichting zal de raad in staat moeten stellen om de indicatoren te kunnen begrijpen en de ontwikkeling van de realisatiewaarden te kunnen duiden. We realiseren ons dat vanwege het streven naar compactheid de ruimte voor toelichting in de jaardocumenten beperkt is. Toch lijkt het ons raadzaam om met de Dienst Middelen en Control te verkennen wat de mogelijkheden zijn om deze aanvullende informatie te integreren in de jaardocumenten. Verken voor meer inzicht de mogelijkheden van een gelaagde verantwoording Om de gemeenteraad meer gedetailleerd inzicht te bieden in de uitvoering van het antidiscriminatiebeleid, adviseren we het college om te verkennen hoe aanvullende informatie voor de raad logisch kan worden opgenomen in of verbonden kan worden aan de jaarstukken. Dit kan bijvoorbeeld via een gelaagde verantwoording. In het onderzoek Bruikbaarheid van indicatoren deden we de aanbeveling om informatie in de
11
REKENKAMER AMSTERDAM jaardocumenten op een gelaagde wijze aan te bieden.V Deze aanbeveling vinden we ook passen bij het huidige onderzoek. Het uitgangspunt van de gelaagde verantwoording is dat een lezer naar behoefte meer gedetailleerde informatie kan krijgen vanuit de jaardocumenten. Wanneer dit gemeente breed wordt toegepast, betekent dat wel iets voor de gehele begroting of jaarrekening, omdat de gemeente veel meer zal moeten uitgaan van een digitaal document waarin meer, en meer gevarieerde, gelaagdheid aangebracht kan worden. Als een eerste stap valt voor het antidiscriminatiebeleid te overwegen om voort te bouwen op of te putten uit de Beleidsmonitor Diversiteit en deze (op onderdelen) te koppelen7 aan de jaardocumenten. Een andere vorm van gelaagdheid in verantwoording zien we in het proactief faciliteren van het gesprek met de raad over de uitkomsten op de begrotingsindicatoren in het licht van wat het college wil bereiken met het antidiscriminatiebeleid. We denken dat het raadzaam is wanneer het college bij de raad toetst welke vorm van gelaagde verantwoording het beste past bij (de informatiebehoefte van de raad op) het antidiscriminatiebeleid.
Bij elke vorm van gelaagde verantwoording is het van belang om de meer gedetailleerde informatie duidelijk te verbinden met de informatie in de jaardocumenten, zodat de informatievoorziening richting de raad logisch met elkaar samenhangt. Dat kan bijvoorbeeld door de begrotingsindicatoren een duidelijke plek te geven in of startpunt te laten zijn voor de meer gedetailleerde informatievoorziening.
7 Bijvoorbeeld, en in eerste instantie, door middel van een doorklikbare link.
12
INDICATOREN DISCRIMINATIE - BESTUURLIJK RAPPORT
Reactie college en nawoord rekenkamer 3 Bestuurlijke reactie Op 21 juni 2023 hebben wij een concept-versie van dit document aan het college aangeboden voor een bestuurlijke reactie. Daarbij hebben wij in het bijzonder verzocht om een reactie op onze conclusies en aandachtspunten. Op 5 juli 2023 hebben wij de bestuurlijke reactie van het college ontvangen. De integrale tekst van de bestuurlijke reactie is hieronder te lezen. Deze kan worden gedownload in de digitale versie van het bestuurlijk rapport. Geachte A.L. Daalder, Hierbij stuur ik u de bestuurlijke reactie op het conceptrapport “Indicatoren discriminatie - Grip op het antidiscriminatiebeleid”. Met veel belangstelling hebben wij kennisgenomen van de conclusies en aanbevelingen. Diversiteit en inclusie bepalen het succes van Amsterdam, want Amsterdam was, en is nog steeds de stad waar mensen naartoe komen om vrij te kunnen zijn. Maar ook in Amsterdam worden mensen nog steeds gediscrimineerd en buitengesloten. Zoals ook in het coalitieakkoord wordt aangegeven: “vergt de strijd tegen uitsluiting, racisme en discriminatie een lange adem en vastberadenheid.
Het is immers niet met een paar eenvoudige beleidsinterventies op te lossen.” Het college van B en W onderstreept daarom het belang van indicatoren om een goed beeld te krijgen van de doelen, de activiteiten en om de resultaten van het gevoerde beleid inzichtelijk te kunnen maken. Het is de afgelopen jaren echter ingewikkeld gebleken om de resultaten meetbaar te maken. Dit komt voornamelijk door het feit dat de impact die de gemeente met haar beleid heeft op antidiscriminatie en emancipatie niet geïsoleerd kan worden van andere maatschappelijke en politieke ontwikkelingen, en het daardoor moeilijk is te meten wat de precieze bijdrage van dit gemeentelijk beleid is. Denk hierbij bijvoorbeeld aan de grote Black Lives Matter beweging, die van grote invloed is geweest op het discours over racisme en discriminatie in Nederland en wereldwijd. Niettemin spant het college zich in om meer inzicht te geven in de impact van het beleid in Amsterdam. In het visiedocument “Amsterdam, een stad uit duizenden” (maart 2023) wordt om die reden al aandacht besteed aan de meetbaarheid van het beleid. Hierin werd reeds aangegeven dat we bezig zijn met het opstellen van een plan om de uitkomsten van ons beleid de komende jaren beter inzichtelijk te maken.
Het college is daarom ook blij dat de Rekenkamer het initiatief heeft genomen om de indicatoren van het discriminatiebeleid te onderzoeken, en wil de Rekenkamer Amsterdam bedanken voor diens werk.
13
REKENKAMER AMSTERDAM In uw rapport constateert u zaken die al goed gaan: de gepresenteerde cijfers zijn afkomstig uit betrouwbare bronnen, de indicatoren zijn voldoende duidelijk en specifiek geformuleerd en voldoende voorzien van kwantitatieve informatie, de gemeente erkent dat er een verbeterslag te maken valt en geeft aan daar al actief mee bezig te zijn. U constateert ook dat de drie onderzochte indicatoren onvoldoende zicht geven op de uitvoering van het beleid. De relevantie, betrouwbaarheid en begrijpelijkheid zijn onvoldoende. Terecht merkt u op dat er een complexe uitdaging ligt bij het kiezen van bruikbare en goede indicatoren. U geeft op basis van uw bevindingen een drietal aanbevelingen: • Zorg voor relevante en betrouwbare indicatoren Aanbeveling 1: Houd meer rekening met de relevantie Aanbeveling 2. Werk meer systematisch en zorgvuldig rondom indicatoren • Verken hoe aanvullende informatie kan worden verstrekt Aanbeveling 3: Verken manieren om aanvullende informatie te verstrekken Het college herkent de aangedragen verbeterpunten, en neemt de aanbevelingen over. Hieronder lichten we per aanbeveling toe hoe we hier opvolging aan zullen geven. Aanbeveling 1: Houd meer rekening met de relevantie. U geeft aan dat dat kan door het beleid en de onderliggende beleidstheorie als uitgangspunt te nemen en door te kiezen voor verschillende typen indicatoren.
Met betrekking tot het diversiteitsbeleid, waaronder het antidiscriminatiebeleid, bevinden we ons, zoals hierboven toegelicht, in een proces waarbij we zoeken naar betere manieren om de impact en resultaten van het beleid zichtbaar te maken. We onderzoeken of we beter op interventieniveau kunnen meten. Naar verwachting wordt het beleidskader inclusie en antidiscriminatie eind 2023 aangeboden aan de gemeenteraad. Hierin zullen we de gemeenteraad informeren over de manier waarop we dit de komende jaren gaan doen. Aanbeveling 2: Werk meer systematisch en zorgvuldig rondom de indicatoren. U adviseert om een systematische werkwijze vast te leggen rondom de indicatoren, en daarnaast de kennis van de organisaties achter de bronnen beter te benutten. U geeft aan dat hierbij ook de inhoudelijke elementen waar een indicator aan moet voldoen, moeten worden vastgelegd. Dit advies nemen wij over: we zullen bij de betreffende afdeling het proces rondom aanleveren van data in de P&C-cyclus herinrichten om zorgvuldigheid beter te waarborgen, evenals de documentatie die daarbij komt kijken. Aanbeveling 3: Verken manieren om aanvullende informatie te verstrekken. U adviseert om te onderzoeken of het mogelijk is om meer toelichting te geven in de jaardocumenten. En om een meer gelaagde verantwoording te organiseren.
Op dit moment bieden de jaardocumenten binnen de P&C-cyclus hier nog onvoldoende ruimte voor. We zullen onderzoeken of en op welke manier er meer ruimte voor geboden kan worden. En hier met betrokkenen bij dit proces afspraken over maken. Daarnaast willen we, in lijn met uw aanbeveling, toewerken naar een andere inrichting van de voortgangsinformatie die we
14
INDICATOREN DISCRIMINATIE - BESTUURLIJK RAPPORT met de gemeenteraad delen: onder andere meer op basis van data uit onderzoek. Dit is ook in lijn met uw advies, bijvoorbeeld door de Beleidsmonitor Diversiteit op onderdelen te koppelen aan de jaardocumenten. Daarbij letten we ook op een logisch met elkaar samenhangend geheel van de informatievoorziening. De Rekenkamer legt met dit onderzoek knelpunten bloot in de informatiewaarde van de voortgangsinformatie. Het college is zich bewust van deze knelpunten en bevindt zich reeds in een proces om hier verbetering in aan te brengen. Met dit onderzoek zijn goede aanbevelingen en adviezen gedaan, die dat proces aanscherpen en die motiveren om hierop door te pakken met de bovengenoemde acties. Wij hopen u hiermee voldoende te hebben geïnformeerd. Hoogachtend, Namens het college van burgemeester en wethouders van de gemeente Amsterdam, Touria Meliani Wethouder inclusiviteit en antidiscriminatie
4 Nawoord rekenkamer We danken het college van burgemeester en wethouders voor zijn positieve en constructieve reactie. Het college herkent zich in de conclusies en neemt alle drie de aanbevelingen over. Het college heeft reeds een verbeterproces ingezet met als doel de uitkomsten van het antidiscriminatiebeleid de komende jaren beter inzichtelijk te maken. Het college noemt de aanbevelingen motiverend om door te gaan met dit verbeterproces. De reactie van het college geeft ons aanleiding om voor twee onderdelen van onze analyse en aanbevelingen extra aandacht te vragen. En om de raad te attenderen op de mate van concreetheid van de plannen van het college. Verlies het doel van begrotingsindicatoren niet uit het oog Het college onderstreept net als wij het belang van indicatoren om een goed beeld te krijgen van de doelen, activiteiten en resultaten van het gevoerde beleid. En het college onderzoekt of het op interventieniveau wil gaan meten om de impact en resultaten van het antidiscriminatiebeleid beter zichtbaar te maken. Wij denken dat dat een nuttige manier kan zijn om per beleidsactiviteit gedetailleerd inzicht te krijgen in wat deze doet en oplevert en daarover te rapporteren in, bijvoorbeeld, de beleidsmonitor Diversiteit. Tegelijkertijd wijzen we op de andersoortige functie van indicatoren in de jaardocumenten van de P&C-cyclus. Die functie is het bieden van overzicht.
In onze analyse beschreven we dat raadsleden op basis van begrotingsindicatoren moeten kunnen signaleren of er in dat veld iets speelt waar hun aandacht naar moet uitgaan. Om deze overzichtsfunctie te vervullen zullen begrotingsindicatoren op hoofdlijnen de kernelementen van het beleid en de uitvoering moeten vatten. Het is de vraag of indicatoren op interventieniveau - met het diepgaande inzicht dat ze bieden in individuele beleidsactiviteiten - kernachtig en
15
REKENKAMER AMSTERDAM overkoepelend genoeg zijn om ook overzicht te bieden. We vinden het van belang dat het college de overzichtsfunctie niet uit het oog verliest bij het kiezen en ontwikkelen van begrotingsindicatoren. Zodat de raad deze indicatoren in de toekomst volgens de (hiervoor beschreven) bedoeling kan gebruiken. Neem de tijd voor relevante indicatoren We adviseerden het college om eerst het beleid en de bijbehorende beleidstheorie uit te werken, en pas daarna indicatoren te ontwikkelen. We vinden deze volgordelijkheid van belang om de indicatoren logisch te laten volgen uit de kernelementen van het beleid. Dit komt de relevantie van de indicatoren ten goede. Uit de reactie op de eerste aanbeveling lijkt het college parallel te willen werken aan het beleidskader en de meetbaarheid daarvan middels indicatoren. We denken dat dit een risico met zich kan meebrengen, namelijk de keuze voor begrotingsindicatoren die onvoldoende relevant zijn. Vanwege de door ons voorgestelde volgordelijkheid is het mogelijk dat er bij het aanbieden van het beleidskader nog geen begrotingsindicatoren liggen. Want het kost tijd om - op basis van uitgewerkt beleid - te verkennen welke indicatoren relevant zijn om verantwoording af te leggen over wat de gemeente wil en doet. We denken dat het verstandig is om deze tijd te nemen.
Ook als dat betekent dat er tijdelijk geen begrotingsindicator(en) worden opgenomen in de jaarstukken. Raad: wees alert op concrete uitwerking aanbevelingen Het college licht per aanbeveling toe hoe het daar opvolging aan zal geven. We waarderen dat het college in deze toelichting veel van onze suggesties en invalshoeken terug laat komen. Tegelijkertijd maakt het college nog niet expliciet hoe het zelf uitvoering aan de aanbevelingen wil geven. Dat maakt dat we wat concreetheid missen in wat het college gaat doen, wanneer, en hoe het de raad daarover informeert. We adviseren de raad om het college daarover toelichting te vragen. We denken daarbij aan vragen als: 1. Hoe gaat het college het rekening houden met de relevantie van de begrotingsindicatoren (aanbeveling 1) onderdeel maken van de - al lopende - zoektocht naar betere manieren om de uitkomsten van het antidiscriminatiebeleid inzichtelijk te maken? 2. Welke stappen gaat het college nemen om het proces rondom het aanleveren van de cijfers van de indicatoren beter in te richten (aanbeveling 2)? En wanneer? 3.
Hoe wil het college gaan onderzoeken op welke manier het aanvullende informatie kan verstrekken bij de begrotingsindicatoren (aanbeveling 3)? En wanneer? Wanneer u als raad de verkregen toelichting onvoldoende concreet vindt, dan kunt u - zoals gebruikelijk is bij het behandelen van rekenkamerrapporten - besluiten het college alsnog te vragen om een plan van aanpak.
16
INDICATOREN DISCRIMINATIE - BESTUURLIJK RAPPORT
Gedetailleerde onderzoeksbevindingen In hoofdstukken 5 tot en met 8 geven we antwoord op deelvraag 1: zijn de begrotingsindicatoren bruikbaar voor het creëren van inzicht? In elk hoofdstuk beoordelen we de drie begrotingsindicatoren over het antidiscriminatiebeleid op een van de normen die van invloed zijn op de bruikbaarheid van indicatoren (zie paragraaf 10.3.3); formulering (hoofdstuk 5), betrouwbaarheid (hoofdstuk 6), relevantie (hoofdstuk 7) en begrijpelijkheid (hoofdstuk 8). Voor elke norm geven we een oordeel over de mate waarin de indicatoren aan de norm voldoen. Dit doen we door een oordeel ‘voldoende’, ‘voldoende met ruimte tot verbetering’ en ‘onvoldoende’ te geven. We starten elk hoofdstuk met een korte toelichting op de norm en de bijbehorende toetspunten, vervolgens presenteren we onze bevindingen per toetspunt en we eindigen elk hoofdstuk met een conclusie over de mate waarin de indicatoren over antidiscriminatie voldoen aan de betreffende norm. Zie paragraaf 10.3.3 voor een uitgebreidere beschrijving van de onderzoeksaanpak. Voor de leesbaarheid van de hierna volgende hoofdstukken, geven we in onderstaand kader de doel- en activiteitindicatoren kort weer waaraan we in dit onderzoek aandacht besteden (zie ook paragraaf 10.2.2).
Doel- en activiteitindicatoren discriminatie uit de doelenboom Begroting 2023 In de doelenboom van de Begroting 2023 wordt onderscheid gemaakt tussen doel- en activiteitindicatoren van het antidiscriminatiebeleid. Bij het doel ‘Discriminatie in Amsterdam neemt af’ hoort de doelindicator: •
percentage Amsterdammers dat zich de afgelopen twaalf maanden gediscrimineerd heeft gevoeld (bron: Veiligheidsmonitor).
Als activiteit wordt bij dit doel benoemd: “We verhogen de meldingsbereidheid bij discriminatie”. De bijhorende activiteitindicatoren zijn: • •
het aantal meldingen over discriminatie (bron: MDRA); het aantal meldingen arbeidsdiscriminatie (bron: MDRA).
5 Formulering van de indicatoren De begrotingsindicatoren dragen bij aan het inzicht voor de gemeenteraad over het behalen van de doelen van de gemeente en de uitvoering van (beleids)activiteiten. Een duidelijke formulering van een indicator is van belang, omdat daarmee duidelijk wordt wat de indicator meet. Om te beoordelen of hiervan sprake is, hebben we gekeken naar twee toetspunten: 1 is de formulering van de indicatoren duidelijk en specifiek; 2 zijn de indicatoren voorzien van kwantitatieve informatie.
17
REKENKAMER AMSTERDAM Voor de drie indicatoren over het antidiscriminatiebeleid hebben we over de jaren heen beoordeeld in hoeverre er sprake was van een duidelijke en specifieke formulering door te kijken naar de tekstuele beschrijving van de indicatoren zelf en de bijbehorende toelichting. We hebben de aanwezigheid van de kwantitatieve informatie beoordeeld door voor de jaren 2019 tot en met 2023 na te gaan of er peilwaardes, streefwaardes en realisatiewaardes aanwezig zijn in de begrotingen en jaarverslagen.
5.1 Formulering voldoende duidelijk en specifiek Een duidelijke en specifieke formulering van de indicator is van belang omdat daarmee duidelijk wordt wat de indicator meet. Een duidelijke indicator betekent dat een indicator ondubbelzinnig aangeeft wat er gemeten wordt. Daarmee bedoelen we dat er op het niveau van de indicator als geheel maar één fenomeen gemeten wordt en uit de tekstuele beschrijving blijkt wat dat fenomeen is. Een specifieke indicator is zo geformuleerd dat het helder is wat hij precies meet. We constateren dat de formulering van de drie indicatoren over het antidiscriminatiebeleid voldoende duidelijk en specifiek is, maar er is wel ruimte voor verbetering. Indicatoren ondubbelzinnig geformuleerd De indicatoren zijn alle drie ondubbelzinnig geformuleerd. Elke indicator stelt één fenomeen te meten en op het eerste gezicht is het behoorlijk duidelijk wat elke indicator meet. We zien wel enkele kanttekeningen rondom de formulering van de indicatoren. Doelindicator bevat onduidelijke term De doelindicator is over de jaren heen net wat anders geformuleerd. In 2019, 2020 en 2022 bevat de doelindicator de term ‘wel eens’ in plaats van ‘de afgelopen twaalf maanden’ die we zien in 2021 en 2023: ‘Percentage Amsterdammers dat zich wel eens gediscrimineerd voelt’.
De term ‘wel eens’ vinden we geen duidelijke term; het roept de vraag op, op welke periode de indicator betrekking heeft. Ook is het onduidelijk waar de wijzigingen in de formulering vandaan komen. De onderliggende vraag - op basis waarvan deze indicator in beeld wordt gebracht - is over de jaren heen namelijk niet gewijzigd.VI Aanwezige toelichting uit diverse bronnen ongebruikt Geen van de indicatoren is in de formulering specifiek over de doelgroep. Ook de tijdspanne ontbreekt in de formulering van de twee activiteitindicatoren. In de broninformatie is wel aanvullende toelichting beschikbaar over elementen van de drie indicatoren. De ambtelijke organisatie lijkt zich daar beperkt bewust van te zijn.VII Voor elk van de indicatoren is in de broninformatie bekend hoe ‘discriminatie’ is opgevat, over welke doelgroep de indicator gaat en waar door hen discriminatie ervaren is. Ook is bekend over welke tijdspanne de cijfers iets zeggen.
18
INDICATOREN DISCRIMINATIE - BESTUURLIJK RAPPORT Bij alle drie de indicatoren gaat het om ervaren discriminatie. Bij de vraag in de Veiligheidsmonitor gaat het om een subjectieve beleving van discriminatie.8VIII Voor de activiteitindicatoren geldt dat meldingen komen van mensen die zich gediscrimineerd voelen of getuige waren van discriminatie bij iemand anders.IX Ook hier gaat het om de subjectieve beleving van (arbeids)discriminatie; discriminatie is niet op voorhand gedefinieerd.X Ook over de doelgroep is meer informatie beschikbaar. De Veiligheidsmonitor wordt afgenomen onder Amsterdammers van vijftien jaar en ouder en dit betreft dan ook de leeftijdsafbakening voor de doelindicator.XI De doelgroep van de activiteitindicatoren is breder, de melders kunnen van alle leeftijden zijn, zo lang zij in de regio AmsterdamAmstelland wonen. 9 Hieronder vallen ook melders die een melding maken over discriminatie die zij bij anderen gezien hebben.XII Voor alle indicatoren geldt dat de discriminatie die ervaren is, buiten de gemeente Amsterdam kan hebben plaatsgevonden.XIII In de achterliggende bronnen is ook hier meer informatie over beschikbaar, terwijl deze in de formulering van de indicator niet is toegelicht.XIV Ten slotte staat in de onderliggende bronnen informatie die iets zegt over de tijdspanne van de ervaren discriminatie.
Voor de doelindicator geldt dat de ervaren discriminatie over de afgelopen twaalf maanden gaat.XV Dit is in 2019, 2020 en 2022 niet in de formulering van de indicator opgenomen. Voor de activiteitindicatoren gaat het ook om de tijdspanne van een jaar.XVI Deelconclusie We vinden de indicatoren voldoende duidelijk en specifiek geformuleerd met ruimte voor verbetering. De indicatoren zijn ondubbelzinnig geformuleerd. Toch vinden we de doelindicator niet geheel duidelijk door wijzigingen in de formulering over de tijd en een term die op zichzelf niet duidelijk is. Voor alle drie de indicatoren is er in brondocumenten meer specifieke informatie aanwezig die de formulering duidelijker zouden maken. Deze informatie is niet gebruikt in de jaardocumenten en de ambtelijke organisatie lijkt zich beperkt bewust van deze informatie.
5.2 Kwantitatieve informatie voldoende aanwezig Een indicator wordt pas informatief als deze kwantitatieve informatie bevat. Deze informatie biedt de gemeenteraad (de lezer) de mogelijkheid de (beoogde) resultaten te duiden. Een indicator die is voorzien van kwantitatieve informatie bevat de waarde die als basis dient (peilwaarde en -jaar of nulmeting), de realisatiewaarde, en de waarde die de
8 Het is aan de respondent wat hij of zij als discriminatie ervaart. In de enquêtevraag wordt geen
definitie van discriminatie gegeven waarbinnen het antwoord van een respondent dient te passen. 9 Mensen van buiten de regio Amsterdam-Amstelland kunnen terecht bij de antidiscriminatievoorziening in hun eigen regio. Ook wanneer het voorval van discriminatie waarover ze willen melden plaatsvond in de regio Amsterdam.
19
REKENKAMER AMSTERDAM gemeente nastreeft (streefwaarde). We constateren dat kwantitatieve informatie voldoende aanwezig is bij de drie indicatoren, maar dat er ruimte is voor verbetering. Peilwaardes grotendeels aanwezig Voor alle drie de indicatoren zijn peilwaardes aanwezig, met uitzondering van 2019; in 2019 was de peilwaarde voor de doelindicator afwezig. Hier is geen toelichting op gegeven. Er is zowel in de doelenboom bij de Begroting 2019 als in het Jaarverslag 2019 aangegeven via ‘PM’ dat er nog geen uitsluitsel is over de peilwaarde. De ambtelijke organisatie geeft aan dat de peilwaardes voortkomen uit het beschikbare bronmateriaal, maar heeft geen verklaring voor de afwezigheid van de peilwaarde van de doelindicator in 2019.XVII Peiljaar vaak afwezig Bij alle drie de indicatoren is het peiljaar vaak afwezig. De peilwaarde van de doelindicator bevat in 2022 en 2023 een peiljaar. De peilwaarde van de activiteitindicator ‘Meldingen over discriminatie’ bevat in 2019 en 2020 geen peiljaar (in 2021, 2022 en 2023 wel) en bij de peilwaarde van de activiteitindicator ‘Meldingen over arbeidsdiscriminatie’ is het peiljaar vaak afwezig, alleen in 2022 is de peilwaarde voorzien van een peiljaar.
Ook bij de ambtelijke organisatie was onbekend welke peiljaren bij de gepresenteerde peilwaardes horen.XVIII Realisatiewaardes op één na aanwezig De realisatiewaardes zijn voor bijna alle jaartallen10 aanwezig. Voor de activiteitindicator ‘Meldingen over arbeidsdiscriminatie’ mist de realisatiewaarde voor 2019.11 De ambtelijke organisatie geeft aan dat ze de broninformatie soms pas na de aanlevermomenten voor de P&C-cyclus ontvangt. Hierdoor is er soms vertraging in het kunnen rapporteren van de meest recente realisatiewaardes uit de broninformatie.XIX Dit staat ook opgenomen in het Jaarverslag 2022 over het ontbreken van de realisatiecijfers alle drie de indicatoren over 2022.XX Vertraging in beschikbaarheid van broninformatie verklaart echter niet waarom de realisatiewaarde voor 2019 van de activiteitindicator 'Meldingen over arbeidsdiscriminatie' in geen van de daaropvolgende jaarstukken is opgenomen. Geen streefwaardes voor de indicatoren De streefwaarde is voor alle drie de indicatoren voor geen enkel jaar ingevuld. In veel van deze gevallen is hierop wel een toelichting gegeven, namelijk dat gezien de aard van de indicator geen streefwaarde is opgenomen omdat het een meetwaarde is, bedoeld om het gesprek te voeren. Wij hebben niet kunnen vaststellen dat dit gesprek - naar aanleiding
10 Op het moment van het schrijven van dit rapport waren er nog geen realisatiecijfers voor het
lopende jaar 2023. Dit jaar hebben we dan ook niet meegenomen in de analyse van de realisatiewaardes. 11 In het jaarverslag van het MDRA staat dat in 2019 157 discriminatievoorvallen zijn gemeld op de arbeidsmarkt in de regio Amsterdam. Bron: MDRA, Jaarverslag 2019.
20
INDICATOREN DISCRIMINATIE - BESTUURLIJK RAPPORT van de meetwaarden - heeft plaatsgevonden en ook de ambtelijke organisatie kon niet vertellen of en wanneer dit is gebeurd.XXI12 Deelconclusie We vinden dat de drie indicatoren voldoende voorzien zijn van kwantitatieve informatie, maar ook dat er ruimte is voor verbetering. De peilwaardes en realisatiewaardes zijn op een uitzondering na voor elk jaar aanwezig voor de drie indicatoren. Bij de peilwaardes zien we wel ruimte voor verbetering, omdat het peiljaar vaak afwezig is en de peiljaren bij de ambtelijke organisatie ook niet bekend waren. Ten slotte zien we dat de streefwaardes altijd afwezig zijn. Hiervoor is de plausibele toelichting gegeven dat de meetwaardes als input voor een gesprek dienen. Wij hebben niet kunnen vaststellen dat dit gesprek ook heeft plaatsgevonden.
5.3 Conclusie We constateren dat de formulering van de drie indicatoren voldoende is, waarbij we ruimte voor verbetering zien. De indicatoren zijn ondubbelzinnig geformuleerd en er is veel kwantitatieve informatie aanwezig. De belangrijkste kanttekening is dat beschikbare informatie uit de onderliggende bronnen niet is gebruikt in de gemeentelijke jaardocumenten. Dit betreft zowel informatie over doelgroep, plaats en tijd, als een aantal realisatiewaardes. Daarnaast mist het peiljaar vaak en was het peiljaar ook niet bekend bij de ambtelijke organisatie. Het opnemen van deze informatie zou verduidelijken wat de indicatoren meten en helpen bij het duiden van ontwikkelingen op de indicatoren. Voor het consequent ontbreken van de streefwaardes is een verklaring opgenomen. Of het gesprek, dat in de verklaring wordt genoemd, heeft plaatsgevonden hebben wij niet kunnen vaststellen. We zien dit gesprek echter wel als belangrijk om (de ontwikkeling op) de realisatiecijfers in perspectief te kunnen plaatsen door ze te spiegelen aan de peilwaardes en ambities van de gemeente.
6 Betrouwbaarheid van de indicatoren Een betrouwbare indicator meet wat hij zegt te meten. Om te beoordelen of hiervan sprake is, hebben we gekeken naar drie toetspunten: 1 Is de bron op zichzelf betrouwbaar en sluiten de kwantitatieve gegevens uit de indicator aan bij de bron; 2 Bieden de jaardocumenten een onderbouwing voor de peilwaarde of kan de ambtelijke organisatie een onderbouwing geven voor de keuze van de peilwaarde;
12 De ambtelijke organisatie geeft aan dat het gesprek over diversiteit en inclusie voortdurend
gevoerd wordt, met name naar aanleiding van actualiteiten, bijvoorbeeld wanneer een incident heeft plaatsgevonden. Bron: Interview, 13 april 2023; Nagezonden informatie aan de rekenkamer, 11 mei 2023.
21
REKENKAMER AMSTERDAM 3 Zijn de elementen van de indicator en de meet- en rekenwijze van de indicator consistent. Voor het eerste toetspunt hebben we gekeken naar de betrouwbaarheid van de bron en of de gepresenteerde realisatiewaardes overeenkomen met de achterliggende bron. Voor het tweede toetspunt kijken we naar de onderbouwing van de peilwaardes omdat deze een startpunt vormen om de ontwikkeling in perspectief te plaatsen. In de onderbouwing verwachten we toelichting op dit gekozen startpunt. Voor het derde toetspunt gaan we na in hoeverre de indicatoren door de tijd heen op dezelfde definities zijn gebaseerd en consistent zijn gemeten en berekend. Definitie - zoals we dat hier hebben overgenomen uit de eerdere onderzoeken - gaat over de omschrijving van de indicator; dus hoe de indicator verwoord is. In het kader van betrouwbaarheid is de consistentie van belang omdat inconsistentie in elementen van de indicator of in de meet- of rekenwijze de vergelijking tussen jaren op zijn minst minder betrouwbaar maakt.
6.1 Gepresenteerde kwantitatieve informatie onvoldoende betrouwbaar We vinden kwantitatieve informatie die bij de indicatoren wordt gepresenteerd in de gemeentelijke jaardocumenten betrouwbaar als de bron op zichzelf betrouwbaar is en als de kwantitatieve informatie overeenkomt met de broninformatie. In onze beoordeling van de drie indicatoren constateren we dat de hierbij gepresenteerde kwantitatieve informatie onvoldoende betrouwbaar is. Als startpunt van onze beoordeling geeft tabel 6.1 de kwantitatieve informatie van de indicatoren zoals gepresenteerd in de gemeentelijke jaarstukken.13
Tabel 6.1 - Kwantitatieve informatie zoals gepresenteerd in de jaarstukken Indicator
Waarde
2019
2020
2021
2022
2023
Percentage
Peilwaarde
PM
12%
12%
12%14
13%
Realisatiewaarde
13%
13%
13%15
NB16
n.v.t.
Amsterdammers dat zich de afgelopen twaalf maanden gediscrimineerd heeft gevoeld
13 In de tabel is geen rij voor de streefwaardes opgenomen omdat er voor alle drie de indicatoren
geen streefwaarden zijn weergegeven in de jaarstukken (zie hoofdstuk 5 over formulering). 14 In de Begroting 2022 staat 12% als peilwaarde, in het Jaarverslag 2022 13%. 15 In het Jaarverslag 2021 wordt genoemd dat dit de realisatiewaarde van 2020 zou zijn. In het Jaarverslag 2022 is 13% opgenomen als definitieve realisatiewaarde voor 2021. 16 In het Jaarverslag 2022 (p. 156) van de gemeente Amsterdam staat: “De Veiligheidsmonitor is over een paar maanden beschikbaar. Voor 2022 is hier nog geen cijfer beschikbaar”.
22
INDICATOREN DISCRIMINATIE - BESTUURLIJK RAPPORT
Indicator
Waarde
Meldingen over
Peilwaarde
2019
2020
1.03617
2021
1.03618
discriminatie
2022
Begroting:
2023
54420
1.03621
595 Jaarverslag: 54419
Meldingen over
Realisatiewaarde
595
88522
80223
NB24
n.v.t.
Peilwaarde
186
186
186
18625
186
/
161
152
NB26
n.v.t.
arbeidsdiscriminatie
Realisatiewaarde
Gepresenteerde cijfers afkomstig van betrouwbare bron De doelindicator heeft een duidelijke bronvermelding: de Veiligheidsmonitor. De bron van de activiteitindicatoren is de registratie van discriminatiemeldingen van het MDRA. Wat zijn de bronnen? De Veiligheidsmonitor is een landelijke enquête met veel thema’s en vragen die jaarlijks wordt afgenomen. De Dienst Onderzoek en Statistiek (O&S) van de gemeente Amsterdam neemt deze enquête in Amsterdam af onder Amsterdammers van vijftien jaar en ouder.XXII Het is een vragenlijst van het CBS, voor de regio Amsterdam-Amstelland aangevuld met een eigen vragenblok.XXIII Er wordt geen jaarlijks rapport geschreven over de gehele Veiligheidsmonitor. De Veiligheidsmonitor als geheel wordt breed gebruikt, bijvoorbeeld in veiligheidsindexen maar ook in onderzoeken over specifieke onderwerpen. O&S gebruikt gegevens uit de Veiligheidsmonitor bijvoorbeeld in de Amsterdamse Burgermonitor, die eens per twee jaar verschijnt, en de Staat van de Stad. Daarnaast worden de cijfers uit de Veiligheidsmonitor in het BBGA opgenomen.XXIV
17 Waarvan 888 in Amsterdam. 18 Waarvan 888 in Amsterdam. 19 Peiljaar 2019. 20 Peiljaar 2019. 21 Waarvan 888 in Amsterdam in 2020. Peiljaar 2020. 22 In Begroting 2022: 1.049. 23 In het Jaarverslag 2022 rapporteert de gemeente een realisatiewaarde van 903 voor 2021, dit