2530415 Delftse Rekenkamer - digitale toegankelijkheid

Aan de gemeenteraad en het college van B&W van Delft

Onderwerp: Uw brief van: Uw kenmerk: Bijlage(n):

Rekenkamerbrief Digitale Toegankelijkheid

Onderzoeksbijlage Online melden en aanvragen

Ons kenmerk: Contact: Telefoonnummer: E-mailadres: Datum:

DRK2025-007 Claudine Garama 06-5273 9100 c.garama@delft.nl 3 juni 2025

Rekenkamerbrief ‘Digitale Toegankelijkheid’ Beste raads- en collegeleden, Graag informeren wij u over de uitkomsten van ons onderzoek naar de toegankelijkheid van online melden en aanvragen bij de gemeente delft. Dit is een vervolg op het rekenkameronderzoek “Digitaal bestuur in Delft” uit 2023, dat op waarden georiënteerd was. Dit vervolgonderzoek kijkt in de dagelijkse praktijk naar de online toegankelijkheid van de gemeentelijke dienstverlening. Uit het onderzoek rijst een vrij positief beeld van de kwaliteit en in het bijzonder de toegankelijkheid van de online dienstverlening. Omdat de mogelijke verbeterpunten allen gaan over de uitvoering, zijn de aanbevelingen gericht aan het college en de organisatie. Bijsturing vanuit de raad is op basis van dit onderzoek volgens de rekenkamer niet nodig. Raadsleden die een inkijkje wensen in hoe inwoners de dienstverlening beleven, kunnen daarvoor de onderzoeksbijlage raadplegen. Onderzoeksopzet We onderzochten drie processen binnen de online dienstverlening van de gemeente Delft. Allereerst een licht, eenvoudig proces dat alleen een melding betreft: hondenpoepoverlast melden bij de gemeente.

Daarnaast een proces waarbij een externe partij betrokken is: het melden van een kapotte straatlantaarn en tot slot een proces waarbij de burgers én een melding doen én een (kleine) subsidie kunnen aanvragen: het melden van een buurt- of straatfeest.

Deze drie processen werden elk op drie manieren onderzocht: 1. Een experttest: welke mogelijke valkuilen rond toegankelijkheid en privacy zien de onderzoekers bij dit proces? 2. Gesprekken met de beheerders van de processen over hoe deze dienst achter de schermen georganiseerd is. 3. Gebruiksonderzoek met inwoners van Delft: kwalitatief onderzoek met vijf oudere bezoekers van een koffie-ochtend in een buurthuis en vijf geïnterviewde andere inwoners. Conclusies Uit het onderzoek blijkt dat het goed is gesteld met de dienstverlening. Er is aandacht voor het onderwerp en er wordt onderzoek gedaan naar de eigen dienstverlening. De ‘klanten’ (lees: inwoners van de gemeente Delft) zijn behoorlijk tevreden, maar het kan op een aantal punten nog beter: 1. De verbeterpunten uit (door de gemeente zelf uitgevoerde) onderzoeken en klantreizen worden niet voldoende benut1. 2. De toegankelijkheid van dienstverlening van uitbestede onderdelen is niet altijd identiek aan die van de gemeente. 3. Er zijn nog enkele kleine en minder kleine drempels qua toegankelijkheid en gebruiksvriendelijkheid. Aanbevelingen Uit het onderzoek rijst een vrij positief beeld van de kwaliteit en in het bijzonder de toegankelijkheid van de online dienstverlening van de gemeente Delft. Bijsturing hierop vanuit de raad is – op basis van dit onderzoek – niet nodig. Alle verbeterpunten gaan over de uitvoering.

Daarom zijn alle aanbevelingen gericht aan het college en de organisatie. 1. Benut de lessen van de klantreizen en -onderzoeken. De ambtelijke organisatie, met name het Bedrijfsvoeringteam van het Klant Contact Centrum (KCC), heeft een goed onderzoeksproces ingericht (de ‘klantreizen’). Daarin onderzoeken zij multidisciplinair de online dienstverlening van de gemeente en signaleren zij mogelijke verbeteringen in deze dienstverlening. De ingrediënten voor verbeteringen aan de kwaliteit van de (online) dienstverlening zijn zeker aanwezig. De afdelingen moeten de geïdentificeerde verbeteringen benutten: dat hoort bij hun werk. Veel van deze verbeteringen kunnen waarschijnlijk snel en goedkoop uitgevoerd worden. Die leveren dan direct winst op, zowel voor de inwoners (meer gemak) als voor de ambtelijke organisatie (minder gedoe). Als er mogelijke verbeteringen zijn ontdekt die wél groot zijn (substantieel tijd en/of geld kosten), noteer deze dan en ga er als organisatie over in gesprek.

1

NB. We spreken in het onderzoek over klantreizen, de term die bij dit soort processen wordt gebruikt. De rekenkamer realiseert zich echter dat de gemeente geen klanten heeft, maar inwoners.

Brief aan raad en college - onderzoek Digitale Melding/Aanvraag

2

Het is aan te raden dat het management er op toeziet dat dit gebeurt: gemeentebreed gedragen aandacht voor verbeterprocessen van de dienstverlening is voor de gehele organisatie belangrijk. Want: het daadwerkelijk doorvoeren en monitoren van de verbeteringen kan nog wel wat (organisatorische) steun gebruiken. Borg voor een lerende aanpak dat: • achteraf per klantreis-traject de verbeteringen toegewezen worden aan de afdelingen

die deze kunnen implementeren; • termijnen worden afgesproken waarbinnen de verbetering gerealiseerd is; • een feedback- en overlegproces wordt ingericht waarin de betreffende afdelingen hulp of middelen kunnen inroepen wanneer de voorgestelde verbeteringen hun tijd, budget of mankracht te boven gaan; en • gerapporteerd wordt hoe verbeteringen zijn uitgevoerd en met welk effect. 2. Bewaak de afgesproken waarden, ook wanneer de gemeente di ensten uitbesteedt Binnen de gemeentelijke website zijn de toegankelijkheid en de kwaliteit van de dienstverlening in orde en worden ze goed gemonitord. De gemeente besteedt daarnaast een aantal diensten uit aan derde partijen, die dan ook die dienst faciliteren via hun eigen digitale middelen. Denk hierbij bijvoorbeeld aan het melden van een kapotte lantaarnpaal via Cityview, voorheen Liteweb (beheersysteem voor de openbare verlichting met eigen meldsysteem). Regel bij uitbesteding is dat de dienstverlening van derden aan dezelfde eisen voldoet als die van de gemeente (met name wat betreft toegankelijkheid, inclusie en privacy). En blijf de derde partijen betrekken bij de klantreizen en verbetertrajecten. Besteed bij uitbesteding van deze diensten extra aandacht in de contracten aan de binnen de gemeente afgesproken waarden, zodat deze goed geborgd zijn.

De rekenkamer heeft geen aanwijzingen dat het ergens mis gaat op dit moment, maar geeft wel de volgende aandachtspunten mee: • Toegankelijkheid: bijvoorbeeld een kaart gebruiken om een melding door te geven is

moeilijk voor veel (oudere) inwoners (soms kan het ook telefonisch). • Dataveiligheid: maak met ingehuurde partij altijd goede afspraken over dataveiligheid,

en over het recht van inwoners om in te zien hoe data opgeslagen wordt. • Privacy: de rekenkamer heeft in dit beknopte onderzoek niet kunnen vaststellen of de dataveiligheid bij ingehuurde partijen voldoende geborgd is. Wij hebben niet kunnen achterhalen wie de data-eigenaar is. Is de gemeente daarmee verantwoordelijk bij een datalek? Bevraag de huidige partijen op beveiliging van persoonlijke gegevens. Dit gebeurt al wel bij interne projecten, dus een relevante checklist is er al. 3. Sluit zoveel mogelijk aan bij de leefwere ld van mensen Contact opnemen met de gemeente, zoals het doen van een melding, is voor sommige mensen best intimiderend of indrukwekkend. Zorg daarom dat je alles zo laagdrempelig en duidelijk mogelijk maakt. Vraag alleen om het inloggen met DigiD als dat echt nodig is, en zet die optie onderaan als er meerdere mogelijkheden zijn. Werk vanuit de beleving van mensen (een adres invoeren is makkelijker dan een adres vinden op kaart). Besef dat de meldingen waarschijnlijk maar een topje van de ijsberg zijn. Brief aan raad en college - onderzoek Digitale Melding/Aanvraag

3

4. Ga aan de slag met de (kleine) verbeterpunten • Laat geen melding van hondenpoep doen als je er toch niets mee doet: zet klip-enklaar bij het meld-scherm duidelijk dat de gemeente de poep niet opruimt, en overweeg om de meld-mogelijkheid uit te schakelen. Of: geef aan wat de gemeente wél doet met de melding (bijv. kijken waar vaker moet worden gecontroleerd). • Zorg dat alles ook op telefoon prima te zien en te doen is. • Verwerk ook de reeks technische suggesties voor verbeteringen die zijn opgenomen in de laatste alinea van het onderzoeksrapport. Tot slot We hopen uw raad hiermee te hebben geïnformeerd én een inkijkje te hebben kunnen geven in de online dienstverlening van de gemeente. Daarnaast hopen we dat het onderzoek het college en de ambtelijke organisatie helpt om de online dienstverlening (nog) verder te verbeteren. Mocht u behoefte hebben aan nadere toelichting, dan zijn wij daar uiteraard graag toe bereid!

Met vriendelijke groet,

Peter Castenmiller Voorzitter Delftse Rekenkamer

Brief aan raad en college - onderzoek Digitale Melding/Aanvraag

4

TOEGANKELIJKHEID VAN ONLINE MELDEN EN AANVRAGEN BIJ DE GEMEENTE DELFT Onderzoeksbijlage

De Delftse Rekenkamer 22 mei 2025

Inhoud

Inleiding ................................................................................................................. 3 1.

Aanpak .................................................................................................................... 3

2

Ambitie dienstverlening gemeente Delft ............................................................... 4 2.1

Organisatie dienstverlening .................................................................................... 4

2.2

Hoe monitort de gemeente haar dienstverlening?................................................ 5

2.2.1 2.3 3

Derde partijen en online dienstverlening ............................................................... 6 Interviews en gebruiksonderzoek .......................................................................... 8

3.1

Begin van de reis ...................................................................................................... 9

3.2

Klantreis Melden hondenpoep ...............................................................................11

3.3

Klantreis melden kapotte lantaarnpaal ................................................................. 16

3.4

Klantreis melden straatfeest & subsidie aanvragen ............................................. 18

3.4.1

3.5 4

5

Praktijkonderzoek gemeente Delft: Klantreizen ................................................... 6

De subsidie ............................................................................................................. 20

Inzichten uit de interviews en gebruikerstests ..................................................... 21 Bijvangst gebruiksonderzoek ................................................................................23

4.1

Mogelijkheid om ander kanaal te gebruiken voor contact blijft belangrijk ........23

4.2

Iets regelen met de gemeente is best intimiderend.............................................23 Detail-verbeterpunten naar aanleiding van het gebruiksonderzoek ..................25

Bijlage Onderzoeksresultaten 2

Inleiding Dit onderzoek is een vervolg op het rekenkameronderzoek “Digitaal bestuur in Delft” uit 2023. Dit vervolgonderzoek kijkt in de dagelijkse praktijk naar de online toegankelijkheid van een aantal gemeentelijke producten. Het eerdere onderzoek “Digitaal bestuur in Delft” was ‘waarden georiënteerd’ en aanvullend bleek er behoefte aan concrete voorbeelden. In dit onderzoek is daarom het gebruikersgemak van de gemeentelijke website onderzocht bij het aanvragen van producten: hoe is het daarbij gesteld met de toegankelijkheid van de online dienstverlening van de gemeente? Daarnaast is (als bijvangst van het onderzoek) waar mogelijk gekeken hoe wordt omgegaan met persoonsgegevens (privacy). Toegankelijkheid definiëren we als volgt: alle burgers hebben toegang tot producten, diensten en interacties van de gemeente én alle burgers hebben de mogelijkheid om uit het online proces te stappen en bijvoorbeeld via de telefoon of baliebezoek hun weg te vervolgen.

1. Aanpak Uit de vele gemeentelijke producten op de website zijn drie te onderzoeken processen gekozen: Een licht, eenvoudig proces dat alleen een melding betreft: hondenpoepoverlast melden bij de gemeente Een proces waarbij een externe partij betrokken is bij het in ontvangst nemen van de melding en het uitvoeren van het onderhoud: het melden van een kapotte straatlantaarn Een proces waarbij de burgers én een melding doen én een (kleine) subsidie kunnen aanvragen: het melden van een buurt- of straatfeest. Het gaat hierbij dus om informatie die heen en weer gaat tussen de burger en de gemeente. Deze drie processen werden elk op drie manieren onderzocht: Een experttest: welke mogelijke valkuilen op het gebied van toegankelijkheid en privacy zien de onderzoekers bij dit proces? Gesprekken met de beheerders van de processen over hoe deze dienst georganiseerd is achter de schermen. Wie doet wat, hoe lopen informatieprocessen en databeheer, hoe verloopt de interactie tussen het beheerteam en het (online) redactieteam? Naast aandacht voor toegankelijkheid gingen deze gesprekken ook over de wijze waarop de beheerders aandacht besteden aan het bewaken van privacy. Gebruiksonderzoek met inwoners van Delft: kwalitatief onderzoek met vijf oudere bezoekers van een koffieochtend in een buurthuis en vijf geïnterviewde andere inwoners.

Zij werden allen gevraagd om de drie geselecteerde processen als klant uit te voeren en de onderzoekers te laten zien wat hun ervaringen daarbij waren.

Bijlage Onderzoeksresultaten 3

2 Ambitie dienstverlening gemeente Delft De gemeente heeft haar dienstverleningsambities vastgelegd in de visie op dienstverlening.1 De hoofdlijnen hiervan zijn: “De gemeente levert goede dienstverlening. We willen het streefcijfer van 7,5 minimaal handhaven voor de komende jaren. De organisatie werkt hieraan op basis van een visie met vier leidende principes: in onze dienstverlening werken we voor en samen met de stad, we zijn er voor iedere Delftenaar, onze dienstverlening is toegankelijk én eigentijds.” In deze visie op dienstverlening is expliciete aandacht voor toegankelijke dienstverlening, laagdrempelig en eenvoudig in gebruik: “Mensen kunnen gemakkelijk gebruik maken van onze dienstverlening, ongeacht de eigen vaardigheden. We zorgen dat onze dienstverlening zowel digitaal, fysiek als sociaal toegankelijk is en blijft voor iedereen.” Delftenaren worden niet gedwongen of ge’nudget’ om diensten online te regelen. Het uitgangspunt is: “Iedere Delftenaar moet ons kunnen vinden en contact met ons kunnen opnemen zonder obstakels, via een passende ingang. We organiseren onze dienstverlening ook nabij in de stad waar dat nodig is om het juiste resultaat te bereiken.”2 Voorbeelden: Sinds kort is er een loket van de Belastingdienst in het gemeentehuis, waar mensen terecht kunnen met vragen over hun aangifte of toeslagen.

Dit is een initiatief van de Belastingdienst, maar de gemeente faciliteert de ruimte. Het loket is zo populair dat er inmiddels twee dagen in de week een medewerker van de Belastingdienst aanwezig is. De gemeente wil meer fysiek aanwezig zijn in de wijk en is daarom bezig met het creëren van zogenoemde "punten" in de wijk Delft West. Hier kunnen inwoners terecht voor verschillende diensten, zoals schuldhulpverlening en de sociaal raadslieden. Het idee is om de drempel voor inwoners zo laag mogelijk te maken, zodat ze makkelijker geholpen kunnen worden.

2.1 Organisatie dienstverlening Binnen het college heeft wethouder Martina Huijsmans Dienstverlening en digitalisering in haar portefeuille. De ambtelijke organisatie bestaat uit afdelingen die verdeeld zijn over zes portefeuilles. Alle afdelingen zijn verantwoordelijk voor de dienstverlening aan inwoners en ondernemers. Het Klant Contact Centrum (KCC) is daarbij vaak het eerste aanspreekpunt voor mensen en handelt hun (aan)vragen af. Het KCC opende vorig jaar een informatiebalie waar inwoners zonder afspraak terecht kunnen met al hun vragen over de gemeentelijke dienstverlening. De gemeente heeft aandacht voor de toegankelijkheid van haar online dienstverlening. Ze zegt hier het volgende over op de website: “Wij hebben de volgende maatregelen genomen om de website toegankelijk te houden:

1 ‘Delftse Dienstverlening , december 2023 2 ‘Delftse Dienstverlening , december 2023

Bijlage Onderzoeksresultaten 4

Onderzoek: Onafhankelijke deskundigen toetsen regelmatig (onderdelen van) onze website op toegankelijkheid. Gevonden knelpunten lossen wij duurzaam op. Interne controle vóór publicatie: Onze redactie toetst vóór publicatie alle inhoud op toegankelijkheid.

Periodieke interne controle: Onze redactie voert periodiek tussentijdse controles uit op de inhoud. Training werknemers: Onze redacteuren hebben een training over toegankelijkheid gevolgd. Overig: De gemeente vraagt bezoekers van de website eventuele onvolkomenheden te melden.”3

2.2 Hoe monitort de gemeente haar dienstverlening? De gemeente monitort de digitale toegankelijkheid van de eigen website: de gemeente heeft de website delft.nl in november 2024 laten onderzoeken op digitale toegankelijkheid.4 Uit het onderzoek blijkt dat de website op een groot aantal geteste onderdelen voldoet aan de toegankelijkheidseisen op niveau WCGA 2.1-AA. Op dit moment werkt de gemeente er aan om ook de overige onderdelen volledig toegankelijk te maken. Elke twee jaar onderzoekt de gemeente wat er leeft onder de inwoners van Delft. Dit gebeurt via de zogenaamde Omnibusenquête.5 Het aantal inwoners dat (zeer) tevreden was bij het laatste contact was in het meest recente onderzoek 74%. Ten opzicht van 2019 is dat een lichte daling. In september 2023 hebben leden van het Delft Internet Panel meegedaan aan een onderzoek over de gemeentelijke dienstverlening.6 Vier van de tien panelleden (39%) hebben in de zes maanden voorafgaand aan het onderzoek een aanvraag via de website van de gemeente (www.delft.nl) gedaan, 61% niet. De mensen die een aanvraag via de website van de gemeente hebben gedaan is gevraagd of zij dit eenvoudig vinden om te doen en of duidelijk is wat men moet doen. Een ruime meerderheid (respectievelijk 72% en 71%) vindt het doen van een aanvraag via de website eenvoudig en geeft aan dat het duidelijk is wat je moet doen.

3 https://www.delft.nl/toegankelijkheidsverklaring

4 Zie de toegankelijkheidsverklaring op https://www.delft.nl/toegankelijkheidsverklaring, waar ook het

testrapport van de Stichting Accessibility (https://www.delft.nl/sites/default/files/2024-11/Onderzoeksrapporttoegankelijkheid-website-gemeente-Delft.pdf) te vinden is 5 Resultaten van deze enquête op het gebied van dienstverlening zijn te vinden via https://delft.incijfers.nl/mosaic/dashboard-omnibusenquête/dienstverlening 6 Resultaten van dit onderzoek zijn te vinden via https://delft.incijfers.nl/document/Dienstverlening-gemeenteDelft-2023

Bijlage Onderzoeksresultaten 5

2.2.1 Praktijkonderzoek gemeente Delft: Klantreizen In aanvulling op bovenstaande onderzoeken voert het Bedrijfsvoeringsteam van het KCC eigen onderzoek uit in de vorm van klantreizen. De rekenkamer constateert dat dit proces goed is ingericht.

Het Bedrijfsvoeringsteam KCC organiseert regelmatig bijeenkomsten van multidisciplinaire teams van mensen uit verschillende geledingen van de gemeente. Deze mensen zijn allen betrokken bij een bepaald dienstverleningsproces. Zij brengen samen in kaart welke stappen de inwoner tegenkomt in dat proces, via welk kanaal die stap verloopt, wat er goed gaat en waar de duidelijkheid en/of de toegankelijkheid van die stap verder verbeterd kan worden. Het Bedrijfsvoeringsteam heeft aan de rekenkamer laten zien hoe dit klantreisonderzoek gedaan wordt en wat de uitkomsten van het proces zijn. Dit gebeurde aan de hand van een voorbeeld-klantreis voor het maken van een afspraak voor een activeringsgesprek (bijstand aanvragen). Dit proces is besproken in twee gesprekken met het afdelingshoofd Burgerzaken en Vergunningen & Vorderingen, de projectleider dienstverlening bij het Bedrijfsvoeringsteam KCC en een senior auditor. Het gesprek werd aangevuld met documentatie van enkele klantreizen/verbeterprocessen die door zulke multidisciplinaire teams zijn uitgevoerd. De geïnterviewden gaven aan dat ze klantreizen maken om de ervaringen van inwoners met de gemeentelijke dienstverlening in kaart te brengen. Op basis van deze klantreizen worden door het Bedrijfsvoeringsteam KCC actielijsten opgesteld met verbeterpunten. De inhoud van deze verbeterpunten varieert.

Enkele voorbeelden van verbeterpunten zijn: Mail van derde partij bevat niet de juiste informatie Onduidelijk hoe de burger een afspraak kan maken Tegenstrijdige informatie over bewijsstukken op delft.nl en website derde partij Onduidelijk welke stukken de burger in moet leveren. De gedocumenteerde actiepunten worden meegegeven aan de mensen die vanuit de betreffende afdeling betrokken zijn bij het multidisciplinaire team. De verantwoordelijkheid voor de uitvoering van deze verbeterpunten ligt bij de verschillende afdelingen van de gemeente zelf, volgens de geïnterviewden van het Bedrijfsvoeringsteam KCC. Zij geven aan dat er geen centraal overzicht van de voortgang en resultaten is, dat de opvolging van de actielijsten niet centraal gemonitord wordt en dat verbeterpunten soms lang blijven liggen. Er komt ook geen terugkoppeling van de betreffende afdeling aan het Bedrijfsvoeringsteam KCC over waarom bepaalde punten niet worden opgepakt, vertellen de geïnterviewden.

2.3

Derde partijen en online dienstverlening

De gemeente besteedt een aantal diensten uit aan derde partijen. Het gaat hierbij bijvoorbeeld om het onderhoud aan de straatlantaarns (ten tijde van dit

Bijlage Onderzoeksresultaten 6

rekenkameronderzoek uitbesteed aan Nobralux)7 of het ophalen van het afval (uitbesteed aan Avalex). Deze diensten hebben meestal ook een online component, bijvoorbeeld voor het melden van een kapotte straatlantaarn, het checken van de ophaaldagen van het afval of het vinden van de locatie van afvalcontainers in je buurt. Voor websites van de overheid gelden functionele, technische en redactionele eisen op het gebied van toegankelijkheid. Voor inhoud van derden is de situatie gecompliceerder: in de wet staat dat inhoud van derde partijen op websites en apps van overheidsorganisaties niet toegankelijk hoeft te zijn, als: deze inhoud niet onder het gezag van de overheidsorganisatie staat en ook niet door deze organisatie wordt ontwikkeld of gefinancierd.8 De gemeente kan dus zelf aangeven of de websites van derde partijen die zij inschakelt moeten voldoen aan de toegankelijkheidseisen. De rekenkamer heeft niet vast kunnen stellen of dat in deze casus gebeurd is. Inwoners van Delft worden soms doorgeleid naar de websites van deze derde partijen om de online delen van deze dienstverlening te kunnen gebruiken. Het lijkt daarmee alleszins aan te raden om er naar te streven deze toegankelijkheidseisen altijd verplicht te stellen voor de partijen waarmee de gemeente Delft samenwerkt: zo kan de kwaliteit van de dienstverlening geborgd worden.

In een automatische test uitgevoerd in het kader van dit onderzoek lijkt de website van Avalex bijvoorbeeld goed te voldoen aan de standaarden (90%).9 Wel heeft de rekenkamer tijdens dit onderzoek vastgesteld dat de website van Avalex op de pagina over verzamelcontainers gebruikmaakt van een kaartje, zonder de mogelijkheid om een adres op te geven om naar het juiste punt op de kaart te gaan. Tijdens onze interviews met inwoners bleek dat een dergelijk kaartje lastig te gebruiken is (zie hoofdstuk 3). Mensen hebben moeite om precies de juiste locatie te vinden of überhaupt snel hun eigen straat te vinden op de kaart. Een positief punt is dat het Bedrijfsvoeringsteam KCC partnerorganisaties betrekt bij de klantreizen waarin zij een rol spelen. De derde partijen worden uitgenodigd voor de bijeenkomsten van het multidisciplinair team dat dat proces onderzoekt. In deze onderzoek sessies worden mogelijke verbeterpunten geïdentificeerd en worden verbetervoorstellen opgesteld en gedeeld met alle betrokken afdelingen en derde partijen. Net zoals bij de interne afdelingen geeft het Bedrijfsvoeringsteam KCC aan dat er geen centrale sturing is op het doorvoeren van deze verbeteringen door de derde partijen.

7 Kort na dit rekenkameronderzoek is dit werk uitbesteed aan Cityview, waardoor sindsdien de melding iets

anders verloopt. Dat is bij de beschrijving verderop aangegeven. 8 zie https://www.digitoegankelijk.nl/aan-de-slag/tips/inhoud-van-derden 9 Uitgevoerd met Lighthouse, een open source geautomatiseerde tool die veel gebruikt wordt om websites te verbeteren, zie https://developer.chrome.com/docs/lighthouse/overview?hl=nl

Bijlage Onderzoeksresultaten 7

3 Interviews en gebruiksonderzoek In dit onderzoek zijn drie processen onder de loep genomen. Zij hebben allen een online component, in de vorm van een melding of een aanvraag. De opzet van het onderzoek was als volgt. Aan de hand van een testscenario ging de rekenkamer in gesprek met steeds één inwoner van Delft tegelijk. Met deze inwoner had de rekenkamer eerst een kort gesprek over hoe lang de inwoner al in Delft woonde, wat hun gezins-/werk-/studiesituatie was, of ze al ervaring hadden met de online dienstverlening van de gemeente en of ze op andere manieren contact hadden met de gemeente. Daarna werd de inwoner gevraagd om drie scenario’s uit te voeren op de website van de gemeente: een hondenpoepmelding doen, een kapotte lantaarnpaal melden en een straatfeest melden (en subsidie aanvragen voor dat straatfeest). De inwoner gebruikte bij deze meldingen de laptop van de onderzoekers van de rekenkamer, waarop de website www.delft.nl al geopend klaarstond. Hierbij werd tijdens de gesprekken zowel op verbale als op non-verbale acties van de inwoner gelet (bijvoorbeeld zuchten, achterover leunen, zich fronsend naar het scherm buigen), om te beoordelen of de taken goed te doen waren of dat de inwoner obstakels tegenkwam. Hieronder wordt per proces beschreven wat de uitkomsten en de bijvangsten zijn van deze interviews en gebruikstests.

NB: zoals gebruikelijk in User Experience-onderzoek wordt dit geheel ‘(klant-)reis ’ genoemd. De reis omvat het traject en alle contactpunten tussen een individu en een merk, product of dienst. Dit betreft zowel rechtstreekse interacties tussen de inwoner en de organisatie als de indirecte contacten, zoals meningen van anderen via sociale media, weblogs en recensies. Organisaties kunnen deze klantreis analyseren vanuit het perspectief van de inwoner, met als doel het beter begrijpen en verbeteren van de klantervaring.

Bijlage Onderzoeksresultaten 8

3.1 Begin van de reis De geïnterviewden starten allen hun ‘klantreis’ op de beginpagina van delft.nl. Deze pagina staat reeds open op de computer die gebruikt wordt in het onderzoek.

Bijlage Onderzoeksresultaten 9

Het valt op dat het vinden van de juiste diensten prima gaat. Alle testpersonen vinden direct de knop ‘Iets melden bij de gemeente ’op de homepage, die leidt naar de overzichtspagina met alle mogelijke meldingen.

De volgende stap is ook geen probleem: iedereen vindt vrij snel in het overzicht welke dienst de juiste is. Ook de ouderen kunnen allemaal heel goed in de overzichtspagina over melden vinden waar ze naartoe moeten. Dit geeft vertrouwen dat de vorm en het taalgebruik op de overzichtspagina voldoende inclusief zijn voor de inwoners.

Bijlage Onderzoeksresultaten 10

3.2 Klantreis Melden hondenpoep Op deze eerste pagina weten de geteste inwoners wat ze moeten doen. De oranje knop is duidelijk, de tekst boven de oranje knop ook.

De tekst die onder de oranje knop staat, wordt echter door géén van de geïnterviewden gelezen: mensen zien de knop ‘online melden’ en gaan direct in de actiemodus.

Bijlage Onderzoeksresultaten 11

Op deze vervolgpagina moet de inwoner kiezen hoe zij verder wil gaan: inloggen met DigiD, inloggen met BSN of zonder in te loggen.

Dit is niet voor alle inwoners even duidelijk: een aantal mensen raakt hier al wat bezorgd, omdat de mogelijkheid van inloggen met DigiD bovenaan staat. Vooral voor de ouderen is dit een obstakel: zowel technisch (“kan ik dat wel?”) als qua veiligheid (“is het wel een goed idee om dit te doen?”10). De rekenkamer heeft geconstateerd dat de inwoners de knop voor het inloggen met DigiD als eerste zien en dan de andere knoppen niet meer lezen. Sommige inwoners hebben daardoor de perceptie dat inloggen met DigiD verplicht is. Daarmee werpt de gemeente (onbedoeld) een drempel op om dingen te melden. Terwijl je als gemeente juist graag wilt dat de inwoners de ogen en oren van de stad zijn. Citaten van geïnterviewden (Heeft de indruk dat ze moet inloggen met DigiD) “Dat ga ik niet doen, da’s ingewikkeld.” “Dat met DigiD vind ik zo moeilijk, dat kan ik niet.” 10 De geïnterviewden zijn hier niet bevreesd voor een scam-site, maar zijn wel zo getraind (door

overheidscommunicatie) dat DigiD een belangrijk en officieel iets is, waar je erg voorzichtig mee om moet springen. DigiD voelt voor hen meer geëigend voor bijvoorbeeld contact met een ziekenhuis over medische zaken, of voor belastingaangifte, dan voor iets relatief lichts als een melding over honden(poep)overlast.

Bijlage Onderzoeksresultaten 12

“(Bezorgd) Daar staan toch allemaal privé-dingen op?” “Oh ja, dat gebruik ik eigenlijk alleen voor de belasting, het is namelijk heel persoonlijk.”

De volgende stap is een kaart waarop je de locatie van je melding moet aangeven. Dit is qua toegankelijkheid een obstakel. Een aantal mensen ziet wel dat je rechtsboven je adres ook kunt ingeven, maar een aantal mensen ziet dit niet en heeft grote moeite om de ‘prikker ’ precies op de goede plaats te krijgen. De instructie bij de kaart meldt enkel dat je op de kaart moet klikken. Meerdere mensen gaven ook aan dat ze zelf geen computer hebben en dat ze alles qua internet op hun mobiele telefoon doen. Op een smartphone is het nóg moeilijker om een prikker op een kaart te plaatsen, zeker voor mensen met motorische beperkingen.

Bijlage Onderzoeksresultaten 13

Citaten van geïnterviewden “Zo’n kaart vind ik vervelend, waarom niet gewoon een adres?” Probeert op de kaart haar eigen adres aan te duiden: “Ik voel me heel ongelukkig.” “Ik heb zelf geen computer, ik doe het allemaal met de telefoon. Ik doe echt alles op de telefoon: shoppen, betalen, et cetera.”

Het kiezen van categorieën gaat prima. De optie om een foto te uploaden zorgt wel voor problemen: meerdere mensen zien niet dat dit niet verplicht is en raken ontmoedigd. Dit zou duidelijker gemaakt kunnen worden. Citaat van geïnterviewde: “Een foto meesturen, dat kan ik niet”. Eén deelnemer stopt met de melding van hondenpoep omdat ze denkt dat je een foto moet meesturen.

Bijlage Onderzoeksresultaten 14

Aan het einde van het proces krijgt de inwoner van de gemeente een mailtje met dank voor de melding. Uit deze e-mail blijkt echter dat de gemeente niets doet met deze melding: de gemeente gaat niet schoonmaken of beboeten.

De geteste inwoners snappen er niets van dat de gemeente dan wél de mogelijkheid geeft om te melden. Citaten van geïnterviewden “Dan is het toch onzinnig om het te melden?” “Waarom geven ze dan de mogelijkheid om te melden? Dat is stom zeg.”

Bijlage Onderzoeksresultaten 15

3.3 Klantreis melden kapotte lantaarnpaal De melding van hondenpoep-overlast vindt plaats bij de gemeente zelf. Er zijn ook diensten van de gemeente die uitgevoerd worden door een derde partij. De rekenkamer onderzocht ook een product dat door zo’n derde partij beheerd wordt: het melden van een kapotte lantaarnpaal, uitbesteed aan Nobralux. Kort na afronding van dit rekenkameronderzoek is dit werk uitbesteed aan Cityview, waardoor sindsdien de melding iets anders verloopt. De beschrijving gaat over de werkwijze van Nobralux. Waar relevant is daarbij aangegeven wat daarin sinds de overgang naar Cityview is veranderd.

In de overzichtspagina op de website www.delft.nl weten de inwoners prima te vinden waar ze moeten klikken. Het icoon dat aanduidt dat het hier een externe link betreft valt niemand op. (Het valt de geïnterviewden ook niet op dat het icoon en de link er twee keer staan. Dit is niet echt een probleem, maar het zou netter zijn als dit aangepast wordt.) Vervolgens belandt de klant op een pagina met een kaartje:

Bijlage Onderzoeksresultaten 16

Net zoals bij de kaart op de gemeente-website (voor het melden van hondenpoepoverlast) geeft het op de kaart zoeken van de juiste locatie moeilijkheden. Wel is hier duidelijker dat je ook op straatnaam kunt zoeken. Dat is benoemd als stap 1. De geïnterviewden verwachten dat ze - bij een echte melding - het nummer van de betreffende lantaarnpaal niet paraat zullen hebben. Wie kijkt immers op een lantaarnpaal om het nummer daarvan te noteren? Nb. Sinds de overstap naar Cityview is het noteren van dat nummer niet meer nodig. Citaten van geïnterviewden “Zooo, een hele kaart? Dat is vervelend om te navigeren met je pijltje. Ah, er is ook een veld voor je adres.” “Selecteer het lantaarnpaalnummer? Ja lachen… Weet ik veel?” Geen van de geïnterviewden beseft dat ze niet meer op de website van de gemeente zijn. Dit ondanks dat het uiterlijk van de pagina flink verschilt van de huisstijl van de gemeentewebsite én ondanks dat er een ‘externe link’ icoontje bij de link op de overzichtspagina staat. Ook wanneer daar expliciet naar wordt gevraagd zijn de bezoekers er van overtuigd dat ze nog steeds op de gemeentewebsite zijn. De deelnemers hebben (desgevraagd) vertrouwen in de dataveiligheid bij de gemeente. Maar ze hebben dus niet door dat ze op deze pagina niet meer bij de gemeente zijn en dat de dataveiligheid in handen is van een andere organisatie.

Desgevraagd heeft bijvoorbeeld één geïnterviewde vertrouwen dat de gemeente zorgvuldig zal omgaan met de persoonlijke gegevens die ze hier invult. Maar ze ziet dus niet dat ze inmiddels bij uitvoerder Nobralux (inmiddels Cityview) op de website is. Als Nobralux (inmiddels Cityview) een datalek zou hebben, zou ze waarschijnlijk de gemeente

Bijlage Onderzoeksresultaten 17

er op aankijken dat haar data op straat liggen. En dat is terecht: de gemeente moet regelen dat inwoners gemeenteproducten veilig en handig kunnen verkrijgen (al dan niet via derde partijen.) Nobralux heeft overigens op de pagina vermeld dat zij de afzenders van deze website zijn en hoe ze met data omgaan11. Maar uit dit onderzoek (en vele andere onderzoeken) blijkt dat mensen erg in de ‘doe-modus’ zijn op dit soort pagina’s en niet alle begeleidende tekst lezen. Het is daarom extra belangrijk dat de gemeente er voor zorgt dat de kwaliteit van de dienstverlening geborgd is op het niveau dat de gemeente zelf aanhoudt, ook wanneer de uitvoering van deze dienstverlening door een derde partij gebeurt.

3.4 Klantreis melden straatfeest & subsidie aanvragen Het melden van een straatfeest gaat niet via de overzichtspagina ‘Iets melden bij de gemeente’. Dit blijkt geen probleem voor de geteste inwoners: via zoeken of klikken (via het onderdeel Wonen van de website www.delft.nl) komen alle deelnemers op de juiste pagina terecht.

11 Kort na dit rekenkameronderzoek is dit werk uitbesteed aan Cityview, waardoor sindsdien de melding anders

verloopt. Cityview meldt zich (in tegenstelling tot Nobralux) niet duidelijk als afzender op de website. Je krijgt als bezoeker de indruk dat je je nog steeds bevindt op de website van de gemeente Delft, tenzij je kijkt naar de URL (gemeente-delft.doeeenmelding.nl).

Bijlage Onderzoeksresultaten 18

De tekst van de pagina is helder voor de inwoners. Ze begrijpen welke actie er van hen gevraagd wordt.

Het is in deze pagina bijvoorbeeld heel netjes dat de uitlegtekst over subsidie pas uitklapt als je aanvinkt ‘Ja ik wil ook subsidie aanvragen.’

Bijlage Onderzoeksresultaten 19

Zoals eerder vermeld sprak de rekenkamer in dit onderzoek een aantal ambtenaren die vertelden hoe binnen de gemeentelijke organisatie wordt omgegaan met deze aanvragen. De ambtenaren gaven aan dat de gemeente deze straatfeesten beschouwt als een belangrijk middel om de cohesie in de wijk te stimuleren, en zo’n straatfeest wordt regelmatig aangegrepen door een wijkcoördinator of -agent om even langs te gaan en een praatje te maken met de organisatoren en gasten. Zij geven aan dat in principe alle aanvragen voor een straatfeest gehonoreerd worden: er wordt niet gekeken of er bijvoorbeeld al meerdere straatfeesten gepland zijn in een bepaalde buurt in een bepaald weekeinde. Alle bekende feesten zijn zichtbaar op de Activiteitenkalender12., maar er is geen check of in een wijk er te veel straten tegelijk afgezet zullen zijn (en daarmee slecht bereikbaar worden voor hulpdiensten). 3.4.1 De subsidie Zoals eerder aangegeven is er een aantal mensen dat DigiD ingewikkeld vindt. De geïnterviewden begrijpen dat je voor deze transactie met de gemeente (aanvragen van een subsidie) wél moet inloggen, omdat het om geld gaat. Citaten van geïnterviewden “Logisch, als je geld wil van de gemeente.” Heb je vertrouwen dat de gemeente goed omgaat met je gegevens? “Ja, ze moeten wel.

Het is een overheidsinstantie, dan ga ik er van uit dat het zorgvuldig is.” De subsidie wordt gestort op de bankrekening van de aanvrager/organisator, met een aantal (laagdrempelige) voorwaarden:13 “Per straat kunt u 1 subsidie per jaar aanvragen. Voor straten langer dan 750 meter geldt een uitzondering Bij een buurtfeest kunt u voor maximaal 4 straten subsidie aanvragen. (per straat aanvragen door een bewoner uit de straat) Als organisator bent u bewoner van de straat. De subsidie geldt niet voor de kosten van eten of drinken. De uitnodiging voor het straatfeest verspreidt u onder alle inwoners van de straat. In de uitnodiging geeft u aan dat u voor het straatfeest een subsidie aanvraagt bij de gemeente.” De subsidie hoeft niet achteraf verantwoord te worden, omdat het een subsidie van minder dan 5.000 euro betreft.14

12 https://secure.delft.nl/mpc/f?p=100%3A2228 13 zie https://www.delft.nl/straatfeest-melden 14 zie uitleg op https://www.delft.nl/subsidie-verantwoorden

Bijlage Onderzoeksresultaten 20

3.5 Inzichten uit de interviews en gebruikerstests Het algemene beeld in dit onderzoek is dat alle drie de onderzochte processen in orde zijn qua toegankelijkheid en privacy. De rekenkamer heeft wel enkele kanttekeningen en ziet een aantal mogelijke verbeteringen. Toegankelijkheid De geïnterviewden navigeerden gemakkelijk naar het juiste product, begrepen de uitlegteksten en snapten welke acties van hen verwacht werden. Ook was het duidelijk dat zij bij vragen of moeilijkheden via een ander kanaal (bijvoorbeeld telefoon of balie) verder geholpen konden worden. Deze mogelijkheden werden gewaardeerd: de geïnterviewden gaven aan dat het prettig is om persoonlijk contact op te kunnen nemen voor uitleg en verdere hulp. Qua toegankelijkheid is het gebruik van landkaartjes/plattegronden om een melding door te geven op zijn best een gemengd succes. Veel geïnterviewden vonden het echt moeilijk om hun locatie te vinden en om een ‘prikkertje ’te plaatsen op de juiste plek. De toegankelijkheid kan verbeterd worden door, bij gebruik van een kaartje voor meldingen, altijd ook duidelijke (formulier-)velden op te nemen waarin de burgers het relevante (meld-) adres kunnen ingeven.

Dit geldt uiteraard ook voor de diensten die door derde partijen worden aangeboden: het is aan te raden om met deze derde partijen in gesprek te gaan en ze te vragen aanpassingen te doen in hun online dienstverlening die gebruikmaakt van kaarten. Een andere mogelijkheid is om in de contracten met deze derde partijen al vast te leggen aan welke toegankelijkheidseisen de online dienstverlening van de partijen moet voldoen. Ook DigiD levert toegankelijkheidsdrempels op. DigiD wordt door de geïnterviewde mensen gezien als een ‘zwaar ’en ingewikkeld middel. Overweeg daarom om eenvoudige meldingen waarbij DigiD niet nodig is, helemaal zonder DigiD aan te bieden op de website. Of kies er in ieder geval voor om de DigiD-optie als laatste te noemen in een rijtje mogelijkheden. Zo is het duidelijker voor de inwoners dat zij ook zonder DigiD, of met alleen BSN hun melding kunnen doen en werp je zo min mogelijk barrières op voor de bezoekers aan de website. Hetzelfde geldt voor de mogelijkheid om foto’s te uploaden bij een melding: meerdere deelnemers waren er van overtuigd dat ze dat niet konden, en zouden daarom de melding afbreken. Overweeg om deze opties weg te halen bij de meldingen, of in ieder geval heel duidelijk aan te geven dat uploaden van foto’s of bijlagen niet verplicht is.

Bijlage Onderzoeksresultaten 21

Privacy De gemeente Delft heeft een duidelijk privacy-beleid gepubliceerd.15 Voor de diensten die door derde partijen worden aangeboden is het wat moeilijker om een duidelijk beeld te krijgen van hoe het gesteld is met hun privacy-beleid. Zo staat op de pagina (van Noralux) waar je een kapotte lantaarnpaal kunt meldende volgende tekst: “Het is mogelijk dat uw gegevens worden doorgestuurd naar derden en dat er contact met u wordt opgenomen bij eventuele extra vragen omtrent uw melding.” 16 NB. Sinds het onderzoek wordt dit onderdeel verricht door Cityview en is die melding verwijderd. Wie zijn die derden dan, en waar mogen zij de gegevens voor gebruiken? De medewerkers van de gemeente Delft die de rekenkamer geïnterviewd heeft weten het niet. Ook hier is het een goed idee om - waar dit nog niet gebeurd is - in de contracten met de derde partijen afspraken op te nemen, zodat het privacy-beleid van deze partijen gelijkgetrokken wordt met dat van de gemeente

15 zie https://www.delft.nl/verklaring-gegevensbescherming 16 https://nobra.nl/liteweb/litemelding.cgi?Gemeente=delft

Bijlage Onderzoeksresultaten 22

4 Bijvangst gebruiksonderzoek In de gesprekken met de inwoners kwam een aantal zaken aan de orde die de rekenkamer graag aan de gemeente (i.c. de ambtelijke organisatie) meegeeft. Ze gaan in bredere zin over de dienstverlening van de gemeente en de relatie tussen de gemeente en haar inwoners. Dit gaat niet zozeer over technische- of design-aspecten van de website en de geteste processen. Dit zijn geen verbeteringen die het team dat de website beheert en verbetert kan adresseren: het is feedback voor de organisatie als geheel.

4.1 Mogelijkheid om ander kanaal te gebruiken voor contact blijft belangrijk Niet alleen de ouderen, zelfs de allerjongste geïnterviewde persoon gaf spontaan aan dat de mogelijkheid van bellen of langsgaan bij de gemeente in sommige gevallen echt onontbeerlijk is. De vorige jaar ingestelde informatiebalie, waar inwoners zonder afspraak terecht kunnen met vragen over de gemeentelijke dienstverlening, voorziet daarin. Citaten van geïnterviewden “Ik vind dat niet makkelijk. Als er een telefoonnummer staat ga ik dat bellen, en anders bel ik mijn zoon.” “Als ik het niet zou kunnen vinden, dan ga ik bellen. Dat is sneller en je kunt geen spelfouten maken.” “Dan ga ik bellen, dan spreek ik nog eens iemand.” “Als je echt een probleem wil melden, is het fijner om iemand te spreken.” Melden van het soort dingen uit de test (hondenpoep, lantaarnpaal kapot) via de website is prima. “Maar echte overlast, agressie en zo, daarvoor zou ik gaan bellen.” “De website schept afstand. Voorheen ging je naar de balie.” Zoals vermeld in hoofdstuk 2 is het een uitgangspunt van de visie op dienstverlening dat inwoners niet gedwongen worden om gebruik te maken van het online kanaal. Uit de interviews blijkt duidelijk dat dit aansluit bij de behoefte van de klanten en dat het belangrijk is om deze mogelijkheden inderdaad te blijven aanbieden en erover te communiceren.

4.2 Iets regelen met de gemeente is best intimiderend Een transactie doen met de gemeente voelt voor de deelnemers aan het onderzoek veel enger/belangrijker dan bijvoorbeeld online shoppen, iets wat de geïnterviewden moeiteloos deden. Ook veel van de geïnterviewde ouderen gebruiken internet regelmatig en zelfstandig, maar contact met een officiële instantie zoals de gemeente leidt direct tot stress. Dit is iets om te onthouden bij verdere verbetertrajecten: mensen met stress lezen minder goed en raken sneller uit balans bij het invullen van (bijvoorbeeld) formulieren. Dit betrekken ze dan vervolgens op zichzelf én (soms onbewust) op hun relatie met de gemeente.

Bijlage Onderzoeksresultaten 23

Neem deze kennis mee bij ieder verbetertraject aan de online dienstverlening: test de formulieren die je gaat verbeteren ook altijd met inwoners, bij voorkeur met een ander opleidingsniveau en (culturele) achtergrond dan die van de medewerkers of onderzoekers zelf. Let hierbij extra goed op de duidelijkheid van termen en vragen voor de persoon waarmee je het formulier test. Citaten van geïnterviewden “Ik laat het mijn zoon doen, ik ben bang om dingen verkeerd te doen.” “Makkelijk vind ik het niet, maar moeilijk is te sterk.” “Het is meer mijn onhandigheid. Ik moet er echt even voor gaan zitten.” Een opvallende uitkomst uit de gesprekken is dat meerdere mensen vrij negatieve gevoelens hebben over dingen melden bij de gemeente. Ook was er een mevrouw die dacht dat ze nooit iets te maken had gehad met de gemeente, terwijl ze haar hele leven al in Delft woont. Dit heeft niet te maken met de toegankelijkheid van de dienstverlening, maar met het beeld dat deze mensen hebben van de gemeente. De gemeente is voor hen een autoriteit op afstand, en kennelijk niet een organisatie die er is om dingen beter te maken voor ons allemaal. Daarbij bemerkten de onderzoekers spontane weerstand tegen het melden. Meerdere geïnterviewden moesten echt aangespoord worden om toch verder te gaan met de test.

Citaten van geïnterviewden “[Melden, dat doe ik niet want] dan voel ik me net zo’n verrader.” “Ik ben geen verrader.” Deelnemer die aangaf eerder zelf naar buiten te zullen lopen om iemand op te voeden over hondenpoep of scooters op de stoep. “Kapotte lantaarnpaal? Dat ga ik niet melden. Dan vind ik mezelf een lastpost.”

Bijlage Onderzoeksresultaten 24

5 Detail-verbeterpunten naar aanleiding van het gebruiksonderzoek Overzichtspagina ‘Iets melden bij de gemeente’: pas de link aan (detail externe link-icoon + dat dat er twee keer staat) [screenshot https://www.delft.nl/iets-melden-bij-degemeente ] Kaarten iets (laten) aanpassen zodat adres ingeven makkelijker wordt. Meldingen openbare ruimte: Zet ‘melden zonder inlog ’bovenaan Stappen (1-2-3-4-5) voorzien van een beschrijving over wat de stap inhoudt, niet alleen een nummertje Laat naam/adres/etc. gewoon weg als je anoniem meldt Test klantreizen ook altijd op mobiel, aangezien veel inwoners bij voorkeur (of alleen) via hun smartphone internetten. Overweeg om meldingen van een kapotte lantaarnpaal ook zonder nummer mogelijk te maken. Bij aanvragen voor straat- of buurtfeesten een check doen of er in de buurt niet te veel straten tegelijk afgezet zullen worden (en daarmee slecht bereikbaar worden voor hulpdiensten) Bij hondenpoepmelding moet de tekst “Hondenbezitters moeten de poep van uw eigen hond opruimen” aangepast worden in: “Hondenbezitters moeten de poep van hun eigen hond opruimen”

Bijlage Onderzoeksresultaten 25