Bijlage 2 bij nadere toelichting - Onderzoeksrapport algoritmen en mensenrechten gemeenten

is een manier om de data die nodig zijn voor gemeentelijke processen op een andere manier te ontsluitengeeft (VNG, Een aantal gemeenten aanz.d.-b). bij de inkoop wel een voorkeur te hebben voor open source oplossingen. Hiermee is transparantie op het niveau van professionals geborgd. In hoeverre dit ook wordt gerealiseerd is geen onderwerp van onderzoek geweest.

De meeste gemeenten hebben geen speciale inkoopvoorwaarden voor algoritmen en

Voor het controleren van de algoritmische toepassingen zijn er verschillende mogelijkheden binnen gemeenten genoemd. Vaak werd hierbij Ze verwijzen die de aangegevenmensenrechten. dat er nog geen ervaring mee was,naar maar de datGIBIT-inkoopvoorwaarden het in theorie een mogelijkheid en zouverwerkingsovereenkomsten zijn. Soms noemen gemeenten hierbij Functionarisworden Gegevensbescherming, komt ook voor men de controller, de Chief Information Security Officer (CISO), de afgesloten. Inmaar Denhet Haag wordt vandat leveranciers van algoritmische toepassingen verwacht datlokale Rekenkamer en externe accountant noemt. In Enschede is een ethische commissie actief. Lastige vraagstukken op het gebied van het toepassen zij voldoen aan de kaders van de datastrategie. Utrecht wijst erop dat in het eerder genoemde van algoritmen kunnen aan deze commissie worden voorgelegd.

consortium ‘Publieke controle op algoritmen’ wordt gewerkt aan gezamenlijke inkoopvoorwaarden. heeft al een speciale gecreëerd in de voorwaarden die erop neer komt dat 3.3 HoeAmsterdam worden mensenrechtelijke aspecten voorziening meegenomen? de leverancier op verschillende punten openheid moet over de werking en verplicht wordt en Er wordt door een aantal van de geïnterviewde gemeenten aangegeven dat zijgeven het Praktisch Impact Assessment voor Algoritmen meeaan te het werken audit of andere controle (Gemeente Amsterdam, z.d.-b). Mensenrechten testenaan zijn. een Amsterdam gebruikt intern een impactassessment met vragen over mensenrechten en heeft een template

om grondrechten te wegen. Overwogen wordt om bij de afweging van aanschaf of in gebruik nemen van alle algoritmen te verplichten expliciet te toetsen op o.a. mensenrechten (via korte quickscan of het volledig invullen van het assessment). Ook is er een BIAS-analysetool om Een aantal gemeenten geeft aan bij de inkoop wel een voorkeur te hebben voor open source te controleren of een algoritme een directe of indirecte bias bevat. De term ‘bias’ verwijst naar een onterecht/ onjuist verschil in inschatting/ Hiermee is tussen transparantie opgroepen het niveau voorspellingoplossingen. (en daarmee behandeling) personen of (SHAP,van z.d.).professionals geborgd. In hoeverre dit ook

wordt gerealiseerd is geen onderwerp van onderzoek geweest.

Uit de interviews is op te maken dat mensenrechten niet in alle geïnterviewde gemeenten expliciet deel uitmaken van de afweging tot de aanschaf of het in gebruik nemen van algoritmen. Dit wil niet zeggen dat er niet wordt gekeken naar mensenrechten. Juist bij gemeenten is er Voorophet controleren van de algoritmische toepassingen zijn er verschillende mogelijkheden binnen een grote focus de belangen van de inwoners bij de uitvoering van taken. Sommige van deze, soms bijzonder

gemeenten genoemd. Vaak werd hierbij aangegeven dat er nog geen ervaring mee was, maar dat het in theorie een mogelijkheid zou zijn. Soms noemen gemeenten hierbij de Functionaris Gegevensbescherming, maar het komt ook voor dat men de controller, de Chief Information Security Officer (CISO), de lokale Rekenkamer en externe accountant noemt. In Enschede is een ethische commissie actief. Lastige vraagstukken op het gebied van het toepassen van algoritmen kunnen aan deze commissie worden voorgelegd.

3.3

Hoe worden mensenrechtelijke aspecten meegenomen?

Er wordt door een aantal van de geïnterviewde gemeenten aangegeven dat zij het Praktisch Impact Assessment voor Algoritmen en Mensenrechten aan het testen zijn. Amsterdam gebruikt intern een impactassessment met vragen over mensenrechten en heeft een template om grondrechten te wegen. Overwogen wordt om bij de afweging van aanschaf of in gebruik nemen van alle algoritmen te verplichten expliciet te toetsen op o.a. mensenrechten (via korte quickscan of het volledig invullen van het assessment). Ook is er een BIAS-analysetool om te controleren of een algoritme een directe of indirecte bias bevat. De term ‘bias’ verwijst naar een onterecht/ onjuist verschil in inschatting/ voorspelling (en daarmee behandeling) tussen personen of groepen (SHAP, z.d.). Uit de interviews is op te maken dat mensenrechten niet in alle geïnterviewde gemeenten expliciet deel uitmaken van de afweging tot de aanschaf of het in gebruik nemen van algoritmen. Dit wil niet zeggen dat er niet wordt gekeken naar mensenrechten. Juist bij gemeenten is er een grote focus op de belangen van de inwoners bij de uitvoering van taken. Sommige van deze, soms bijzonder 24

elementaire taken (denk aan de afwatering van overtollig regenwater) zijn juist gericht op het effectueren van mensenrechten. Ook kan hierbij gedacht worden aan gemeenten die veel doen op het gebied van verkeersveiligheid in hun gemeente of gemeenten die met behulp van milieuzones en luchtmeters de luchtvervuiling willen verminderen. Of gemeenten die sociaal-economische mensenrechten willen borgen door tijdig schuldhulp te verlenen.

elementaire taken (denk aan de afwatering van overtollig regenwater) zijn juist gericht op het

Het belang van algoritmische toepassingen ter bescherming van inwoners van de gemeente valt ook af te leiden uit de lijst bedrijfskritische effectueren van mensenrechten. OokDit kan gedacht die veel op probleem processen die sommige gemeenten hebben opgesteld. zijnhierbij processen die zo worden belangrijkaan zijn, gemeenten dat als deze uitvallen er doen direct een ontstaat. Dehet processen algoritmen worden gebruikt die hierbijof werden genoemddie variëren van gemalen rioleringssystemen, tot gebiedwaarbij van verkeersveiligheid in hun en gemeente gemeenten met behulp van en milieuzones en het kunnenluchtmeters uitbetalen vande uitkeringen en telefonie (BZK, 2021). luchtvervuiling willen verminderen. Of gemeenten die sociaal-economische

willen borgen doormeer tijdig schuldhulp te verlenen. Het valt op mensenrechten dat gemeenten door de toeslagenaffaire bewust zijn van risico’s die datagedreven werk met zich meebrengt op het gebied van discriminatie. Diverse geïnterviewden noemden deze affaire als belangrijk voor meer awareness. Er zijn er ook die aangeven dat het heeft geleid tot intern onderzoek. Allevan gemeenten benoemen als risico dat erter altijd met data uit het wordt gewerkt en dat in de dataset Het belang algoritmische toepassingen bescherming vanverleden inwoners van de gemeente valt ook ook een bias kan zitten. af te leiden uit de lijst bedrijfskritische processen die sommige gemeenten hebben opgesteld. Dit zijn dievan zo transparantie belangrijk zijn, als deze uitvallenhoe erhier direct probleem ontstaat. Deenprocessen Als het gaatprocessen om het bieden dan dat verschilt per gemeente meeeen wordt omgegaan. Amsterdam Utrecht bieden extra transparantie door sommige algoritmische internet te werden zetten onder de naamvariëren algoritmeregister. (Gemeente waarbij algoritmen wordentoepassingen gebruikt enopdie hierbij genoemd van gemalen en Amsterdam, z.d.-a; Gemeente Utrecht Dataplatform, 2020, 22 september) Eindhoven heeft een tabel met alle gegevensverzamelingen binnen de gemeente rioleringssystemen, tot het kunnen uitbetalen van uitkeringen en telefonie (BZK, 2021). openbaar gemaakt.

(Gemeente Eindhoven, z.d.) Almere heeft via de lokale omroep antwoorden gegeven op vragen uit de media (Omroep Flevoland, 2021, 1 februari). Den Haag heeft een podcastserie en een aankondiging op het YouTube kanaal van Den Haag ‘Dit doet Den Haag met data’. InHet dezevalt serieop wordt ‘opdoor welkede manier de gemeente data gebruikt om de en veilig te maken en te dat onderzocht gemeenten toeslagenaffaire meer bewust zijnstad vanleefbaar, risico’sschoon die datagedreven houden’ (Gemeente Den Haag, 2021; Gemeente Den Haag, 2021, 7 april). werk met zich meebrengt op het gebied van discriminatie. Diverse geïnterviewden noemden deze

affaire als belangrijk voor meer awareness. er ook die dat heeft geleid tot internverwijst Voor de vraag wat burgers kunnen beginnen tegen handelingenErofzijn beslissingen die aangeven zijn genomen of het ondersteund door algoritmen, onderzoek. Alle gemeenten benoemen alsOok risico datmen er altijd met data uit het verleden wordt gewerkt men standaard naar de bezwaar-en beroepsmogelijkheden. noemt soms de ombudsman of het recht uit de AVG om inzage te vragen in de eigen en persoonsgegevens. Een ook geïnterviewde aan dat algoritmen niet zozeer het risico vormen. Volgens deze expert gaat het om de dat in de dataset een biasgeeft kan zitten. combinatie met de gemeentelijke bureaucratische processen. Omdat sommige inwoners afhankelijk zijn van de gemeente voor hun bestaanszekerheid, kunnen bureaucratische processen of problemen daarin, indringende gevolgen hebben. Als het gaat om het bieden van transparantie dan verschilt per gemeente hoe hier mee wordt 3.4 Watomgegaan. willen gemeenten? Amsterdam en Utrecht bieden extra transparantie door sommige algoritmische toepassingen op internet tegoede zettenafwegingen onder detenaam algoritmeregister. (Gemeente Amsterdam, z.d.-a; De geïnterviewden willen graag hulp om de maken. Ze stellen voor dat dit vanuit een bepaald thema of probleem wordt gedaan.

HetGemeente gaat om de combinatie van concrete voorbeelden van een gemeentelijke taak en oplossing (1) en bruikbare ‘praktisch toepasbare’ Utrecht Dataplatform, 2020, 22 september) Eindhoven heeft een tabel met alle handvatten voor het maken van goede beslissingen (2). Ook verzuchten ze dat het niet handig is dat er steeds nieuwe, vrij algemene, kaders gegevensverzamelingen binnen de gemeente openbaar gemaakt. (Gemeente Eindhoven, z.d.) Almere vanuit centrale instellingen worden gepubliceerd die niet op elkaar worden afgestemd. Sommige gemeenten geven aan zich zorgen te maken heeft via nadruk de lokale omroep antwoorden gegeven op vragen uit de media (Omroep Flevoland, 2021, 1 over de trend om veel te leggen op auditmogelijkheden. Niet omdat men tegen audits als zodanig is, maar februari). Den Haag heeft een podcastserie en een aankondiging op het YouTube kanaal van Den Haag ‘Dit doet Den Haag met data’. In deze serie wordt onderzocht ‘op welke manier de gemeente data gebruikt om de stad leefbaar, schoon en veilig te maken en te houden’ (Gemeente Den Haag, 2021; Gemeente Den Haag, 2021, 7 april). Voor de vraag wat burgers kunnen beginnen tegen handelingen of beslissingen die zijn genomen of ondersteund door algoritmen, verwijst men standaard naar de bezwaar-en beroepsmogelijkheden.

Ook noemt men soms de ombudsman of het recht uit de AVG om inzage te vragen in de eigen persoonsgegevens. Een geïnterviewde geeft aan dat algoritmen niet zozeer het risico vormen. Volgens deze expert gaat het om de combinatie met de gemeentelijke bureaucratische processen. Omdat sommige inwoners afhankelijk zijn van de gemeente voor hun bestaanszekerheid, kunnen bureaucratische processen of problemen daarin, indringende gevolgen hebben.

3.4

Wat willen gemeenten?

De geïnterviewden willen graag hulp om de goede afwegingen te maken. Ze stellen voor dat dit vanuit een bepaald thema of probleem wordt gedaan. Het gaat om de combinatie van concrete voorbeelden van een gemeentelijke taak en oplossing (1) en bruikbare ‘praktisch toepasbare’ handvatten voor het maken van goede beslissingen (2). Ook verzuchten ze dat het niet handig is dat er steeds nieuwe, vrij algemene, kaders vanuit centrale instellingen worden gepubliceerd die niet op elkaar worden afgestemd. Sommige gemeenten geven aan zich zorgen te maken over de trend om veel nadruk te leggen op auditmogelijkheden. Niet omdat men tegen audits als zodanig is, maar 25

omdat dit ervoor zorgt dat er soms onevenredig veel aandacht wordt besteed aan afvinken van checklists, volgen van protocollen en de verslaglegging. Tijd en aandacht die beter zou zijn besteed als betrokken medewerkers met elkaar het gesprek voeren over hun aarzelingen, rechtvaardigheid, wenselijkheid of noodzaak en de afwegen van belangen. Als we even wat meer uitzoomen dan zou gezegd kunnen worden dat het beslissen over algoritmen en mensenrechten een afweging vraagt die omdat dit ervoor zorgt dat er soms onevenredig veel aandacht wordt besteed aan afvinken van zich niet leent voor een haast (handmatig) algoritmische wijze van besluiten. Beslisbomen en impact assessments die worden ingevuld om een checklists, volgen van enHet de risico verslaglegging. Tijdimpact en aandacht diehoewel beterjuist zouniet zijnbedoeld besteed besluit te nemen, lijken het denken in protocollen de weg te zitten. bestaat dat een assessment, als afvinklijst, in de dagelijkse werkelijkheid de inhoudelijke discussie soms eerder over verarmt danaarzelingen, verrijkt. alsbureaucratische betrokken medewerkers met elkaar het gesprek voeren hun rechtvaardigheid,

wenselijkheid of noodzaak en de afwegen van belangen.

De geïnterviewde gemeenten willen vooral veel van elkaar leren en zien van elkaar hoe technologie ook kan bijdragen aan mensenrechten. Zo gebruikte Eindhoven voor de uitvoering van de Tijdelijke overbruggingsregeling zelfstandig ondernemers (Tozo) een geautomatiseerde even wat meer gezegd Dit kunnen worden datautomaat het beslissen over algoritmen verificateur Als van we persoonsgegevens dieuitzoomen de aanvragerdan had zou aangeleverd. betekende dat deze toegang kreeg tot de databases, en niet de ambtenaren waardoor het risico op het terrein van gegevensbescherming daarvoor werd verminderd. en mensenrechten een afweging vraagt die zich niet leent voor een haast (handmatig) algoritmische

wijze van besluiten. Beslisbomen en impact assessments die worden ingevuld om een besluit te

Meerdere gemeenten geven aan dat richtlijnen tot nu toe niet concreet genoeg zijn om een bijdrage te kunnen leveren aan borging van de nemen, lijken hetgeeft denken in de Het risico bestaat dat eende impact assessment, hoewel mensenrechten. Een gemeente aan dat het weg somste dezitten. besluitvorming al erg helpt om elkaar vraag te stellen ‘kunnen we dit met goed fatsoen uitleggen aan onze inwoners? Als dat nietin lukt, moet je het niet doen’. Een andere gemeente zegt dat het onderwerp juist niet bedoeld als afvinklijst, dedan dagelijkse bureaucratische werkelijkheid de inhoudelijke mensenrechten zwaar en heftig kan over komen, terwijl iedereen ze belangrijk vindt. ‘Misschien moeten we beter worden in het praten hierover.’ discussie soms eerder verarmt dan verrijkt. Dit sluit dan weer mooi aan bij de wensen die ook andere gemeenten hebben. Meerdere gemeenten laten wetengemeenten dat zij behoefte hebben aan praktische ondersteuning zoals ‘eenvan gezamenlijk vocabulaire’ om het goede De geïnterviewde willen vooral veel van elkaar leren en zien elkaar hoe technologie gesprek te voeren. Dit ziet op een brede groep. Genoemd zijn ondersteuning om gesprekken te voeren tussen professionals op het gebied van ook kan bijdragen aan mensenrechten.

Zo gebruikte Eindhoven voor de uitvoering van de Tijdelijke data/algoritmen/informatiemanagement en verschillende groepen niet-ingewijden zoals collega’s, directeuren, burgemeester en wethouders, overbruggingsregeling zelfstandig ondernemers (Tozo) een geautomatiseerde verificateur van de gemeenteraadsleden en de inwoners.

persoonsgegevens die de aanvrager had aangeleverd. Dit betekende dat deze automaat toegang

3.5

Observaties kreeg tot de databases, en niet de ambtenaren waardoor het risico op het terrein van

3.5.1

gegevensbescherming daarvoor werd verminderd. Diversiteit in toepassingen

Er is een enorme diversiteit in algoritmische toepassingen binnen gemeenten. Sommige toepassingen spelen in de fysieke ruimte waarbij handmatigeMeerdere of mechanische processengeven gedigitaliseerd Dit kunnen zijn.genoeg Denk aanzijn ‘slimme’ gemeenten aan datzijn. richtlijnen totfeitelijke nu toehandelingen niet concreet om verkeerslichten een bijdrage of het tellen van soorten bezoekers bij grote evenementen. Bovendien leiden niet alle algoritmische toepassingen tot (een voorbereiding van) te kunnen leveren aan borging van de mensenrechten. Een gemeente geeft aan dat het soms de individuele besluiten in de zin van de Awb. Data-gedreven toepassingen worden dan gebruikt om gemeentelijke gegevens in kaart te brengen besluitvorming al erg helptgaat om het elkaar te stellen dit hebben. met goed fatsoen uitleggen om beleid op te baseren. In deze diversiteit somsde omvraag toepassingen die ‘kunnen een grote we impact Als er een verstoring optreedt leidt aan onze inwoners? Als dat niet Soms lukt, kan danzelfs moet je het niet doen’. Een andere gemeente zegt dat het dat direct tot grote maatschappelijke problemen. gesproken

onderwerp mensenrechten zwaar en heftig kan over komen, terwijl iedereen ze belangrijk vindt. ‘Misschien moeten we beter worden in het praten hierover.’ Dit sluit dan weer mooi aan bij de wensen die ook andere gemeenten hebben. Meerdere gemeenten laten weten dat zij behoefte hebben aan praktische ondersteuning zoals ‘een gezamenlijk vocabulaire’ om het goede gesprek te voeren. Dit ziet op een brede groep. Genoemd zijn ondersteuning om gesprekken te voeren tussen professionals op het gebied van data/algoritmen/informatiemanagement en verschillende groepen niet-ingewijden zoals collega’s, directeuren, burgemeester en wethouders, de gemeenteraadsleden en de inwoners.

3.5

Observaties

3.5.1 Diversiteit in toepassingen

Er is een enorme diversiteit in algoritmische toepassingen binnen gemeenten. Sommige toepassingen spelen in de fysieke ruimte waarbij handmatige of mechanische processen gedigitaliseerd zijn. Dit kunnen feitelijke handelingen zijn. Denk aan ‘slimme’ verkeerslichten of het tellen van soorten bezoekers bij grote evenementen. Bovendien leiden niet alle algoritmische toepassingen tot (een voorbereiding van) individuele besluiten in de zin van de Awb. Data-gedreven toepassingen worden dan gebruikt om gemeentelijke gegevens in kaart te brengen om beleid op te baseren. In deze diversiteit gaat het soms om toepassingen die een grote impact hebben. Als er een verstoring optreedt leidt dat direct tot grote maatschappelijke problemen. Soms kan zelfs gesproken

26

worden van digitale ontwrichting (WRR 2019). Denk aan de financiële systemen of de aansturing van gemalen en rioleringssystemen. Deze systemen zijn zo belangrijk dat bij digitale ontwrichting ook mensenrechten in het geding zijn zoals het recht op veiligheid en gezondheid. In de praktijk is te zien dat er veel aandacht is voor de bescherming van persoonsgegevens. Dit is een goede zaak. Het risico hierbij is echter dat als er voor een toepassing geen persoonsgegevens nodig zijn, er geen ander juridisch kader wordt gebruikt om mensenrechten af te wegen. worden van digitale ontwrichting (WRR 2019). Denk aan de financiële systemen of de aansturing van Daarom is het belangrijk om breder te kijken naar algoritmische toepassingen en te beoordelen of er een impact is op mensenrechten. Voor de gemalen en rioleringssystemen. Deze systemen zijn zo belangrijk bij digitale ontwrichting lopen ook dan gevaar? weging van mensenrechten helpt het om ook de omgekeerde vraag te stellen: ‘als we het dat niet doen, welke mensenrechten

mensenrechten in het geding zijn zoals het recht op veiligheid en gezondheid.

Er wordt vaak gezegd dat er altijd een mens is die de eindbeslissing neemt. Dit duidt op de veronderstelling dat risico’s daarmee zijn afgewend. Maar dat is een te simpele gedachte. Soms vragen systemen en algoritmische toepassingen zoveel van de ambtenaar die op dat moment moet In erdezelfs praktijk te zien ervoor veelmeer aandacht is voor deingewikkelde bescherming van persoonsgegevens. Ditenisambtenaren een reageren, dat gevaarisvoor levendat is. Zie informatie over de interactie tussen systemen, taken goede zaak. Het risico Onderzoeksraad voor Veiligheid 2019. hierbij is echter dat als er voor een toepassing geen persoonsgegevens nodig

zijn, er geen ander juridisch kader wordt gebruikt om mensenrechten af te wegen. Daarom is het belangrijk om breder te kijken naar algoritmische toepassingen en te beoordelen of er een impact is Een zeer opvallende observatie uit dit onderzoek is dat als gemeenten een afvaardiging stuurden vanuit de specialiteit van data-gedreven op mensenrechten. Voor de weging van mensenrechten helpt het om ook de omgekeerde vraag te werken en eventuele risico’s die daarmee samen gaan, deze medewerkers minder zicht hebben op al veel langer bestaande geautomatiseerde stellen: ‘als we niet doen, mensenrechten lopen dan gevaar? of informatievoorziening was dat inzicht wel processen. Als we spraken methet gemeenten metwelke een afvaardiging uit het informatiemanagement 3.5.2

Ongelijke verdeling van aandacht binnen de gemeente

aanwezig. Het lijkt erop dat er twee organisatorische scheidslijnen lopen die kunnen leiden tot geïsoleerd denken. Een organisatorische knip tussen beleid uitvoering en eendat kniper tussen IT’ (2). Eren wordt vaak(1) gezegd altijddatagedreven een mens iswerk dieen deinformatievoorziening/‘traditionele eindbeslissing neemt. Dit duidt opDit dekan op het terrein van mensenrechtelijke afwegingen om meer redenen problematisch zijn. Ten eerste omdat mogelijke mensenrechtenschendingen anno 2021 veronderstelling dat risico’s daarmee zijn afgewend. Maar dat is een te simpele gedachte. Soms eerder zullen optreden vanuit de uitvoerende gemeente dan vanuit de beleidsmakende gemeente of het datalab.

vragen systemen en algoritmische toepassingen zoveel van de ambtenaar die op dat moment moet

We doelen op software die bijstandsaanvragen, verzoeken om kwijtschelding gemeentelijke belastingen, die stempassen reageren, datbesluiten er zelfs neemt gevaarover voor leven is. Zie voor meer informatie over de ingewikkelde interactie verstuurt, hondenbelasting vaststelt of de huizen waardeert voor de onroerende zaak belasting. In gesprekken worden deze systemen soms tussen systemen, taken en ambtenaren Onderzoeksraad voor Veiligheid 2019. over het hoofd gezien en bij expliciete vragen hiernaar, wordt dan aangegeven dat het weliswaar mogelijk is dat deze systemen in de uitvoering gebruikt worden maar dat er dan ‘altijd sprake is van menselijke tussenkomst’. Dit is opvallend omdat uit de wetenschappelijke literatuur bekend is dat dergelijke routinematige bulkprocessen al werden ontworpen en in gebruik genomen en op de markt te verkrijgen waren 3.5.2 Ongelijke verdelingjaren vangeleden aandacht binnen de gemeente (Groothuis, 2004; Nieuwenhuis, 1989; Paapst, 2005).

Ook werd al in 1999 beschreven dat het personeel dat met behulp van deze systemen Een zeer opvallende observatie uit dit onderzoek is dat als gemeenten een afvaardiging stuurden werkt, wel het laatste woord heeft maar vaker een algemeen administratieve achtergrond heeft in plaats van een sociaal-juridische (Paapst, de specialiteit van data-gedreven enkennisniveau eventuele risico’s daarmee samen deze te komen, 2005, p. 15).vanuit Bij automatisering hebben gebruikers vaak niet werken het vereiste meer omdie zonder het systeem tot gaan, een beslissing laat staan dat ze de kennis bezitten omzicht van een gesloten juridische kwaliteitgeautomatiseerde te controleren (Paapst,processen. 2005, p. 16). Als we medewerkers minder hebben op systeem al veel de langer bestaande

spraken met gemeenten met een afvaardiging uit het informatiemanagement of informatievoorziening was dat inzicht wel aanwezig. Het lijkt erop dat er twee organisatorische scheidslijnen lopen die kunnen leiden tot geïsoleerd denken. Een organisatorische knip tussen beleid en uitvoering (1) en een knip tussen datagedreven werk en informatievoorziening/‘traditionele IT’ (2). Dit kan op het terrein van mensenrechtelijke afwegingen om meer redenen problematisch zijn. Ten eerste omdat mogelijke mensenrechtenschendingen anno 2021 eerder zullen optreden vanuit de uitvoerende gemeente dan vanuit de beleidsmakende gemeente of het datalab. We doelen op software die besluiten neemt over bijstandsaanvragen, verzoeken om kwijtschelding gemeentelijke belastingen, die stempassen verstuurt, hondenbelasting vaststelt of de huizen waardeert voor de onroerende zaak belasting. In gesprekken worden deze systemen soms over het hoofd gezien en bij expliciete vragen hiernaar, wordt dan aangegeven dat het weliswaar mogelijk is dat deze systemen in de uitvoering gebruikt worden maar dat er dan ‘altijd sprake is van menselijke tussenkomst’. Dit is opvallend omdat uit de wetenschappelijke literatuur bekend is dat dergelijke routinematige bulkprocessen jaren geleden al werden ontworpen en in gebruik genomen en op de markt te verkrijgen waren (Groothuis, 2004; Nieuwenhuis, 1989; Paapst, 2005).

Ook werd al in 1999 beschreven dat het personeel dat met behulp van deze systemen werkt, wel het laatste woord heeft maar vaker een algemeen administratieve achtergrond heeft in plaats van een sociaal-juridische (Paapst, 2005, p. 15). Bij automatisering hebben gebruikers vaak niet het vereiste kennisniveau meer om zonder het systeem tot een beslissing te komen, laat staan dat ze de kennis bezitten om van een gesloten systeem de juridische kwaliteit te controleren (Paapst, 2005, p. 16).

27

Net als infrastructuur, zijn deze systemen kennelijk al zo geaccepteerd en worden deze al zo gewoon gevonden, dat er overheen wordt gekeken. Hiermee zijn we tot de paradox gekomen dat om te toetsen wat het systeem doet expertise en alertheid nodig is terwijl die juist zijn afgenomen door het gebruik van de systemen (Becker, 2021, p. 149). Het kennen van de regels die door deze software worden gehanteerd is echter een noodzakelijke voorwaarde om als bestuur verantwoording af Net als infrastructuur, zijn deze systemen kennelijk al zo geaccepteerd en worden deze al zo gewoon te leggen over de interpretatie van de wet- en regelgeving in algemene zin. Daarnaast is kennis van deze regels onmisbaar om vast te stellen of gevonden,zijn datgeborgd er overheen wordt Hiermee we tot dedaarvan paradox gekomengevallen dat om(Van te Eck, 2018). Juist en hoe mensenrechten zoals het verbodgekeken. van discriminatie, enzijn de toepassing in individuele ook in het kader van rechtsbescherming belanghebbenden bij computerbesluiten de gelegenheid worden gesteld omhet de juistheid toetsen wat het systeemmoeten doet expertise en alertheid nodig is terwijlindie juist zijn afgenomen door van de bij dat geautomatiseerde proces gemaakte keuzes en de daarbij gebruikte gegevens en aannames te controleren (Afdeling gebruik van de systemen (Becker, 2021, p. 149).

bestuursrechtspraak van de Raad van State, 2017 en Hoge Raad, 2018). De praktijk rond de waardering van onroerende zaken laat zien dat dat voor de uitvoerende tak van de gemeente geen sinecure is (Monsma, 2021).

Het kennen van de regels die door deze software worden gehanteerd is echter een noodzakelijke

De berichtgeving over het om systeem dat wordtverantwoording toegepast voor hetaf berekenen vanover IOAWde eninterpretatie IOAZ bevestigt van het belang vanen het ontwerpen en voorwaarde als bestuur te leggen de wetgebruiken van de juiste rekenregels/beslisregels/algoritmen door gemeenten (Kamphuis & Pols, 2021). Ook kunnen er onbedoelde regelgeving in algemene zin. Daarnaast is kennis van deze regels onmisbaar om vast te stellen of en discriminerende uitkomsten volgen, zoals het verlenen van toegang tot de financiële eigen persoonsgegevens van inwoners aan alleen de hoe mensenrechten zijn geborgd zoals het verbod van discriminatie, en de toepassing daarvan in belastingplichtige, doorgaans de man van het huishouden (Boonstra, 2021).

individuele gevallen (Van Eck, 2018). Juist ook in het kader van rechtsbescherming moeten

Het goede nieuws is dat het voorbeeld hiervoor gevonden kan worden bij het Digitaal Stelsel omgevingswet waar deze interpretaties en belanghebbenden bij computerbesluiten in de gelegenheid worden gesteld om de juistheid van de bij instructies voor de computer ‘toepasbare regels’ worden genoemd (VNG, z.d.-c; Informatiepunt leefomgeving, z.d.).

dat geautomatiseerde proces gemaakte keuzes en de daarbij gebruikte gegevens en aannames te 3.5.3 Wie controleren bestuurt wie? (Afdeling bestuursrechtspraak van de Raad van State, 2017 en Hoge Raad, 2018). De rondgelijksoortige de waardering onroerende ziensommige dat datvan voor detaken uitvoerende takofvan de Gemeentenpraktijk hebben veel taken van om uit te voeren. Inzaken theorielaat worden deze in autonomie medebewind verricht zodat de lokale situatie in ogenschouw wordt genomen. Uit de interviews is het ons niet duidelijk geworden hoe de standaardisatie die gemeente geen sinecure is (Monsma, 2021). met betaalbare technologie is bereikt, zich verhoudt tot de idee dat de gemeenteraad zelf lokale accenten kan geven aan de uitvoering. Het doet vermoeden dat de politieke bewegingsruimte niet meer als zodanig wordt herkend of te duur wordt gevonden (het kan dan opgevat over het worden als De een berichtgeving verzoek om maatwerk in desysteem software).dat wordt toegepast voor het berekenen van IOAW en IOAZ

bevestigt het belang van het ontwerpen en gebruiken van de juiste

Zo is enerzijds het sociaal domein gedecentraliseerd maar blijken anderzijds veel gemeenten dezelfde software pakketten te gebruiken. Het is rekenregels/beslisregels/algoritmen door gemeenten (Kamphuis & Pols, 2021). Ook kunnen er dan de vraag of er daadwerkelijk lokale autonomie is: wie bepaalt dan hoe de uitvoering eruit ziet? Het openbaar bestuur of de aanbieder van onbedoelde uitkomsten volgen, zoalstehet verlenen van verantwoording toegang tot devoor financiële de technologie? Het is nietdiscriminerende helder waar de beslisruimte (discretie) is komen liggen en hoe daar kan worden afgelegd persoonsgegevens vanDitinwoners aan alleen de belastingplichtige, de man van het zijn (Van Eck, M.,eigen Zouridis, S. & Bovens, M., 2018). heeft uiteraard ook gevolgen voor de vraag of en doorgaans hoe alle betrokken mensenrechten overzien enhuishouden afgewogen. Dit probleem wordt nog groter als gemeenten hun taken gezamenlijk uitvoeren zoals op het gebied van lokale (Boonstra, 2021). belastingen of het sociaal domein.

Het goede nieuws is dat het voorbeeld hiervoor gevonden kan worden bij het Digitaal Stelsel omgevingswet waar deze interpretaties en instructies voor de computer ‘toepasbare regels’ worden genoemd (VNG, z.d.-c; Informatiepunt leefomgeving, z.d.).

3.5.3 Wie bestuurt wie?

Gemeenten hebben veel gelijksoortige taken om uit te voeren. In theorie worden sommige van deze taken in autonomie of medebewind verricht zodat de lokale situatie in ogenschouw wordt genomen. Uit de interviews is het ons niet duidelijk geworden hoe de standaardisatie die met betaalbare technologie is bereikt, zich verhoudt tot de idee dat de gemeenteraad zelf lokale accenten kan geven aan de uitvoering. Het doet vermoeden dat de politieke bewegingsruimte niet meer als zodanig wordt herkend of te duur wordt gevonden (het kan dan opgevat worden als een verzoek om maatwerk in de software). Zo is enerzijds het sociaal domein gedecentraliseerd maar blijken anderzijds veel gemeenten dezelfde software pakketten te gebruiken. Het is dan de vraag of er daadwerkelijk lokale autonomie is: wie bepaalt dan hoe de uitvoering eruit ziet? Het openbaar bestuur of de aanbieder van de technologie? Het is niet helder waar de beslisruimte (discretie) is komen te liggen en hoe daar verantwoording voor kan worden afgelegd (Van Eck, M., Zouridis, S. & Bovens, M., 2018). Dit heeft uiteraard ook gevolgen voor de vraag of en hoe alle betrokken mensenrechten zijn overzien en afgewogen. Dit probleem wordt nog groter als gemeenten hun taken gezamenlijk uitvoeren zoals op het gebied van lokale belastingen of het sociaal domein.

28

De tegenhanger van deze praktijk werd ook aangetroffen maar dan meer op het terrein van Smart Cities. Het kan dan, soms gebaseerd op data-analyses, heel helder zijn wat een beleidsdoelstelling is waarna vervolgens gezocht wordt naar bruikbare instrumenten. De geïnterviewden gaven dan aan welke speerpunten er binnen hun gemeenten waren bepaald en vertelden vervolgens welke innovatie hierbij was gekozen. Een voorbeeld is dat een gemeente de auto’s in de stad wil terugdringen en het gebruik van de fiets wil stimuleren. Dat is een duidelijke beleidsdoelstelling. Om dit doel te bereiken is er een app ontwikkeld voor fietsers waarmee verkeerslichten voor hen sneller op groen gaan. 3.5.4

tegenhanger van deze praktijk werd ook aangetroffen maar dan meer op het terrein van Smart MeerDe mensenrechten lokaal?

Cities. Het kan dan, soms gebaseerd op data-analyses, heel helder zijn wat een beleidsdoelstelling is

De decentralisatie van het sociaal domein in 2015 leidde tot het overhevelen van een groot aantal verantwoordelijkheden voor waarna mensenrechten vervolgens gezocht wordt naar bruikbare instrumenten. geïnterviewden gaven dan aanaan tegen de sociaaleconomische van de centrale overheid naar gemeenten. SommigeDe gemeenten lopen bij deze uitvoering grenzen vanwelke hun kunnen (Van der Meulen, 2021). Ook het gebruik maken technologie voor dagelijkse praktische handelingen zoals het speerpunten er binnen hun gemeenten warenvan bepaald en vertelden vervolgens welke data-gedreven bepalen van de route voor de afvalwagens, het bedienen van sluizen en het maken van afspraken voor een netwerk voor innovatie hierbij was gekozen. Een voorbeeld is dat een gemeente de auto’s in de stad wil beacons, kunnen maken dat er een grotere noodzaak bestaat om de mensenrechten van te voren af te wegen en daarna te blijven monitoren. terugdringen en met het het gebruik van de wil stimuleren. is met eende duidelijke Ominzet van Dit heeft niet zo zeer te maken vervangen vanfiets een mens door machine,Dat maar opschalingbeleidsdoelstelling. die gepaard gaat met de technologiedit en doel het niet (kunnen) bevragen van de onderliggende Dezeverkeerslichten extra taken kunnen niethen zonder bewustwording te meer bereiken is erkritisch een app ontwikkeld voor fietserswerking.

waarmee voor sneller en training op en mogelijk andere zaken, eenvoudig worden uitgevoerd. Dit vraagt veel van de gemeentelijke organisatie (Waardenburg, L., groen gaan. Huysman, M. & Agterberg, M., 2020). 3.5.5

Lokale rechtsbescherming 3.5.4 Meer mensenrechten lokaal?

De decentralisatie van hetinsociaal domeingemeentelijke in 2015 leidde tot hetdieoverhevelen van een zicht groot aantal Meerdere Geïnterviewden hebben veel vertrouwen bureaucratische processen zich buiten hun directe voltrekken. geïnterviewden zeggen bijvoorbeeld datvoor de computer in hun gemeente niet het laatste woord Ze vertrouwen er enerzijds verantwoordelijkheden sociaaleconomische mensenrechten van heeft. de centrale overheid naar op dat hun collega’s in staat zijn om maatwerk te verlenen met de algoritmische ondersteuning als instrument. Anderzijds vertrouwen zij op de gemeenten. Sommige gemeenten lopen bij deze uitvoering aan tegen de grenzen van hun kunnen rechtsmiddelen die inwoners kunnen gebruiken op grond van de Algemene wet bestuursrecht zoals het maken van bezwaar of het indienen (VanOok der Meulen, 2021). naar Ookhet hetklant gebruik maken technologie voor dagelijkse van een klacht. wordt wel verwezen contact centervan of naar de rechten die mensen hebbenpraktische op grond van de AVG zoals het kunnen vragen om inzage in de gebruikte persoonsgegevens. handelingen zoals het data-gedreven bepalen van de route voor de afvalwagens, het bedienen van sluizen en het maken van afspraken voor een netwerk voor beacons, kunnen maken dat er een

Zoals al eerder is aangegeven is het de vraag of deze aanname juist is. Maar ook als een collega gebruik maakt van een profileringsinstrument grotere noodzaak bestaat omziet deen mensenrechten vanbeleid te voren af tevindt wegen daarna te blijven blijft het nodig te weten hoe de praktijk er uit zicht ontwikkelt. Dat belangrijk dat en er ‘altijd een mens’ bij betrokken is, geeft monitoren. Dit heeft niet zo zeer te maken met het vervangen van een mens door machine, maar geen garantie voor de uitvoering. Ook wil dit niet zeggen dat de inwoners het ook zo ervaren.

met de opschaling die gepaard gaat met de inzet van technologie en het niet meer (kunnen) kritisch

Dat iemand in bezwaar kan gaan of een klacht kan indienen, betekent bovendien niet dat er sprake is van rechtsbescherming. De kans bestaat bevragen van de onderliggende werking. Deze extra taken kunnen niet zonder bewustwording en namelijk dat bij de rechtsbeschermingsroutes dezelfde formeel juridische, op de letter van de wet gebaseerde interpretatie wordt gevolgd, als training en mogelijk andere (zoals zaken, worden Dit vraagt veel van de die in het primaire proces wordt gehanteerd bijeenvoudig de Belastingdienst, zieuitgevoerd. Van Hout, Hertoghs & Zuurmond

gemeentelijke organisatie (Waardenburg, L., Huysman, M. & Agterberg, M., 2020).

3.5.5 Lokale rechtsbescherming

Geïnterviewden hebben veel vertrouwen in bureaucratische gemeentelijke processen die zich buiten hun directe zicht voltrekken. Meerdere geïnterviewden zeggen bijvoorbeeld dat de computer in hun gemeente niet het laatste woord heeft. Ze vertrouwen er enerzijds op dat hun collega’s in staat zijn om maatwerk te verlenen met de algoritmische ondersteuning als instrument. Anderzijds vertrouwen zij op de rechtsmiddelen die inwoners kunnen gebruiken op grond van de Algemene wet bestuursrecht zoals het maken van bezwaar of het indienen van een klacht. Ook wordt wel verwezen naar het klant contact center of naar de rechten die mensen hebben op grond van de AVG zoals het kunnen vragen om inzage in de gebruikte persoonsgegevens. Zoals al eerder is aangegeven is het de vraag of deze aanname juist is. Maar ook als een collega gebruik maakt van een profileringsinstrument blijft het nodig te weten hoe de praktijk er uit ziet en zicht ontwikkelt. Dat beleid belangrijk vindt dat er ‘altijd een mens’ bij betrokken is, geeft geen garantie voor de uitvoering. Ook wil dit niet zeggen dat de inwoners het ook zo ervaren. Dat iemand in bezwaar kan gaan of een klacht kan indienen, betekent bovendien niet dat er sprake is van rechtsbescherming.

De kans bestaat namelijk dat bij de rechtsbeschermingsroutes dezelfde formeel juridische, op de letter van de wet gebaseerde interpretatie wordt gevolgd, als die in het primaire proces wordt gehanteerd (zoals bij de Belastingdienst, zie Van Hout, Hertoghs & Zuurmond

29

(2021, p. 112)). In zo’n uitvoering zullen maatwerk, oplossingsgericht behandelen van bezwaren en klachten en de toepassing van mensenrechten niet vanzelfsprekend worden meegewogen. Uitsluitend ter illustratie verwijzen we naar twee kwesties waarin het de inwoner niet hielp om in bezwaar te gaan.

(2021, p. 112)). In zo’n uitvoering zullen maatwerk, oplossingsgericht behandelen van bezwaren en

De eerste betreft de scooterrijder uit Amsterdam die op één dag acht boetes had ontvangen. Hij was vier keer heen en vier keer terug onder het klachten toepassing van mensenrechten niet vanzelfsprekend worden Rijksmuseum gereden.en Nade bezwaar bleef Amsterdam bij het opleggen van acht boetes. Eenmaal naar demeegewogen. rechter bracht deze het terug tot twee. Een duidelijk voorbeeld van een algoritmische toepassing waarbij de gemeente niet heeft opgemerkt dat er misschien teveel boetes werden gestuurd (Kruyswijk, 2018).

Uitsluitend ter illustratie verwijzen we naar twee kwesties waarin het de inwoner niet hielp om in bezwaar te gaan. Ook kan verwezen worden naar de rechtszaak bij de Centrale Raad van Beroep (2020) (Wijdeven, 2021). Het was het college van B&W van

Eindhoven dat in hoger beroep ging nadat de rechtbank had geoordeeld dat de gemeente bij het huisbezoek dat was afgelegd op basis van risico-profielen niet volgens de geldende regels had uit gehandeld. Op eendie ander de gemeente en daartegen ging de inwoner De eerste betreft de scooterrijder Amsterdam op deel éénkreeg dag acht boetes wel hadgelijk ontvangen. Hij was zelf in hoger beroep. Uiteindelijk beoordeelde de bestuursrechter de gehele werkwijze als een onrechtmatig aangevangen onderzoek. Ook hier vier keer heen en vier keer terug onder het Rijksmuseum gereden. Na bezwaar bleef Amsterdam bij kunnen we concluderen dat het gebruik maken van het laagdrempelige rechtsmiddel om bezwaar te maken, geen soelaas bood.

het opleggen van acht boetes. Eenmaal naar de rechter bracht deze het terug tot twee. Een duidelijk 3.6 Conclusie voorbeeld van een algoritmische toepassing waarbij de gemeente niet heeft opgemerkt dat er gestuurd (Kruyswijk, 2018). die wij hebben geïnterviewd werken allen met een vaste Gemeentenmisschien maken een teveel transitieboetes door op werden het gebied van digitalisering. De gemeenten procedure om tot de aanschaf of ingebruikname van een algoritmische toepassing te komen. Soms maakt de vraag of er mensenrechten worden gediend of in gevaar komen expliciet deel uit van de afweging die vooraf gemaakt wordt. Wel zien gemeenten dit stadium als het Ook kan verwezen worden naar de rechtszaak bij de Centrale Raad van Beroep (2020) (Wijdeven, belangrijkste stadium om mensenrechten mee te nemen.

2021). Het was het college van B&W van Eindhoven dat in hoger beroep ging nadat de rechtbank had

Gemeentengeoordeeld maken nog weinig gebruik van de bij mogelijkheid om gezamenlijk de marktpartijen doen aan het ontwerpen dat de gemeente het huisbezoek dat wasmet afgelegd op basismeer van terisico-profielen niet met mensenrechten in het achterhoofd (by design). De experts van de gemeenten die wij hebben gesproken waren zeer geïnteresseerd in het volgens de geldende regels had gehandeld. Op een ander deel kreeg de gemeente wel gelijk en onderwerp. Zij willen vooral veel van elkaar leren en best practices overnemen. Ook willen gemeenten vooral praktische ondersteuning bij de daartegen inwoner zelfom in hoger Uiteindelijk beoordeelde de bestuursrechter de afweging. Dit maakt dat ging het dede perfecte tijd lijkt hier aanberoep. bij te dragen.

gehele werkwijze als een onrechtmatig aangevangen onderzoek. Ook hier kunnen we concluderen

Wel hoort hierbij de waarschuwing dat van niet altijd duidelijk is of ook in de praktische uitwerking (het te primaire proces en soelaas in de bezwaar- of dat het gebruik maken het laagdrempelige rechtsmiddel om bezwaar maken, geen klacht-fase) evenveel aandacht is voor mensenrechten (ook wel publieke waarden genoemd door gemeenten). Gemeenten blijken geen bood. speciale voorzieningen te treffen voor rechtsbescherming. Zij vertrouwen dus op de standaard routines in het primaire proces en in de bezwaarof klacht-fase.

3.6

Conclusie

Gemeenten maken een transitie door op het gebied van digitalisering. De gemeenten die wij hebben geïnterviewd werken allen met een vaste procedure om tot de aanschaf of ingebruikname van een algoritmische toepassing te komen. Soms maakt de vraag of er mensenrechten worden gediend of in gevaar komen expliciet deel uit van de afweging die vooraf gemaakt wordt. Wel zien gemeenten dit stadium als het belangrijkste stadium om mensenrechten mee te nemen. Gemeenten maken nog weinig gebruik van de mogelijkheid om gezamenlijk met de marktpartijen meer te doen aan het ontwerpen met mensenrechten in het achterhoofd (by design). De experts van de gemeenten die wij hebben gesproken waren zeer geïnteresseerd in het onderwerp. Zij willen vooral veel van elkaar leren en best practices overnemen. Ook willen gemeenten vooral praktische ondersteuning bij de afweging. Dit maakt dat het de perfecte tijd lijkt om hier aan bij te dragen. Wel hoort hierbij de waarschuwing dat niet altijd duidelijk is of ook in de praktische uitwerking (het primaire proces en in de bezwaar- of klacht-fase) evenveel aandacht is voor mensenrechten (ook wel publieke waarden genoemd door gemeenten). Gemeenten blijken geen speciale voorzieningen te treffen voor rechtsbescherming. Zij vertrouwen dus op de standaard routines in het primaire proces en in de bezwaar- of klacht-fase.

30

4

Aanbevelingen

Automatisering en digitalisering zijn niet meer weg te denken in de dagelijkse uitvoeringspraktijk van gemeenten. In dit onderzoek is een eerste verkenning gedaan naar de vraag of er bij gemeenten die gebruik maken van algoritmen, aandacht is voor de mensenrechtelijke aspecten daarvan. Ook is onderzocht of er speciale voorzieningen zijn getroffen voor rechtsbescherming.

4 Aanbevelingen

Hieronder geven we aan op welke gebieden verbeteringen zijn aan te brengen om de relatie algoritmen en mensenrechten te versterken. Uiteraard geldt hierbij dat rekening moet worden gehouden met een grote van gemeenten en algoritmische Automatisering en digitalisering zijn niet meer weg te diversiteit; denken indiversiteit de dagelijkse uitvoeringspraktijk van toepassingen. Ook ‘mensenrechten’ is een algemene term voor een reeks van afzonderlijke mensenrechten.

gemeenten. In dit onderzoek is een eerste verkenning gedaan naar de vraag of er bij gemeenten die gebruik algoritmen, aandacht is voor de mensenrechtelijke aspecten daarvan. Ook is 4.1 Focus op hetmaken doel vanvan de toepassingen onderzocht of er speciale voorzieningen zijn getroffen voor rechtsbescherming. Digitalisering, geautomatiseerde werkprocessen, algoritmische systemen of toepassingen waarbij de woorden ‘smart’ of ‘intelligent’ worden gebruikt hebben uiteraard veel overeenkomsten. Toch is het haast niet mogelijk om alleen vanuit ‘digitalisering’ zinvolle gesprekken te voeren over de gevolgen voor de mensenrechten. Twintig geleden was dit misschien nog omdat weinig processen Hieronder geven we aan op welkejaar gebieden verbeteringen zijn bruikbaar aan te brengen om de relatiegedigitaliseerd werden. Nu is digitalisering zo alom vertegenwoordigd dat soms zelfs wordt vergeten dat sommige handelingen vroeger handmatig werden algoritmen en mensenrechten te versterken. Uiteraard geldt hierbij dat rekening moet worden uitgevoerd. Omdat iedereen iets anders voor ogen heeft bij hiervoor genoemde termen, is het lastig om de echte risico’s te zien. Het is te met eenteveel. groteInstructies diversiteit; diversiteit van gemeenten algoritmische generiek engehouden het omvat daardoor of handreikingen worden daardoor alen snel veel te abstracttoepassingen.

voor de praktijk Ook (Van Kuijk, 2021).

‘mensenrechten’ is een algemene term voor een reeks van afzonderlijke mensenrechten.

Het is verstandiger om te kijken naar de domeinen waarbinnen de algoritmen gebruikt worden. Vervolgens kan dan beoordeeld worden welke specifieke mensenrechten gediend worden met de toepassing en welke mogelijk minder goed geborgd zijn. Een toepassing in een fysiek 4.1om andere Focusafwegingen op het doel vantoepassing de toepassingen domein vraagt dan een in het sociaal domein. Zie voor goede voorbeelden ‘Ethiek en digitalisering in de Digitalisering, geautomatiseerde werkprocessen, algoritmische systemen of toepassingen waarbij de fysieke leefomgeving’ (Overlegorgaan Fysieke Leefomgeving, z.d.) en de Handreiking non-discriminatie by design (Rijksoverheid, 2021). 4.2

woorden ‘smart’ of ‘intelligent’ worden gebruikt hebben uiteraard veel overeenkomsten. Toch is het

Bewustwording en kennisom alleen vanuit ‘digitalisering’ zinvolle gesprekken te voeren over de gevolgen haast niet mogelijk

De professionals gemeenten zoeken naar mogelijkheden hun hun werk enbruikbaar hun afwegingen op weinig een heldere manier te delen voor binnen de mensenrechten. Twintig jaar geledenom was ditkennis, misschien nog omdat met collega’s, managers, bestuurders, inwoners en raadsleden. Dit is erg moeilijk. Niveauverschillen blijven daardoor in stand zodat er geen processen gedigitaliseerd werden. Nu is digitalisering zo alom vertegenwoordigd dat soms zelfs goed gesprek vanuit verschillende disciplines en inzichten gevoerd kan worden. Meer kennis over de inzet van algoritmen door gemeenten en vergeten datissommige vroeger handmatig werden uitgevoerd. Omdat iedereen de gevolgenwordt voor mensenrechten een eerstehandelingen vereiste. Voor meer informatie over AI of algoritmen kunnen mensen in ieder geval terecht bij de iets AI anders ogenAIheeft bijz.d.). hiervoor genoemde termen, is hetzijn lastig om de‘geen echte risico’s tetegebruiken zien. is het gratis Nationale cursusvoor (Nationale Cursus, Zeker omdat er ook nog gemeenten die stellen algoritmen’ nodig om het gesprek te voeren met gemeenten. Bewustwording is een eerste stap. Het CRM zou kunnen bijdragen aan deze Het is te generiek en het omvat daardoor teveel. Instructies of handreikingen worden daardoor behoefte, al mogelijk ook met andere instanties.

snel veel te abstract voor de praktijk (Van Kuijk, 2021).

Het is verstandiger om te kijken naar de domeinen waarbinnen de algoritmen gebruikt worden. Vervolgens kan dan beoordeeld worden welke specifieke mensenrechten gediend worden met de toepassing en welke mogelijk minder goed geborgd zijn. Een toepassing in een fysiek domein vraagt om andere afwegingen dan een toepassing in het sociaal domein. Zie voor goede voorbeelden ‘Ethiek en digitalisering in de fysieke leefomgeving’ (Overlegorgaan Fysieke Leefomgeving, z.d.) en de Handreiking non-discriminatie by design (Rijksoverheid, 2021).

4.2

Bewustwording en kennis

De professionals binnen gemeenten zoeken naar mogelijkheden om hun kennis, hun werk en hun afwegingen op een heldere manier te delen met collega’s, managers, bestuurders, inwoners en raadsleden. Dit is erg moeilijk. Niveauverschillen blijven daardoor in stand zodat er geen goed gesprek vanuit verschillende disciplines en inzichten gevoerd kan worden. Meer kennis over de inzet van algoritmen door gemeenten en de gevolgen voor mensenrechten is een eerste vereiste. Voor meer informatie over AI of algoritmen kunnen mensen in ieder geval terecht bij de gratis Nationale AI cursus (Nationale AI Cursus, z.d.). Zeker omdat er ook nog gemeenten zijn die stellen ‘geen algoritmen’ te gebruiken is het nodig om het gesprek te voeren met gemeenten. Bewustwording is een eerste stap. Het CRM zou kunnen bijdragen aan deze behoefte, mogelijk ook met andere instanties.

31

4.3

Met gemeenten

De lange reeks rapporten en handreikingen over algoritmen en gemeenten, is indrukwekkend. De onderlinge afstemming is niet altijd aanwezig. Het zou een aparte studie voor gemeenten vragen om te beoordelen op welke punten de handreikingen verschillen of overeenkomen. Het is de vraag of de gemeenten hiermee geholpen zijn. Voor het CRM zou het de moeite waard kunnen zijn om verbinding te zoeken met4.3 de andere bewegingen die worden ingezet; zoals het werk van het Rathenau Instituut, lokale ombudsmannen en Nationale Met gemeenten ombudsman, Rekenkamers en de implementatie van de Code openbaaren digitaal bestuur (CODIO Universiteit Utrecht). Delokale lange reeks rapporten en handreikingen overgoed algoritmen gemeenten, is indrukwekkend. De

onderlinge afstemming is niet altijd aanwezig. Het zou een aparte studie voor gemeenten vragen om

We hebben vooral veel oprechte belangstelling aangetroffen bij medewerkers die graag en gepassioneerd praten over hun werk. Het zou een tezijn beoordelen op welke punten de handreikingen verschillen of overeenkomen. Hetdat is de of de gemiste kans om deze deskundigheid en betrokkenheid niet te benutten. We kunnen ons goed voorstellen hetvraag CRM bijvoorbeeld aanschuift bij een concreet project van een groep gemeenten. Vanuit dan,kunnen wellicht ook gemeenten hiermee geholpen zijn. Voor het CRMgezamenlijke zou het deexpertise moeite kan waard zijnmet ommarktpartijen en kennisinstellingen, een technologische oplossing en een bijpassende werkinstructie gezocht worden die de mensenrechten versterkt. Een van verbinding te zoeken met de andere bewegingen die worden ingezet; zoals het werk van het de domeinen die ons daarvoor geschikt lijkt is het sociaal domein. 4.4

Rathenau Instituut, lokale ombudsmannen en Nationale ombudsman, lokale Rekenkamers en de implementatie van de Code goed openbaar digitaal bestuur (CODIO Universiteit Utrecht). Met Caribisch Nederland

Digitalisering en het gebruiken van algoritmische toepassingen door de decentrale overheden kunnen de naleving van mensenrechten ook veel oprechte belangstelling aangetroffen bij medewerkers diegedeeld graag en bevorderen.We Hethebben zou goedvooral zijn als de grote hoeveelheid kennis en ervaring die inmiddels beschikbaar is, ook kan worden met de openbare lichamen in Caribisch Nederland. Misschien dat het CRM een verbindende rol zou kunnen vervullen om rond algoritmen en gepassioneerd praten over hun werk. Het zou een gemiste kans zijn om deze deskundigheid en mensenrechten openbare lichamen van Caribisch Nederland, Rijksdienst voor Caribisch Nederland en gemeenten samen te brengen.

betrokkenheid niet te benutten. We kunnen ons goed voorstellen dat het CRM bijvoorbeeld bij een concreet project van een groep gemeenten. Vanuit gezamenlijke expertise kan 4.5 Metaanschuift de makers van algoritmen dan, wellicht ook met marktpartijen en kennisinstellingen, een technologische oplossing en een Gemeenten vertrouwen een groot deel van hun taken toe aan software. Dit betekent dat sommige beslissingen of uitgangspunten al zijn bijpassende werkinstructie gezocht die welke de mensenrechten de domeinen ‘ingebakken’ in systemen. Het is voor gemeenten lastigworden om te weten dit zijn. Het wordtversterkt. nog lastigerEen om van als bestuurder richting inwoners of gemeenteraad te verantwoorden dat er rekening is gehouden met mensenrechten. Het is niet zinvol als alle gemeenten apart met die ons daarvoor geschikt lijkt is het sociaal domein. leveranciers hierover moeten onderhandelen. Het zou een optie kunnen zijn om als gemeenten gezamenlijk op te trekken. Door eenduidig wensen te formuleren, kunnen de makers van de algoritmen hun werkwijze veranderen. Bijvoorbeeld door het wijzigen van 4.4 Met Caribisch Nederland inkoopvoorwaarden in GIBIT-verband.

Digitalisering en het gebruiken van algoritmische toepassingen door de decentrale overheden

Maar ook dekunnen aanbieders software zouden stappen kunnen en inzicht geven in hun interpretatie van wet- en regelgeving en data en de van naleving van mensenrechten ookzetten bevorderen. Het zou goed zijn als de grote hoeveelheid hoe zij rekening houden met mensenrechten. Transparantie en uitlegbaarheid is belangrijk voor gemeenten maar uiteindelijk ook voor de kennis en ervaring die inmiddels beschikbaar is, ook gedeeld kan worden met de openbare lichamen makers van algoritmen. Zij zouden kunnen werken aan een keurmerk. Op die manier kunnen gemeenten die het graag goed willen regelen incapaciteit Caribisch Nederland. Misschien dat hetteCRM een verbindende rol zou kunnen vervullen om rond maar niet de hebben om dit bij alle toepassingen controleren, geholpen worden bij de besluitvorming.

algoritmen en mensenrechten openbare lichamen van Caribisch Nederland, Rijksdienst voor

Een van de eerste stappen die gezet zou kunnen worden is het publiceren van de beslisregels en de databronnen. Bijvoorbeeld via open regels Caribisch Nederland en gemeenten samen te brengen. (Open Regels z.d) of zoals de toepasbare regels nu voor Digitaal Stelsel Omgevingswet worden geregistreerd (Informatiepunt leefomgeving (z.d.). Hoe dit zou

4.5

Met de makers van algoritmen

Gemeenten vertrouwen een groot deel van hun taken toe aan software. Dit betekent dat sommige beslissingen of uitgangspunten al zijn ‘ingebakken’ in systemen. Het is voor gemeenten lastig om te weten welke dit zijn. Het wordt nog lastiger om als bestuurder richting inwoners of gemeenteraad te verantwoorden dat er rekening is gehouden met mensenrechten. Het is niet zinvol als alle gemeenten apart met leveranciers hierover moeten onderhandelen. Het zou een optie kunnen zijn om als gemeenten gezamenlijk op te trekken. Door eenduidig wensen te formuleren, kunnen de makers van de algoritmen hun werkwijze veranderen. Bijvoorbeeld door het wijzigen van inkoopvoorwaarden in GIBIT-verband. Maar ook de aanbieders van software zouden stappen kunnen zetten en inzicht geven in hun interpretatie van wet- en regelgeving en data en hoe zij rekening houden met mensenrechten. Transparantie en uitlegbaarheid is belangrijk voor gemeenten maar uiteindelijk ook voor de makers van algoritmen. Zij zouden kunnen werken aan een keurmerk. Op die manier kunnen gemeenten die het graag goed willen regelen maar niet de capaciteit hebben om dit bij alle toepassingen te controleren, geholpen worden bij de besluitvorming. Een van de eerste stappen die gezet zou kunnen worden is het publiceren van de beslisregels en de databronnen.

Bijvoorbeeld via open regels (Open Regels z.d) of zoals de toepasbare regels nu voor Digitaal Stelsel Omgevingswet worden geregistreerd (Informatiepunt leefomgeving (z.d.). Hoe dit zou 32

kunnen, kan door gemeenten en de markt samen verkend worden en breder bekend gemaakt worden via het bestaande Developer Portaal voor de overheid (Developer Overheid, z.d.). 4.6

Inwoners en bezoekers

kan door gemeenten en devan markt samenvan verkend worden breder Ook bekend Uiteindelijkkunnen, draaien mensenrechten om de belangen de inwoners gemeenten en deen bezoekers. deze gemaakt groep is divers. Er is niet één goede methode om over algoritmen bij gemeenten te spreken. zijn de er aloverheid inspirerende voorbeelden te zien diez.d.). gemaakt zijn vanuit worden via het bestaande Developer PortaalWel voor (Developer Overheid, kennisinstellingen (Young, Yusuf, Voegli, & Truong, z.d.; Innovalor, z.d.). Ook hier zou het CRM een bijdrage aan kunnen leveren, bijvoorbeeld samen met gemeenten en kennisinstellingen.

4.6

4.7

Inwoners en bezoekers

Uiteindelijk draaien mensenrechten om de belangen van de inwoners van gemeenten en de Binnen gemeenten

bezoekers. Ook dezegemeenten groep is divers. Er isverdeling niet ééntussen goede methode om over algoritmen bij Juist bij de inzet van Het is ook aan te raden om binnen de klassieke beleid en uitvoering wat meer te doorbreken. te spreken. zijn of ertechnologie al inspirerende voorbeelden te het zienwas diebedoeld gemaakt technologiegemeenten is het heel belangrijk steedsWel te kijken gebruikt wordt waarvoor en ofzijn hetvanuit nog steeds functioneel is. Voor inwoners is bovendien de uitvoering dan beleid. Door vast houden aanz.d.). deze scheiding makkelijk gebeuren dat kennisinstellingen (Young,belangrijker Yusuf, Voegli, & Truong, z.d.;teInnovalor, Ook hierkan zouhethet CRM een mensenrechten vooral op papier goed geregeld zijn. Een meer netwerkachtige manier van werken zou dit kunnen voorkomen. bijdrage aan kunnen leveren, bijvoorbeeld samen met gemeenten en kennisinstellingen.

Dit geldt ook voor rechtsbescherming. Als de behandeling van bezwaar of klachten en het afhandelen van telefoontjes volledig gescheiden plaatsvindt 4.7 van de collega’s de kennis over data en algoritmen, bestaat het risico dat er verschillende beelden bestaan over wat een Binnenmet gemeenten systeem welHet of niet kan. Ook loopt de gemeente het risico dat de feedback op de uitwerking het systeem aandacht krijgt is ook aan te raden om binnen gemeenten de klassieke verdelingvan tussen beleidniet ende uitvoering wat die het verdient. Bezwaren kunnen immers duiden op een bug in het systeem of uitwerking die niet rechtvaardig is. Om echt rechtsbescherming te meer doorbreken. Juist bij deoverleg inzet plaatsvindt van technologie is verschillende het heel belangrijk steeds te kijken of ook op grotere kunnen bieden zoutehet goed zijn als er frequent tussen de afdelingen. Zo kunnen processen technologie gebruikt wordt waarvoor het was bedoeld en of het nog steeds functioneel is. Voor schaal verbeterd worden. Als in deze fase alsnog langs de formele eisen wordt gedacht en de medewerkers niet na mogen denken over de achterliggende bedoeling, heeft de inwoner feitelijk geen rechtsbescherming. Soms kunnen dit altevia een simpele in de dagelijkse inwoners is bovendien de uitvoering belangrijker dan beleid. Door vast houden aan aanpassing deze scheiding routine.