Bijlage 2 bij nadere toelichting - Onderzoeksrapport algoritmen en mensenrechten gemeenten

een politieke beslissing.

In Nederland is het TADA-manifest ontwikkeld met daarin zes principes: Inclusief, Zeggenschap, Menselijke maat, Legitiem en gecontroleerd, Open en transparant en Van iedereen, voor iedereen (TADA). Bovendien is in opdracht van het ministerie van BZK de Code Goed Digitaal De Dataschool de Universiteit Utrecht deed onderzoek by voor de VNG (VanBinnenkort den Bergverschijnt et al., 2021), Openbaar Bestuur ontwikkeldvan (CODIO) en is er een Handreiking non-discriminatie design opgesteld. een Impact samen met de(Rijksoverheid, gemeente Almere Assessmentontwikkelde Mensenrechten en Algoritmen 2021). de Digitale Raadgever (Renkema & Van den Berg, z.d.)

en met de gemeente Utrecht de DEDA (De ethische data assistent) (Utrecht Data School, z.d.). Het

De Waag heeft prototypes gemaakt voor een Workshop en canvas om samen met belanghebbenden invulling te geven aan algoritmestedennetwerk G40 maakte een inventarisatie van Smart City projecten (Smart Cities in de G40). Er is verantwoordelijkheid (Spierings, 2021). Meer interessante studies en handreikingen staan in de literatuurlijst.

ook geen gebrek aan internationale principes (Engelbert & Van Zoonen, 2020, p. 97).

Over de manier waarop de burger te maken heeft met gemeenten is het programma Mens Centraal het vermelden waard. Dit is een interbestuurlijk programma waarin wordt samengewerkt door diverse bestuursorganen waaronder gemeenten, om dienstverlening aan burgers In Nederland is het TADA-manifest ontwikkeld met daarin zes principes: Inclusief, Zeggenschap, te verbeteren door processen op elkaar af te stemmen bij bepaalde gebeurtenissen uit een mensenleven zoals een verhuizing.

Menselijke maat, Legitiem en gecontroleerd, Open en transparant en Van iedereen, voor iedereen

Over de manier waarop beslisregelsistransparant zijnvan zodat inzicht kan worden hoe een wet wordt geïnterpreteerd (TADA). Bovendien in opdracht het ministerie vangeboden BZK de Code Goed Digitaal Openbaar en hoe de computer wordt geïnstrueerd, is het interessant te kijken naar ontwikkelingen om zogenaamde toepasbare regels of beslisregels openbaar te maken. Zie Bestuur ontwikkeld (CODIO) en is er een Handreiking non-discriminatie by design opgesteld. bijvoorbeeld (Open Regels, z.d.) en (VNG, z.d.-a).

Binnenkort verschijnt een Impact Assessment Mensenrechten en Algoritmen (Rijksoverheid, 2021). De Waag prototypes gemaakt voor een Workshop en canvas om samen met belanghebbenden 2.4 De makers vanheeft de algoritmen invulling te geven aanofalgoritme-verantwoordelijkheid 2021). Meer interessante studies Met behulp van standaardpakketten maatwerkoplossingen worden wetten(Spierings, en regels uitgevoerd. Deze worden gemaakt door leveranciers. De makers vanen de algoritmen zijn heel belangrijk zij voor een deel bepalen hoe de wet in een concreet geval uitpakt. Tegelijk is het handreikingen staan in deomdat literatuurlijst. gemeentebestuur daar juridisch verantwoordelijk voor. Het is immers een groot verschil of een gemeente een auto aanschaft of een softwareapplicatie. Bij een auto is er al veel gereguleerd. De fabrikant en verkoper moeten aan diverse regels voldoen en er wordt toezicht op Over de manier waarop de burger te maken heeft met gemeenten is het programma Mens Centraal gehouden. De gemeente hoeft bijvoorbeeld zelf geen crashtests uit te voeren of te verantwoorden dat er autogordels en airbags in zitten. Voor waard. DitEuropese is een interbestuurlijk wordt samengewerkt door Commissie 2021). algoritmen het is datvermelden (nog) niet het geval.

De Commissie wil daarprogramma in ieder gevalwaarin verandering in gaan brengen (Europese Maar nu is er sprake van een verantwoordingskloof (Raad openbaar bestuur, 2013 en Raad openbaar bestuur, 2021 A.). diverse bestuursorganen waaronder gemeenten, om dienstverlening aan burgers te verbeteren door

processen op elkaar af te stemmen bij bepaalde gebeurtenissen uit een mensenleven zoals een

Ook is het lastig om te spreken van de applicatie of toepassing. Vaak moeten diverse applicaties met elkaar in verbinding worden gebracht om verhuizing. het hele proces te kunnen uitvoeren. Gemeenten proberen op andere manieren invloed uit te oefenen op de algoritmische toepassingen. Er is een

Over de manier waarop beslisregels transparant zijn zodat inzicht kan worden geboden hoe een wet wordt geïnterpreteerd en hoe de computer wordt geïnstrueerd, is het interessant te kijken naar ontwikkelingen om zogenaamde toepasbare regels of beslisregels openbaar te maken. Zie bijvoorbeeld (Open Regels, z.d.) en (VNG, z.d.-a).

2.4

De makers van de algoritmen

Met behulp van standaardpakketten of maatwerkoplossingen worden wetten en regels uitgevoerd. Deze worden gemaakt door leveranciers. De makers van de algoritmen zijn heel belangrijk omdat zij voor een deel bepalen hoe de wet in een concreet geval uitpakt. Tegelijk is het gemeentebestuur daar juridisch verantwoordelijk voor. Het is immers een groot verschil of een gemeente een auto aanschaft of een softwareapplicatie. Bij een auto is er al veel gereguleerd. De fabrikant en verkoper moeten aan diverse regels voldoen en er wordt toezicht op gehouden. De gemeente hoeft bijvoorbeeld zelf geen crashtests uit te voeren of te verantwoorden dat er autogordels en airbags in zitten. Voor algoritmen is dat (nog) niet het geval. De Europese Commissie wil daar in ieder geval verandering in gaan brengen (Europese Commissie 2021). Maar nu is er sprake van een verantwoordingskloof (Raad openbaar bestuur, 2013 en Raad openbaar bestuur, 2021 A.). Ook is het lastig om te spreken van de applicatie of toepassing. Vaak moeten diverse applicaties met elkaar in verbinding worden gebracht om het hele proces te kunnen uitvoeren. Gemeenten proberen op andere manieren invloed uit te oefenen op de algoritmische toepassingen. Er is een 14

referentiearchitectuur die gemeenten kunnen gebruiken om hun informatiehuishouding in te richten, de gemeentelijk modelarchitectuur. De GEMMA is een vertaling van de Nederlandse Overheid Referentie Architectuur (NORA) en specifiek gericht op gemeenten. Deze informatiearchitectuur bestaat uit de Gegevens- en berichtenarchitectuur en de GEMMA Applicatiearchitectuur met applicatiefuncties en referentiecomponenten. Op de GEMMA softwarecatalogus (VNG z.d.-a) staat een lijst met 935 softwarepakketten die aangeboden worden aan gemeente. Dit varieert van software voor de waardering van woningen voor de Wet waardering onroerende zaakbelasting tot een analysemodel referentiearchitectuur die gemeenten kunnen gebruiken om hun informatiehuishouding in te waarmee met behulp van ‘predictive analytics’ de kans op fraude of zorg-schuldproblematiek wordt ingeschat. De leveranciers zijn in de praktijk richten, gemeentelijk modelarchitectuur. De GEMMA is een vertaling van dedie Nederlandse een onmisbare factorde in het lokaal bestuur. Ter illustratie kan verwezen worden naar de noodmaatregelen in de coronacrisis met spoed ingevoerd moesten worden, waarbij Architectuur overleg nodig was tussenen VNG, het Ministerie vanop Sociale Zaken en Werk, Overheid Referentie (NORA) specifiek gericht gemeenten. DezeCentric, Pink Roccade en Wigo4it (Kepinski, 2020).

Of zie de overleggen die gevoerduit worden in verband en metberichtenarchitectuur de persoonsinformatievoorziening (PIVA) in Caribisch Nederland informatiearchitectuur bestaat de Gegevensen de GEMMA (Link-ERS, z.d.).

Applicatiearchitectuur met applicatiefuncties en referentiecomponenten. Op de GEMMA softwarecatalogus (VNG z.d.-a) staat een lijst met 935 softwarepakketten die aangeboden Veel van deze systemen, hun werking, hoe de tekst van de wet is geïnterpreteerd of hoe een fraudemodel werkt, wordenworden niet ontworpen of voorgeschreven door gemeenten maar ontwikkeld vanuit bedrijven en ingekocht door gemeenten. Net zoals de modelverordeningen aan gemeente. Dit varieert van software voor de waardering van woningen voor de Wet waardering van de VNG tot standaardisatie leiden van de regelgeving van alle gemeenteraden in Nederland, zorgt het gebruik van dezelfde softwarepakketten ook onroerende zaakbelasting tot een analysemodel waarmee met behulp van ‘predictive analytics’ de tot standaardisatie en uniformiteit. Dit kan op gespannen voet staan met de hiervoor beschreven lokale autonomie. kans op fraude of zorg-schuldproblematiek wordt ingeschat. De leveranciers zijn in de praktijk een De aanschafonmisbare van applicaties kan het bovendien maken omillustratie inzicht te krijgen in de vraagworden welk stukje vande de toepassing eigen beleid had factor in het lokaal lastig bestuur. Ter kan verwezen naar kunnen zijn en welk stukje voorgeschreven is door de nationale wetten.

Daarnaast dringt de vraag zich op hoe de leverancier de wetten en noodmaatregelen die in de coronacrisis met spoed ingevoerd moesten worden, waarbij overleg verordeningen heeft geïnterpreteerd. De verantwoordelijkheid hiervoor ligt juridisch bij het gemeentebestuur, maar is praktisch gezien wellicht nodig was tussen VNG, het Ministerie van Sociale en Werk, Centric, Pink Roccade en Wigo4it GIBIT. In in handen van softwareleveranciers. In ieder geval lijken gemeenten ditZaken niet te hebben geregeld in hun uniforme inkoopvoorwaarden (Kepinski, 2020). Of zie de overleggen die van gevoerd wordenisinwel verband deze uniforme inkoopvoorwaarden (opgesteld onder leiding VNG-realisatie) bepaald met dat dede leverancier van de software medewerking verleent aan de uitvoering van wettelijk verplichte audits (artikel 21.7). Mocht een toezichthouder een controle doen, dan zal de persoonsinformatievoorziening (PIVA) in Caribisch Nederland (Link-ERS, z.d.). leverancier in dat kader inzage verlenen in alle relevante gegevens en achtergrondinformatie die relevant kan zijn. Ook zal de leverancier toegang verlenen tot de locatie waar de diensten worden verleend (artikel 21.4).

Het lijkt er op dat als een gemeente een standaardpakket Veel van(niet dezezijnde systemen, hun werking, hoe de tekst van de wet of bij hoe koopt, de algoritmen de broncode) niet ter beschikking worden gesteld aanisdegeïnterpreteerd opdrachtgever maar heteen bedrijf berusten als intellectueelfraudemodel eigendom (artikel 17.4).worden niet ontworpen of voorgeschreven door gemeenten maar ontwikkeld werkt,

vanuit bedrijven en ingekocht door gemeenten. Net zoals de modelverordeningen van de VNG tot

Tot slot is nog belangrijk dat de vier grote steden Amsterdam, Rotterdam, Den Haag en Utrecht Wigo4it hebben opgericht. Wigo4IT levert standaardisatie leiden van de regelgeving van alle gemeenteraden invoor Nederland, het gebruik software voor de uitvoering van de Participatiewet van deze gemeenten. En is daarmee goed een derdezorgt van alle bijstandsgerechtigden (WiGo4IT, z.d.). dit systeem, Socrates, zijn veel algoritmen in gebruik. Als een en gemiddelde software de softwarecode vanBijdezelfde softwarepakketten ook tot standaardisatie uniformiteit. Ditontwikkelaar kan op gespannen voet van voren af aan opnieuw zou moeten schrijven, zou zij/hij daar 118 jaar, 24 uur per dag, 7 dagen per week mee bezig zijn (WiGo4IT, z.d.). Dit toont aan staan met de hiervoor beschreven lokale autonomie. hoeveel kennis er in dergelijke systemen is verwerkt.

De aanschaf van applicaties kan het bovendien lastig maken om inzicht te krijgen in de vraag welk stukje van de toepassing eigen beleid had kunnen zijn en welk stukje voorgeschreven is door de nationale wetten. Daarnaast dringt de vraag zich op hoe de leverancier de wetten en verordeningen heeft geïnterpreteerd. De verantwoordelijkheid hiervoor ligt juridisch bij het gemeentebestuur, maar is praktisch gezien wellicht in handen van softwareleveranciers. In ieder geval lijken gemeenten dit niet te hebben geregeld in hun uniforme inkoopvoorwaarden GIBIT. In deze uniforme inkoopvoorwaarden (opgesteld onder leiding van VNG-realisatie) is wel bepaald dat de leverancier van de software medewerking verleent aan de uitvoering van wettelijk verplichte audits (artikel 21.7). Mocht een toezichthouder een controle doen, dan zal de leverancier in dat kader inzage verlenen in alle relevante gegevens en achtergrondinformatie die relevant kan zijn. Ook zal de leverancier toegang verlenen tot de locatie waar de diensten worden verleend (artikel 21.4). Het lijkt er op dat als een gemeente een standaardpakket koopt, de algoritmen (niet zijnde de broncode) niet ter beschikking worden gesteld aan de opdrachtgever maar bij het bedrijf berusten als intellectueel eigendom (artikel 17.4).

Tot slot is nog belangrijk dat de vier grote steden Amsterdam, Rotterdam, Den Haag en Utrecht Wigo4it hebben opgericht. Wigo4IT levert software voor de uitvoering van de Participatiewet van deze gemeenten. En is daarmee goed voor een derde van alle bijstandsgerechtigden (WiGo4IT, z.d.). Bij dit systeem, Socrates, zijn veel algoritmen in gebruik. Als een gemiddelde software ontwikkelaar de softwarecode van voren af aan opnieuw zou moeten schrijven, zou zij/hij daar 118 jaar, 24 uur per dag, 7 dagen per week mee bezig zijn (WiGo4IT, z.d.). Dit toont aan hoeveel kennis er in dergelijke systemen is verwerkt.

15

2.5

Speciale aandacht voor de makers van algoritmen voor Caribisch Nederland en Smart Cities

Niet alle landen en bedrijven die technologie maken, streven de bescherming van mensenrechten na. Het gebruiken van technologie afkomstig uit dergelijke gebieden door overheidsorganisaties kan problematisch zijn. Hoewel voor alle technologie geldt dat het risicovol kan zijn voor overheden om gebruik te maken van software die niet met Europese waarden zijn ontwikkeld, lijkt Caribisch Nederland kwetsbaarder te zijn. Zo wordt er gewaarschuwd voor een afhankelijkheid leveranciers die een bedreiging kan vormen voor de vrijheiden en veiligheid van 2.5 Speciale aandacht voorvan deChinese makers van algoritmen voor Caribisch Nederland burgers in het Caribisch gebied (Veiligheid en rechtsorde in het Caribisch gebied, 2020). Een dergelijke waarschuwing is ook door het Smart Cities Clingendael Instituut gegeven aan gemeenten als het gaat om de Smart City ontwikkelingen (Van der Lugt, 2019).

Niet alle landen en bedrijven die technologie maken, streven de bescherming van mensenrechten na. Het gebruiken van technologie afkomstig uit dergelijke gebieden door overheidsorganisaties kan 2.6 Instituten problematisch zijn. Hoewel voor alle technologie geldt dat het risicovol kan zijn voor overheden om De manier waarop een gemeente taken uitvoert wordt door verschillende instituten gecontroleerd, dit kan intern zijn, zoals een Functionaris gebruik te de maken van en software die niet met Europese waarden zijn ontwikkeld, lijkt Caribisch Gegevensbescherming, controller de gemeenteraad. Nederland kwetsbaarder te zijn. Zo wordt er gewaarschuwd voor een afhankelijkheid van Chinese Er kan een lokale ombudsman en kan een apart meldpunt Soms is er een commissie persoonsgegevens actief (in leveranciers die zijn eenaangesteld bedreiging vormen voor discriminatie. de vrijheid en veiligheid van burgers in het Caribisch Amsterdam). Het is ook denkbaar dat de gemeentelijke Rekenkamer het gebruik van algoritmen beoordeelt (zie Rekenkamer Rotterdam, 2021). gebied (Veiligheid en rechtsorde in het Caribisch gebied, 2020).

Een dergelijke waarschuwing is ook Uiteraard geldt voor gemeenten dat de Autoriteit Persoonsgegevens toezicht houdt op naleving van de AVG en de Commissie bescherming door het Instituut gegeven gemeenten alspersoonsgegevens het gaat om de Smart ontwikkelingen persoonsgegevens op Clingendael Caribisch Nederland op de naleving aan van Wet bescherming BES. TotCity slot vervullen de Nationale ombudsman en het College voor de Rechten van de Mens een rol als het gaat om gemeenten en openbare lichamen in het licht van het (Van der Lugt, 2019). gebruiken van algoritmen en de mensenrechtelijke afwegingen.

2.6

Instituten

De manier waarop een gemeente taken uitvoert wordt door verschillende instituten gecontroleerd, dit kan intern zijn, zoals een Functionaris Gegevensbescherming, de controller en de gemeenteraad. Er kan een lokale ombudsman zijn aangesteld en een apart meldpunt discriminatie. Soms is er een commissie persoonsgegevens actief (in Amsterdam). Het is ook denkbaar dat de gemeentelijke Rekenkamer het gebruik van algoritmen beoordeelt (zie Rekenkamer Rotterdam, 2021). Uiteraard geldt voor gemeenten dat de Autoriteit Persoonsgegevens toezicht houdt op naleving van de AVG en de Commissie bescherming persoonsgegevens op Caribisch Nederland op de naleving van Wet bescherming persoonsgegevens BES. Tot slot vervullen de Nationale ombudsman en het College voor de Rechten van de Mens een rol als het gaat om gemeenten en openbare lichamen in het licht van het gebruiken van algoritmen en de mensenrechtelijke afwegingen.

16

Illustratie: hoe is het gesteld met toegankelijkheid websites van de onderzochte gemeenten? Omdat dit onderzoek gaat over mensenrechten en digitalisering is het goed om de resultaten uit de interviews te vergelijken met een heel zichtbaar resultaat op een deelgebied: het toegankelijk maken van de website.

Illustratie: hoe is het gesteld met toegankelijkheid websites van de onderzochte gemeenten?

Het Verdrag inzake de rechten van personen met een handicap (VN-verdrag handicap) verplicht staten ertoe ervoor te zorgen dat websites en applicaties toegankelijk worden gemaakt voor mensen met een beperking. Het College voor de Rechten van de mens rapporteert over de naleving aanOmdat internationale organen. Om hetover onderwerp gemeenten en behandeling te concretiseren is per geïnterviewde dit onderzoek gaat mensenrechten engelijke digitalisering is het goed om de resultaten uit gemeente ook de stand van zaken rond de toegankelijkheid bekeken via de website van Logius, onderzoeksdatum 3 mei 2021. (Logius, z.d.) Hieruit kan de interviews te vergelijken met een heel zichtbaar resultaat op een deelgebied: het toegankelijk worden opgemaakt dat er in ieder geval op dit terrein nog werk is te verrichten voor de meeste onderzochte gemeenten.

maken van de website.

Almere B – voldoet gedeeltelijk Amsterdam Het Verdrag inzake de rechten vanApersonen – voldoet volledig met een handicap (VN-verdrag handicap) verplicht Apeldoorn B – voldoet gedeeltelijk staten ertoe ervoor te zorgen dat websites applicaties toegankelijk worden gemaakt voor Assen B – voldoeten gedeeltelijk voor de Rechten van de mens rapporteert over de Den Haag mensen met een beperking. Het College C – eerste maatregelen genomen Eindhoven naleving aan internationale organen. A – voldoet Om hetvolledig onderwerp gemeenten en gelijke behandeling te Enschede B – voldoet gedeeltelijk concretiseren is per geïnterviewde gemeente ook de stand van zaken rond de toegankelijkheid Gemeenschappelijke regelingen De Bevelanden D – voldoet niet Groningen bekeken via de website van Logius, B –onderzoeksdatum voldoet gedeeltelijk 3 mei 2021. (Logius, z.d.) Hieruit kan worden Leudal – voldoet gedeeltelijk opgemaakt dat er in ieder geval opB dit terrein nog werk is te verrichten voor de meeste Súdwest Fryslân B – voldoet gedeeltelijk onderzochte gemeenten. Utrecht D – voldoet niet

Almere B – voldoet gedeeltelijk Amsterdam A – voldoet volledig 2.7 Conclusie B –gaat voldoet gedeeltelijk Gemeenten enApeldoorn Openbaar Lichamen vervullen een heel belangrijke rol als het om het borgen van mensenrechten. De omvang en diversiteit van hun taken Assen en de invloed die zij daarmee hebben op het dagelijks levenBvan inwoners, maken dat juist gemeenten een grote rol hebben bij – voldoet gedeeltelijk het borgen van mensenrechten. Van gemeenten zijn de steden internationaal gezien de wegbereiders voor het borgen van digitale Den Haag C – eerste maatregelen genomen burgerrechten als mensenrechten. Zeker als het gaat om terreinen waar de (inter-)nationale wetgever nog geen expliciet kader heeft Eindhoven A – voldoet volledig neergelegd, treden steden in dit vacuüm. Enschede B – voldoet gedeeltelijk Er is al veel informatie beschikbaar over hoe het gemeentebestuur ook invloed zou kunnen uitoefenen op het gebruik van technologie. Waar dit Gemeenschappelijke regelingen De D – voldoet niet voorheen vooral als bedrijfsvoering werd gezien, is steeds duidelijker dat digitalisering ook een politieke afweging kan zijn. Bevelanden Het ideaaltypeGroningen is die van lokale autonomie die democratisch is gelegitimeerd waarbinnen mensenrechten worden nageleefd. Maar er zijn B –en voldoet gedeeltelijk drie factoren die maken dat dit type geen dagelijkse realiteit is.

Leudal B – voldoet gedeeltelijk Súdwest Fryslân B – voldoet gedeeltelijk Utrecht D – voldoet niet

2.7

Conclusie

Gemeenten en Openbaar Lichamen vervullen een heel belangrijke rol als het gaat om het borgen van mensenrechten. De omvang en diversiteit van hun taken en de invloed die zij daarmee hebben op het dagelijks leven van inwoners, maken dat juist gemeenten een grote rol hebben bij het borgen van mensenrechten. Van gemeenten zijn de steden internationaal gezien de wegbereiders voor het borgen van digitale burgerrechten als mensenrechten. Zeker als het gaat om terreinen waar de (inter-)nationale wetgever nog geen expliciet kader heeft neergelegd, treden steden in dit vacuüm. Er is al veel informatie beschikbaar over hoe het gemeentebestuur ook invloed zou kunnen uitoefenen op het gebruik van technologie. Waar dit voorheen vooral als bedrijfsvoering werd gezien, is steeds duidelijker dat digitalisering ook een politieke afweging kan zijn. Het ideaaltype is die van lokale autonomie die democratisch is gelegitimeerd en waarbinnen mensenrechten worden nageleefd. Maar er zijn drie factoren die maken dat dit type geen dagelijkse realiteit is.

17

Veel gemeenten gebruiken systemen voor vergelijkbare taken. De systemen worden niet ontworpen door gemeenten, maar door bedrijven en vervolgens aangeboden. Dit leidt tot een standaardisatie. Dit betekent ook dat alle nationale regels worden geïnterpreteerd door bedrijven en aldus doorwerken in de praktijk van alle gemeenten die deze software gebruiken. Het is daarmee lastig vast te stellen hoeveel lokaal beleid toe te voegen is aan deze software en hoe de mensenrechten geborgd zijn. Dit is een risico voor gemeenten omdat als er gebruik wordt gemaakt van deze software waardoor bepaalde mensenrechten zijn geschonden, het gemeentebestuur verantwoordelijk is.

Veel gemeenten gebruiken systemen voor vergelijkbare taken. De systemen worden niet ontworpen door door bedrijven en vervolgens aangeboden. Dit leidt tot een standaardisatie. Een tweede factorgemeenten, die speelt is demaar globalisering van technologische toepassingen. Er zijn toepassingen, bijvoorbeeld op het gebied van de Smart CitiesDit als ‘slimme camera’s’ die zeer lijken vanwege prijs/kwaliteit verhouding. Maar er zijn betekent ook dat alle aantrekkelijk nationale regels wordende geïnterpreteerd door bedrijven enapparaten aldus en bijbehorende systemen op de markt die niet met de Europese waarden in het achterhoofd ontworpen. Het is danHet vaakisook niet mogelijk doorwerken in de praktijk van alle gemeenten die dezezijn software gebruiken. daarmee lastigom dit als gemeente bijgestuurd te krijgen. vast te stellen hoeveel lokaal beleid toe te voegen is aan deze software en hoe de mensenrechten geborgd Dit is een risico voor gemeenten omdat als er dat gebruik De derde factor is een zijn. bestuurlijke factor. Er zijn zoveel samenwerkingsverbanden niet wordt gemaakt van deze software waardoor bepaalde mensenrechten zijn geschonden, het gemeentebestuur verantwoordelijk is. altijd helder is welk orgaan verantwoordelijk is. Deze ‘bestuurlijke spaghetti’ maakt heldere besluiten over de inzet van technologie en het afleggen van verantwoording daarover, extra moeilijk.

Dit kan nadelige gevolgen hebben voor de naleving van de mensenrechten.

Een tweede factor die speelt is de globalisering van technologische toepassingen. Er zijn Geconstateerd kan worden dat de praktijk van en uitvoering opSmart het gebied vanals informatie digitalisering toepassingen, bijvoorbeeld opbeleid het gebied van de Cities ‘slimmeencamera’s’ diegeen zeergelijke tred heeft met de politiek-bestuurlijke verantwoordelijkheid. Deze conclusie is overigens niet nieuw (WRR, 2011). aantrekkelijk lijken vanwege de prijs/kwaliteit verhouding. Maar er zijn apparaten en bijbehorende systemen op de markt die niet met de Europese waarden in het achterhoofd zijn ontworpen. Het is dan vaak ook niet mogelijk om dit als gemeente bijgestuurd te krijgen. De derde factor is een bestuurlijke factor. Er zijn zoveel samenwerkingsverbanden dat niet altijd helder is welk orgaan verantwoordelijk is. Deze ‘bestuurlijke spaghetti’ maakt heldere besluiten over de inzet van technologie en het afleggen van verantwoording daarover, extra moeilijk. Dit kan nadelige gevolgen hebben voor de naleving van de mensenrechten. Geconstateerd kan worden dat de praktijk van beleid en uitvoering op het gebied van informatie en digitalisering geen gelijke tred heeft met de politiek-bestuurlijke verantwoordelijkheid. Deze conclusie is overigens niet nieuw (WRR, 2011).

18

3

Resultaten

Voor dit onderzoek hebben we gesproken met ruim 25 mensen werkzaam bij een van de geselecteerde gemeenten. De meeste geïnterviewden vervullen een functie op het gebied van informatiemanagement en informatievoorziening. Er zijn ook gemeenten die mensen met een taak op het gebied van bescherming van persoonsgegevens afvaardigden. Bijvoorbeeld de Functionaris voor Gegevensbescherming (FG) of een Privacy Information Officer. Soms spraken we met mensen die vanuit hun functie werken aan data-gedreven opgaven, variërend van programma manager Data, een Chief Data Officer tot medewerkers van een datalab. Het kwam ook voor dat we spraken met mensen die konden vertellen over een concrete toepassing van algoritmen in een specifiek domein zoals25 handhaving en toezicht ofbij in een het sociaal domein. Tot slot kwam het Voor dit onderzoek hebben we gesproken met ruim mensen werkzaam van de ook voor dat we spraken met medewerkers die vanuit ethiek een bijdrage leveren aan het beslissen over het gebruik van algoritmen.

3 Resultaten

geselecteerde gemeenten. De meeste geïnterviewden vervullen een functie op het gebied van informatiemanagement en informatievoorziening. Er zijn ook gemeenten die mensen met een taak 3.1 Op welke terreinen worden algoritmen gebruikt? op het gebied van bescherming van persoonsgegevens afvaardigden. Bijvoorbeeld de Functionaris De domeinen waar gemeenten vaker dan een keer aangeven dat er gebruik wordt gemaakt van algoritmen zijn Veiligheid/openbare orde, vooren Gegevensbescherming (FG) of een Privacy Information Officer. Somsgebruik spraken wegemaakt met mensen Verkeer, Vervoer Waterstaat, Sociaal Domein en Ruimtelijke ordening. Terreinen waarop minder wordt van algoritmische toepassingen zijn Bestuur en ondersteuning, Economie, Onderwijs en Sport, cultuur en recreatie. Hieronder bespreken we welke toepassingen die vanuit hun functie werken aan data-gedreven opgaven, variërend van programma manager Data, er zoal werden genoemd voor de domeinen waarvoor gemeenten meer dan een keer aangeven dat zij er gebruik van maken. een Chief Data Officer tot medewerkers van een datalab. Het kwam ook voor dat we spraken met mensen die konden vertellen over een concrete toepassing van algoritmen in een specifiek domein 3.1.1 Veiligheid/openbare orde zoals handhaving en toezicht of in het sociaal domein.

Tot slot kwam het ook voor dat we spraken Meerdere gemeenten geven aan te werken met al dan niet tijdelijk, cameratoezicht en toepassingen op het gebied van crowdmanagement. met die vanuit een bijdrage leveren aan beslissen over gebruik van Ook geven zij aanmedewerkers tellingen te verrichten van deethiek hoeveelheid voetgangers/fietsers etchet in sommige delen vanhet de binnenstad. In Groningen (druktekaart) en Amsterdam (druktebeeld) wordt deze informatie gedeeld met de inwoners (Gemeente Groningen, z.d.; Gemeente Amsterdam, algoritmen. z.d.-d). Ook zetten gemeenten bodycams in voor hun BOA’s of zijn ze bezig met een proef daarvoor. 3.1.2

3.1 Verkeer

Op welke terreinen worden algoritmen gebruikt?

De domeinen waar gemeenten vaker dan een keer aangeven dat er gebruik wordt gemaakt van Op het gebied van verkeer is het interessant te zien op welke wijze gemeenten scanauto’s inzetten. Auto’s met daarbovenop een 360 graden algoritmen zijn Veiligheid/openbare orde, Verkeer, Vervoer Waterstaat, Sociaal Domein en van camera rijden dan (soms datagedreven) door de gemeente. Terwijl Eindhoven net isen begonnen met een proef om het betalen parkeerbelasting te kunnen controleren, checken de scanauto’s die ingebruik Amsterdam rondrijden ook direct of de auto’s die in beeld komen gestolen Ruimtelijke ordening. Terreinen waarop minder wordt gemaakt van algoritmische of onverzekerd zijn (Kruyswijk, 2016, 28 december). Het controleren op het betalen van parkeerbelasting is overigens juridisch een andere taak toepassingen zijn Bestuur en ondersteuning, Economie, Onderwijs en Sport, cultuur en recreatie. dan het controleren op auto’s die verkeerd geparkeerd staan. Als de scanauto’s daar ook voor worden ingezet kan het gebeuren dat niet altijd Hieronder bespreken we welke toepassingen er zoal werden genoemd voor de domeinen waarvoor bekend is dat de persoon die met zijn auto geparkeerd staat op een gehandicaptenparkeerplaats dit rechtmatig doet omdat zij/hij een gemeenten meer dan keer Utrecht aangeven zij ereen gebruik van maken. gehandicaptenparkeerkaart heeft.

De een gemeente heeftdat daarom app gemaakt zodat mensen hun parkeerbeweging in de app kunnen invoeren en zij zo geen boetes ontvangen. Gemeente Den Haag gebruikt de scanauto’s ook om afval te detecteren dat niet rechtmatig aan de straat is gezet, zoals kapotte wasmachines. Deze informatie kan dan gebruikt worden om de afdeling afval een seintje te geven.

3.1.1 Veiligheid/openbare orde

Meerdere gemeenten geven aan te werken met al dan niet tijdelijk, cameratoezicht en toepassingen op het gebied van crowdmanagement. Ook geven zij aan tellingen te verrichten van de hoeveelheid voetgangers/fietsers etc in sommige delen van de binnenstad. In Groningen (druktekaart) en Amsterdam (druktebeeld) wordt deze informatie gedeeld met de inwoners (Gemeente Groningen, z.d.; Gemeente Amsterdam, z.d.-d). Ook zetten gemeenten bodycams in voor hun BOA’s of zijn ze bezig met een proef daarvoor.

3.1.2 Verkeer

Op het gebied van verkeer is het interessant te zien op welke wijze gemeenten scanauto’s inzetten. Auto’s met daarbovenop een 360 graden camera rijden dan (soms datagedreven) door de gemeente. Terwijl Eindhoven net is begonnen met een proef om het betalen van parkeerbelasting te kunnen controleren, checken de scanauto’s die in Amsterdam rondrijden ook direct of de auto’s die in beeld komen gestolen of onverzekerd zijn (Kruyswijk, 2016, 28 december). Het controleren op het betalen van parkeerbelasting is overigens juridisch een andere taak dan het controleren op auto’s die verkeerd geparkeerd staan. Als de scanauto’s daar ook voor worden ingezet kan het gebeuren dat niet altijd bekend is dat de persoon die met zijn auto geparkeerd staat op een gehandicaptenparkeerplaats dit rechtmatig doet omdat zij/hij een gehandicaptenparkeerkaart heeft. De gemeente Utrecht heeft daarom een app gemaakt zodat mensen hun parkeerbeweging in de app kunnen invoeren en zij zo geen boetes ontvangen. Gemeente Den Haag gebruikt de scanauto’s ook om afval te detecteren dat niet rechtmatig aan de straat is gezet, zoals kapotte wasmachines. Deze informatie kan dan gebruikt worden om de afdeling afval een seintje te geven. 19

Daar waar de meeste gemeenten werken met presenteren van data van het aantal geparkeerde auto’s zodat de bezoekers hun route daarop kunnen aanpassen, krijgen in Utrecht ook fietsers deze service maar dan voor de fietsparkeergarages. Ook verkeersregelinstallaties worden steeds meer aangestuurd door algoritmen en data. In Apeldoorn zijn de verkeerslichtinstallaties zo afgesteld dat als de KNMI data aangeven dat het regent, fietsers sneller groen krijgen. In Almere kunnen fietsers een app installeren (Schwung) zodat zij, als zij in de buurt zijn met hun telefoon, sneller groen krijgen. Ook werken gemeenten met ANPR camera’s voor het houden van toezicht op naleving van de milieuzones en regels voor bromfietsers. Den Haag werkt met een verkeersveiligheidsmodel waarbij samen met inwoners aan de hand van data wordt gekeken Daar gemeenten met data vandan hetprioriteiten aantal geparkeerde welke plaatsen in waar de stadde demeeste hoogste kans geven opwerken ongevallen. Oppresenteren die manier kanvan de gemeente aanbrengen in het beleid. 3.1.3

auto’s zodat de bezoekers hun route daarop kunnen aanpassen, krijgen in Utrecht ook fietsers deze

Vervoer en waterstaat service maar dan voor de fietsparkeergarages. Ook verkeersregelinstallaties worden steeds meer

Het drooghouden van het land gemalen, aanpak van In regenwateroverlast, van riolering, zijn taken zo elementair aangestuurd doormet algoritmen en data. Apeldoorn zijn afwatering de verkeerslichtinstallaties zodie afgesteld dat zijn dat ze vaak vergeten worden. Maar ook op deze gebieden vindt steeds meer automatisering plaats en worden datagedreven aanpassingen als de KNMI data aangeven dat het regent, fietsers sneller groen krijgen. In Almere kunnen fietsers aangebracht in aanvulling op handmatige bediening. De bediening van sluizen wordt soms handmatig verricht en soms op afstand door een installeren (Schwung) zodat zij, kan als beslissen zij in de tot buurt zijn metvan hun sneller groen krijgen. sluiswachtereen die app via een camera of waarschuwingssysteem het ophalen de telefoon, brug. Ook rond het vaarverkeer maken gemeentenOok gebruik van software en camera’s, bijvoorbeeld voor het heffen liggeldvan in de haven ofop hetnaleving monitorenvan vande vaardrukte door werken gemeenten met ANPR camera’s voor het van houden toezicht middel van milieuzones een ‘digitale gracht’ . en regels voor bromfietsers. Den Haag werkt met een verkeersveiligheidsmodel waarbij 3.1.4

samen met inwoners aan de hand van data wordt gekeken welke plaatsen in de stad de hoogste kans Sociaal domein geven op ongevallen. Op die manier kan de gemeente dan prioriteiten aanbrengen in het beleid.

Alle gemeenten geven aan bij de uitvoering van wet- en regelgeving in het sociaal domein gebruik te maken van algoritmen. In sommige gemeenten is het ‘alleen klassieke IT’. In enkele gemeenten worden daarnaast de data uit het sociaal domein gebruikt om inschattingen te maken van 3.1.3 toekomstige aanvragen inwoners. Het komt ook voor dat in het sociaal domein signaleringstools worden ingezet; ter Vervoer envan waterstaat ondersteuning van de bestrijding van fraude . Het kan dan gaan om regelgebaseerde (vaste) algoritmen (soms in de IT-applicatie ingebouwd) Het drooghouden van het land met gemalen, aanpak van regenwateroverlast, afwatering van die ingezet worden om de gemeenteambtenaar extra te laten kijken naar een aanvraag of uitkeringsrelatie. Ook komt het voor dat het riolering, zijn taken die zo elementair datalgoritmen ze vaak vergeten worden.aan Maar ook op deze datagedreven toepassingen zijn waarbij met behulp van zijn lerende wordt geadviseerd de ambtenaar welkegebieden aanvraag of uitkeringsrelatie onderzocht moet worden. plaats en worden datagedreven aanpassingen aangebracht in vindtbeter steeds meer automatisering

aanvulling op handmatige bediening. De bediening van sluizen wordt soms handmatig verricht en

Interessant is de bevinding van een gemeente die aan de hand van een pilot tot de conclusie kwam dat het gebruikte model geen meerwaarde somsvan op de afstand door een sluiswachter die via eenIncamera of waarschuwingssysteem had ten opzichte kennis en ervaring van de eigen medewerkers. een andere gemeente leerde de ervaringkan dat beslissen na een diepgravend tot het ophalen van de brug. Ook rond het vaarverkeer maken gemeenten gebruik van software en onderzoek naar het model gebaseerd op zo’n 30 criteria, er zo’n 5 tot 10 criteria werden voorgesteld die weliswaar in overeenstemming waren met het gegevensbeschermingsrecht uit te leggen aan in dede inwoners’ werd besloten deze te gebruiken. Er zijn camera’s, bijvoorbeeldmaar voor‘niet hetwaren heffen van liggeld haven. Aldus of het monitoren van niet vaardrukte door gemeenten die werken met lerende algoritmen maar expliciet kiezen om daarbij de postcode niet mee te nemen.

middel van een ‘digitale gracht’.

3.1.5

Volkshuisvesting, stedelijke vernieuwing en Ruimtelijke ordening

3.1.4 Sociaal domein Vrijwel alle gemeenten geven aan een digitale versie van hun gemeente te hebben gemaakt of er aan te werken; de digital twin. Met de digital twin kunnen beleidsvoornemens getestaan worden. is men bezig het en Digitaal Stelsel Omgevingswet (DSO). In Eindhoven Alle gemeenten geven bij deOok uitvoering vanmet wetregelgeving in het sociaal domein gebruikis de te Buurtkijker ontwikkeld,maken een van algoritmen. In sommige gemeenten is het ‘alleen klassieke IT’. In enkele gemeenten worden daarnaast de data uit het sociaal domein gebruikt om inschattingen te maken van toekomstige aanvragen van inwoners. Het komt ook voor dat in het sociaal domein signaleringstools worden ingezet; ter ondersteuning van de bestrijding van fraude . Het kan dan gaan om regelgebaseerde (vaste) algoritmen (soms in de IT-applicatie ingebouwd) die ingezet worden om de gemeenteambtenaar extra te laten kijken naar een aanvraag of uitkeringsrelatie. Ook komt het voor dat het datagedreven toepassingen zijn waarbij met behulp van lerende algoritmen wordt geadviseerd aan de ambtenaar welke aanvraag of uitkeringsrelatie beter onderzocht moet worden. Interessant is de bevinding van een gemeente die aan de hand van een pilot tot de conclusie kwam dat het gebruikte model geen meerwaarde had ten opzichte van de kennis en ervaring van de eigen medewerkers.

In een andere gemeente leerde de ervaring dat na een diepgravend onderzoek naar het model gebaseerd op zo’n 30 criteria, er zo’n 5 tot 10 criteria werden voorgesteld die weliswaar in overeenstemming waren met het gegevensbeschermingsrecht maar ‘niet waren uit te leggen aan de inwoners’. Aldus werd besloten deze niet te gebruiken. Er zijn gemeenten die werken met lerende algoritmen maar expliciet kiezen om daarbij de postcode niet mee te nemen.

3.1.5 Volkshuisvesting, stedelijke vernieuwing en Ruimtelijke ordening

Vrijwel alle gemeenten geven aan een digitale versie van hun gemeente te hebben gemaakt of er aan te werken; de digital twin. Met de digital twin kunnen beleidsvoornemens getest worden. Ook is men bezig met het Digitaal Stelsel Omgevingswet (DSO). In Eindhoven is de Buurtkijker ontwikkeld, een

20

openbaar instrument om te kijken hoe het ervoor staat met de buurten in Eindhoven en deze met elkaar te vergelijken op sociale veerkracht in de buurt of leefbaarheid in de buurt. 3.1.6

Wat werd er niet genoemd

Het is ook interessant er niet werdom genoemd doorhoe geïnterviewden. noemt gemeente uit zichzelf uitvoering openbaarwat instrument te kijken het ervoor Zo staat metgeen de enkele buurten in Eindhoven endedeze met van de Wet waarderingelkaar onroerende zaakbelasting de waardering geautomatiseerd wordt bepaald (de modelmatige te vergelijken opterwijl sociale veerkrachtvan inwoningen de buurtdoorgaans of leefbaarheid in de buurt. waardebepaling), zie Waarderingskamer (z.d.). Ook is zeer waarschijnlijk zekerer in grote 3.1.6 Watdat, werd niet gemeenten, genoemdde uitvoering rond de kwijtschelding van gemeentelijke belastingen geheel of gedeeltelijkHet geautomatiseerd is. Dit werd niet andere bulkprocessen zoals het verzenden van stempassen of het opleggen van is ook interessant wat er genoemd. niet werdOok genoemd door geïnterviewden. Zo noemt geen enkele hondenbelasting worden (op een gemeente na) niet genoemd. De berekening van een uitkering op basis van de Participatiewet wordt ook niet gemeente uit zichzelf de uitvoering van de Wet waardering onroerende zaakbelasting terwijl de genoemd. Doorgaans zal deze geautomatiseerd plaatsvinden en wordt van de medewerker verwacht sommige gegevens te controleren of waardering woningen doorgaans geautomatiseerd wordt bepaald (deonderzoeksperiode modelmatige uit ander onderzoek contact te leggen met de van aanvrager.

Ook online monitoring wordt niet genoemd terwijl tijdens de bleek dat 95% van de onderzochte gemeenten openbare bronnen monitoren. Omdat hiervoor vaak analyse-tools gebruikt zullen worden die waardebepaling), zie Waarderingskamer (z.d.). werken op basis van algoritmen is dit ook een opvallende constatering (Bantema, Westers, Hoekstra, Herregodts & Munneke, 2021, p. 110). 3.2

is zeer waarschijnlijk dat, zeker in grote gemeenten, de uitvoering rond de kwijtschelding van HoeOok beslissen gemeenten over de inzet van algoritmen? gemeentelijke belastingen geheel of gedeeltelijk geautomatiseerd is. Dit werd niet genoemd. Ook

Aan de gemeenten is vervolgens gevraagd hoe zij de besluitvorming rond de inzet van algoritmen hebben ingebed in hun organisatie. Ook is andere bulkprocessen het verzenden van stempassen het opleggen vanmet hondenbelasting hierbij gevraagd of en in welke situatiezoals de gemeenteraad geïnformeerd of gevraagdofwordt in te stemmen een voorstel.

worden (op een gemeente na) niet genoemd. De berekening van een uitkering op basis van de

Er zijn een paar gemeenten die een beleidskader hebben opgesteld over het werken met data of datagedreven werken met daarin verschillende Participatiewet wordt ook niet genoemd. Doorgaans zal deze geautomatiseerd plaatsvinden en kaders. In Den Haag is een Datastrategie 2020-2022 opgesteld (Gemeente Den Haag, 2020). Hierin staat dat het gemeentebestuur wil inzetten devan medewerker verwacht sommige gegevens te stad controleren of contactte te leggen met de‘Als overheid op het slim wordt gebruikvan maken data om meer publieke waarde te creëren voor de en beleid effectiever kunnen uitvoeren. Ook onlineenmonitoring wordt genoemddeterwijl onderzoeksperiode uit op een ethisch die actief deaanvrager. samenwerking opzoekt stimuleert voeren weniet als gemeente dialoogtijdens over hoede artificiële intelligentie en data verantwoorde wijze kunnen worden toegepast zonder dat daarbij de menselijke waarden in het geding raken. ’ De strategie bestaat uit meerdere ander onderzoek bleek dat 95% van de onderzochte gemeenten openbare bronnen monitoren. onderdelen, zoals een bestuurlijke visie en een ambtelijk werkboek.

Omdat hiervoor vaak analyse-tools gebruikt zullen worden die werken op basis van algoritmen is dit opvallende constatering (Bantema, Westers, Hoekstra, Herregodts & Munneke, 2021, p. toepassing niet Amsterdamook heefteen in 2018 een stedelijk kader verwerking van persoonsgegevens vastgesteld. Uitgangspunt is dat als een nieuwe lijkt te passen binnen dit kader, de besluitvorming hierover moet worden overgelaten aan het college en/of burgemeester (Gemeente 110). Amsterdam, 2018, 25 september). Er is ook een Agenda Amsterdamse Intelligentie als het gaat om AI (Gemeente Amsterdam, z.d.-c) .

3.2 deHoe beslissen de inzet Visie vanDigitale algoritmen? In Utrecht beslist gemeenteraad opgemeenten 1 juli 2021 over over het raadsvoorstel Stad 2020-2024 (Gemeente Utrecht, 2021). Dit is een meerjarig kader digitaliseringsinitiatieven waarbij grondrechten inclusie als twee zes sporen worden benoemd. Er zijn Aan voor de gemeenten is vervolgens gevraagd hoe zijendedigitale besluitvorming rondvan dedeinzet van algoritmen ook ‘Utrechtse hebben ingebed in hun organisatie. Ook is hierbij gevraagd of en in welke situatie de gemeenteraad geïnformeerd of gevraagd wordt in te stemmen met een voorstel. Er zijn een paar gemeenten die een beleidskader hebben opgesteld over het werken met data of datagedreven werken met daarin verschillende kaders. In Den Haag is een Datastrategie 2020-2022 opgesteld (Gemeente Den Haag, 2020). Hierin staat dat het gemeentebestuur wil inzetten op het slim gebruik maken van data om meer publieke waarde te creëren voor de stad en beleid effectiever te kunnen uitvoeren. ‘Als overheid die actief de samenwerking opzoekt en stimuleert voeren we als gemeente de dialoog over hoe artificiële intelligentie en data op een ethisch verantwoorde wijze kunnen worden toegepast zonder dat daarbij de menselijke waarden in het geding raken.’ De strategie bestaat uit meerdere onderdelen, zoals een bestuurlijke visie en een ambtelijk werkboek.

Amsterdam heeft in 2018 een stedelijk kader verwerking van persoonsgegevens vastgesteld. Uitgangspunt is dat als een nieuwe toepassing niet lijkt te passen binnen dit kader, de besluitvorming hierover moet worden overgelaten aan het college en/of burgemeester (Gemeente Amsterdam, 2018, 25 september). Er is ook een Agenda Amsterdamse Intelligentie als het gaat om AI (Gemeente Amsterdam, z.d.-c) . In Utrecht beslist de gemeenteraad op 1 juli 2021 over het raadsvoorstel Visie Digitale Stad 20202024 (Gemeente Utrecht, 2021). Dit is een meerjarig kader voor digitaliseringsinitiatieven waarbij grondrechten en digitale inclusie als twee van de zes sporen worden benoemd. Er zijn ook ‘Utrechtse

21

waarden voor digitalisering’ benoemd. Het gaat dan om privacy, autonomie, menselijke waardigheid, gezondheid, rechtvaardigheid, veiligheid, controle op technologie en machtsverhoudingen. De meeste geïnterviewden geven aan dat zij op grond van de financiële afspraken vaak zelf kunnen besluiten tot de aanschaf en implementatie van nieuwe applicaties of tooling. Ook geven zij aan dat aspecten rond bedrijfsvoering niet tot de bevoegdheid van de raad behoren. De waarden voor digitalisering’ benoemd. Het gaat dan om privacy, autonomie, menselijke waardigheid, zeggenschap en verantwoordelijkheid ligt in dat geval uiteindelijk bij de gemeentesecretaris.

gezondheid, rechtvaardigheid, veiligheid, controle op technologie en machtsverhoudingen.

Als iets wel leidt tot een beslissing van het college van B&W dan kan de gemeenteraad naar aanleiding daarvan vragen stellen of een debat willen voeren. De kosten zijn dan niet het springende argument. Als van tevoren duidelijk is dat een toepassing mogelijk gevoelig ligt, zoals de De meeste geïnterviewden geven aan dat zij op grond van de financiële afspraken vaak zelf kunnen beslissing om BOA’s uit te rusten met bodycams, dan wordt de raad actief geïnformeerd.

besluiten tot de aanschaf en implementatie van nieuwe applicaties of tooling. Ook geven zij aan dat Bovendien geven meerdere aan datniet zij werken het overkoepelende visiedocument gemeenteraad aspecten rondgemeenten bedrijfsvoering tot debinnen bevoegdheid van de raad behoren.van De hun zeggenschap en over digitalisering / informatie-of datagestuurd werken etc. Daarmee zijn de uitgangspunten en kaders voor de medewerkers van gemeenten een verantwoordelijkheid ligt in dat geval uiteindelijk bij de gemeentesecretaris. gegeven.

wel leidt totvan een beslissing van college van dan kan de gemeenteraad naar geven de meeste Als het gaatAls omiets het onderkennen mogelijke risico’s diehet gepaard gaan metB&W de aanschaf of ingebruikname van algoritmen gemeentenaanleiding aan dat er gewerkt wordt met business-cases. In debat zo’n voorstel staat dan wat doel is zijn van de toepassingen, welke publieke daarvan vragen stellen of een willen voeren. Dehetkosten dan niet het springende waarde(n) voor inwoners daarmee wordt bereikt, wat de financiële risico’s zijn. Sommige gemeenten noemen verschillende andere risico’s die argument. Als van tevoren duidelijk is dat een toepassing mogelijk gevoelig ligt, zoals de beslissing daarnaast worden geëxpliciteerd, zoals een DPIA op het gebied van persoonsgegevens, informatiebeveiliging en impact op burgers. om BOA’s uit dat te rusten met dan wordt de raad geïnformeerd. Geïnterviewden gaven aan de komst vanbodycams, de AVG een positieve bijdrage heeftactief geleverd aan het professionaliseren van het besluitvormingsproces. Bovendien geven meerdere gemeenten aan dat zij werken binnen het overkoepelende visiedocument van hun gemeenteraad over digitalisering / informatie-of datagestuurd werken etc.

Bijna alle gemeenten zijn decentraal georganiseerd. Dit houdt in dat de gemeentelijke organisatie in domeinen is onderverdeeld. Beslissingen Daarmee zijnapplicatie, de uitgangspunten en kaders voor de medewerkers van gemeenten een gegeven. over de aanschaf van een een nieuwe verwerking van persoonsgegevens of de inzet van nieuwe technologie worden doorgaans binnen het domein (de ‘business’) onder verantwoordelijkheid van een bestuurder en uiteindelijk de gemeentesecretaris genomen. Bij deze werkwijze worden aspecten rondonderkennen de beschermingvan vanmogelijke persoonsgegevens bescherming van mensenrechten wordt nog Als hetdegaat om het risico’smeegenomen. die gepaardDe gaan met de aanschaf of niet structureel meegenomen in deze besluitvorming. Soms maken mensenrechten deel uit van de publieke waarden die de gemeente ingebruikname van algoritmen geven de meeste gemeenten aan dat er gewerkt wordt met businessbenoemd heeft als uitgangspunten voor het beleid. Er wordt ook door sommige gemeenten meegewerkt aan het ontwikkelen van de cases.Assessment In zo’n voorstel staat wat het doel is van de toepassingen, welke publieke waarde(n) voor Praktische Impact Algoritmen endan Mensenrechten.

inwoners daarmee wordt bereikt, wat de financiële risico’s zijn. Sommige gemeenten noemen

De meeste gemeenten die wij hebben gesproken bouwen zelf geen systemen. Wel hebben zij data-analisten en applicatiebeheerders in dienst. verschillende andere risico’s die daarnaast worden geëxpliciteerd, zoals een DPIA op het gebied van De beslissing tot de aanschaf van een tooling is meestal geformaliseerd en geprofessionaliseerd. Dit houdt in dat de vraag vanuit de betrokken informatiebeveiliging op van burgers. Geïnterviewden aan dat de wordt soms afdeling ompersoonsgegevens, een IT-oplossing eerst moet worden voorgelegd en aanimpact de collega’s een andere afdeling. In dit gaven besluitvormingsproces meer betrokken dan de te verwachten financiële aspecten. Ook publieke waarden, zoals het snel beslissen op aanvragen komst van de AVG een positieve bijdrage heeft geleverd aan het professionaliseren van het van inwoners, kunnen deel uitmaken van de argumenten die hierbij betrokken worden. besluitvormingsproces.

Bijna alle gemeenten zijn decentraal georganiseerd. Dit houdt in dat de gemeentelijke organisatie in domeinen is onderverdeeld. Beslissingen over de aanschaf van een applicatie, een nieuwe verwerking van persoonsgegevens of de inzet van nieuwe technologie worden doorgaans binnen het domein (de ‘business’) onder verantwoordelijkheid van een bestuurder en uiteindelijk de gemeentesecretaris genomen. Bij deze werkwijze worden de aspecten rond de bescherming van persoonsgegevens meegenomen. De bescherming van mensenrechten wordt nog niet structureel meegenomen in deze besluitvorming. Soms maken mensenrechten deel uit van de publieke waarden die de gemeente benoemd heeft als uitgangspunten voor het beleid. Er wordt ook door sommige gemeenten meegewerkt aan het ontwikkelen van de Praktische Impact Assessment Algoritmen en Mensenrechten. De meeste gemeenten die wij hebben gesproken bouwen zelf geen systemen. Wel hebben zij dataanalisten en applicatiebeheerders in dienst. De beslissing tot de aanschaf van een tooling is meestal geformaliseerd en geprofessionaliseerd. Dit houdt in dat de vraag vanuit de betrokken afdeling om een IT-oplossing eerst moet worden voorgelegd aan de collega’s van een andere afdeling. In dit besluitvormingsproces wordt soms meer betrokken dan de te verwachten financiële aspecten.

Ook publieke waarden, zoals het snel beslissen op aanvragen van inwoners, kunnen deel uitmaken van de argumenten die hierbij betrokken worden.

22

De indruk bestaat dat gemeenten zoeken naar een meer integrale manier van afwegen waarbij niet alleen gekeken wordt hoeveel iets kost, maar vooral welk publiek gediend is met de toepassing en of het mag op grond van bestaande regels (doorgaans op het gebied van gegevensbescherming). Er wordt ook wel gerefereerd aan interne gemeentelijk ethische teams zoals in Eindhoven en Groningen of een ethische commissie bestaande De indruk bestaat dat gemeenten zoeken naar een meer integrale manier van afwegen waarbij niet uit externen zoals in Enschede. In Den Haag loopt een experiment met het verbinden van een data ethicus aan projecten waarin algoritmen alleen gekeken wordt hoeveel iets kost, maar vooral welk publiek gediend is met de toepassing en of worden gebruikt.

het mag op grond van bestaande regels (doorgaans op het gebied van gegevensbescherming).

Een aantal geïnterviewden geeft aan voor datagedreven werk de DEDA (de ethische data assistent) te gebruiken. Utrecht kent een eigen ethiek assessment (Uthiek) waarbij vragen worden beantwoord als: willen, mogen en kunnen we dit? Digitaliseringstrajecten worden getoetst aan het Er wordt ook gerefereerd aan interne gemeentelijk teams zoalsisinontwikkeld, Eindhoven en ook Utrechts waardenmodel. Ditwel Utrechts Waardenmodel dat in samenwerking metethische het Rathenau Instituut bevat Groningen of een ethische commissie bestaande uit externen zoals in Enschede. In Den Haag loopt mensenrechtelijke aspecten.

een experiment met het verbinden van een data ethicus aan projecten waarin algoritmen worden

Enkele gemeenten wijzen erop dat er ‘morele risico’s’ kunnen kleven aan de toepassing. Zij tekenen daarbij dan wel aan dat juist van ambtenaren gebruikt. verwacht mag worden dat zij zich moreel verantwoord gedragen, ook omdat zij een eed of belofte moeten afleggen. Er is ook eenEen consortium ‘Publieke controle op algoritmen’ waaraan Utrecht, Amsterdam, Den Haagdata meedoen samen te met aantal geïnterviewden geeft aan voor datagedreven werk deRotterdam DEDA (deenethische assistent) provincies, politie en Rijkswaterstaat. Er is vanuit het Ministerie van BZK subsidie verleend voor de ontwikkeling van een vijftal gebruiken. Utrecht kent een eigen ethiek assessment (Uthiek) waarbij vragen worden beantwoord beleidsinstrumenten op het gebied van algoritmen. Eén van de instrumenten die consortium oplevert is een register common ground willen, mogenbenadrukken en kunnende weethische dit? Digitaliseringstrajecten worden getoetst aan het Utrechts algoritmen.als: ‘Deze instrumenten kant van algoritmen doordat deze voorwaarden vaststellen, overzicht geven en helpen in tewaardenmodel. grijpen waar nodig;Dit zodat burgers,Waardenmodel bestuurders en ambtenaren meer informatie, inzicht invloed krijgen’ (IDA, is 2021). Utrechts dat in samenwerking met heten Rathenau Instituut

ontwikkeld, bevat ook mensenrechtelijke aspecten.

Bij de data-gedreven initiatieven kan het voorkomen dat de data centraal verzameld en afgeschermd worden waarbij de afdeling die een vraag heeft, deze kan indienen. Nadat een intake wordt verricht, wordt dan samen met de professionals die de vraag stelden (‘de business’) gezocht naar een oplossing. een enkele gemeente is geen vraag taboe. Menkunnen geeft aankleven dat als de gesteld wordtZij er eerst samen wordt Enkele In gemeenten wijzen erop datenkele er ‘morele risico’s’ aanvraag de toepassing. tekenen verkend watdaarbij de achterliggende vraag of hypothese is om zo tot een statistisch verantwoorde vraag te komen. In een andere gemeente dan wel aan dat juist van ambtenaren verwacht mag worden dat zij zich moreel verantwoord werd juist expliciet gezegd dat je sommige vragen gewoon niet moet kunnen stellen. Opvallend is dat de toeslagenaffaire en de constatering van de gedragen, ook omdat zij een eed of belofte moeten afleggen. AP dat er was gediscrimineerd, in dit verband door veel gemeenten is aangehaald. De geïnterviewden gaven ook aan dat in de dataset altijd een vooringenomenheid zit waarmee rekening gehouden moet worden.

Er is ook een consortium ‘Publieke controle op algoritmen’ waaraan Utrecht, Amsterdam, Rotterdam

Opvallend is dat meerdere gemeenten weliswaar erg geïnteresseerd zijn in het borgen van mensenrechten maar niet eensgezind zijn over de en Den Haag meedoen samen met provincies, politie en Rijkswaterstaat. Er is vanuit het Ministerie manier waarop dit het beste zou kunnen. De vergelijking met de DPIA wordt snel gemaakt en dit instrument wordt niet door iedereen als van BZKAangegeven subsidie verleend detot ontwikkeling van vijftal op het gebied waardevol ervaren. wordt dat voor dit soms vertraging leidt of een er soms iets beleidsinstrumenten uit kan komen dat wel is toegestaan en weinig risicovol, terwijl het toch niet goed voelt. Sommige gemeenten geven aan dat het nadenken over risico’s nog in de kinderschoenen staat. van algoritmen. Eén van de instrumenten die consortium oplevert is een register common groundGeïnterviewden van gemeenten die al meer ervaring hebben, wijzen consequent naar belang kant van het goede gesprek met elkaar. deze algoritmen. ‘Deze instrumenten benadrukken de het ethische van algoritmen doordat

voorwaarden vaststellen, overzicht geven en helpen in te grijpen waar nodig; zodat burgers, bestuurders en ambtenaren meer informatie, inzicht en invloed krijgen’ (IDA, 2021). Bij de data-gedreven initiatieven kan het voorkomen dat de data centraal verzameld en afgeschermd worden waarbij de afdeling die een vraag heeft, deze kan indienen. Nadat een intake wordt verricht, wordt dan samen met de professionals die de vraag stelden (‘de business’) gezocht naar een oplossing. In een enkele gemeente is geen enkele vraag taboe. Men geeft aan dat als de vraag gesteld wordt er eerst samen wordt verkend wat de achterliggende vraag of hypothese is om zo tot een statistisch verantwoorde vraag te komen. In een andere gemeente werd juist expliciet gezegd dat je sommige vragen gewoon niet moet kunnen stellen. Opvallend is dat de toeslagenaffaire en de constatering van de AP dat er was gediscrimineerd, in dit verband door veel gemeenten is aangehaald. De geïnterviewden gaven ook aan dat in de dataset altijd een vooringenomenheid zit waarmee rekening gehouden moet worden. Opvallend is dat meerdere gemeenten weliswaar erg geïnteresseerd zijn in het borgen van mensenrechten maar niet eensgezind zijn over de manier waarop dit het beste zou kunnen. De vergelijking met de DPIA wordt snel gemaakt en dit instrument wordt niet door iedereen als waardevol ervaren.

Aangegeven wordt dat dit soms tot vertraging leidt of er soms iets uit kan komen dat wel is toegestaan en weinig risicovol, terwijl het toch niet goed voelt. Sommige gemeenten geven aan dat het nadenken over risico’s nog in de kinderschoenen staat. Geïnterviewden van gemeenten die al meer ervaring hebben, wijzen consequent naar het belang van het goede gesprek met elkaar. 23

Van belang is ook dat door een gemeente wordt gewaarschuwd voor de neiging om alle afwegingen vooraf te expliciteren waarna eventuele risico’s expliciet worden geaccepteerd en waarbij het besluitvormingsproces achteraf gecontroleerd kan worden met een audit. Het is idee bestaat dat dit geen recht doet aan de kwalitatieve of wellicht meer normatieve en persoonlijke afwegingen die gepaard gaan bij deze vraagstukken.

Van belang is ook dat door een gemeente wordt gewaarschuwd voor de neiging om alle afwegingen

Over het gebruik van data verwijzen een aantal gemeenten naar de Common Ground beweging. Dit is een manier om de data die nodig zijn vooraf te expliciteren eventuele risico’s expliciet voor gemeentelijke processen op een waarna andere manier te ontsluiten (VNG, z.d.-b).worden geaccepteerd en waarbij het

besluitvormingsproces achteraf gecontroleerd kan worden met een audit. Het is idee bestaat dat dit

De meeste gemeenten hebben geen speciale inkoopvoorwaarden voor algoritmen en mensenrechten. Ze verwijzen naar de GIBITgeen recht doet aan de kwalitatieve of wellicht meer normatieve en persoonlijke afwegingen die inkoopvoorwaarden en verwerkingsovereenkomsten die worden afgesloten. In Den Haag wordt van leveranciers van algoritmische gepaard gaan bijvoldoen deze vraagstukken. toepassingen verwacht dat zij aan de kaders van de datastrategie. Utrecht wijst erop dat in het eerder genoemde consortium ‘Publieke controle op algoritmen’ wordt gewerkt aan gezamenlijke inkoopvoorwaarden. Amsterdam heeft al een speciale voorziening gecreëerd in de voorwaarden die erop neer komtvan dat data de leverancier op verschillende punten openheid geven over Ground de werking en verplicht wordt mee te Over het gebruik verwijzen een aantal gemeenten naarmoet de Common beweging. Dit werken aan een audit of andere controle (Gemeente Amsterdam, z.d.-b).