Bijlage 2 bij nadere toelichting - Onderzoeksrapport algoritmen en mensenrechten gemeenten

Geraadpleegd op 28 juni 2021, van https://www.centre-for-boldBOLDcast. Geraadpleegd op 28 juni 2021, van https://www.centre-for-bold-cities.nl/news/boldcast-1cities.nl/news/boldcast-1-datagedreven-re-integratie-in-rotterdam-zo-werkt-dat datagedreven-re-integratie-in-rotterdam-zo-werkt-dat Vakantie Verhalen: Verhalen:Relaxen Relaxeninindedehangmat. NPO radio1. (2018, 2 augustus). Trees #2 Bespied. [Podcast]. In Vakantie hangmat. Geraadpleegd 28 juni van https://www.nporadio1.nl/podcasts/vakantieverhalenGeraadpleegd op 28 juniop 2021, van2021, https://www.nporadio1.nl/podcasts/vakantieverhalen-relaxen-in-derelaxen-in-de-hangmat/1812/trees-2-bespied hangmat/1812/trees-2-bespied Van Rinsum, A. (Redacteur & productie). (2021, 10 juni). Podcast #105: Arne Zuurmond overzijn zijn werk als Zuurmond over ombudsman [Podcast]. In Pakhuis Zwijger. op 25 juni van https://dezwijger.nl/ werk als ombudsman [Podcast]. In De Pakhuis De Geraadpleegd Zwijger. Geraadpleegd op2021, 25 juni 2021, van update/podcast-105-arre-zuurmond https://dezwijger.nl/update/podcast-105-arre-zuurmond

46

Bijlage Vragenlijst Vragenlijst onderzoek voor College voor de Rechten van de Mens naar mensenrechtelijke afwegingen bij de inzet van algoritmen door gemeenten

Bijlage Vragenlijst

De vragenlijst is grotendeels gebaseerd op de vragenlijst die is opgesteld door de European Union Agency for Fundamental Rights (FRA) in het kader van het onderzoek ‘Getting the future right. Artificial Intellingence and Fundamental Rights.’ (European Union Agency for Fundamental Rights, 2020-B ). In dit onderzoek zijn in totaal 90 interviews afgenomen in diverse landen bij bedrijven en overheden aan de hand van een vaste vragenlijst. Vragenlijst onderzoek voor College voor de Rechten van de Mens naar mensenrechtelijke

afwegingen bij de inzet van algoritmen door gemeenten

1. Wat is uw rol bij de gemeente als het gaat om algoritmen? 2. Algemeen De vragenlijst is grotendeels gebaseerd op de vragenlijst 2.1 Gebruikt uw gemeente algoritmen in een van de volgende domeinen? 1 die is opgesteld door de European Union 1. Bestuur en ondersteuning, Veiligheid, 2. Verkeer, 3. Vervoer envan waterstaat, 4. Economie, 5. Onderwijs, 6. Sport,right. cultuur en recreatie, 7. Agency for Fundamental Rights (FRA) in het kader het onderzoek ‘Getting the future Sociaal Domein, 8. Volksgezondheid en milieu, 9. Volkshuisvesting, ruimtelijke ordening en stedelijke vernieuwing. Artificial Intellingence and Fundamental Rights.’ (European Union Agency for Fundamental Rights, 2.2 welk type toepassing heeft volgens u de grootste impact / gevolgen voor het werk van de gemeente en waarom? 2020-B ). In dit onderzoek zijn in totaal 90 interviews afgenomen in diverse landen bij bedrijven en 2.3 Wat is het hoofddoel van deze toepassing + een andere toepassing die genoemd is onder 2.1? overheden aanovergenomen de hand vanof een vaste vragenlijst. 2.4 Welke taken worden ondersteund door het gebruik van algoritmen? 2.5 Welk type toepassing heeft volgens u de grootste impact / gevolgen voor de inwoners van uw gemeente en waarom? [dus als het goed gaat of als het fout gaat2] 2.6 Heeft uw gemeente dit systeem zelf gebouwd / ontwikkeld of heeft u een dienst of product ingekocht? 1.

Wat is uw rol bij de gemeente als het gaat om algoritmen? 2.7 Hoe ziet dit besluitvormingsproces eruit? [Wie (welke functionaris of gremium) beslist of gebruik gemaakt gaat worden van algoritmen (maak onderscheid tussen de opdracht tot ontwikkeling en de beslissing het te gaan gebruiken), wordt er iets gezegd over impact assessments] Algemeen 2.8 Hoe2. wordt de gemeenteraad meegenomen bij deze besluitvorming? 3. Inbedding 3.1 Gebruikt uw gemeente algoritmen in een van de volgende domeinen? 1 3.1 Welke risico’s zijn geïdentificeerd bij het gebruik? 1.richtlijnen Bestuur gemaakt en ondersteuning, Veiligheid, Verkeer,/ inkopen 3. Vervoer en waterstaat, 4. Economie, 3.2 Zijn er speciale voor werknemers voor het 2. ontwerpen of gebruiken van de algoritmen? 5. of Onderwijs, 6. Sport, cultuur en 7. Sociaal Domein,toepassing 8. Volksgezondheid en milieu, 3.3 Wie controleert houdt toezicht op de uitvoering vanrecreatie, taken die door de algoritmische zijn overgenomen of die worden verricht met hulp van algoritmen? Intern /Extern 9. Volkshuisvesting, ruimtelijke ordening en stedelijke vernieuwing.

3.2 welk type toepassing heeft volgens u de grootste impact / gevolgen voor het werk van de gemeente en waarom? 3.3 Wat is het hoofddoel van deze toepassing + een andere toepassing die genoemd is onder 2.1? 3.4 Welke taken worden overgenomen of ondersteund door het gebruik van algoritmen? 3.5 Welk type toepassing heeft volgens u de grootste impact / gevolgen voor de inwoners van uw gemeente en waarom? [dus als het goed gaat of als het fout gaat2] 3.6 Heeft uw gemeente dit systeem zelf gebouwd / ontwikkeld of heeft u een dienst of product ingekocht? 3.7 Hoe ziet dit besluitvormingsproces eruit? [Wie (welke functionaris of gremium) beslist of gebruik gemaakt gaat worden van algoritmen (maak onderscheid tussen de opdracht tot ontwikkeling en de beslissing het te gaan gebruiken), wordt er iets gezegd over impact assessments] 3.8 Hoe wordt de gemeenteraad meegenomen bij deze besluitvorming?

3.

Inbedding

3.1 Welke risico’s zijn geïdentificeerd bij het gebruik? 3.2 Zijn er speciale richtlijnen gemaakt voor werknemers voor het ontwerpen / inkopen of gebruiken van de algoritmen? 3.3 Wie controleert of houdt toezicht op de uitvoering van taken die door de algoritmische toepassing zijn overgenomen of die worden verricht met hulp van algoritmen? Intern /Extern

Bij begrotingen wordt vaak een standaard indeling naar taakvelden gebruikt, IV3: Taakvelden | Vraagbaak IV3 Gemeenten. Deze indeling is weer meer geënt op politieke sturing en geldstromen. 2 Verwijzen naar bijlage 2 FRA bij en aan geïnterviewde(n) tonen. 1

1

Bij begrotingen wordt vaak een standaard indeling naar taakvelden gebruikt, IV3: Taakvelden | Vraagbaak IV3 Gemeenten. Deze indeling is weer meer geënt op politieke sturing en geldstromen.

47

2

Verwijzen naar bijlage 2 FRA bij en aan geïnterviewde(n) tonen.

4. Mensenrechtelijke afwegingen en eventuele maatregelen 4.1 [De interviewer kiest nu 2 toepassingen uit hiervoor gegeven antwoorden] Worden de mensenrechten beïnvloed door het gebruik van algoritmen in uw organisatie? Wordt de waardigheid van het individu aangetast? 4.2 Hoe gaat u hiermee om? Heeft u hier voorbeelden bij? [vraag deze op] 4.3 Kan het gebruik leiden tot discriminatie van individuele inwoners gebaseerd op geslacht (geslachtskenmerken, genderidentiteit en 4. Mensenrechtelijke afwegingen en eventuele maatregelen genderexpressie, of op grond van zwangerschap, bevalling en moederschap) , leeftijd, etniciteit, seksualiteit, of politieke opvatting, godsdienst, geslacht, nationaliteit, burgerlijke staat, handicap of chronische ziekte.3 kiest 2 toepassingen gegeven antwoorden] Worden de 4.4 Is er4.1 een [De DPIAinterviewer geweest en hoe is denu uitkomst betrokken inuit hethiervoor besluitvormingsproces? 4.5 Wat kan de inwoner doen alsbeïnvloed deze als individu is doorvan een algoritmen handeling vanindeuw gemeente op basisWordt van eende algoritmische mensenrechten door geraakt het gebruik organisatie? toepassing? Welke procedures zijn dit? waardigheid van het individu aangetast? 4.6 Zijn er klachten etc.

ontvangen en wat was de uitkomst? 4.2 Hoe gaat u hiermee om? Heeft u hier voorbeelden bij? [vraag deze op] 4.7 Hoe zorgt u voor transparantie? 4.3taken Kanvan hetu gebruik leiden tot discriminatie van individuele inwoners gebaseerd op geslacht 4.8 Welke kunnen door algoritmen worden overgenomen? (geslachtskenmerken, genderidentiteit en genderexpressie, of op grond van zwangerschap, 4.9 Kan uw werk beoordeeld worden door algoritmen?

bevalling en moederschap) , leeftijd, etniciteit, seksualiteit, of politieke opvatting, godsdienst,

5. Slot geslacht, nationaliteit, burgerlijke staat, handicap of chronische ziekte.3 Waar heeft u behoefte aan m.b.t. dit onderwerp?

4.4 Is er een DPIA geweest en hoe is de uitkomst betrokken in het besluitvormingsproces? 4.5 Wat kan de inwoner doen als deze als individu geraakt is door een handeling van de gemeente op basis van een algoritmische toepassing? Welke procedures zijn dit? 4.6 Zijn er klachten etc. ontvangen en wat was de uitkomst? 4.7 Hoe zorgt u voor transparantie? 4.8 Welke taken van u kunnen door algoritmen worden overgenomen? 4.9 Kan uw werk beoordeeld worden door algoritmen? 5. Slot Waar heeft u behoefte aan m.b.t. dit onderwerp?

3

Gebaseerd op vragenlijst maar aangevuld met AWGB en indachtig het VN Verdrag inzake de rechten van personen met een handicap.

48 3

Gebaseerd op vragenlijst maar aangevuld met AWGB en indachtig het VN Verdrag inzake de rechten van personen met een handicap.

Bijlage Voorbeelden theoretische beoordeling van schade en significante impact van AI of geautomatiseerde besluiten Wat gebeurt er als de uitkomst onjuist is/beter is dan alleen handmatige/menselijke beslissingen? Domein

Bijlage Voorbeelden theoretische beoordeling van schade en significante impact van AI of geautomatiseerde besluiten Potentieel valspositief - voorbeelden Voor een individu

Potentieel valsnegatief - voorbeelden

Op schaal/voor de maatschappij

Voor een individu

Als het gemiddeld beter werkt dan menselijke beslissingen – voorbeelden

Op schaal/voor de maatschappij

Wat gebeurt er als de uitkomst onjuist is/beter is dan alleen handmatige/menselijke beslissingen?

Sociale voorzieningen

Als een persoon uitkeringen ontvangt zonder recht op te hebben of een uitkering ontvangt die hoger is dan waarop hij recht heeft.

Domein Predictive policing

Sociale voorzieningen

Predictive policing

Als een persoon geen enkele uitkeringen of minder ontvangt dan hij daar recht op heeft.

Geen echte negatieve gevolgen, Negatieve gevolgen voor het openbaar Verhoogde armoede en gebrek aan tenzij later de verkeerde beslissing bestuur, aangezien dit leidt tot middelen voor individuen om een Potentieel valspositief - voorbeelden Potentieel valsnegatief - voorbeelden wordt ontdekt en de persoon geld praktijken die niet in overeenstemming waardig leven te leiden. Voor een Op schaal/voor de bestuur. Voor een individu Op schaal/voor de moet terugbetalen. zijn met behoorlijk

· ·

Beter toegang tot sociale voorzieningen. Verbeterd openbaar bestuur.

Potentiële verschuiving in de maatschappelijke verdeling van beter werkt dan menselijke beslissingen – voorbeelden Als het gemiddeld hulpbronnen, die mogelijk ongelijkheid en sociale uitsluiting kan vergroten.

individu maatschappij maatschappij Een persoon die zich bezighoudt met criminele activiteiten, wordt niet geïdentificeerd. Als een persoon uitkeringen ontvangt Als een persoon geen enkele • Beter toegang tot sociale voorzieningen. zonder recht op hebbenKan of ontevredenheid een uitkeringen minder hij • voor Verbeterd openbaar Mogelijk vernederend; kante worden over en gebrek aan ofEen persoon ontvangt kan criminele dan activiteiten potentieel meer criminaliteit in de · bestuur. Nauwkeuriger voorspellend politieoptreden kan leiden geassocieerd met discriminatie. vertrouwen vergroten; die op voortzetten tot meer arrestaties van verdachten / daders en een uitkering ontvangt die hoger is danin de politiedaar recht heeft. zonder te worden bestraft. samenleving, met aanzienlijke gevolgen vooral bepaalde groepen treft. voor de openbare veiligheid en kleiner risico op het slachtoffer worden van misdrijven. waarop hij recht heeft. slachtofferschap · Minder criminaliteit en hogere veiligheidsniveaus. Geen echte Negatieve Verhoogde Potentiële negatieve gevolgen voor het armoede en verschuiving in de gevolgen, tenzij openbaar gebrek aan maatschappelijke later de bestuur, middelen voor verdeling van verkeerde aangezien dit leidt individuen om hulpbronnen, die beslissing wordt tot praktijken die een waardig leven mogelijk ontdekt en de niet in te leiden.

ongelijkheid en persoon geld overeenstemming sociale uitsluiting moet zijn met kan vergroten. terugbetalen. behoorlijk bestuur. Een onschuldig persoon wordt als Een persoon die zich bezighoudt met verdachte aangemerkt bij de politie. criminele activiteiten, wordt niet geïdentificeerd. Mogelijk Kan Een persoon kan potentieel voor • Nauwkeuriger voorspellend politieoptreden kan leiden tot meer vernederend; kan ontevredenheid criminele meer criminaliteit arrestaties van verdachten / daders en een kleiner risico op het worden over en gebrek activiteiten in de slachtoffer worden van misdrijven. geassocieerd met aan vertrouwen voortzetten samenleving, met • Minder criminaliteit en hogere veiligheidsniveaus. discriminatie. in de politie zonder te worden aanzienlijke vergroten; die bestraft. gevolgen voor de vooral bepaalde openbare groepen treft. veiligheid en slachtofferschap Een onschuldig persoon wordt als verdachte aangemerkt bij de politie.

49

Bijlage Lijst met experts met wie we hebben gesproken Maritha Boer – De Wit (gemeente Almere), Ed Visch (gemeente Almere),

Bijlage Lijst met experts met wie we hebben gesproken

Anne-Maartje Douqué (gemeente Amsterdam),

Maritha Boer – De Wit (gemeente Almere), Ed Visch (gemeente Almere), Ronald Schotanus (gemeenteDouqué Apeldoorn), Anne-Maartje (gemeente Amsterdam), Rolf Tjemmes (gemeente Apeldoorn), Linda van de Fliert (gemeente Amsterdam), Schotanus (gemeente Apeldoorn), Frans JornaRonald (gemeente Apeldoorn), Rolf Tjemmes (gemeente Apeldoorn), Frank Reitsma (gemeente Apeldoorn), Apeldoorn), Frans Jorna (gemeente Frank Reitsma (gemeente Apeldoorn), Pieter Vermeij (gemeente Apeldoorn), Pieter Vermeij (gemeente Apeldoorn), Jan Ekke deJan VriesEkke (gemeente Assen), de Vries (gemeente Assen), Martin Scholte van Mast (gemeente Assen), Martin Scholte van Mast (gemeente Assen), Tanaquil Arduin (gemeente Den Haag), Tanaquil Arduin (gemeente Den Haag), Jeffrey Vroenhoven (gemeente Eindhoven), Marjolijn van der Wiel (gemeente Eindhoven), Jeffrey Vroenhoven (gemeente Eindhoven), Maarten van Veen (gemeente Eindhoven), Marjolijn van derHaase Wiel (gemeente Eindhoven), Ran (gemeente Eindhoven), Mariëlle van den Bos (gemeente Eindhoven), Maarten van Veen (gemeente Eindhoven), Mieke van Schaik (gemeente Eindhoven), Ran Haase (gemeente Eindhoven), Willem Geesink (gemeente Enschede), Wilfried van Hese (Gemeenschappelijke Regeling de Bevelanden), Mariëlle van den Bos (gemeente Eindhoven), Arne Bakker (gemeente Groningen), Mieke van Schaik Eindhoven), Narly(gemeente Rambharos (gemeente Groningen), Nephtis

Brandsma – Schultinge (gemeente Groningen), Willem Geesink (gemeente Enschede), Ingrid Kuijers (gemeente Leudal), Wilfried vanCarmen Hese (Gemeenschappelijke Regeling de Bevelanden), Geraads (gemeente Leudal), Jan-Daem de Lange (gemeente Súdwest-Fryslân), Arne Bakker (gemeente Groningen), Donovan Karamat Ali (gemeente Utrecht). Linda van de Fliert (gemeente Amsterdam),

Narly Rambharos (gemeente Groningen), Nephtis Brandsma – Schultinge (gemeente Groningen), Ingrid Kuijers (gemeente Leudal), Carmen Geraads (gemeente Leudal), Jan-Daem de Lange (gemeente Súdwest-Fryslân), Donovan Karamat Ali (gemeente Utrecht).

50

Hooghiemstra & Partners - Strategisch en juridisch advies Parkstraat 20, 2514 JK Den Haag T +31(0)70 2172066 E info@hooghiemstra-en-partners.nl ING Bank NL49INGB0008938076 www.hooghiemstra-en-partners.nl KvK 73390356 BTW 8595.06.447.B01

Parkstraat 20, 2514 JK Den Haag T +31(0)70 2172066 E info@hooghiemstra-en-partners.nl ING Bank NL49INGB0008938076 www.hooghiemstra-en-partners.nl KvK 73390356 BTW 8595.06.447.B01

51