Impact assessment Mensenrechten en Algoritmen

de kern van het grondrecht vandaan ligt, hoe minder zwaar die inbreuk is, en hoe minder hoog

beoordeeld of aan de stappen 4-7 is voldaan) is afhankelijk van twee hoofdfactoren:

de zorgvuldigheidseisen hoeven te zijn.

i)

Welk aspect van de bij stap 1 geïdentificeerde grondrechten wordt geraakt?

ii) Is de verwachte aantasting van de grondrechten vergaand, beperkt of iets daartussenin?

Zwaar: 

Deze twee factoren hangen nauw met elkaar samen en moeten altijd in onderlinge samenhang

 olledige lockdown waarbij mensen alleen v naar buiten mogen als dat strikt noodzakelijk is, gehandhaafd met boetes

algoritme (of de toepassing daarvan) zal raken aan de kern van een grondrecht. Die kern

Middelzwaar:  gedeeltelijke lockdown met boetes voor overschrijding van bepaalde regels (bijv. samenscholingsverbod)

wordt bepaald aan de hand van de publieke waarde waarvan het grondrecht een concretisering

Licht: 

worden bekeken. Om dit te kunnen doen kan worden bekeken in hoeverre een concreet

vormt. De kern van de privacyrechten is bijvoorbeeld gelegen in de waarden van persoonlijke autonomie, menselijke waardigheid, geestelijke en fysieke integriteit, en identiteit; de kern van

 eperkte vrijheidsbelemmerende b maatregelen die kunnen worden gehandhaafd, bijv. notitificatieplicht voor evenementen

(Geen grondrechteninbreuk: alleen dringend advies om bepaald gedrag in openbare ruimte te vertonen (bijv. dragen van mondkapje))

vrijheidsrechten is gelegen in persoonlijke autonomie, pluralisme en democratie. Uitgangspunt kan zijn dat naarmate een algoritme (of toepassing daarvan) het moeilijker maakt om deze waarden te verwezenlijken, er hogere eisen moeten worden gesteld aan de rechtvaardiging van de grondrechtenbeperking.19

Bij de discussie over deze stap moet per (voorgenomen) algoritme en per geïdentificeerd Een (niet op algoritmen gericht) voorbeeld kan worden gezien in de maatregelen die genomen

grondrecht zo’n figuur worden gemaakt, waarna de verwachte grondrechteninbreuk daarop

kunnen worden in het kader van bestrijding van de covid-19-pandemie. Aangenomen kan

kan worden gepositioneerd. Het geven van een kleurcode vergt de nodige discussie. Er is

worden dat deze maatregelen inbreuk maken op een groot aantal grondrechtenclusters,

namelijk geen objectief juist en eenduidig antwoord te geven op de vraag of een algoritme

maar kijkend naar het cluster van de ruimtelijke privacyrechten kan worden aangenomen dat

een grondrecht meer in de kern of meer in de periferie raakt. Belangrijk is vooral dat er goed

volledige bewegingsvrijheid (=autonomie om zelf te kiezen waar, hoe, met wie etc. je je buiten

en open wordt nagedacht en gesproken over dit punt en dat op een navolgbare manier

beweegt) de kern vormt. Volledige verwezenlijking van die kern is het ijkpunt. Hoe moeilijker

wordt uitgelegd waarom voor rood, oranje of groen is gekozen. Dit is belangrijk, omdat deze

het wordt om die kern te verwezenlijken, hoe zwaarder de grondrechteninbreuk zal zijn,

kleurkeuze bepalend is voor de manier waarop de stappen 4-7 worden toegepast.

Impact Assessment | Mensenrechten en Algoritmes

19 Janssen 2020.

72 /94

1. Waarom?

2A. Wat (input)?

2B. Wat (throughput)?

3. Hoe?

4. Mensenrechten

Bijlagen

4.4

Doelstellingen Aanwijzingen en toelichting 4.4.1 Welke doelen worden met inzet van het algoritme nagestreefd? Kijk hierbij naar uw antwoord op vraag 1.2

Het is nodig om te bepalen welke doelen met de inzet van een algoritme worden beoogd om onder stappen 5 en 6 van dit stappenplan te kunnen beoordelen of het algoritme een goed middel is om deze doelen te kunnen bereiken en of het daarvoor noodzakelijk is (of dat met een ander middel kan worden volstaan). Als bijvoorbeeld blijkt dat het helemaal

Antwoord:

niet mogelijk is om bepaalde doelen met het algoritme te bereiken, maar met de inzet ervan wel grondrechten worden geraakt, mag het instrument in principe niet worden ingezet. Ook voor de uiteindelijk onder stap 7 te maken belangenafweging of kosten/batenanalyse (is het wenselijk om het algoritme in te zetten gelet op de doelen ervan, ongeacht het feit dat er grondrechten worden aangetast?) is het belangrijk om helderheid te hebben over de nagestreefde doelen. In het kader van het IAMA zijn de doelen van de ontwikkeling of inzet van het algoritme al gedefinieerd bij vraag 1.2, als nadere verfijning en concretisering van de publieke waarden die met de inzet van het algoritme worden gediend. Deze doelen kunnen in dit deel van het stappenplan worden ingevoegd.

Impact Assessment | Mensenrechten en Algoritmes

73 /94

1. Waarom?

2A. Wat (input)?

2B. Wat (throughput)?

3. Hoe?

4. Mensenrechten

Bijlagen

4.5

Doeltreffendheid/effectiviteit/geschiktheid Aanwijzingen en toelichting

De verwachte mate van doelmatigheid en de mate waarin

4.5.1 Vormt het in te zetten algoritme een doeltreffend

De vraag naar doeltreffendheid (of geschiktheid, of effectiviteit)

bewijs kan worden verwacht voor deze inschatting kunnen

middel om de gestelde doelen te realiseren?

is een empirische vraag, die uitgaat van ‘evidence based’-beleid

worden bepaald door de hoogte van de zorgvuldigheidseisen,

Leg uit.

en -regelgeving. Beantwoording ervan vergt een vooruitziende

die bij stap 3 is weergegeven met de kleurcodes. Bij kleurcode

blik: er moet een realistische prognose worden gemaakt van

rood (zware aantasting van een grondrecht) mag worden

wat de inzet van een algoritme concreet zal opleveren en

verwacht dat veel rigoureuzer wordt onderzocht of het

welke verschillende consequenties die inzet zal hebben. Hoe

algoritme wel echt tot realisering van de gestelde doelen zal

waarschijnlijk is het dat het algoritme daadwerkelijk tot een

leiden dan bij code groen, en mag ook worden verlangd dat

kostenbesparing of efficiencyslag zal leiden, als ook rekening

daar steviger bewijs voor wordt aangedragen. Bij kleurcode

wordt gehouden met de kosten van het ontwikkelen ervan

oranje moeten wat extra eisen worden gesteld, maar hoeven

en het auditen achteraf? Hoeveel voordeel biedt het inzetten

die niet zo streng te zijn als bij kleurcode rood.

Antwoord:

van een algoritme als het gaat om het voorspellen van risicocategorieën in het licht van de bestaande situatie (bijv.:

Als er meer dan één doel is (wat meestal het geval zal zijn), kan

professionals maken een inschatting van het risico dat iemand

onduidelijk zijn wat er moet gebeuren als een aantal van die

in de schulden terechtkomt tegenover de situatie waarin een

doelen niet goed kunnen worden gehaald, maar andere juist

algoritme die inschatting maakt)?

wel. Dat is mede afhankelijk van het relatieve belang van deze doelen (zie stap 3 en de bij deel 1 van het IAMA vastgestelde

Technisch gezien gaat het bij geschiktheid bijvoorbeeld ook

doelen) en van de zorgvuldigheidseisen die kunnen worden

om de vraag of een algoritme betrouwbaar en accuraat is (zie

gesteld gelet op de kleurcode die bij stap 3 is toegekend.

vraag 2b.3): als er veel fout-positieven of fout-negatieven worden verwacht, kan dat (zeker bij kleurcode rood (zie stap

Als algemeen houvast kan gelden dat een algoritme potentieel

3)) zo problematisch zijn dat moet worden besloten dat het

problematisch is als het niet heel doelmatig lijkt te zijn en een

algoritme niet kan worden ingezet of ontwikkeld.

belangrijk grondrecht dreigt te worden geraakt (kleurcode rood of oranje).

Een maatregel (met of zonder behulp van de inzet van een algoritme) zal zelden 100% effectief kunnen zijn, dus dat kan niet worden verwacht. Impact Assessment | Mensenrechten en Algoritmes

74 /94

1. Waarom?

2A. Wat (input)?

2B. Wat (throughput)?

3. Hoe?

4. Mensenrechten

Bijlagen

4.6

Noodzakelijkheid/subsidiariteit

4.6.1 Is inzet van dit specifieke algoritme noodzakelijk om dit doel te bereiken en zijn er geen andere of mitigerende maatregelen beschikbaar om dit te doen? Leg uit.

Aanwijzingen en toelichting Om beleidsdoelen te bereiken kunnen allerlei verschillende instrumenten worden ingezet, waaronder algoritmen. Zelfs als er voor één specifiek instrument wordt gekozen, kan dat vaak op verschillende manieren worden ingezet. Daarnaast kunnen er soms compenserende/

Antwoord:

mitigerende maatregelen (zie bijlage) mogelijk blijken om de nadelen ervan te verzachten. De te maken keuze tussen verschillende instrumenten staat centraal bij de vraag naar de noodzakelijkheid en subsidiariteit van de keuze voor een specifiek instrument. Concrete punten die in de discussie hierover aan de orde moeten worden gesteld zijn de volgende: Welke verschillende instrumenten kunnen worden ingezet om de gestelde doelen te verwezenlijken, naast het voorgenomen algoritme? Zijn er niet-algoritmische instrumenten voorhanden? Is er een keuze uit verschillende soorten algoritmen of aanbieders daarvan? Een aantal van deze vragen is ook al aan de orde gekomen bij vraag 1.1; de daar bereikte conclusies kunnen ook bij de discussie over deze stap worden betrokken.

Impact Assessment | Mensenrechten en Algoritmes

75 /94

1. Waarom?

2A. Wat (input)?

2B. Wat (throughput)?

3. Hoe?

4. Mensenrechten

Bijlagen

4.6

Noodzakelijkheid/subsidiariteit Aanwijzingen en toelichting

Wanneer op basis van dit vereiste wordt gekozen voor inzet van een mitigerende maatregel

Als de verschillende mogelijkheden en instrumenten in kaart zijn gebracht, is de vraag of de

wordt gekozen, moet voor het resultaat wel opnieuw het grondrechtenstappenplan worden

inzet van het algoritme de beste optie is, gelet op de grondrechteneffecten daarvan. In meer

doorlopen. Vooral bij kleurcode rood (zie stap 3), maar ook bij code oranje moet bovendien

algemene zin geldt bij de keuze tussen alternatieven het uitgangspunt van de ‘best available

worden nagegaan of de beschikbare alternatieven of de mitigerende maatregelen

techniques’. Dit betekent dat die keuze moet worden gemaakt die zo goed mogelijk

daadwerkelijk tot een minder vergaande grondrechtenaantasting leiden. Bij code groen

tegemoetkomt aan de randvoorwaarden en de grondrechten die op het spel staan.

is de vrijheid groter en kan gemakkelijker worden gekozen tussen een de verschillende

20

mogelijkheden. Wanneer technisch gezien preventieve, mitigerende of compenserende instrumenten of maatregelen beschikbaar zijn waardoor het doel van de inzet van het algoritme nog wel

De vraag kan rijzen wat de trade-off moet zijn als een alternatief iets minder effectief lijkt te zijn,

kan worden bereikt, maar grondrechten minder worden aangetast, is het wenselijk dat die

maar wel het grondrecht minder lijkt aan te tasten. Hiervoor zijn er geen harde criteria beschikbaar

instrumenten worden ingezet. Dergelijke preventieve en mitigerende maatregelen kunnen ook

– hierover zal vooral een open discussie moeten worden gevoerd. Wel geldt dat wanneer

van regulerende aard zijn: bijv. eerst experimenteerruimte bieden en pas na uitgebreid testen

sprake is van kleurcode rood of oranje, en er zijn twijfels over de noodzakelijkheid die niet

uitrollen; werken met horizonbepalingen en evaluatiemomenten; rapportageverplichtingen en

kunnen worden weggenomen door mitigerende maatregelen, het algoritme in ieder geval

auditmogelijkheden inzetten; etc.

moet worden gerapporteerd.

In bijlage 2 bij het IAMA is een (niet-uitputtend) overzicht opgenomen van beschikbare preventieve en mitigerende maatregelen.

Impact Assessment | Mensenrechten en Algoritmes

20 High Level Expert Group on AI 2019, par. 105; Janssen 2020.

76 /94

1. Waarom?

2A. Wat (input)?

2B. Wat (throughput)?

3. Hoe?

4. Mensenrechten

Bijlagen

4.7

Belangenafweging/proportionaliteit

4.7.1 Levert inzet van het algoritme een redelijk evenwicht op tussen de te realiseren doelen en de grondrechten die worden geraakt, en waarom is dat zo?

Aanwijzingen en toelichting Als een algoritme een geschikt en een noodzakelijk middel lijkt te zijn om de geformuleerde doelen te verwezenlijken, is het nodig om altijd nog een laatste stap te zetten. Die heeft te maken met het relatieve gewicht van het grondrecht dat op het spel gaat, tegenover het

Antwoord:

relatieve gewicht van de maatschappelijke doelen die worden nagestreefd. Stel bijvoorbeeld dat een algoritme een prima geschikt en ook noodzakelijk instrument is om de efficiëntie van besluitvorming te verbeteren, maar er is wel een groot risico dat het instrument maatschappelijke discriminatiepatronen bevestigt of versterkt. Is het dan redelijk om het instrument toch in te zetten? Het is niet mogelijk om harde en objectieve criteria te formuleren voor de gewichtsbepaling en de afweging tussen de verschillende rechten, belangen, doelstellingen en publieke waarden. Wel kan in algemene zin gelden dat hoe ernstiger de verwachte grondrechteninbreuk is, hoe zwaarder de maatschappelijke doelen moeten wegen die daartegenover staan. Bijvoorbeeld: bij kleurcode rood (zie stap 3) is de keuze voor een algoritme (hoe geschikt en noodzakelijk het ook is om bepaalde doelen te bereiken?) alleen aanvaardbaar als die doelen zelf ook heel zwaarwegend zijn. Het bepalen van het relatieve belang van de doelstellingen die bij stap 1 zijn geïdentificeerd kan behulpzaam zijn om daarvan een inschatting te maken.

Impact Assessment | Mensenrechten en Algoritmes

77 /94

1. Waarom?

2A. Wat (input)?

2B. Wat (throughput)?

3. Hoe?

4. Mensenrechten

Bijlagen

Invulschema grondrechten Onderstaand invulschema kan gebruikt worden ter aanvulling op of in plaats van de antwoorden gegeven in onderdeel 4 van het IAMA. De eerste rij van het invulschema geeft de vragen weer die in onderdeel 4 van het IAMA ook gesteld zijn. Onder de rij met vragen zijn verschillende lege rijen, die per grondrecht ingevuld kunnen worden om tot een helder overzicht te komen van de geraakte grondrechten en de gevolgen daarvan. In de toelichting op de volgende pagina is een voorbeeldcasus gegeven, waarin te zien is hoe dit schema er ingevuld uit kan zien. 1. Grondrecht

2. Specifieke wetgeving en

3. Zwaartebepaling

4. Doelstellingen

richtlijnen

5. Doeltreffendheid/ geschiktheid/

6. Noodzakelijkheid/

7. Afweging/

effectiviteit

subsidiariteit

proportionaliteit in strikte zin

Welk (aspect van) een

Is er specifieke wetgeving van

Welk aspect van het grondrecht

Welke doelen worden

Is het in te zetten algoritme een

Is inzet van dit specifieke

Zijn de doelen – alles bij elkaar

grondrecht wordt geraakt?

toepassing op dit grondrecht?

wordt geraakt en is de

nagestreefd?

doeltreffend/geschikt/effectief

algoritme noodzakelijk,

genomen – zwaarwegend

Zo ja, wordt daaraan voldaan?

verwachte aantasting vergaand,

middel om de gestelde doelen te

d.w.z. zijn er geen andere of

genoeg om de aantasting van

realiseren?

mitigerende maatregelen

het grondrecht te kunnen

beschikbaar om dit te doen?

rechtvaardigen?

Zie toelichting en bijlage 2 (lijst

Zie toelichting.

beperkt of iets ertussenin?

Zie toelichting en bijlage 1 (lijst grondrechten).

Zie toelichting.

Welke kleurcode hoort hierbij (rood, oranje, groen)? Zie toelichting.

Impact Assessment | Mensenrechten en Algoritmes

Zie antwoord op vraag 1.2. Zie toelichting.

Zie toelichting. mitigerende maatregelen)

78 /94

1. Waarom?

2A. Wat (input)?

2B. Wat (throughput)?

3. Hoe?

4. Mensenrechten

Bijlagen

Invulschema grondrechten

Impact Assessment | Mensenrechten en Algoritmes

79 /94

1. Waarom?

2A. Wat (input)?

2B. Wat (throughput)?

4. Mensenrechten

3. Hoe?

Bijlagen

Invulschema grondrechten Volledig fictief invulvoorbeeld: een voorspellend algoritme dat wordt ingezet om socialezekerheidsfraude te bestrijden. Natuurlijk kan dit schema pas worden ingevuld als alle eerdere delen (deel 1-3) al volledig zijn behandeld en over alle gestelde vragen moet ook discussie plaatsvinden; onderstaande invulvoorbeelden zijn dus alleen bedoeld om een beeld te geven van hoe het schema eruit kan komen te zien voor één specifiek in te zetten algoritme.

1. Grondrecht

2. Specifieke wetgeving en

3. Zwaartebepaling

4. Doelstellingen

richtlijnen

5. Doeltreffendheid/ geschiktheid/

6. Noodzakelijkheid/

7. Afweging/

effectiviteit

subsidiariteit

proportionaliteit in strikte zin

Welk (aspect van) een

Is er specifieke wetgeving van

Welk aspect van het grondrecht

Welke doelen worden

Is het in te zetten algoritme een

Is inzet van dit specifieke

Zijn de doelen – alles bij elkaar

grondrecht wordt geraakt?

toepassing op dit grondrecht?

wordt geraakt en is de

nagestreefd?

doeltreffend/geschikt/effectief

algoritme noodzakelijk,

genomen – zwaarwegend

Zo ja, wordt daaraan voldaan?

verwachte aantasting vergaand,

middel om de gestelde doelen te

d.w.z. zijn er geen andere of

genoeg om de aantasting van

realiseren?

mitigerende maatregelen

het grondrecht te kunnen

beschikbaar om dit te doen?

rechtvaardigen?

Zie toelichting en bijlage 2 (lijst

Zie toelichting

beperkt of iets ertussenin?

Zie toelichting en bijlage 1 (lijst grondrechten).

Zie toelichting.

Zie antwoord op vraag 1.2.

Welke kleurcode hoort hierbij (rood, oranje, groen)?

Zie toelichting.

Zie toelichting. mitigerende maatregelen)

Zie toelichting. Recht op toegang tot gegevens

Ja, AGV – DPIA nodig

Zie DPIA

Zie DPIA

Zie DPIA

Zie DPIA

Zie DPIA

Verbod van indirect onderscheid

Ja, Algemene wet gelijke

Algoritme zal ertoe leiden dat

Importeren vanuit vraag 1.2:

Ja, want …

Ja, want … maar alleen als

Nee: zelfs als mitigerende

op grond van nationale afkomst

behandeling – dus check nodig

bepaalde groepen mensen

fraudebestrijding; goede

de volgende mitigerende

maatregelen worden getroffen,

of aan de eisen uit deze wet is

sneller gecontroleerd worden

inzet van overheidsmiddelen;

maatregelen worden getroffen …

blijft het nadeel dat een

voldaan. Uitkomst check: …

op fraude; dit kan sterk

efficiency.

beschermde groep indirect erg

stigmatiserend werken en het

zwaar en stigmatiserend kan

gaat om een ‘verdachte’ grond

worden getroffen door deze

van onderscheid, dus dit is een

maatregel (code rood). Deze

vergaande aantasting met code

effecten zijn zo problematisch

rood.

dat de baten van de inzet van het algoritme er niet tegen opwegen.

Impact Assessment | Mensenrechten en Algoritmes

80 /94

1. Waarom?

2A. Wat (input)?

2B. Wat (throughput)?

3. Hoe?

4. Mensenrechten

Bijlagen

Invulschema grondrechten

Recht op een effectief

Ja, Algemene wet bestuursrecht

De algoritmische

Importeren vanuit vraag 1.2:

Ja, want de besluitvormings-

Ja, extra aandacht wordt

rechtsmiddel

– dus check nodig of aan de

besluitvormingspro-cedure

fraudebestrijding; goede

procedure is zo ingericht

namelijk besteed aan

eisen uit deze wet is voldaan.

wordt zo ingericht dat

inzet van overheidsmiddelen;

dat aan alle Awb-eisen voor

uitlegbaarheid voor en

Uitkomst check: …

rechtsbescherming openstaat

efficiency.

rechtsbescherming is voldaan,

communicatie naar de volgende

namelijk ….

groepen: …

voor de burger die door een

Ja, want het is belangrijk om ...

besluit wordt geraakt en er wordt voorzien in voldoende transparantie, uitlegbaarheid etc. De rechtsbescherming wordt dus niet vergaand beperkt. Wel blijkt dat mensen het bij algoritmische besluitvorming vaak moeilijker vinden om te weten waar ze precies tegen moeten opkomen, dus er kan wel enig effect zijn op de rechtsbescherming. Alles bekijkende is de inbreuk relatief gering, dus code groen.

Impact Assessment | Mensenrechten en Algoritmes

81 /94

1. Waarom?

2A. Wat (input)?

2B. Wat (throughput)?

3. Hoe?

4. Mensenrechten

Bijlagen Bijlagen

BIJLAGE 1- GRONDRECHTENCLUSTERS Inleiding In deze bijlage wordt ten behoeve van stap 1 van het stappenplan grondrechten een nadere

Een nadere toelichting op veruit de meeste in dit overzicht genoemde grondrechten, met

typologie gemaakt van de verschillende onderscheiden categorieën van grondrechten:

nadere verwijzing naar rechtspraak en literatuur, is te vinden in Gerards e.a. 2020. Kortere

1. Aan de persoon gerelateerde grondrechten

overzichten, die vooral ook zijn gericht op de vraag hoe algoritmes deze grondrechten kunnen

2. Vrijheidsrechten

raken, zijn te vinden bij Vetzo, Gerards & Nehmelman 2018 en bij Gerards 2019. Daarnaast

3. Gelijkheidsrechten

kan meer informatie over deze materie worden gevonden in hoofdstuk 3 (‘Controleren van

4. Procedurele rechten

betrouwbare AI’) van de Ethische Richtsnoeren voor betrouwbare Kunstmatige Intelligentie (High Level Expert Group on AI, 2019).

Voor ieder cluster wordt hierna steeds eerst een korte samenvatting gegeven van de relevante kernwaarden; die kern kan van belang zijn bij het beantwoorden van de vraag hoe zwaar een

Van belang is dat de genoemde grondrechten zelden ‘absoluut’ zijn. In de meeste gevallen

bepaald grondrecht wordt geraakt (stap 2 van het stappenplan grondrechten). Daarbij wordt

is het mogelijk om redelijke beperkingen te stellen of de uitoefening van grondrechten te

ook een aantal voorbeelden gegeven van grondrechten die nauw met deze kernwaarden

reguleren. Om te beoordelen of dat het geval is, moeten de stappen 2-7 van het stappenplan

samenhangen.

grondrechten (deel 4 van het IAMA) worden doorlopen

Deze samenvatting wordt gevolgd door een schematische weergave van de diverse grondrechten die binnen een bepaald cluster thuishoren. Daarbij wordt in de linkerkolom een samenhangend cluster van grondrechten weergegeven; in de rechterkolom worden voor dit cluster voorbeelden gegeven van het soort grondrechten dat ertoe kan worden gerekend. Deze lijsten van clusters kunnen systematisch worden nagelopen als onderdeel van het IAMA, waarbij het de bedoeling is om bij stap 1 van het grondrechtenstappenplan te identificeren welke verschillende grondrechten door het algoritme kunnen worden geraakt.

Impact Assessment | Mensenrechten en Algoritmes

82 /94

1. Waarom?

2A. Wat (input)?

2B. Wat (throughput)?

3. Hoe?

4. Mensenrechten

Bijlagen Bijlagen

1. AAN DE PERSOON GERELATEERDE RECHTEN Inleiding De brede categorie van de aan persoon gerelateerde rechten is nauw verbonden met

Onder de brede categorie van de aan de persoon gerelateerde rechten kan verder een aantal

verschillende kernwaarden, in het bijzonder met de menselijke waardigheid, de persoonlijke

rechten worden gebracht die kunnen worden gezien als voorwaardenscheppend voor de

autonomie, de fysieke en geestelijke integriteit en de eigen en de sociale identiteit. Heel kort

uitoefening van de genoemde kernwaarden. Het ultieme voorbeeld is het recht op leven: als

en grof samengevat houden die kernwaarden in dat moet worden gerespecteerd dat mensen

dit recht niet effectief wordt beschermd, is het op geen enkele manier mogelijk om een van

zijn wie ze (willen) zijn, omdat ze allemaal als mens hun eigen waarde hebben. Ook moeten

de andere genoemde rechten te kunnen uitoefenen en om waarden als die van menselijke

mensen (uiteraard binnen redelijke grenzen) de mogelijkheid hebben om zichzelf te ontplooien

waardigheid of autonomie te kunnen verwezenlijken.

en hun eigen keuzes te maken. Belangrijke voorwaardenscheppende grondrechten zijn tot slot ‘sociale’ of economische Het gaat bij deze waarden allereerst om ‘interne’ aspecten van het mens-zijn en van de

grondrechten zoals het recht op water en voedsel, het recht op goede arbeidsomstandigheden,

eigen persoonlijkheid, die moeten worden beschermd tegen inmenging en bemoeienis door

het recht op een bestaansminimum, het recht op een toegankelijke gezondheidszorg en

anderen. Typische voorbeelden van rechten die nauw met deze kernwaarden samenhangen

het recht op een gezonde leefomgeving. Als dergelijke grondrechten onvoldoende worden

zijn het recht op respect voor de persoonlijke leefomgeving (zoals de eigen woning), het recht

gerespecteerd en beschermd, is het immers niet mogelijk (of in ieder geval minder gemakkelijk)

op bescherming van persoonsgegevens, rechten die te maken hebben met lichamelijke en

om een menswaardig leven te kunnen leiden waarbinnen autonome keuzes mogelijk zijn.3

geestelijke integriteit, de bescherming van eer en goede naam en de gewetensvrijheid.2 Minstens zo belangrijk zijn meer externe en op sociale identiteit gericht aspecten van de persoonlijke levenssfeer en de individuele autonomie, die gaan over de interactie met anderen. Mensen kunnen vaak pas zichzelf zijn en zichzelf ontwikkelen als ze relaties kunnen aangaan en onderhouden. Concrete uitwerkingen van deze grondwaarde zijn het recht op respect voor het gezinsleven, het recht om te huwen, en in meer algemene zin het recht om relaties met de buitenwereld aan te gaan, zowel in het privéleven als in de werksfeer.

Impact Assessment | Mensenrechten en Algoritmes

2 Vetzo, Gerards & Nehmelman 2018, p. 53 e.v.; Koops e.a. 2017. 3 Nickel 2007.

83 /94

1. Waarom?

2A. Wat (input)?

3. Hoe?

2B. Wat (throughput)?

4. Mensenrechten

Bijlagen Bijlagen

Cluster

Voorbeelden

Persoonlijke identiteit / persoonlijkheidsrechten / persoonlijke autonomie

-

Recht op zelfontplooiing Vrijheid om het eigen gedrag te bepalen Vrijheid om eigen uiterlijk vorm te geven Vrije beroepskeuze, onderwijskeuze, opleidingskeuze etc. Respect voor de eigen identiteit (genderidentiteit / seksuele identiteit etc.) Reproductieve rechten Recht op kennis van de eigen afstamming Naamrechten Contractvrijheid

Sociale identiteit / relationele privacyrechten / relationele autonomie

-

Recht op respect voor familierelaties / gezinsleven Recht om te huwen Recht op gezinsvorming Recht om seksuele relaties aan te gaan Recht om professionele/zakelijke relaties aan te gaan Recht op toegang tot de arbeid/professie Recht op toegang tot een land / verblijfsrechten Recht op onderwijs

Lichamelijke en geestelijke integriteit

-

Gewetensvrijheid / vrijheid van gedachte Recht op leven Verbod van foltering / onmenselijke of vernederende behandeling en bestraffing Verbod van refoulement Verbod op fouilleren: lijfsvisitatie Toestemmingsvereiste bij medische behandeling en onderzoek Recht op toegang tot de gezondheidszorg Respect voor handelingsbekwaamheid Recht op vrijwillige levensbeëindiging Recht op abortus Verbod op (moderne) slavernij/dienstbaarheid/gedwongen arbeid/mensenhandel/uitbuiting

Gegevensbescherming / informationele privacyrechten

-

Bescherming tegen ongeautoriseerde/onzorgvuldige gegevensverwerking Recht op toegang tot gegevens Recht op correctie van gegevens Recht op vergetelheid

Impact Assessment | Mensenrechten en Algoritmes

84 /94

1. Waarom?

2A. Wat (input)?

3. Hoe?

2B. Wat (throughput)?

4. Mensenrechten

Bijlagen Bijlagen

Communicatierechten

-

Briefgeheim Bescherming tegen afluisteren/aftappen/interceptie Verbod op ongeautoriseerde doorgifte van communicatiegegevens Vertrouwelijkheid communicatie met advocaat, arts etc.

Ruimtelijke privacyrechten

-

Bewegingsvrijheid Habeas-corpusrechten (verbod van vrijheidsbeneming, huisarrest etc.) Vrije woonplaatskeuze Vrijverkeersrechten (EU-recht) Recht om het land te verlaten Verbod op ongeautoriseerd volgen van personen (GPS-tracker) Verbod op ongeautoriseerd cameratoezicht

Eigendomsgebonden privacyrechten

-

Huisrecht (bescherming tegen invallen/doorzoekingen) Vrije beschikking over eigendom Bescherming tegen onteigening Bescherming tegen doorzoeking kleding/tassen/laptop/computer etc. Intellectueel-eigendomsrechten

Reputatierechten

-

Verbod van strafbare belediging / smaad / laster Bescherming van eer en goede naam

Gezonde leefomgeving

-

Recht op duurzame ontwikkeling Recht op milieubescherming Bescherming tegen uitstoot van schadelijke stoffen Recht op toegang tot schoon drinkwater Recht op toegang tot sanitatie (riolering) Recht op toegang tot energie

Sociale en economische rechten

-

Recht op een minimum bestaansniveau Recht op sociale zekerheid en bijstand Toegang tot onderwijs

Impact Assessment | Mensenrechten en Algoritmes

85 /94

1. Waarom?

2A. Wat (input)?

2B. Wat (throughput)?

3. Hoe?

4. Mensenrechten

Bijlagen Bijlagen

2. VRIJHEIDSRECHTEN Inleiding Vrijheidsrechten hebben een sterke relatie met de hierboven benoemde kernwaarden van

De genoemde kernwaarden - waardigheid, autonomie, integriteit en identiteit - zijn niet de

waardigheid, autonomie, identiteit en integriteit. Zij betreffen echter sterker het externe

enige die ten grondslag liggen aan de vrijheidsrechten. De vrije uitwisseling van standpunten

aspect: zij zien erop dat individuen onbelemmerd uitdrukking kunnen geven aan hun eigen

en ideeën, de toegang tot informatie, een ruime verenigingsvrijheid, de mogelijkheid

identiteit. 4 Zo zorgt de vrijheid van meningsuiting ervoor dat mensen hun eigen opvattingen

om ongehinderd een stem te kunnen uitbrengen op een bepaalde kandidaat tijdens de

of gevoelens kunnen delen met anderen, terwijl de godsdienstvrijheid ruimte laat om een

verkiezingen, de mogelijkheid om petities te kunnen indienen: dat alles is ook essentieel om

bepaalde geloofsovertuiging (of juist het ontbreken daarvan) actief te belijden en uit te dragen.

een democratische rechtsstaat goed te laten functioneren en om ruimte te laten voor debat

De verenigingsvrijheid laat toe dat mensen samenkomen met gelijkgestemden, terwijl de

en de confrontatie van verschillende opvattingen en ideeën. Vrijheidsrechten houden dus ook

demonstratievrijheid betrekking heeft op het op bepaalde manieren kenbaar maken van

verband met kernwaarden als rechtsstatelijkheid, pluralisme en democratie. 5

bepaalde opvattingen aan de buitenwereld, bijvoorbeeld via een mars of een fluitconcert. De bewegingsvrijheid en het ‘habeas corpus’-recht maken het mogelijk om zich ongehinderd te verplaatsen. Het kiesrecht maakt het mogelijk dat mensen vrij kunnen kiezen wie hen zal vertegenwoordigen bij het maken van wetgeving en beleid. Enzovoort.

Impact Assessment | Mensenrechten en Algoritmes

4 Vetzo, Gerards & Nehmelman 2018. 5 Zie ook Vetzo, Gerards & Nehmelman 2018.

86 /94

1. Waarom?

2A. Wat (input)?

3. Hoe?

2B. Wat (throughput)?

4. Mensenrechten

Bijlagen Bijlagen

Subcluster

Voorbeelden

Uitingsvrijheid

-

Persvrijheid/journalistieke vrijheid Artistieke vrijheid Vrijheid van wetenschap/academische vrijheid Vrijheid tot keuze van uitingsmiddel (mondeling/schriftelijk etc.) Klokkenluiden Journalistieke bronbescherming/verschoningsrecht

Vrijheid om informatie te ontvangen

-

Passieve informatievergaring (recht op toegang tot aangeboden, bestaande informatie) Actieve informatievergaring (recht op toegang tot overheidsinformatie / openbaarheid van bestuur) Plicht tot voorzien in pluriforme informatie Recht op vrije toegang tot het internet

Godsdienstvrijheid

-

Vrijheid om een religie te hebben of niet te hebben Religieuze uitingsvrijheid (symbolen, rituelen) Vrijheid om samen te komen met andere gelovigen Vrijheden van kerkgenootschappen/religieuze gemeenschappen Scheiding staat en religie (religieuze neutraliteit van de staat) Respect voor religieuze/filosofische overtuigingen in het onderwijs

Demonstratievrijheid

-

Vrijheid van vergadering Samenkomsten, protestmarsen etc. Vrije keuze onderwerp, tijd, plaats en middelen Bescherming tegen ‘hostile audiences’

Verenigingsvrijheid

-

Vrijheid om al dan niet lid te zijn van een vereniging Interne verenigingsvrijheid (eigen keuze leden, activiteiten) Vrijheid van politieke partijen Vakbondsvrijheid Collectieve actierechten Stakingsrecht

Politieke rechten/vrijheden

-

Recht op periodieke organisatie van vrije en geheime verkiezingen Actief en passief kiesrecht Petitierecht

Impact Assessment | Mensenrechten en Algoritmes

87 /94

1. Waarom?

2A. Wat (input)?

2B. Wat (throughput)?

3. Hoe?

4. Mensenrechten

3. GELIJKHEIDSRECHTEN

Bijlagen Bijlagen

worden betrokken, kan het gevolg bovendien zijn dat die mensen in feite alsnog worden buitengesloten.

Inleiding Het recht op gelijke behandeling dient allereerst een aantal belangrijke rechtsstatelijke

Het recht op ‘gelijke behandeling’ en non-discriminatie impliceert dus vooral een ‘faire’

waarden, namelijk die van rechtsgelijkheid, rechtszekerheid, en bescherming tegen willekeur

behandeling die is gebaseerd op objectieve, zoveel mogelijk rationele gronden, waarbij

in het overheidshandelen. Iedereen wordt geacht voor de wet gelijk te zijn en als een

rekening wordt gehouden met de waarden van gelijkwaardigheid, inclusiviteit en

wettelijke regeling op een bepaalde groep van toepassing is, moet die wet ook in de uitvoering

toegankelijkheid. Is eenmaal de keuze gemaakt om bepaalde gevallen of personen op een

daadwerkelijk op al die gevallen worden toegepast. Dat voorkomt dat uitvoeringsambtenaren

bepaalde, gelijkwaardige manier te behandelen, dan geldt vervolgens het vereiste van

naar eigen inzicht van de wet afwijken en bevordert bovendien de voorspelbaarheid van de

gelijkheid voor de wet.

toepassing van die wet. Tot slot is van belang om te benoemen dat codificaties van het gelijkheidsbeginsel er meestal Een tweede kernwaarde die ten grondslag ligt aan de gelijkheidsrechten is de waarde van

van uitgaan dat een nadelige behandeling die is ingegeven door bepaalde, expliciet benoemde

gelijkwaardigheid.6 De behoeften, kwaliteiten, wensen of talenten van ieder mens zijn anders,

persoonskenmerken (‘beschermde persoonskenmerken’) in beginsel niet toelaatbaar is.

maar die verschillen mogen niet maken dat sommige mensen of groepen van mensen als

Reden daarvoor is dat besluiten die op die persoonskenmerken zijn gebaseerd meestal niet

‘minderwaardig’ worden behandeld. Iedereen heeft het recht om op gelijke voet aan de

zijn ingegeven door objectieve, neutrale overwegingen, maar samenhangen met bias of met

samenleving, de economie en de arbeidsmarkt deel te nemen (de waarde van inclusiviteit) en

onjuiste of al te brede stereotypen of vooroordelen. Ook kunnen dergelijke besluiten een

het is niet aanvaardbaar om groepen of personen zonder goede reden uit te sluiten van de

uitvloeisel zijn van diepgewortelde patronen van systematische achterstelling en discriminatie

toegang tot belangrijke maatschappelijke goederen (de waarde van toegankelijkheid). Op dit

van bepaalde groepen.

punt bestaat er een nauwe relatie met de hiervoor genoemde kernwaarden van menselijke waardigheid, autonomie, identiteit en integriteit. Het ontbreken van gelijkwaardige en

Een besluit dat (direct of indirect) op een beschermd persoonskenmerken is gebaseerd is

inclusieve toegang tot belangrijke voorzieningen maakt het immers moeilijk om aan die

daarmee ‘verdacht’, wat betekent dat het alleen toelaatbaar is als overtuigend aannemelijk kan

kernwaarden tegemoet te komen.

worden gemaakt dat er goede en objectieve redenen voor het besluit bestaan. Veelgenoemde beschermde persoonskenmerken zijn ras, nationaliteit, etniciteit, geslacht/gender, seksuele

De noties van gelijkheid voor de wet, gelijkwaardigheid, inclusiviteit en toegankelijkheid

geaardheid of gerichtheid, godsdienst, levensovertuiging, politieke gezindheid, geboorte

betekenen niet dat mensen altijd volledig gelijk moeten worden behandeld.7 Er kunnen

(wettig/onwettig/geadopteerd...), burgerlijke staat, handicap, chronische ziekte en leeftijd.

goede redenen zijn om rekening te houden met de verschillen tussen mensen of de

Deze lijst is zeker niet uitputtend; verschillende codificaties bevatten verschillende overzichten.

situaties waarin ze zich bevinden. Ongelijke behandeling kan zelfs ‘eerlijker’ zijn dan gelijke

Bovendien kan de lijst in de loop van de tijd worden aangevuld als het inzicht groeit dat ook

behandeling als daarmee beter tegemoet wordt gekomen aan de individuele wensen,

andere groepen beschermd moeten worden tegen achterstelling en benadeling.

behoeften of capaciteiten. Als de verschillen tussen mensen niet terdege in besluitvorming

Impact Assessment | Mensenrechten en Algoritmes

6 Gerards 2019a. 7 Vgl. Altman 2015.

88 /94

1. Waarom?

2A. Wat (input)?

3. Hoe?

2B. Wat (throughput)?

4. Mensenrechten

Bijlagen Bijlagen

Subcluster

Voorbeelden

Gelijkheid voor de wet

-

Verbod van direct onderscheid op bepaalde gronden

- Beslissingen of regels mogen niet in doorslaggevende mate zijn ingegeven door of gebaseerd op beschermde persoonskenmerken

Verbod van indirect onderscheid op bepaalde gronden

- Beslissingen of regels mogen niet disproportioneel benadelend uitpakken voor personen die behoren tot groepen met beschermde persoonskenmerken

Verbod van discriminatoir gemotiveerd handelen

-

Verbod van racistisch/xenofoob etc. gemotiveerd handelen (bijv. geweldpleging) Verbod van het geven van opdracht tot discriminatie

Recht op materieel onderscheid / maatwerk

-

Plicht om rekening te houden met verschillen tussen mensen en groepen

Recht op redelijke accommodatie / positieve actie

- Recht op voorzieningen voor mensen met een handicap die hen in staat stellen gelijkwaardig in de samenleving te participeren - Recht op compenserende maatregelen voor in het verleden ontstane structurele maatschappelijke ongelijkheid

Verbod van profilering

- Verbod van het creëren van categorieën of profielen op basis van beschermde persoonskenmerken, die vervolgens de basis vormen voor besluitvorming of beleid

Verbod van segregatie

-

Impact Assessment | Mensenrechten en Algoritmes

Gelijke toepassing van algemene wetgeving op iedereen die onder haar bereik valt Verbod van willekeur Consistentievereiste Rechtszekerheidsbeginsel

Verbod van ruimtelijke of andere vormen van scheiding van groepen die daarbij wel een vergelijkbare behandeling krijgen

6 Gerards 2019a. 7 Vgl. Altman 2015.

89 /94

1. Waarom?

2A. Wat (input)?

2B. Wat (throughput)?

3. Hoe?

4. Mensenrechten

Bijlagen Bijlagen

4. PROCEDURELE RECHTEN Inleiding Procedurele grondrechten, zoals het recht op een effectief rechtsmiddel en het recht op een

Van oudsher wordt aangenomen dat de procedurele rechten met name betekenis hebben voor

eerlijk proces voor een onafhankelijke en onpartijdige rechter, zijn wezenlijk om geschillen op

de zogenaamde ‘contentieuze fase’, dus de fase waarin een besluit is genomen en iemand

een effectieve en objectieve manier te kunnen oplossen en om rechtsherstel te kunnen bieden

daarover wil klagen, of de fase waarin er een geschil is ontstaan tussen twee civiele partijen.

bij aantasting van individuele belangen. Daarnaast zijn deze rechten essentieel bij de controle

In toenemende mate is echter aanvaard dat procedurele rechten en waarborgen ook al in

op de uitoefening van wetgevende en uitvoerende bevoegdheden door de overheid. Zeker als

de ‘precontentieuze’ of besluitvormingsfase moeten worden geboden.8 In het bijzonder is

grondrechten zijn aangetast, is het belangrijk dat een objectieve derde dit kan vaststellen en

er een tendens om bepaalde algemene beginselen van behoorlijk bestuur te beschouwen

dat deze eventueel een besluit kan vernietigen of een wettelijke regeling buiten toepassing kan

als grondrechten; in het EU-Grondrechtenhandvest is een recht op behoorlijk bestuur zelfs

verklaren.

expliciet gecodificeerd. Dit betekent dat ook bijvoorbeeld beginselen van transparantie, motivering en zorgvuldigheid van besluitvorming kunnen worden beschouwd als procedurele

Dit betekent dat procedurele grondrechten deels instrumenteel van aard zijn, in die zin dat ze

grondrechten. Dit is voor algoritmes uiteraard van bijzonder belang, nu kwesties rondom

helpen om de hiervoor besproken, meer materiële grondrechten te realiseren. Tegelijkertijd

uitlegbaarheid en kenbaarheid van algoritmische besluitvormingsprocessen daarbij regelmatig

kan worden aangenomen dat procedurele grondrechten ook intrinsiek bepaalde kernwaarden

spelen. In dit IAMA hebben wij dergelijke beginselen een aparte plaats toegekend in deel 1.

representeren, in het bijzonder waarden als eerlijkheid, openheid, evenwichtigheid,

Dit betekent dat bij het doorlopen van het stappenplan vooral de ‘klassieke’ procedurele

objectiviteit en procedurele rechtvaardigheid.

rechten voor de contentieuze fase van belang zijn, al is het altijd waardevol om daarnaast na te gaan of bij inzet van een algoritme het recht op behoorlijk bestuur voldoende kan worden

Om deze kernwaarden te kunnen verwezenlijken is het uiteraard nodig dat er toegang is tot een

verzekerd.

effectief rechtsmiddel; dat kan een rechter zijn, maar in voorkomende gevallen ook een ander onafhankelijk instituut, zoals een toezichthouder of een mensenrechteninstituut. Als toegang tot een onafhankelijke en onpartijdige rechter wordt geboden, moet de procedure voor deze rechter aan een heel aantal eisen voldoen, variërend van berechting binnen redelijke termijn tot ‘equality of arms’. Een aantal van deze eisen en waarborgen geldt daarbij specifiek voor strafrechtelijke procedures, zoals de onschuldpresumptie of het verbod van terugwerkende kracht van strafwetgeving. Elementen daarvan kunnen in voorkomende gevallen echter ook een rol spelen in andere procedures, zeker waar het bijvoorbeeld gaat om (reparatoire) handhavingsmechanismen.

Impact Assessment | Mensenrechten en Algoritmes

8 Nader Julicher 2019

90 /94

1. Waarom?

2A. Wat (input)?

3. Hoe?

2B. Wat (throughput)?

4. Mensenrechten

Bijlagen Bijlagen

Subcluster

Voorbeelden

Recht op behoorlijk bestuur (precontentieuze fase)

-

Recht op transparantie en informatievoorziening Participatie- en verdedigingsrechten (bijv. hoorrechten) Recht op zorgvuldige besluitvorming Motiveringsplichten Verbod van willekeur Verbod van abus/détournement de pouvoir

Recht op een effectief rechtsmiddel en toegang tot de rechter (contentieuze fase)

-

Bevoegdheid tot bieden van effectief rechtsherstel Recht op toegang tot een overheidsrechter Recht op inhoudelijke behandeling ‘Full jurisdiction’ (gehele zaak moet kunnen worden beoordeeld) Ius de non evocandi (recht om niet te worden afgehouden van de rechter die iemand in een bepaald geschil toekomt) Verbod van hoge drempels (griffierecht, bijstand door advocaat, immuniteiten, termijnen) Recht op gefinancierde rechtsbijstand Recht op effectieve tenuitvoerlegging rechterlijke uitspraak

Recht op een onafhankelijke en onpartijdige rechter

-

Persoonlijke onafhankelijkheid (bijv. ambtsduur) Zakelijke/functionele afhankelijkheid (bescherming tegen druk van buitenaf) Institutionele onafhankelijkheid Subjectieve onpartijdigheid (geen betrokkenheid bij een van de partijen) Objectieve onpartijdigheid (geen legitieme twijfel mogelijk over onbevooroordeelde beoordeling)

Recht op beoordeling binnen redelijke termijn

-

Gehele procedure (inclusief voorprocedure) mag niet te lang duren Recht op mogelijkheden tot versnelling van de procedure Recht op compensatie bij te lange duur van procedure

Recht op een eerlijk proces

-

Procedure op tegenspraak Equality of arms (voorbereidingstijd, toegang tot dossiers/documenten) Hoor en wederhoor Evenwichtige en faire bewijsregels Motiveringsplicht voor rechter Gelijke mogelijkheden tot horen getuigen / deskundigen Openbaarheid zitting/vonnis Rechtszekerheid Verschoningsrechten

Impact Assessment | Mensenrechten en Algoritmes

91 /94

1. Waarom?

2A. Wat (input)?

3. Hoe?

2B. Wat (throughput)?

4. Mensenrechten

Bijlagen Bijlagen

Subcluster

Voorbeelden

Recht op een eerlijk proces: strafrechtelijke waarborgen

-

Onschuldpresumptie Zwijgrecht/recht om niet mee te werken Uitlokverbod Ne bis in idem Recht op bijstand door een advocaat Recht op bijstand door een tolk

Strafrechtelijk legaliteitsvereiste (geen straf zonder wet)

-

Verbod op terugwerkende kracht van strafwetgeving Lex mitior-beginsel

Impact Assessment | Mensenrechten en Algoritmes

92 /94

1. Waarom?

2A. Wat (input)?

3. Hoe?

2B. Wat (throughput)?

4. Mensenrechten

BIJLAGE 2- PREVENTIEVE EN MITIGERENDE MAATREGELEN

Bijlagen Bijlagen

Regulerings- en bestuurlijke instrumenten die de impact van algoritmes op grondrechten kunnen verminderen • Werken op basis van een experiment of proeftuin met een beperkte dataset en beperkte

Inleiding In het bijzonder in het stappenplan grondrechten (stap 6: noodzakelijkheid) is aangegeven dat het nodig kan zijn om te zoeken naar maatregelen om de (mogelijke) nadelige effecten op grondrechten te voorkomen (preventieve maatregelen of in ieder geval te verzachten

toegankelijkheid; pas na uitgebreid testen verbreden.16 • Horizonbepalingen en evaluatiemomenten opnemen in de regeling op grond waarvan het algoritme kan worden ingezet.17 • Verplichtingen tot rapportage en reguliere audits opnemen om regelmatig te kunnen

(mitigerende maatregelen).

controleren wat de effecten van het algoritme zijn en hoe het uitwerkt op grondrechten. Op basis van de bestaande instrumenten en handreikingen (zie daarvoor delen 1-4 van het IAMA) kan daarbij worden gedacht aan een reeks van mogelijkheden. Deze mogelijkheden zijn hieronder opgesomd (NB: mitigerende maatregelen op het terrein van verwerking en bescherming van persoonsgegevens zijn hierin niet meegenomen, omdat zij bij een DPIA aan de orde kunnen komen). Nadere uitwerking is steeds te vinden in het instrument waarnaar

• Ontoelaatbaar achten van of moratorium zetten op een bepaalde inzet van algoritmes.18 • Formuleren van plafonds voor inzet van bepaalde algoritmes.19 • Inzet van gedragscodes, professionele standaarden of ethische codes voor actoren die een algoritme zullen hanteren.20 • Ontwikkelen van een variant op de hippocratische eed voor ontwikkelaars en toepassers van algoritmen (mits begeleidt door onderwijs of training omtrent data ethiek).21

wordt verwezen en/of in de wetenschappelijke literatuur.

• Onderwijs of training omtrent data-ethisch bewustzijn.22 Maatregelen om problemen bij de ontwikkeling en inzet van het algoritme te voorkomen • Verminderen van risico’s van bias in data door instance class modification, instance

• Normalisatie, accreditatie en certificering van algoritmes op basis van hun voldoen aan de eisen voor verantwoorde algoritmes.23 • Inzetten van checklists bij het nemen van besluiten op basis van de output van een

selection of instance weighing. • Zichtbaar maken van de invloed van beschermde persoonskenmerken op de werking van het algoritme door middel van instrumenten van o.m. ‘gender tagging’. 10

algoritme.24 • Aanbieden van inspraakmogelijkheden voor getroffen of betrokken burgers.25 • Ontwikkelen van een exitstrategie om gebruik van het algoritme stop te zetten in het geval

• Creëren van ‘fairness aware’ algoritmen.11 • Inzet van in-processing of post-processing methodes van ‘bias mitigation’.12

dit niet langer wenselijk blijkt.

• Inzet van mechanismen voor ‘ethics by design’, ‘equality by design’, ‘security by design’ 10 Kleinberg e.a. 2019; Khademi e.a. 2019 | 11 Castelluccia & Métayer 2019 | 12 TILT 2020, p. 47-48 | 13 High Level Expert Group on AI

etc.13

2019, par. 98 | 14 High Level Expert Group on AI 2019, par. 100-101; Ministerie JenV 2020 | 15 Ministerie JenV 2020 | 16 Janssen 2020; vgl.

• Testen en valideren.14

Ministerie JenV 2020 | 17 Janssen 2020 | 18 Janssen 2020 | 19 Janssen 2020 | 20 High Level Expert Group on AI 2019, par. 105; Janssen

• Inzet van mechanismen om de transparantie en uitlegbaarheid van algoritmes te bevorderen, zoals een ‘crystal box’ of getrapte transparantie.

15

2020 | 21 Gerards & Xenidis 2021 | 22 Gerards & Xenidis 2021 | 23 High Level Expert Group on AI 2019, par. 106-107; Gerards & Xenidis 2021 | 24 High Level Expert Group on AI, 2019, par. 117-118 | 25 Vgl. Meijer, Schäfer & Branderhorst 2013; Meijer en Grimmelikhuijsen 2020.

Impact Assessment | Mensenrechten en Algoritmes

93 /94

1. Waarom?

2A. Wat (input)?

2B. Wat (throughput)?

3. Hoe?

4. Mensenrechten

Bijlagen Bijlagen

LITERATUUR

Alexy, R. (2002), A Theory of Constitutional Rights, Transl. J. Rivers, Oxford: OUP 2002

Gerards, J.H. & Xenidis, R. (2021), Algorithmic Discrimination in Europe: Challenges and Opportunities for Equality and Non-Discrimination Law (European Equality Law Network/

Altman, A. (2015), ‘Discrimination’, in: E.N. Zalta (red.), The Stanford Encyclopedia of Philosophy,

European Commission, 2020 (forthcoming))

interneteditie 2015, via http://plato.stanford.edu/archives/fall2015/entries/discrimination/ Den Houdijker, F.M.J. (2012), Afweging van grondrechten in een veellagig rechtssysteem. Auditdienst Rijk (2021), Toetsingskader Algemene Rekenkamer, 2021

De toepassing van het proportionaliteitsbeginsel in strikte zin door het EHRM en het HvJ EU, Nijmegen: WLP 2012

Castelluccia, C. & Le Métayer, D. (2019), Understanding algorithmic decision-making: Opportunities and challenges, Report for the Panel for the Future of Science and Technology (STOA) of the

Janssen, H.L. (2020), ‘An approach for a fundamental rights impact assessment to automated

European Parliament, 2019

decision-making’, 10 International Data Privacy Law (2020) (1) p. 76-106

Eubanks, V. (2018), Automating Inequality: How High-Tech Tools Profile, Police,

Julicher, M. (2019), ‘Hoe behoorlijk is de Grondwet?’, Nederlands Tijdschrift voor Bestuursrecht

and Punish the Poor, Macmillan 2018

2019/44, p. 441-449

Gerards, J.H. (2002), Rechterlijke toetsing aan het gelijkheidsbeginsel. Een rechtsvergelijkend

High Level Expert Group on AI (2019), Ethische Richtsnoeren voor betrouwbare Kunstmatige

onderzoek naar een algemeen toetsingsmodel, Den Haag: Sdu 2002

Intelligentie, Brussel: Europese Commissie 2020

Gerards, J.H. (2018), ‘Core rights and the interaction of normative and analytical elements in

Khademi, A e.a. (2019), ‘Fairness in Algorithmic Decision Making: An Excursion Through the Lens

human rights scholarship’, in: M. Schein-in (ed.), Methods of Human Rights Research (working

of Causality’, via https://arxiv.org/pdf/1903.11719.pdf

title), forthcoming, working paper version available via https://ssrn.com/abstract=3333627 or http://dx.doi.org/10.2139/ssrn.3333627

Kleinberg, J e.a. (2019), ‘Discrimination in the Age of Algorithms’, via https://arxiv.org/ abs/1902.03731

Gerards, J.H. (2019a), Grondrechten in de platformeconomie, Preadvies Vereniging voor Burgerlijk Recht (VBR) 2019, Uitgeverij Paris 2019, p. 95-197

Koops, B.J. e.a. (2017), ‘A Typology of Privacy’, 38 University of Pennsylvania International Law Review 2017 (2), p. 483-575

Gerards, J.H. (2019b), General Principles of the European Convention on Human Rights, Cambridge, CUP: 2019 Impact Assessment | Mensenrechten en Algoritmes

94 /94

1. Waarom?

2A. Wat (input)?

2B. Wat (throughput)?

3. Hoe?

4. Mensenrechten

Bijlagen Bijlagen

Kulk, S., Deursen, S. van e.a. (2020), Juridische aspecten van algoritmen die besluiten nemen.

Vetzo, M., Gerards, J.H. & Nehmelman, R. (2018), Algoritmes en grondrechten, Den Haag: Boom

Een verkennend onderzoek, Den Haag: Boom 2020

juridische uitgevers 2018

Meijer, A., Schäfer, T & Branderhorst, M. (2019), ‘Principes voor goed lokaal bestuur in de digitale

Wetenschappelijke Raad voor het Regeringsbeleid (WRR) (2000), Het borgen van publiek belang,

samenleving. Een aanzet tot een normatief kader’, 73 Bestuurswetenschappen 2019 (4), p. 8-23

rapport nr. 56, Den Haag: WRR 2000

Meijer, A. & Grimmelikhuijsen, S. (2020), ‘Algoritmisch Bestuur. Hoe het gebruik van algoritmen

Wieringa, M. (2020), ‘What to account for when accounting for algorithms: A systematic

de legitimiteit van de overheid bedreigt en wat we hieraan kunnen doen’, Preadvies

literature review on algorithmic accountability’, in: Conference on Fairness, Accountability, and

Staatsrechtconferentie 2020, via https://www.uu.nl/sites/default/files/Meijer%2C%20

Transparency (FAT* ’20), January 27–30, 2020, Barcelona, Spain, ACM, New York, NY, USA

Grimmelikhuijsen%20-%20Preadvies%20Staatsrechtconferentie%202020.pdf Meijer, A. e.a. (2021), Code Goed Digitaal Openbaar Bestuur Ministerie voor JenV (2020), Richtlijnen voor het toepassen van algoritmen door overheden en publieksvoorlichting over data-analyses (Ministerie van JenV, 2020) Nickel, J.W. (2007), Making Sense of Human Rights, 2e druk, Malden: Blackwell 2007 O’Neil, C. (2016). Weapons of math destruction: How big data increases inequality and threatens democracy. Broadway Books. Van Ommeren, F.J. (2010), ‘Het legaliteitsbeginsel als hoeksteen van het staats- en bestuursrecht’, Ars Aequi 2010, p. 6 Soriano Arnanz, A. (2020), Posibilidades actuales y futuras para la regulación de la discriminación producida por algoritmos, Diss. Universitat de València 2020 (beschikbaar in het Engels) TILT 2020, Handreiking non-discriminatie by design (conceptversie, 2020)

Impact Assessment | Mensenrechten en Algoritmes

95 /94