Impact assessment Mensenrechten en Algoritmen.pdf
Tekst van het document
Antwoord:
Benodigde expertise/rol voor beantwoording van deze vraag: opdrachtgever, projectleider, jurist
Aanwijzingen en toelichting In sommige gevallen kiest een overheidsorganisatie ervoor om een algoritme te laten ontwikkelen door een marktpartij. In dat geval moeten er duidelijke afspraken worden gemaakt over eigenaarschap van het algoritme en de controle daarover. Denk hierbij ook aan de impact van mogelijke updates van het algoritme die door worden uitgevoerd door de externe partij. Daarnaast is het eigenaarschap belangrijk voor de uitlegbaarheid van het algoritme: ook wanneer het algoritme is ontwikkeld door een derde partij, moet de organisatie die het algoritme uiteindelijk inzet, uitleg kunnen geven over de werking ervan. Op dit punt kan ook worden teruggekeken naar deel 1, waarin discussie is gevoerd over de verantwoordelijkheden rondom de ontwikkeling en de inzet van het algoritme. Zie op dit punt ook het Toetsingskader Algemene Rekenkamer.
Impact Assessment | Mensenrechten en Algoritmes
38 /94
1. Waarom?
2A. Wat Wat(input)? (input)?
2B. Wat (throughput)?
3. Hoe?
4. Mensenrechten
Bijlagen
2B.3
Accuraatheid algoritme
2B.3.1 Wat is de accuraatheid van het algoritme,
2B.3.2 I s de mate van accuraatheid (vraag 2B.3.1)
en op basis van welke evaluatiecriteria is deze
acceptabel voor de manier waarop het algoritme
accuraatheid bepaald?
ingezet zal worden?
Antwoord:
Impact Assessment | Mensenrechten en Algoritmes
Antwoord:
2B.3.3 Hoe wordt het algoritme getest?
Antwoord:
39 /94
1. Waarom?
2A. Wat Wat(input)? (input)?
2B. Wat (throughput)?
3. Hoe?
4. Mensenrechten
Bijlagen
2B.3
Accuraatheid algoritme
2B.3.4 W elke maatregelen kunnen worden getroffen
2B.3.5 W elke aannames liggen ten grondslag aan de
2B.3.6 H oe vaak/erg zit het algoritme ernaast?
om de risico’s van reproductie of zelfs versterking
selectie en weging van de indicatoren?
(bijv. in termen van aantal false positives,
van biases tegen te gaan (bijv. andere sampling-
Zijn die aannames terecht? Waarom wel/niet?
false negatives, R-squared, ...)
strategie, feature modification, ...)?
Antwoord:
Impact Assessment | Mensenrechten en Algoritmes
Antwoord:
Antwoord:
40 /94
1. Waarom?
2A. Wat Wat(input)? (input)?
2B. Wat (throughput)?
3. Hoe?
4. Mensenrechten
Bijlagen
2B.3
Accuraatheid algoritme A. Gevallen waarin de boete in werkelijkheid correct betaald is én het algoritme aangeeft dat het Benodigde expertise/rol voor beantwoording van deze vraag: data scientist, ontwikkelaar algoritme, domeinexpert (medewerker met domeinkennis op het gebied waar het algoritme toegepast gaat worden)
correct betaald is (zogenaamde ‘true positives’) B. Gevallen waarin de boete in werkelijkheid niet correct betaald is, maar het algoritme aangeeft dat het wel correct betaald is (zogenaamde ‘false positives’) C. Gevallen waarin de boete in werkelijkheid niet correct is betaald én het algoritme aangeeft dat het niet correct betaald is (zogenaamde ‘true negatives’)
Aanwijzingen en toelichting Een algoritme komt op basis van inputdata en regels dat het volgt tot bepaalde resultaten. Het is
D. Gevallen waarin de boete in werkelijkheid wel correct betaald is, maar het algoritme aangeeft dat het niet correct betaald is (zogenaamde ‘false negatives’).
wenselijk dat deze resultaten zo vaak als mogelijk daadwerkelijk correct zijn. Zoals bij 2B.1 beschreven is onderscheid te maken tussen niet-zelflerende en zelflerende algoritmen. Voor beide typen
Het algoritme kan als 100% accuraat getypeerd worden als het altijd ‘true positives’ en ‘true
algoritmen is ‘accuraatheid’ belangrijk. Voor beide typen is het bovendien nodig om in te kunnen
negatives’ teruggeeft. Met andere woorden: als de boete correct betaald is komt het algoritme
schatten hoe vaak het algoritme het bij het rechte eind zal hebben en hoe vaak het algoritme
ook altijd tot die conclusie, en als de boete niet correct is betaald komt het algoritme ook altijd
ernaast zit. De methoden om de accuraatheid te beoordelen verschillen echter van elkaar. Dit
tot die conclusie.
heeft te maken met het feit dat bij niet-zelflerende algoritmen de accuraatheid van de door
In de praktijk kan het echter zo zijn dat de geprogrammeerde regels niet altijd tot de gewenste
mensen gespecificeerde regels beoordeeld dient te worden, terwijl bij zelflerende algoritmen de
resultaten leiden. Stel bijvoorbeeld voor dat het algoritme enkel naar het betalingskenmerk kijkt
accuraatheid van de door de machine geleerde regels beoordeeld dient te worden. Hieronder
in het specifiek daarvoor bestemde betalingskenmerkveld, en niet naar het opmerkingenveld. Alle
wordt dit aan de hand van een eenvoudig voorbeeld nader toegelicht.
transacties van personen die in de praktijk het betalingskenmerk typen in het opmerkingenveld zouden dan onterecht als ‘niet correct betaald’ worden aangemerkt (‘false negative’). Het is dan
Bij niet-zelflerende algoritmen gaat het om de accuraatheid van de regels die door mensen
nodig om te onderzoeken en te bediscussiëren of [1] aanpassingen aan het algoritme noodzakelijk
gespecificeerd zijn. Ter illustratie kan het voorbeeld dienen van het algoritme dat controleert
zijn en/of [2] dit niveau van accuraatheid acceptabel zou zijn in de context waarin het algoritme
of een verkeersboete correct is betaald (zie toelichting bij vraag 2B.1). Hierbij zou een mens
ingezet zou worden.
bijvoorbeeld kunnen specificeren dat ‘als het betalingskenmerk bij de transactie overeenkomt met een openstaande boete én het bedrag dat gestort is op de rekening gelijk is aan het
Bij niet-zelflerende algoritmen is het daarnaast belangrijk om alle mogelijke situaties zo goed mogelijk
boetebedrag, de parkeerboete correct is betaald’. Het algoritme kan twee uitkomsten geven:
in kaart te brengen, om vervolgens te beoordelen of het algoritme in al die gevallen tot de gewenste
[1] de boete is wél correct betaald of [2] de boete is niet correct betaald. Om een uitspraak te
resultaten leidt. Om de accuraatheid te beoordelen is het belangrijk dat betrokkenen het vermogen
doen over de accuraatheid van dit algoritme zou gekeken moeten worden naar vier situaties
hebben om alle mogelijke situaties en de interactie met het algoritme in kaart te brengen; dit
die zich kunnen voordoen:
proces vraagt om voldoende menselijke reflectie.
Impact Assessment | Mensenrechten en Algoritmes
41 /94
1. Waarom?
2A. Wat Wat(input)? (input)?
2B. Wat (throughput)?
3. Hoe?
4. Mensenrechten
Bijlagen
2B.3
Accuraatheid algoritme Voor zelflerende algoritmen zijn er andere mogelijkheden om de accuraatheid te beoordelen.
Bovenstaande voorbeelden hebben betrekking op algoritmen met een binaire uitkomt (‘wel’
Ter illustratie kan worden gewezen op een algoritme dat foto’s van honden en katten te
of ‘niet’, ‘1’ of ‘0’). In de praktijk zijn er uiteraard ook algoritmen die als mogelijke uitkomsten
zien krijgt en dient te leren op welke foto’s er een hond staat en op welke foto’s een kat. Een
een continue schaal hebben, of meer dan twee categorieën. Voor deze algoritmen zijn er ook
veelgebruikte benadering bij het ontwikkelen van dit algoritme is dat de ontwikkelaars het
accuraatheidsmaten, zoals de relatief bekende R2 voor lineaire regressies, maar deze maten
algoritme mogen ‘trainen’ op een deel van alle foto’s, en mogen ‘testen’ op een set ongeziene
zijn doorgaans technisch complexer en zijn derhalve niet in deze toelichting uitgewerkt. De
foto’s. Voor deze nog niet eerder geziene testset kan beoordeeld worden in hoeveel gevallen
fundamentele vraag blijft echter hetzelfde: in welke mate is het algoritme accuraat en is deze
het algoritme het juiste resultaat heeft gegeven.
mate van accuraatheid acceptabel in de context waarin het algoritme ingezet wordt?
Meer specifiek kan ook hier beoordeeld worden hoeveel true positives, true negatives, false
Op de hiervoor beschreven noodzaak van discussie over accuraatheid en de risico’s van niet-
positives en false negatives er zijn. De meest eenvoudige maat voor accuraatheid is wederom
accurate algoritmen als het gaat om het bevestigen of versterken van bias en discriminatie
het aantal true positives en true negatives ten opzichte van alle beoordeelde gevallen. Deze
wordt ook ingegaan in de Handreiking non-discriminatie by design. Hierin kan ook meer
maat voor accuraatheid is echter niet altijd de meest wenselijke. Stel bijvoorbeeld dat een
toelichting worden gevonden op de hierboven genoemde punten. Daarnaast kan op dit punt
algoritme moet inschatten of een persoon een dodelijke ziekte heeft. In dat geval is het
aansluiting worden gezocht bij de normen die zijn neergelegd in het Toetsingskader Algemene
voor mensen essentieel dat het algoritme niet aangeeft dat er niks aan de hand is, terwijl
Rekenkamer. Het evalueren of een algoritme doet wat het beoogt te doen, is een reguliere stap
de persoon dodelijk ziek is. Een zogenaamde ‘false negative’ weegt duidelijk heel zwaar in
in het dataverwerkingsproces, bijvoorbeeld binnen CRISP-DM. De JenV-richtlijnen besteden
deze situatie. Een ogenschijnlijk hoge accuraatheid van 99% zegt dan ook weinig, als dit in
hier verdere aandacht aan, dus daar kan te rade worden gegaan voor meer informatie over de
de praktijk betekent dat er vele mensenlevens verloren gaan. Voor een dergelijk algoritme
keuze voor data-analysetechnieken en datamining (waarbij CRISP-DM als uitgangspunt wordt
kan het dus nodig zijn om een andere accuraatheidsmaat/prestatiemaat tot uitgangspunt
gehanteerd).
voor de discussie te nemen. Bovendien is het van belang dat het voor het beoordelen van de accuraatheid van een zelflerend algoritme essentieel is dat de trainingsset en testset representatief zijn voor de context waarin het algoritme ingezet gaat worden.
Impact Assessment | Mensenrechten en Algoritmes
42 /94
1. Waarom?
2A. Wat Wat(input)? (input)?
2B. Wat (throughput)?
3. Hoe?
4. Mensenrechten
Bijlagen
2B.4
Transparantie & uitlegbaarheid
2B.4.1 Is het duidelijk wat het algoritme doet,
2B.4.2 Voor welke personen en groepen binnen en
hoe het dit doet, en op basis waarvan (welke data)
buiten de eigen organisatie wordt de werking
het dit doet? Leg uit.
van het algoritme transparant gemaakt en hoe gebeurt dit?
Antwoord:
Impact Assessment | Mensenrechten en Algoritmes
Antwoord:
43 /94
1. Waarom?
2A. Wat Wat(input)? (input)?
2B. Wat (throughput)?
3. Hoe?
4. Mensenrechten
Bijlagen
2B.4
Transparantie & uitlegbaarheid
2B.4.3 V oor welke doelgroepen moet het algoritme uitlegbaar zijn?
2B.4.4 Kan de werking van het algoritme voor de bij
NB: Op publiekscommunicatie en
vraag B.4.3 geïdentificeerde doelgroepen op
openbaarheid wordt hierna afzonderlijk
een voldoende begrijpelijke manier worden
ingegaan, in onderdeel 3.3.
uitgelegd?
Antwoord:
Impact Assessment | Mensenrechten en Algoritmes
Antwoord:
44 /94
1. Waarom?
2A. Wat Wat(input)? (input)?
2B. Wat (throughput)?
3. Hoe?
4. Mensenrechten
Bijlagen
2B.4
Transparantie & uitlegbaarheid Benodigde expertise/rol voor beantwoording van deze vraag: projectleider, data scientist, ontwikkelaar algoritme, communicatieadviseur, jurist, strategisch adviseur ethiek
interne uitlegbaarheid wordt in de Richtlijnen en in het Toetsingskader Algemene Rekenkamer ook het belang van collegiale uitlegbaarheid benadrukt, d.w.z. de noodzaak voor teams om volledige toegang tot en inzicht te hebben in elkaars documentatie, beslissingen en code. Zeker moet worden gesteld dat die conform de gestelde normen wordt gewaarborgd. Externe
Aanwijzingen en toelichting
transparantie wordt in het Toetsingskader Algemene Rekenkamer ook wel publieke uitlegbaarheid
Een veelgehoorde term in verband met transparantie van algoritmes is ‘black box’. Deze
genoemd.
term omschrijft een algoritme dat volledig intransparant is: alleen duidelijk is welke data erin gaat en welk resultaat eruit komt. Wat er in het algoritme gebeurt en waar het algoritme uit bestaat is niet duidelijk. Een ‘black box’ algoritme is uiteraard ongewenst. Waar het gaat om transparantie en uitlegbaarheid van algoritmen is een ruime hoeveelheid aanwijzingen
NB: deze ‘externe transparantie’ of ‘publieke uitlegbaarheid’ is in dit IAMA gevat onder de vragen over ‘communicatie’ in deel 3.
beschikbaar in andere instrumenten. De discussie over deze onderwerpen kan dan ook primair op basis van die instrumenten worden gevoerd.
In welke mate uitlegbaarheid en transparantie nodig zijn, is volgens de Richtlijnen afhankelijk van (1) de impact van het algoritme op de beslissing, de uitkomst en de burger; (2) de mate
Volgens de Richtlijnen voor het Toepassen van Algoritmen door Overheden kunnen transparantie
van autonomie bij de besluitvorming (d.w.z., de mate waarin menselijke betrokkenheid is
en uitlegbaarheid als volgt van elkaar worden worden onderscheiden. Bij (‘technische’)
gegarandeerd; en (3) het type en de complexiteit van het algoritme. Een nadere toelichting
transparantie gaat het om inzicht in de algoritmische methode die wordt toegepast
op deze elementen en de manier waarop zij de discussie over transparantie en uitlegbaarheid
(beslisboom, neuraal netwerk), de broncode, hoe het algoritme is getraind, alsook de data,
beïnvloeden is te vinden in de genoemde Richtlijnen, die op hun beurt ook verwijzen
invoervariabelen, parameters en drempelwaarden die worden gebruikt etc. Bij uitlegbaarheid
naar de Ethische Richtsnoeren voor betrouwbare Kunstmatige Intelligentie van de EU. Bij de
gaat het om het in begrijpelijke taal kunnen uitleggen van de uitkomsten van data-analyses en
discussie over deze vraag kan daarnaast aansluiting worden gezocht bij het Toetsingskader
hoe deze tot stand zijn gekomen.
Algemene Rekenkamer, waarin verschillende normen over ‘begrijpelijkheid’, transparantie en uitlegbaarheid zijn opgenomen.
In de genoemde Richtlijnen wordt daarnaast onderscheid gemaakt tussen ‘interne transparantie’ (d.w.z. transparantie binnen de organisatie en ten behoeve van de interne en externe controleurs, toezichthouders, rechters en betrokkenen (namelijk geïdentificeerde of identificeerbare personen wiens persoonsgegevens door algoritmen worden verwerkt) en ‘externe transparantie’ (d.w.z. transparantie naar buiten toe, naar het algemene publiek). Bij de
Impact Assessment | Mensenrechten en Algoritmes
45 /94
1. Waarom?
2A. Wat Wat(input)? (input)?
2B. Wat (throughput)?
3. Hoe?
4. Mensenrechten
Bijlagen
Wanneer het om transparantie gaat, is ook de term herleidbaarheid van belang. Herleidbaarheid betekent dat duidelijk is hoe een algoritme tot een bepaald resultaat is gekomen. Zie de tweede vraag van dit onderdeel: ‘Is transparant wat het algoritme doet, hoe het dit doet, en op basis waarvan (welke data) het dit doet?’. Herleidbaarheid speelt een belangrijke rol in de FAIR-principes. De FAIR-principes gaan over traceerbaarheid, toegankelijkheid, interoperabiliteit en herbruikbaarheid.
NB: in het IAMA corresponderen de genoemde drie aspecten met de hierna te bediscussiëren aspecten van de invloed van het algoritme op de beoogde maatregelen/beslissingen en de context (zie deel 3), ook in relatie tot de invloed op grondrechten (zie deel 4), en met de vragen over het type algoritme (zie deel 2B). De genoemde factoren kunnen ook de in de richtlijnen vermelde invloed hebben op de wijze en aard van de communicatie over het algoritme, te bespreken in deel 3.
Tot slot is in de Richtlijnen voor het Toepassen van Algoritmen door Overheden en publieksvoorlichting over data-analyses een concrete checklist opgenomen om uitlegbaarheid te garanderen.
Impact Assessment | Mensenrechten en Algoritmes
46 /94
1. Waarom?
2A. Wat (input)?
2B. Wat (throughput)?
3. 3. Hoe? Hoe?
4. Mensenrechten
Bijlagen
Deel 3: Hoe?
Implementatie, gebruik en toezicht – output In dit deel komen de volgende zeven onderwerpen aan de orde:
Inleiding Een algoritme als zodanig zorgt niet voor ongewenste effecten. Die worden altijd veroorzaakt door implementatie, inzet of toepassing van het algoritme, door de context
3.1 Beslissingen op basis van output algoritme
waarin het algoritme wordt ingezet en door de beslissingen en maatregelen die worden
3.2 De rol van de mens in de beslissing
gekoppeld aan de output van het algoritme. Deel 3 gaat dan ook over de implementatie en het gebruik van het betreffende algoritme,
3.3 Effecten van het algoritme
dus over de (omgang met) de ‘output’ van het algoritme. De werkwijze is besproken in de
3.4 Procedures
inleiding bij het IAMA. 3.5 Context
Instructie
3.6 Communicatie
Lees voor het bediscussiëren en beantwoorden van de vraag steeds eerst de toelichting (die volgt na de vraag). Per vraag staat in de toelichting ook vermeld wie binnen het team in ieder
3.7 Evaluatie, auditing en borging
geval aanwezig moeten zijn bij de bespreking.
Vul hier in welke personen dit onderdeel invullen. Vermeld daarbij ook hun functie.
Impact Assessment | Mensenrechten en Algoritmes
47 /94
1. Waarom?
2A. Wat (input)?
2B. Wat (throughput)?
3. 3. Hoe? Hoe?
4. Mensenrechten
Bijlagen
Deel 3: Hoe?
Implementatie, gebruik en toezicht – output Deel 3 bouwt voort op/sluit aan bij: Handreiking non-discriminatie by design (onderdelen 5: implementatie en 6: evaluatie)
Ethische Richtsnoeren voor betrouwbare Kunstmatige Intelligentie Deze in EU-verband opgestelde richtsnoeren besteden onder meer aandacht aan
In dit onderdeel van de handreiking komen soortgelijke punten aan de orde als in het
informatievoorziening en communicatie over de werking van algoritmen en aan de (menselijke)
onderhavige deel van het IAMA, maar dan specifiek gericht op het aanpakken van bias
controle en toezicht op de inzet van deze AI-systemen, waarmee uitdrukkelijk rekening moet
of ongelijke behandeling in de data. De handreiking kan dan ook worden gebruikt als
worden gehouden met de specifieke context waarin deze systemen worden ingezet.
verdieping en nadere toelichting bij de hieronder geformuleerde vragen.
Deze punten zijn ook relevant bij de beantwoording van vragen over de implementatie van een algoritme, dus het kan goed zijn op dit punt de richtsnoeren te bestuderen.
Richtlijnen voor het Toepassen van Algoritmen door Overheden In deze richtlijnen staan vooral de thema’s transparantie, uitlegbaarheid, validatie en
Code Goed Digitaal Openbaar Bestuur
verantwoording centraal. Deze richtlijnen zijn waardevol bij de discussie over vragen die op
In de Code Goed Digitaal Bestuur wordt nader aandacht besteed aan het onderwerp
deze onderwerpen betrekking hebben. Als uitgangspunt wordt in deze richtlijnen genomen
‘verantwoordelijkheid’, waarbij het gaat om onder meer aanspreekbaarheid van
dat de mate van transparantie, uitlegbaarheid en verantwoording samenhangt met de
uitvoerders, verantwoording, controleerbaarheid, toezicht, integriteit en menselijke
mate van impact, de autonomie en de complexiteit van het algoritme. Deze verschillende
eindverantwoordelijkheid. Ook worden hierin voorbeelden genoemd van acties om de
aspecten worden in de richtlijnen verder uitgewerkt, en die uitwerking kan in de discussies
organisatie zo in te richten dat deze waarden worden geborgd. Deze toelichtingen en
over de hierna volgende vragen worden betrokken. Daarnaast wordt in de richtlijnen een
voorbeelden kunnen worden betrokken in de discussie over de vragen in dit deel.
aantal specifieke aanknopingspunten geboden waar het gaat om de communicatie over de werking en inzet van algoritmes naar een breder publiek (van niet-experts). Deze aanknopingspunten zijn relevant waar het gaat om de vragen over communicatie in dit deel van het IAMA.)
Impact Assessment | Mensenrechten en Algoritmes
48 /94
1. Waarom?
2A. Wat (input)?
2B. Wat (throughput)?
3. 3. Hoe? Hoe?
4. Mensenrechten
Bijlagen
3.1
Beslissingen op basis van output algoritme
3.1.1 Wat gebeurt er met de uitkomsten van het algoritme?
Benodigde expertise/rol voor beantwoording van deze vraag: projectleider,
Welke beslissingen worden daarop gebaseerd?
domeinexpert, CISO of CIO, strategisch adviseur ethiek, jurist, opdrachtgever
Aanwijzingen en toelichting Antwoord:
Een algoritme als zodanig zorgt niet voor ongewenste effecten. Die worden altijd veroorzaakt door implementatie, inzet of toepassing van het algoritme en door de beslissingen en maatregelen die worden gekoppeld aan de output van het algoritme. Dit onderdeel ziet op die implementatie en vraagt uit welke effecten en maatregelen volgen op de output van het algoritme. Het gaat er bij deze vraag vooral om te bediscussiëren welke (soorten van) beslissingen gebaseerd kunnen worden op de output van een algoritme. Die beslissingen kunnen van diverse aard zijn: het kan gaan om beschikkingen van bestuursrechtelijke aard, maar bijvoorbeeld ook om het nemen van beleidsmaatregelen of om de inzet van publieke middelen.
Impact Assessment | Mensenrechten en Algoritmes
49 /94
1. Waarom?
2A. Wat (input)?
2B. Wat (throughput)?
3. 3. Hoe? Hoe?
4. Mensenrechten
Bijlagen
3.2
De rol van de mens in de beslissing 3.2.1 W elke rol spelen mensen bij het nemen van
3.2.2 I s er nu en in de toekomst voldoende
beslissingen op basis van de output van het
gekwalificeerd personeel aanwezig om het
algoritme (‘human in the loop’) en hoe worden zij
algoritme te beheren, te herzien en aan te passen
in staat gesteld om die rol te spelen?
indien gewenst/nodig?
Antwoord:
Impact Assessment | Mensenrechten en Algoritmes
Antwoord:
50 /94
1. Waarom?
2A. Wat (input)?
2B. Wat (throughput)?
3. 3. Hoe? Hoe?
4. Mensenrechten
Bijlagen
3.2
De rol van de mens in de beslissing Volgens de Ethische Richtsnoeren voor betrouwbare Kunstmatige Intelligentie is het daarnaast Benodigde expertise/rol voor beantwoording van deze vraag: projectleider, data scientist,
essentieel dat mensen steeds betrokken zijn bij het nemen van beslissingen of maatregelen
HR-medewerker, strategisch adviseur ethiek
op basis van een algoritme. Volgens de richtsnoeren is het eigenlijk noodzakelijk dat mensen in alle fasen van de levenscyclus van een algoritme (dus van ontwerp tot implementatie
Aanwijzingen en toelichting In het algemeen wordt het belangrijk gevonden dat mensen voldoende controle hebben over de output die een algoritme genereert. Die controle kan in verschillende stadia worden uitgevoerd. Zo laat dit IAMA al zien dat het essentieel is dat mensen nauw betrokken zijn bij de keuze voor een algoritme als instrument voor besluit- of beleidsvorming en bij de vormgeving van dat algoritme. Ook als een algoritme eenmaal geïmplementeerd wordt, is menselijke tussenkomst van belang. In sommige gevallen is het mogelijk om besluitvorming volledig te automatiseren, zodat de output van een algoritme direct een (juridisch bindend) besluit genereert. Ook in die gevallen wordt menselijke interventie meestal nodig gevonden, al is het maar in de vorm van voldoende controle en toezicht. De noodzaak van menselijke betrokkenheid blijkt vooral uit de Ethische Richtsnoeren voor betrouwbare Kunstmatige Intelligentie die in EU-verband zijn opgesteld. Daarin wordt uitgebreid ingegaan op menselijke tussenkomst bij beslissingen op basis van de output van een algoritme. Uitgangspunt is daarbij dat mensen steeds onderbouwde, autonome beslissingen moeten kunnen nemen ten aanzien van algoritmische output.
Ze moeten de kennis en hulpmiddelen hebben om algoritmes te kunnen begrijpen en er in bevredigende mate mee te kunnen omgaan, en ze moeten, indien nodig, in staat worden gesteld het systeem redelijkerwijs zelf te controleren of
en toezicht) betrokken zijn en kunnen interveniëren. Dit heet ‘human in the loop’. Er zijn daarnaast ook andere begrippen die menselijke interventie kunnen afdekken, zoals ‘human on the loop’ en ‘human in command’; deze begrippen worden in de richtsnoeren nader uitgelegd. Impact kan ook door andere factoren dan het algoritme zelf worden bepaald. Wanneer een algoritme bijvoorbeeld alleen invloed heeft op de efficiëntie van de interne werkprocessen van een rechtbank, is de impact anders dan wanneer een algoritme wordt ingezet voor een vergaand geautomatiseerd besluitvormingsproces waardoor miljoenen burgers worden geraakt. De mate van impact van een algoritme heeft ook te maken met de rol van de mens bij het nemen van beslissingen op basis van een algoritme. Als de output van een algoritme niet direct bepalend is voor een beslissing, maar een mens de uiteindelijke beslissing neemt, moet in ieder geval worden gegarandeerd dat deze beslissingen op een verantwoorde en zorgvuldige manier worden genomen. Daarbij moet onder meer rekening wordt gehouden met het risico van vooringenomenheden bij beslissingen die zijn gebaseerd op de output van een algoritme (zie daarvoor de toelichting bij vraag 2a.3). Het vereiste van ‘betekenisvolle menselijke tussenkomst’ wordt ook uitgewerkt in het Toetsingskader Algemene Rekenkamer.
Dit toetsingskader vergt daarbij vooral een adequate en voldoende uitgebreide beschrijving van die menselijke tussenkomst.
aan te vechten.
Impact Assessment | Mensenrechten en Algoritmes
51 /94
1. Waarom?
2A. Wat (input)?
2B. Wat (throughput)?
3. 3. Hoe? Hoe?
4. Mensenrechten
Bijlagen
3.3
Effecten van het algoritme
3.3.1 Wat zullen de effecten zijn van de inzet van het algoritme voor burgersen hoe wordt
3.3.2 Welke risico’s voor stigmatiserende, discriminerende of anderszins schadelijke
rekening gehouden met de ‘menselijke maat’ bij het nemen van beslissingen op basis
of nadelige effecten zijn er voor de burger en hoe zullen die worden bestreden of
van de output van het algoritme?
gemitigeerd?
Antwoord:
Antwoord:
3.3.3 Hoe zullen de verwachte effecten bijdragen aan de oplossing van het probleem dat
3.3.4 H oe verhouden de verwachte effecten zich tot de waarden die worden gediend (zie
de aanleiding is voor de ontwikkeling/inzet van het algoritme (zie vraag 1.1) en het
vraag 1.3)? Welke risico’s zijn er dat bepaalde waarden onder druk komen te staan
bereiken van de daarbij gestelde doelen (zie vraag 1.2)?
en hoe wordt daarmee dan omgegaan?
Antwoord:
Antwoord:
Impact Assessment | Mensenrechten en Algoritmes
52 /94
1. Waarom?
2A. Wat (input)?
2B. Wat (throughput)?
3. 3. Hoe? Hoe?
4. Mensenrechten
Bijlagen
3.3
Effecten van het algoritme Ten aanzien van het in kaart brengen van de potentiële impact van een algoritme worden Benodigde expertise/rol voor beantwoording van deze vraag: projectleider, data scientist,
verschillende normen gesteld in het Toetsingskader Algemene Rekenkamer. Het is van belang om
HR-medewerker, strategisch adviseur ethiek, opdrachtgever, evt. burgerpanel of belangengroep
deze normen in de discussie te betrekken.
Aanwijzingen en toelichting Dit onderdeel is er op gericht om scherp te krijgen of – gelet op de output die het algoritme zal genereren – het algoritme kan tegemoetkomen aan de verwachtingen. Bij het beantwoorden van deze vraag moet gebruik worden gemaakt van de antwoorden op de vragen over ‘Aanleiding’ (1.1), ‘Doelstellingen’ (1.2) en ‘Waarden’ (1.3) uit Deel 1 van de IAMA. Daarnaast is het belangrijk om te bepalen hoe groot en van welke aard de impact van de output van het algoritme is, mede in het licht van de in deel 1 geïdentificeerde publieke waarden en individuele belangen. De impact kan beperkt zijn (bijvoorbeeld bij een algoritme van puur beschrijvende aard), maar de output van het algoritme kan ook een grote rol spelen
Meer informatie over impact is ook te vinden in de Richtlijnen voor het Toepassen van Algoritmen door Overheden. Daarin wordt aangegeven dat een algoritme op vier verschillende niveaus kan worden ingezet: beschrijvend, diagnostisch, voorspellend en voorschrijvend. Dit is relevant om de aard van de impact van het algoritme te bepalen: een voorschrijvend algoritme heeft doorgaans meer impact op een beslissing (en daarmee meer rechtsgevolgen) dan een beschrijvend algoritme. Specifiek ten aanzien van (het identificeren en voorkomen van) mogelijk discriminatoire impact van inzet van een algoritme is ook veel informatie te vinden in de Handreiking non-discriminatie by design.
(bijvoorbeeld bij een voorschrijvend algoritme dat direct bepaalt welk besluit wordt genomen en daarmee vrijwel rechtstreeks rechtsgevolgen genereert).
Impact Assessment | Mensenrechten en Algoritmes
53 /94
1. Waarom?
2A. Wat (input)?
2B. Wat (throughput)?
3. 3. Hoe? Hoe?
4. Mensenrechten
Bijlagen
3.4
Procedures
3.4.1 Via welke procedures zullen beslissingen op basis van het algoritme worden genomen?
3.4.2 Hoe worden verschillende relevante actoren
3.4.3 H oe wordt gegarandeerd dat in deze
(bestuurlijke en politiek verantwoordelijken,
procedures wordt voldaan aan de eisen van
burgers) bij de besluitvorming betrokken?
goed en behoorlijk bestuur en – waar nodig – rechtsbescherming? Hebben burgers een effectieve mogelijkheid om
Antwoord:
Antwoord:
een klacht in te dienen of bezwaar te maken? Zo ja, op welke manier?
Antwoord:
Impact Assessment | Mensenrechten en Algoritmes
54 /94
1. Waarom?
2A. Wat (input)?
2B. Wat (throughput)?
3. 3. Hoe? Hoe?
4. Mensenrechten
Bijlagen
3.4
Procedures Benodigde expertise/rol voor beantwoording van deze vraag: projectleider, data scientist, HR-medewerker, strategisch adviseur ethiek, jurist
Aanwijzingen en toelichting Het is zaak om zoveel mogelijk concrete factoren te identificeren die van invloed kunnen zijn op de mate en aard van de impact van een besluit en te discussiëren over de consequenties van deze impact, bijvoorbeeld voor besluitvormingsprocedures of betrokkenheid van burgers bij de totstandkoming van beleidsmaatregelen. In verband daarmee ziet dit onderdeel op het garanderen van goed en behoorlijk bestuur bij beslissingen die op de output van algoritmes worden gebaseerd. Daaronder wordt ook burgerparticipatie en rechtsbescherming verstaan. Op dit punt moet worden gegarandeerd dat de beginselen die zijn neergelegd in de Code Goed Digitaal Openbaar Bestuur in acht kunnen worden genomen.
Impact Assessment | Mensenrechten en Algoritmes
55 /94
1. Waarom?
2A. Wat (input)?
2B. Wat (throughput)?
3. 3. Hoe? Hoe?
4. Mensenrechten
Bijlagen
3.5
Context
3.5.1 Tijd/periode: wanneer gaat het algoritme ingezet
3.5.2 Plaats: waar vindt inzet van het algoritme plaats?
3.5.3 Kan het algoritme ook nog worden ingezet als
worden? Hoe lang is de periode dat het ingezet
Is dat in een bepaald geografisch gebied, is dat bij
contextfactoren veranderen of als het algoritme
wordt?
een bepaalde groep personen of dossiers?
gebruikt wordt in een andere context dan waarvoor het is ontwikkeld?
Antwoord:
Impact Assessment | Mensenrechten en Algoritmes
Antwoord:
Antwoord:
56 /94
1. Waarom?
2A. Wat (input)?
2B. Wat (throughput)?
3. 3. Hoe? Hoe?
4. Mensenrechten
Bijlagen
3.5
Context Benodigde expertise/rol voor beantwoording van deze vraag: projectleider, data scientist, HR-medewerker, strategisch adviseur ethiek
Aanwijzingen en toelichting Wanneer inzet van het algoritme in een andere context plaatsvindt dan waar het voor bedoeld of getraind is (bijvoorbeeld in een wijk waar de bevolkingssamenstelling of andere relevante data duidelijk afwijken van de trainingsdata), kan dit leiden tot onjuiste of vooringenomen output. Wanneer de context verandert, kan het zijn dat de aannames waarop het algoritme is gebaseerd niet meer toepasselijk zijn. En andersom geldt dat wanneer de aannames waarop het algoritme is gebaseerd veranderen, het algoritme niet meer inzetbaar zou kunnen zijn voor de gekozen context.
Impact Assessment | Mensenrechten en Algoritmes
57 /94
1. Waarom?
2A. Wat (input)?
2B. Wat (throughput)?
3. 3. Hoe? Hoe?
4. Mensenrechten
Bijlagen
3.6
Communicatie
3.6.1 Hoe open kunt u zijn over de werking van het algoritme in het licht van de doelstellingen en
3.6.2 Op welke manier beoogt u te communiceren over de inzet van het algoritme?
context van de inzet ervan?
3.6.3 Wordt de output van het algoritme gevisualiseerd, bijvoorbeeld in een tabel, grafiek of dashboard? Zo ja: is de vorm van visualisatie of weergave een correcte representatie van de output van het algoritme? Is de visualisatie makkelijk te lezen
Antwoord:
Antwoord:
voor verschillende gebruikersgroepen?
Antwoord:
Impact Assessment | Mensenrechten en Algoritmes
58 /94
1. Waarom?
2A. Wat (input)?
2B. Wat (throughput)?
3. 3. Hoe? Hoe?
4. Mensenrechten
Bijlagen
3.6
Communicatie Benodigde expertise/rol voor beantwoording van deze vraag: projectleider, opdrachtgever, communicatieadviseur
Aanwijzingen en toelichting
In de Richtlijnen voor het Toepassen van Algoritmen door Overheden wordt nader ingegaan op
Bij vraag 2b.4 is al aandacht besteed aan transparantie en uitlegbaarheid. Daarbij is aangegeven
relevante parameters bij het bepalen van de mate van openheid over de werking en inzet van
dat het sluitstuk van uitlegbaarheid is gelegen in interne en externe communicatie over de
algoritmen. Bij de discussie over deze vragen kan daarbij worden aangesloten.
manier waarop het algoritme wordt ingezet, hoe het werkt, welke effecten het beoogt te genereren etc. Uiteraard moet ook daarover worden nagedacht en de hier geformuleerde
De mate van en de vorm van communicatie zijn uiteraard afhankelijk van het precieze
vragen beogen om de discussie te sturen over de aard en vorm van die communicatie.
publiek. Dat kan bijvoorbeeld een professioneel publiek zijn (rechters, advocaten, belangenbehartigingsorganisaties, toezichthouders), maar ook een algemener publiek
Openheid moet daarbij worden beschouwd als een spectrum: organisaties kunnen ervoor
(schoolkinderen, burgers die onderworpen gaan worden aan geautomatiseerde vormen van
kiezen om volledig open of volledig gesloten te zijn over de werking en betekenis van het
besluitvorming). Om een voorbeeld te noemen: toezichthouders willen graag inzage in de
algoritme, en ook daartussen zijn allerlei vormen denkbaar. In welke mate openheid mag of
technische werking van een algoritme en geraakte burgers hebben behoefte aan informatie
moet worden geboden, zal per algoritme kunnen verschillen.
over waar ze terecht kunnen met vragen.
De manier waarop wordt gecommuniceerd over de werking van het algoritme kan dan ook
In de Richtlijn inzake publieksvoorlichting over data-analyses (Ministerie van JenV, 2021)
verschillen: sommige organisaties zijn passief in het verstrekken van informatie en doen dat
worden nadere aanknopingspunten geboden voor de vormgeving van de communicatie naar
vraaggestuurd, andere organisaties zijn actiever en organiseren informatieavonden, creëren een
een breder publiek. Ook zijn hierover enige normen te vinden in het Toetsingskader Algemene
‘dashboard’ met informatie over de werking van een algoritme, of maken informatieve filmpjes.
Rekenkamer. Voor extra handvatten omtrent datavisualisaties kan te rade worden gegaan bij het online hulpmiddel van Kennedy: http://seeingdata.org/developing-visualisation-literacy/top5-things-to-look-for-in-a-visualisation/
Impact Assessment | Mensenrechten en Algoritmes
59 /94
1. Waarom?
2A. Wat (input)?
2B. Wat (throughput)?
3. 3. Hoe? Hoe?
4. Mensenrechten
Bijlagen
3.7
Evaluatie, auditing en borging
3.7.1 I s voorzien in goede instrumenten voor evaluatie, auditing en borging van het algoritme?
3.7.2 Z ijn er voldoende mogelijkheden om rekenschap
3.7.3 W elke mogelijkheden zijn er voor auditors en
en verantwoording af te leggen over het
toezichthouders om (formele) consequenties te
algoritme?
verbinden aan de inzet van een algoritme door de overheid (bijv. terugkoppeling van bevindingen, doen van aanbevelingen, budgettaire
Antwoord:
Antwoord:
consequenties, ...)
Antwoord:
Impact Assessment | Mensenrechten en Algoritmes
60 /94
1. Waarom?
2A. Wat (input)?
2B. Wat (throughput)?
3. 3. Hoe? Hoe?
4. Mensenrechten
Bijlagen
3.7
Evaluatie, auditing en borging Benodigde expertise/rol voor beantwoording van deze vraag: projectleider, opdrachtgever, data scientist
Aanwijzingen en toelichting Bij deze vragen gaat het primair om het garanderen van ‘accountability’ of het afleggen van
Als een algoritme eenmaal is ontwikkeld en kan worden ingezet, is het belangrijk om de werking
rekenschap over de werking en effecten van het algoritme. Dit betreft de mogelijkheid
van het algoritme goed te blijven controleren. Door contextuele factoren of veranderingen in
om vragen te stellen, de correctheid van handelen te kunnen bediscussiëren en eventuele
data kunnen algoritmen anders uitwerken dan verwacht, en hun werking kan door de tijd
consequenties (informeel dan wel formeel) te kunnen verbinden aan het handelen. Het verschil
heen veranderen. Vaak worden bovengenoemde zaken bij de start van de ontwikkeling of
met transparantie en uitlegbaarheid is dat het daarbij gaat om vrij passieve zaken (is er ergens
inzet van het algoritme goed geregeld, maar verslapt tijdens latere fasen in het proces de
bijvoorbeeld een uitleg te vinden van het systeem, of staat de source code online?), terwijl het
aandacht hiervoor. Daarom is het noodzakelijk dat al voordat het algoritme wordt ingezet,
afleggen van rekenschap actief is (de mogelijkheid tot vraag en antwoord, tot oordeel over het
wordt nagedacht over een aantal stappen om de werking van het algoritme in de gaten te
handelen met mogelijke consequenties).
blijven houden en het zo nodig bij te stellen. Daarbij kan zowel worden gedacht aan interne processen van evaluatie, auditing en borging (d.w.z. processen die worden ingericht binnen het
Nadere richtsnoeren voor en uitleg van de noties van rekenschap en verantwoording, en de
overheidsorgaan dat het algoritme toegepast) als aan externe processen (bijvoorbeeld toezicht
daarbij geldende criteria en normen, zijn te vinden in de Richtlijnen voor het Toepassen van
door een externe toezichthouder).
Algoritmen door Overheden, het Toetsingskader algoritmes (ARK, 2020), het Toetsingskader Algemene Rekenkamer en de Ethische Richtsnoeren voor betrouwbare Kunstmatige Intelligentie van de EU. In het Toetsingskader van de Algemene Rekenkamer wordt op dit punt voortgebouwd op de Control Objectives for Information and related Technology (COBIT16). Het is belangrijk om deze verschillende instrumenten in ogenschouw te nemen bij het discussiëren over deze vraag.
Impact Assessment | Mensenrechten en Algoritmes
61 /94
1. Waarom?
2A. Wat (input)?
2B. Wat (throughput)?
3. 3. Hoe? Hoe?
4. Mensenrechten
Bijlagen
3.7
Evaluatie, auditing en borging
Ten aanzien van interne processen moet in ieder geval worden nagedacht over de volgende
Ten aanzien van externe vormen van toezicht en auditing moet aandacht zijn voor vragen als de
vragen:
volgende:
Hoe vaak en op welke momenten dient de inzet van het algoritme geëvalueerd te worden? Beschikt de organisatie over de juiste mensen hiervoor? Zijn er processen die ingericht kunnen worden om te zorgen dat de inzet van het algoritme toekomstbestendig blijft?
Is voorzien in een mechanisme voor interne en/of interne auditing en toezicht? Is er voldoende informatie over het algoritme beschikbaar voor de toezichthouder om het toezicht uit te kunnen oefenen? Wordt de praktijk en frequentie van het uitvoeren van audits gecommuniceerd?
Hoe kan een check worden ingebouwd om ervoor te zorgen dat de maatregelen blijven bijdragen aan de aanleiding en doelstellingen, ook wanneer een verandering plaatsvindt in de context waarin het algoritme wordt toegepast (validatie-instrumenten)? Hoe wordt geborgd dat de voorgenoemde zaken op peil blijven tijdens de volgende fasen
Nadere uitgangspunten en randvoorwaarden voor de beide vormen zijn te vinden in de Richtlijnen voor het Toepassen van Algoritmen door Overheden, in het Toetsingskader Algemene Rekenkamer en in de Ethische Richtsnoeren voor betrouwbare Kunstmatige Intelligentie (EU).
van de ontwikkeling en inzet van het algoritme? Is voldaan aan de bij deel 2B genoemde vereisten van menselijk kapitaal bij de organisatie waar het algoritme ingezet gaat worden (d.w.z. benodigde ICT- en data-infrastructuur, personeel met de benodigde capaciteiten, kennis en ervaring)? Specifiek voor zelflerende algoritmen geldt: zijn er in de lijnorganisatie processen en systemen ingericht om modellen te monitoren (bijvoorbeeld op data drift, concept drift en accuraatheid)? Zijn er voldoende mogelijkheden om het algoritme bij te stellen of de inzet van het algoritme te wijzigen als blijkt dat het niet (meer) aan de aanleiding en doelstellingen tegemoetkomt?
Impact Assessment | Mensenrechten en Algoritmes
62 /94
1. Waarom?
2A. Wat (input)?
2B. Wat (throughput)?
3. Hoe?
4. Mensenrechten
Bijlagen
DEEL 4: Mensenrechten Stappenplan grondrechten
In dit deel komen de volgende zeven onderwerpen aan de orde:
Inleiding De eerste drie delen van het IAMA bevatten vragen en aandachtspunten die voor alle algoritmes relevant zijn en waarvan serieuze en goede bespreking ertoe kan bijdragen dat
4.1. Grondrecht
algoritmes op een zorgvuldige, doordachte en goed ingebedde manier worden ingezet. 4.2. Specifieke wetgeving
Gelet op het grote belang van de bescherming van grondrechten, en de bijzondere risico’s die kunnen bestaan voor de aantasting van die grondrechten door inzet van algoritmen, is het van
4.3. Zwaartebepaling
belang om aan dit onderwerp afzonderlijk aandacht te besteden. Dit deel 4 van het IAMA bevat
4.4. Doelstellingen
daarom een ‘stappenplan grondrechten’, dat een tweeledig doel heeft: 1. Het dient als hulpmiddel om te identificeren of het in te zetten algoritme grondrechten zal raken;
4.5. Doeltreffendheid/effectiviteit/ geschiktheid
2. Zo ja, dan maakt het een gestructureerde discussie mogelijk over de vraag of er mogelijkheden zijn
4.6. Noodzakelijkheid/subsidiariteit
om deze grondrechtenaantasting te voorkomen of te mitigeren, en of er gronden zijn waarom de (al dan niet gemitigeerde) grondrechtenaantasting toch aanvaardbaar moet worden gevonden.
4.7. Belangenafweging/ proportionaliteit
Zoals in deel 1 van dit IAMA is vermeld, zijn verschillende stappen van dit model (met name stap 1 en tot op zekere hoogte stap 7) ook relevant bij de beantwoording van de vraag welke publieke waarden door een algoritme kunnen worden gediend en geraakt (vraag 1.1). Instructie
Vul hier in welke personen dit onderdeel invullen. Vermeld daarbij ook hun functie.
Lees voor het bediscussiëren en beantwoorden van de vraag steeds eerst de toelichting (die volgt na de vraag). Per vraag staat in de toelichting ook vermeld wie binnen het team in ieder geval aanwezig moeten zijn bij de bespreking. Omdat het stappenplan tot beantwoording van de verschillende vragen voor een aantal verschillende grondrechten kan leiden, is aan het einde van het stappenplan een groter invulschema opgenomen. Daarin kunnen de verschillende antwoorden voor de grondrechten op een overzichtelijke manier worden samengebracht. Impact Assessment | Mensenrechten en Algoritmes
63 /94
1. Waarom?
2A. Wat (input)?
2B. Wat (throughput)?
3. Hoe?
4. Mensenrechten
Bijlagen
DEEL 4: Mensenrechten Stappenplan grondrechten
NB: dit is een samenvatting van het stappenplan, de verschillende stappen worden hierna verder uitgewerkt 1. Grondrecht: raakt het algoritme (of dreigt het te raken) aan een grondrecht?
6. Noodzakelijkheid/subsidiariteit: is inzet van dit specifieke algoritme noodzakelijk om dit doel te bereiken en zijn er geen andere of mitigerende maatregelen beschikbaar om dit te doen?
2. Specifieke wetgeving: is er ten aanzien van het betreffende grondrecht specifieke wetgeving van toepassing waarmee rekening moet worden gehouden?
7. Afweging/proportionaliteit (in strikte zin): zijn de doelen – alles bij elkaar genomen – zwaarwegend genoeg om de aantasting van het grondrecht te kunnen rechtvaardigen?
3. Zwaartebepaling: hoe zwaar wordt dit grondrecht geraakt? 4. Doelstellingen: welke maatschappelijke, politieke of bestuurlijke doelen worden nagestreefd met de inzet van het algoritme? 5. Doeltreffendheid/effectiviteit/geschiktheid: is inzet van dit specifieke algoritme een geschikt middel om deze doelen te bereiken?
Impact Assessment | Mensenrechten en Algoritmes
Juristen zal opvallen dat in dit stappenplan de stap van een wettelijke grondslag voor een grondrechteninbreuk ontbreekt. De verklaring daarvoor is gelegen in het feit dat die stap in deel 1 al expliciet aan bod is gekomen, namelijk bij vraag 1.4. Het nogmaals opnemen van deze stap in het stappenplan zou daarom onnodige herhaling opleveren. Ook op een aantal andere punten verwijst het stappenplan terug naar eerdere delen van het IAMA, zodat geen dubbel werk hoeft te worden gedaan.
64 /94
1. Waarom?
2A. Wat (input)?
2B. Wat (throughput)?
3. Hoe?
4. Mensenrechten
Bijlagen
DEEL 4: Mensenrechten Stappenplan grondrechten
Benodigde expertise/rol voor doorlopen van dit stappenplan: projectleider, domeinexpert, jurist
Dit stappenplan grondrechten hangt samen met/bouwt voort op: Ethische Richtsnoeren voor betrouwbare Kunstmatige Intelligentie
Richtlijnen voor de uitvoering van een Data Protection Impact Assessment (DPIA)
In deze richtsnoeren wordt onder de noemer ‘grondslagen van betrouwbare KI’ een
In veel gevallen zal bij het ontwikkelen en inzetten van een algoritme sprake zijn van
aantal ethische uitgangspunten gedefinieerd die nodig zijn om AI en algoritmen op een
verzameling en verwerking van persoonsgegevens. In die gevallen moet vaak een Data
goede manier te kunnen inzetten. Daarbij wordt overeenstemming met ‘grondrechten als
Protection Impact Assessment worden uitgevoerd. Nu het hierbij gaat om een verfijning
morele en wettelijke rechten’ als een van deze uitgangspunten gedefinieerd, waarbij wordt
van het grondrecht op gegevensbescherming, besteden we hieraan aandacht in stap 2 van
aangesloten bij kernwaarden als individuele vrijheid, respect voor democratie, justitie en
dit grondrechtenstappenplan.
rechtsstaat, en gelijkheid, non-discriminatie en solidariteit. Deze kernwaarden vormen
Toetsingskader Algemene Rekenkamer
ook de basis voor dit stappenplan grondrechten en voor de lijst van grondrechtenclusters
Dit toetsingskader bevat een aantal normen die relevant zijn ten aanzien van de
in bijlage 1. In de richtsnoeren kan een behulpzame nadere uitleg van een aantal van deze
privacyrechten, meer specifiek het recht op bescherming van persoonsgegevens.
grondrechten worden gevonden, specifiek met betrekking tot AI.
Het toetsingskader moet dan ook in het bijzonder in de discussie worden betrokken als
Handreiking non-discriminatie by design
persoonsgegevens worden verzameld en verwerkt ten behoeve van de ontwikkeling
In deze onderdelen van de handreiking komen soortgelijke punten aan de orde als in
of inzet van het algoritme. Dit punt komt verder aan de orde in stap 2 van dit
het grondrechtenstappenplan, maar dan specifiek gericht op het aanpakken van bias of
grondrechtenstappenplan.
ongelijke behandeling in de data. Code Goed Digitaal Openbaar Bestuur In de Code Goed Digitaal Bestuur worden mensenrechten als belangrijk uitgangspunt gehanteerd voor goed algoritmisch bestuur, waarbij de nadruk wordt gelegd op privacy, autonomie en menselijke waardigheid. Respect voor mensenrechten vormt volgens de Code onderdeel van een stabiele basis voor goed digitaal bestuur.
Impact Assessment | Mensenrechten en Algoritmes
65 /94
1. Waarom?
2A. Wat (input)?
2B. Wat (throughput)?
3. Hoe?
4. Mensenrechten
Bijlagen
4.1
Grondrecht Ten behoeve van dit onderzoek zijn in de bijlage bij dit IAMA vier hoofdclusters van 4.1.1 Wordt er een grondrecht geraakt door het in te zetten algoritme?
grondrechten gedefinieerd: 1. Aan de persoon gerelateerde grondrechten (inclusief een aantal sociale en economische grondrechten) 2. Vrijheidsgerelateerde grondrechten
Antwoord:
3. Gelijkheidsrechten 4. Procedurele grondrechten Deze verschillende grondrechten kunnen verder worden opgesplitst in subclusters. Voor ieder algoritme is het nodig om te identificeren welke subclusters een algoritme raakt of kan raken. Om dit te faciliteren zijn de verschillende clusters in bijlage1 bij het IAMA opgenomen, steeds voorafgegaan door een korte toelichting op hun onderlinge samenhang. Het is de bedoeling om de overzichten door te lopen en op papier te zetten welke grondrechten door de inzet van het algoritme kunnen worden geraakt. In het invulschema aan het einde van het stappenplan kan voor ieder grondrecht een samenvatting van de beantwoording van de verschillende grondrechtenvragen worden ingevuld.
Impact Assessment | Mensenrechten en Algoritmes
66 /94
1. Waarom?
2A. Wat (input)?
2B. Wat (throughput)?
3. Hoe?
4. Mensenrechten
Bijlagen
4.1
Grondrecht Aanwijzingen en toelichting
Een zorgvuldige omgang met de data (zie deel 2a) is essentieel om bepaalde problemen van
Sommige grondrechten zullen door algoritmen vaker en sneller worden geraakt dan andere.
ongelijke behandeling en gegevensbescherming tegen te gaan. Bij de beantwoording van de
De meeste algoritmen hebben tot gevolg dat sprake is van ongelijke behandeling; dat is eigen
vraag of de genoemde drie rechten worden geraakt en of sprake is van een ontoelaatbare
aan de categorisering en profilering waarvoor veel algoritmen worden ingezet en aan het
beperking of inbreuk (aan de hand van de volgende stappen van het stappenplan), is het dan
gegeven dat veel datasets een bias hebben, in die zin dat ze maatschappelijk bestaande
ook nuttig om de antwoorden op de vragen in delen 1-3 van het IAMA mee te nemen.
stereotypen of historische patronen van structurele discriminatie reflecteren. Natuurlijk kunnen ook andere grondrechten relevant zijn voor het algoritme. Welke Doordat veel algoritmes worden getraind of gevoed met persoonsgegevens, ligt voor de hand
dit zijn is afhankelijk zijn van het beleidsterrein en de aard en doelstellingen van het
dat ook het recht op persoonsgegevensbescherming vaak wordt geraakt.
algoritme. Zo zal een algoritme om hate speech te kunnen detecteren al snel raken aan de vrijheid van meningsuiting en het recht op informatie, kan een algoritme om preventief
Verder is het denkbaar dat inzet van algoritmen gevolgen heeft voor procedurele grondrechten
gezondheidsrisico’s te detecteren raken aan verschillende privacyrechten en het recht op
en het recht op behoorlijk bestuur. Zo kan het bij moeilijk kenbare en moeilijk uitlegbare
gezondheid, en kan een algoritme voor ondersteuning van het vinden van een baan raken aan
algoritmes moeilijk zijn voor mensen om te detecteren dat het algoritme tot discriminatie
de individuele autonomie.
leidt, waardoor ze minder gemakkelijk naar de rechter kunnen stappen om een besluit aan te vechten en het ook moeilijker is om te bewijzen dat sprake is van een door het
Het is belangrijk dat voor ieder algoritme in ieder geval wordt nagegaan of de eerste
algoritme veroorzaakt ongerechtvaardigd onderscheid. Verschillen in kennis van de werking
drie genoemde grondrechten door het algoritme worden geraakt (dus: recht op gelijke
van het algoritme tussen de procespartijen kan het recht op equality of arms raken. Bij
behandeling, persoonsgegevensbescherming, procedurele rechten). Vervolgens moet
geautomatiseerde besluitvorming met behulp van algoritmes kunnen het zorgvuldigheids-
worden onderzocht of er nog andere grondrechten op het spel kunnen staan. Dat kan door
en motiveringsbeginsel of de rechten van de verdediging op het spel komen te staan, die
de tabellen in de bijlage bij dit document te bekijken en te zien welke grondrechten(clusters)
onderdeel vormen van het recht op behoorlijk bestuur.
mogelijk geraakt kunnen worden door een grondrecht. Als daarvan een overzicht is gemaakt, is het nodig om de vervolgstappen van dit stappenplan voor alle grondrechten op de lijst
Voor deze drie grondrechten geldt in het bijzonder dat bepaalde aspecten daarvan al in de delen
te doorlopen om te kunnen vaststellen of het, ondanks deze effecten, toelaatbaar en
1-3 van het IAMA aan bod zijn gekomen. Zo zijn kenbaarheid, uitlegbaarheid, transparantie,
aanvaardbaar is om het algoritme in te zetten.
zorgvuldige totstandkoming en communicatie van belang voor het recht op een behoorlijk bestuur en voor het verkrijgen van het recht op toegang tot een effectief rechtsmiddel.
Impact Assessment | Mensenrechten en Algoritmes
67 /94
1. Waarom?
2A. Wat (input)?
2B. Wat (throughput)?
3. Hoe?
4. Mensenrechten
Bijlagen
4.2
Specifieke wetgeving en richtsnoeren
4.2.1 Z ijn er specifieke wettelijke bepalingen of richtsnoeren van toepassing op de grondrechteninbreuk?
Afhankelijk van het grondrecht dat wordt geraakt (let op: dat kunnen er meer dan één zijn) moet worden geïdentificeerd of specifieke wetgeving van toepassing is waarin dat grondrecht nader wordt uitgewerkt.
Antwoord:
Impact Assessment | Mensenrechten en Algoritmes
68 /94
1. Waarom?
2A. Wat (input)?
2B. Wat (throughput)?
3. Hoe?
4. Mensenrechten
Bijlagen
4.2
Specifieke wetgeving en richtsnoeren Aanwijzingen en toelichting
In andere gevallen is de wetgeving niet uitputtend, of regelt die maar een klein stukje van
In veel wetgeving zijn specifieke normen neergelegd voor de bescherming en beperking van
de materie waarop het algoritme betrekking kan hebben. In dat geval is een nader, breder
grondrechten.
grondrechtenonderzoek aan de hand van de stappen 3-7 nodig. Ook als duidelijk is dat er geen (of maar heel beperkt) specifieke wetgeving van toepassing is op het algoritme, is het verder
Te denken is daarbij allereerst aan wetten die uitsluitend gaan over grondrechten, zoals de Wet
doorlopen van het stappenplan vereist.
Openbare Manifestaties bij demonstraties of de Uitvoeringswet Algemene Verordening Gegevensbescherming. Daarnaast kunnen er in andere wetten specifieke bepalingen zijn
In verband met de discussie over specifieke wetgeving moet in het bijzonder aandacht
opgenomen die een bepaald aspect van een grondrecht beschermen, variërend van wetgeving
worden besteed aan de gelijkebehandelingswetgeving en de wetgeving over
over mediaregulering (vrijheid van meningsuiting, vrijheid om informatie te ontvangen) tot
persoonsgegevensbescherming.
wetgeving over geneeskundige behandelingen (individuele autonomie, privacy, lichamelijke integriteit). In veel gevallen bevatten dit soort wetten bijzondere vereisten of criteria waaraan
Als het recht op persoonsgegevensbescherming aan de orde is, zijn – afhankelijk van de context
een grondrechtenbeperking moet voldoen. Die vereisten of criteria gelden ook als een
waarin het algoritme wordt ontwikkeld – de Algemene Verordening Gegevensbescherming,
algoritme wordt ingezet om besluitvorming of uitvoering te automatiseren of te ondersteunen.
de Wet politiegegevens (Wpg) of de Wet justitiële en strafvorderlijke gegevens (Wjsg) van toepassing. In deze regelgeving zijn gedetailleerde regels opgenomen over de
Hierbij is van belang dat specifieke wetgeving soms uitputtend is bedoeld. Dat wil zeggen dat de
manier waarop gegevens mogen worden verzameld en verwerkt. Is deze regelgeving
wet beoogt een bepaald grondrecht (voor bepaalde gevallen) zodanig uit te werken dat iedere
van toepassing, dan zal het voor het inzetten van een algoritme veelal nodig zijn om een
vorm van beperking daardoor wordt afgedekt; dat is bijvoorbeeld het geval bij de wetgeving
gegevensbeschermingseffectbeoordeling (GEB) of Data Protection Impact Assessment (DPIA) uit te
over gegevensbescherming (zie ook hierna). In dat geval kan worden volstaan met de toetsing
voeren.
van de gevolgen van het in te zetten algoritme aan de relevante wettelijke bepalingen. Het is da niet meer nodig om voor het betreffende grondrecht het stappenplan verder te doorlopen;
Meer informatie over de DPIA is te vinden op deze pagina van de Autoriteit Persoonsgegevens.
de stappen van het plan zijn dan als het ware al in de wetgeving geïncorporeerd.
Ook het Toetsingskader Algemene Rekenkamer bevat enkele relevante normen met betrekking tot de verwerking van persoonsgegevens bij het ontwikkelen en inzetten van een algoritme.
Impact Assessment | Mensenrechten en Algoritmes
69 /94
1. Waarom?
2A. Wat (input)?
2B. Wat (throughput)?
3. Hoe?
4. Mensenrechten
Bijlagen
4.2
Specifieke wetgeving en richtsnoeren Gelet op het algemenere karakter van het IAMA gaan wij verder niet in de bijzondere eisen die
Voor indirect onderscheid (dus onderscheid dat is gebaseerd op een niet beschermde grond,
bij verwerking van persoonsgegevens worden gesteld. Wel moet worden benadrukt dat het
zoals taal, dat wel disproportioneel belastend uitpakt voor een door de beschermde grond
noodzakelijk is om te controleren of een DPIA moet worden uitgevoerd.
gekenmerkte groep, zoals mensen van niet-Nederlandse etnische afkomst) geldt dat een
Een gegevensverwerking mag namelijk niet plaatsvinden voordat het DPIA is afgerond.
ruimere rechtvaardiging nodig is, die grofweg moet voldoen aan de eisen zoals ze hierna in de
Als uit het DPIA blijkt dat er grote risico’s zijn en dat het niet lukt om die voldoende te
stappen 3-7 worden omschreven.17
beperken, is in ieder geval overleg over de gegevensverwerking (en het daarop gebaseerde of daarmee gevoede algoritme) nodig met de Autoriteit Persoonsgegevens.
Bij de beoordeling of bij het ontwerp en de inzet van een algoritme aan deze eisen uit de gelijkebehandelingswetgeving wordt voldaan, kan gebruik worden gemaakt van de
De gelijkebehandelingswetgeving vormt een implementatie van een aantal EU-richtlijnen
Handreiking non-discriminatie by design. Deze Handreiking helpt bij het in kaart brengen van de
over gelijke behandeling. In algemene zin gaat het om de Algemene wet gelijke behandeling
verschillende discriminatierisico’s die kunnen optreden in verschillende ontwikkelingsfasen
(AWGB), de Wet gelijke behandeling op grond van leeftijd bij de arbeid (WGBL), de Wet
van een algoritme en bij de inzet daarvan in de praktijk. Ten aanzien van risico’s rondom bias
gelijke behandeling op grond van handicap en chronische ziekte (WGBH/CZ), de Wet gelijke
in de data en de manier waarop die in de output van een algoritme kunnen doorwerken zijn
behandeling van mannen en vrouwen (WGB M/V), de Wet onderscheid arbeidsduur (WOA) en
normen geformuleerd in het Toetsingskader Algemene Rekenkamer. Ook deze moeten bij de
de Wet onderscheid bepaalde en onbepaalde tijd (WOBOT). Deze wetten verbieden in ieder
discussie over risico’s voor ongelijke behandeling en discriminatie in acht worden genomen.
geval ongerechtvaardigd onderscheid op een aantal gronden bij de arbeid. Een deel van de wetten (met name de AWGB en de WGBH/CZ) is ook van toepassing bij het aanbieden van
De Handreiking non-discriminatie by design is ook behulpzaam bij het aanpakken van de vaak
goederen en diensten (inclusief onderwijs) en tot op zekere hoogte bij sociale bescherming.
bestaande overlap tussen gegevensbescherming en vraagstukken van bias en ongelijke behandeling.
Voor zover een te ontwikkelen algoritme op een van deze terreinen betrekking heeft, en direct
Tot slot bevat deze handreiking een concrete uitwerking van de verschillende toetsingsstappen
of indirect onderscheid kan veroorzaken op een van de beschermde gronden (godsdienst,
die moeten worden gezet als er risico’s zijn van bias, stereotypering of ongelijke behandeling.
levensovertuiging, politieke gezindheid, ras, geslacht, nationaliteit, hetero-of homoseksuele gerichtheid, burgerlijke staat, leeftijd, handicap, chronische ziekte, arbeidsduur of tijdelijk of vast arbeidscontract), is het uitgangspunt dat het onderscheid is verboden, tenzij er een rechtvaardiging voor bestaat. Voor direct onderscheid (dus onderscheid dat rechtstreeks samenhangt met een verboden grond, zoals ras of geslacht) staan de uitzonderingsgronden limitatief in de wetgeving opgesomd.
Impact Assessment | Mensenrechten en Algoritmes
17 Janssen 2020.
70 /94
1. Waarom?
2A. Wat (input)?
2B. Wat (throughput)?
3. Hoe?
4. Mensenrechten
Bijlagen
4.3
Zwaartebepaling Als een algoritme een grondrecht raakt of dreigt te raken, betekent dat zeker niet 4.3.1 Hoe zwaar wordt een grondrecht geraakt door het algoritme?
meteen dat een algoritme niet kan worden ingezet. Wel betekent het dat er extra zorgvuldigheidseisen moeten worden gesteld voordat kan worden besloten om het algoritme te ontwikkelen of in te zetten (zie punten 4-7 in het stappenplan). Die zorgvuldigheidseisen hoeven niet altijd even streng te zijn. Daarbij kunnen
Antwoord:
drie gradaties van benodigde zorgvuldigheid bij de besluitvorming worden onderscheiden:18
A. Zware aantasting, dus bijzondere zorgvuldigheid vereist (rood)
B. Middelzware aantasting, dus zorgvuldigheid vereist (geel)
C. Minder zware aantasting, dus geen bijzonder grote zorgvuldigheid vereist (groen)
De stappen 4-6 moeten voor alle grondrechtenaantastingen worden doorlopen. Afhankelijk van de ‘kleur’ kunnen de eisen die worden gesteld bij die stappen zwaar (rood), middel (geel) of licht (groen) zijn. Per stap zal dat hierna verder worden uitgewerkt.
Impact Assessment | Mensenrechten en Algoritmes
18 Janssen 2020.
71 /94
1. Waarom?
2A. Wat (input)?
2B. Wat (throughput)?
3. Hoe?
4. Mensenrechten
Bijlagen
4.3
Zwaartebepaling Aanwijzingen en toelichting
en hoe groter de zorgvuldigheidseisen moeten zijn. Hoe verder een grondrechteninbreuk van
De toe te kennen kleurcode (die de mate van zorgvuldigheid bepaalt waarmee moet worden