Impact assessment Mensenrechten en Algoritmen
Tekst van het document
Ministerie van Binnenlandse Zaken en Koninkrijksrelaties
UU, juli 2021
Impact Assessment Mensenrechten en Algoritmes
Impact Assessment | Mensenrechten en Algoritmes
1 /94
1. Waarom?
2A. Wat (input)?
2B. Wat (throughput)?
3. Hoe?
4. Mensenrechten
Bijlagen
Inleiding – Toepassing van het IAMA IAMA Onderdeel 1
Dit impact assessment voor mensenrechten bij de inzet van algoritmen (‘IAMA’) is een instrument voor discussie en besluitvorming voor overheidsorganen. Het instrument
Belangengroep
maakt een interdisciplinaire dialoog mogelijk door degenen die verantwoordelijk
Bestuur
zijn voor de ontwikkeling en/of inzet van een algoritmisch systeem. Primair is de
Burgerpanel
opdrachtgever verantwoordelijk voor het (laten) uitvoeren van het IAMA. CISO of CIO
• • • •
Communicatieadviseur Data scientist
Het IAMA bevat een groot aantal vragen waarover discussie plaats moet vinden en waarop een antwoord moet worden geformuleerd in alle gevallen waarin een overheidsorgaan overweegt een algoritme te (laten) ontwikkelen, in te kopen, aan te passen en/of in te gaan zetten (hierna kortheidshalve: de inzet van een algoritme). Ook wanneer een algoritme al wordt ingezet kan het IAMA dienen als instrument voor reflectie. De discussie over de verschillende vragen moet plaatsvinden in een breed samengesteld team waarin mensen met verschillende specialisaties
Databeheerder of bronhouder Domeinexpert
(medewerker met domeinkennis op het gebied waar het algoritme toegepast gaat worden)
HR-medewerker
de discussie moet zijn betrokken. Alle in het schema opgenomen functies of rollen binnen een
Jurist
multidisciplinair team komen in dit instrument aan bod. Veel voorkomende functies hebben kunnen per organisatie verschillen.
Overige leden projectteam Projectleider Strategisch adviseur ethiek
Impact Assessment | Mensenrechten en Algoritmes
•
Ontwikkelaar algoritme Opdrachtgever
IAMA Onderdeel 3
• • • •
• •
•
•
•
• •
•
•
Functionaris Gegevensbescherming
en achtergronden zitting hebben. Per vraag is in het IAMA aangegeven wie in ieder geval bij
hierin een plaats gekregen, maar de lijst is niet uitputtend. Ook de benamingen van de functies
•
IAMA Onderdeel 2
• • •
• • • • •
IAMA Onderdeel 4
• • •
•
2 /94
1. Waarom?
2A. Wat (input)?
2B. Wat (throughput)?
3. Hoe?
4. Mensenrechten
Bijlagen
Inleiding – Toepassing van het IAMA Om deze exercitie mogelijk te maken wordt er in het IAMA van uitgegaan dat het besluitvormingstraject rondom algoritmen in drie hoofdfasen kan worden ingedeeld: De discussie op basis van het IAMA heeft als doel om ervoor te zorgen dat alle relevante aandachtspunten rondom de inzet van algoritmen in een vroegtijdig stadium en op een gestructureerde manier aan bod komen. Daardoor wordt tegengegaan dat al te snel
Fase 1: voorbereiding. In deze fase wordt bepaald waarom een algoritme ingezet gaat worden en wat daarvan de effecten zullen zijn.
een algoritme wordt ingezet terwijl de consequenties daarvan niet goed zijn bekeken, met de daarbij behorende risico’s, zoals die van onzorgvuldigheid, ineffectiviteit
Fase 2: input en throughput. In deze fase gaat het om het wat van de
of inbreuk op grondrechten. Om dit doel te kunnen bereiken is het belangrijk om
ontwikkeling van een algoritmisch systeem. In deze fase wordt bepaald hoe het
alle relevante stappen bij de inzet van een algoritme theoretisch door te exerceren
algoritme eruit moet zien en van welke data gebruik wordt gemaakt om het
en grondig te doordenken wat de consequenties zijn, welke eventuele mitigerende
algoritme te voeden. Binnen deze fase wordt in dit IAMA nader onderscheid
maatregelen kunnen worden genomen etc.
gemaakt tussen: Fase 2a: data, of input. Het gaat daarbij om vragen waarin steeds de inzet van
Het is de bedoeling dat per vraag de antwoorden en de belangrijkste overwegingen en gemaakte keuzes worden vastgelegd. Het ingevulde IAMA kan dienen als naslagwerk en ter verantwoording van het besluitvormingsproces rondom de ontwikkeling en de
bepaalde data en databronnen centraal staat Fase 2b: algoritme, of throughput. Het gaat hier om vragen omtrent het in te zetten algoritme en de werking en transparantie daarvan.
implementatie van een algoritme. Fase 3: output, implementatie en toezicht. In deze fase gaat het om het hoe van het inzetten van het algoritme, dus om de vraag welke output het algoritme genereert, hoe dat een rol kan spelen in beleid of besluitvorming, en hoe daarop toezicht kan worden gehouden.
Impact Assessment | Mensenrechten en Algoritmes
3 /94
1. Waarom?
2A. Wat (input)?
2B. Wat (throughput)?
3. Hoe?
4. Mensenrechten
Bijlagen
Inleiding – Toepassing van het IAMA
In alle fasen moet ervoor worden gezorgd dat grond- of mensenrechten worden gerespecteerd. Het IAMA bevat daarom een afzonderlijk onderdeel waarin bijzondere aandacht wordt besteed aan het identificeren van risico’s op het maken van inbreuk op grondrechten en het kunnen vaststellen van een eventuele rechtvaardiging daarvoor.
Het IAMA bestaat uit vier delen: drie delen waarin de drie fasen van besluitvorming rondom
Hierdoor kan het IAMA fungeren als een overkoepelend instrument, waarin de andere
de inzet van een algoritme aan de orde komen, en één deel waarin de bredere vragen rondom
bestaande instrumenten logisch zijn ingepast. Antwoorden die bij het IAMA al zijn gegeven,
grondrechten centraal staan. Per deel bevat het IAMA een aantal subthema’s waarover vragen
kunnen daarbij soms ook worden ingepast bij andere instrumenten, zoals het DPIA, en
zijn geformuleerd die in het team moeten worden besproken en beantwoord. Per subthema
andersom.
wordt een nadere toelichting gegeven op de gestelde vragen. In een aantal gevallen zal de uitkomst van een discussie op basis van een IAMA-vraag zijn dat Het IAMA hangt nauw samen met een groot aantal andere richtsnoeren, handreikingen,
een algoritme problematisch kan zijn of grote risico’s in zich kan bergen. In dat geval wordt
toetsings-/afwegingskaders en impact assessments, waaronder de bekende
daarop in het IAMA met rode letters gewezen.
gegevensbeschermingseffectbeoordeling (GEB, vaak ook DPIA (dataprotectie impact assessment)). In dit IAMA wordt voor verschillende onderdelen dan ook verwezen naar een nadere uitwerking of verfijning, een grotere diepgang, of een andere terminologie of indeling die in dergelijke instrumenten wordt gegeven. Dit gebeurt allereerst doordat per deel van het IAMA een inleiding is opgenomen met verwijzingen naar de relevante instrumenten. Daarnaast wordt - waar relevant - bij specifiekere vragen als onderdeel van de toelichting gewezen op een nadere uitwerking of detaillering in een of meer van deze instrumenten; dit gebeurt steeds in een andere kleur letters. Daarbij zijn steeds links opgenomen naar de instrumenten, zodat daar bij de discussie gemakkelijk naar kan worden doorgeklikt.
Impact Assessment | Mensenrechten en Algoritmes
4 /94
1. Waarom?
2A. Wat (input)?
2B. Wat (throughput)?
3. Hoe?
4. Mensenrechten
Bijlagen
Stroomschema IAMA START
Waarom?
1
2
Wat?
Beoogde effecten (doel)
A) Data (input)
Aanleiding
Randvoorwaarden
Vragen, doelen, waarden...
Vragen, organisatie techniek, data, wetgeving...
3
Hoe?
Implementatie en gebruik algoritme (output) Randvoorwaarden Vragen, organisatie techniek, data...
4
Mensenrechten
Nagestreefde doelen Aangetaste grondrechten
B) Algoritme (throughput) Randvoorwaarden Vragen, organisatie techniek, transparantie, uitlegbaarheid
Bekijk hoofdstuk 1
Bekijk hoofdstuk 2
Bekijk hoofdstuk 3
Bekijk hoofdstuk 4
Indien nodig toepassen • Mitigerende maatregelen (Bijlage 2) • Alternatieven Daarna proces nog eens doorlopen
FINISH
Wanneer alle vragen voldoende beantwoord zijn en de grondrechtenafweging bij stap 7 van onderdeel 4 positief uitvalt, is het IAMA succesvol afgerond.
Impact Assessment | Mensenrechten en Algoritmes
5 /94
Waarom? 1.1.Waarom?
2A. Wat (input)?
2B. Wat (throughput)?
3. Hoe?
4. Mensenrechten
Bijlagen
Deel 1: Waarom?
Beoogde Effecten – Doelstellingen – Randvoorwaarden In dit deel komen de volgende vijf onderwerpen aan de orde:
Inleiding Deel 1 van het IAMA gaat over het ‘Waarom?’ van het voornemen om een algoritme te ontwikkelen, in te kopen, aan te passen en/of in te gaan zetten (hierna kortheidshalve: de inzet van een algoritme).
1.1 Aanleiding en probleemdefinitie
Wat zijn de aanleiding, de achterliggende beweegreden en de beoogde
1.2 Doelstelling
effecten van de inzet van het algoritme? Wat zijn de onderliggende waarden die de insteek van het gebruik van het algoritme bepalen? Deze overkoepelende vragen moeten in een besluitvormingsproces
1.3 Publieke waarden
over de inzet van algoritmes als eerste worden behandeld, voordat
1.4 Wettelijke grondslag
bijvoorbeeld wordt toegekomen aan vragen over randvoorwaarden of mogelijke impact op grondrechten. De antwoorden zijn voor het beantwoorden van die specifiekere vragen namelijk steeds relevant.
1.5 Betrokkenen en verantwoordelijkheden
Instructie Lees voor het bediscussiëren en beantwoorden van de vraag steeds eerst
Vul hier in welke personen dit onderdeel invullen. Vermeld daarbij ook hun functie.
de toelichting (die volgt na de vraag). Per vraag staat in de toelichting ook vermeld wie binnen het team in ieder geval aanwezig moeten zijn bij de bespreking.
Impact Assessment | Mensenrechten en Algoritmes
6 /94
Waarom? 1.1.Waarom?
2A. Wat (input)?
2B. Wat (throughput)?
3. Hoe?
4. Mensenrechten
Bijlagen
Deel 1: Waarom?
Beoogde Effecten – Doelstellingen – Randvoorwaarden Deel 1 bouwt voort op/is gerelateerd aan: Integraal afwegingskader beleid en regelgeving
Ethische Richtsnoeren voor betrouwbare Kunstmatige Intelligentie
In het bekende integraal afwegingskader voor beleid en regelgeving (IAK) is een groot
Deze vanuit de EU ontwikkelde richtsnoeren hebben tot doel te waarborgen dat algoritmen
aantal relevante handreikingen opgenomen waar het gaat om bijvoorbeeld de keuze
wettig, ethisch en robuust zijn en schetsen een kader om dat te bewerkstelligen. Principes
van beleidsinstrumenten, het identificeren van doelstellingen voor beleid en van
als autonomie, schadepreventie, rechtvaardigheid en verantwoording staan daarbij
andere belangen en waarden, en het bepalen van de rechtmatigheid van beleid en
centraal. Deze principes spelen een belangrijke rol bij de discussie over de vragen in dit
regelgeving. Dit eerste deel van het IAMA sluit zo goed mogelijk aan bij dit kader door
eerste deel van het IAMA. Het is daarom goed om deze richtsnoeren in de discussie te
een specifiekere vertaling te geven van de daarin opgenomen uitgangspunten naar de
betrekken, ook waar het gaat om het beantwoorden van vragen over de doelen van het
context van het inzetten van een algoritme voor besluitvorming of beleid. Als bepaalde
inzetten van een algoritme en de andere vragen in dit eerste deel van het IAMA.
vragen in dit eerste deel een nadere toelichting vergen, kan daarvoor in de meeste gevallen in het IAK te rade worden gegaan.
Handreiking non-discriminatie by design (Onderdeel 1: probleemdefinitie) In dit onderdeel van de handreiking komen soortgelijke punten aan de orde als in het
Toetsingskader Algemene Rekenkamer
onderhavige deel van het IAMA, maar dan specifiek gericht op het aanpakken van
Dit toetsingskader bevat aanknopingspunten voor audits van ingezette algoritmen.
ongerechtvaardigde ongelijke behandeling in de data. De handreiking kan dan ook worden
De daarin neergelegde beschrijvingen van risico’s, bijvoorbeeld ten aanzien van het
gebruikt als verdieping en nadere toelichting bij de hieronder geformuleerde vragen, die
formuleren van doelstellingen van een algoritme of de wettelijke grondslag daarvan,
meer algemeen gericht zijn op de ontwikkeling en inzet van algoritmen.
kunnen behulpzaam zijn bij het bediscussiëren van de hiernavolgende IAMA-vragen. Zij maken onder meer duidelijk hoe en hoe specifiek bepaalde doelen moeten worden geformuleerd en welke keuzes moeten worden onderbouwd.
Impact Assessment | Mensenrechten en Algoritmes
7 /94
Waarom? 1.1.Waarom?
2A. Wat (input)?
2B. Wat (throughput)?
3. Hoe?
4. Mensenrechten
Code Goed Digitaal Openbaar Bestuur
Bijlagen
DPIA niet altijd hoeft te worden uitgevoerd en dat het bij een DPIA gaat om een smallere
In deze code wordt aandacht besteed aan een ruime reeks rechtsstatelijke en
beoordeling dan bij het IAMA; het gaat bij een DPIA immers prima om verwerking van
zorgvuldigheidswaarborgen die in procedures van algoritmische besluitvorming worden
persoonsgegevens, terwijl bij de besluitvorming rondom de inzet van een algoritme veel
betrokken. Ook in processen van besluitvorming rondom de inzet van een algoritme
meer elementen kunnen komen kijken. Een DPIA kan de toetsing aan het IAMA dan ook
moeten deze waarborgen uiteraard in acht worden genomen. De hierna genoemde vragen
niet vervangen. Een checklist voor de vraag wanneer een DPIA moet worden uitgevoerd en
moeten dan ook tegen de achtergrond van deze Code worden beantwoord.
een aantal richtsnoeren voor het uitvoeren van een DPIA is te vinden op de website van de Autoriteit Persoonsgegevens.
DPIA-checklist Autoriteit Persoonsgegevens In dit deel van het IAMA worden onder meer vragen geformuleerd over de doelen van het inzetten van een algoritme. Dergelijke vragen moeten ook worden beantwoord als er een Data Protection Impact Assessment moet worden uitgevoerd (DPIA). Zo’n DPIA zal bij de inzet van veel algoritmische systemen nodig zijn, zeker wanneer deze inzet impliceert dat er persoonsgegevens worden verwerkt. Bij het uitvoeren van een DPIA moet onder meer worden geïdentificeerd wat de doelen zijn van de verwerking van gegevens. Die doelen kunnen ook relevant zijn voor de keuzes rondom de inzet van het algoritme als zodanig. Om die reden kan het nuttig zijn om de bij een DPIA al gemaakte analyse te betrekken bij het bediscussiëren van de IAMA-vragen, terwijl andersom de in dit deel van het IAMA gegeven antwoorden nuttig kunnen zijn bij het maken van een DPIA. Belangrijk is dat een
Impact Assessment | Mensenrechten en Algoritmes
8 /94
Waarom? 1.1.Waarom?
2A. Wat (input)?
2B. Wat (throughput)?
3. Hoe?
4. Mensenrechten
Bijlagen
1.1
Aanleiding en probleemdefinitie 1.1.1 Licht uw voorstel voor het gebruik/de inzet van een algoritme toe. Wat is de aanleiding hiervoor geweest? Voor welk probleem moet het algoritme een oplossing bieden? Beschrijf hier beknopt het voorstel, zodanig dat een buitenstaander zou kunnen begrijpen wat u van plan bent.
Let op: de doelstelling van het algoritme komt hierna afzonderlijk, bij vraag 1.2, aan bod.
Impact Assessment | Mensenrechten en Algoritmes
9 /94
Waarom? 1.1.Waarom?
2A. Wat (input)?
2B. Wat (throughput)?
3. Hoe?
4. Mensenrechten
Bijlagen
1.1
Aanleiding en probleemdefinitie Benodigde expertise/rol voor beantwoording van deze vraag: opdrachtgever, projectleider, domeinexpert, evt. panel van burgers, evt. vertegenwoordiger van belangengroep
Aanwijzingen en toelichting
Ook de Handreiking non-discriminatie by design bevat informatie over de noodzaak van een
Bij de eerste vraag van dit thema gaat het erom na te denken over wat nu eigenlijk de
goede probleemdefinitie bij de inzet van een algoritme. Daarnaast is in het Toetsingskader
aanleiding is om een algoritme in te willen zetten: wat is het probleem waarvoor de
Algemene Rekenkamer de nodige informatie te vinden over de vraag hoe specifiek de doelen
beoogde inzet van het algoritme een oplossing zou moeten vormen? Het gaat hierbij
moeten worden geformuleerd.
dus om probleemdefinitie en -afbakening. Daarbij is het essentieel om het probleem zo concreet en precies mogelijk te krijgen. Soms kan het probleem of de aanleiding een interne
Om goede participatie van burgers te realiseren, vroegtijdig inzicht te verkrijgen in
aangelegenheid zijn: interne processen verlopen niet efficiënt of kunnen efficiënter worden
verschillende gezichtspunten en draagvlak voor de inzet van een algoritme te creëren kan
gemaakt door de inzet van een algoritme. In andere gevallen kan een algoritme worden
het nuttig zijn om burgers te betrekken bij het definiëren van de doelstellingen. Dat kan
ingezet om een maatschappelijk probleem of een probleem bij een bepaalde bevolkingsgroep
bijvoorbeeld door een burgerpanel vragen voor te leggen over de doelen van het algoritme.
op te lossen.
Een andere optie is het betrekken van een vertegenwoordiger van een belangengroep. Belangengroepen hebben een grote inhoudelijke expertise en zijn specifiek in het leven
Hoofddoel van de tweede vraag bij dit thema is om te bepalen waarom het gewenst of nodig
geroepen om groepen van betrokkenen te representeren.
is om een algoritme in te zetten, wetende dat er vaak ook andere (niet-digitale) instrumenten beschikbaar kunnen zijn om een probleem te kunnen aanpakken. Er moet vanuit dat
Meer informatie over de wenselijkheid en mogelijkheden van het betrekken van burgers
perspectief een discussie plaatsvinden over de vraag waarom een algoritme een betere
bij de besluitvorming rondom de inzet van digitale middelen, waaronder algoritmes,
oplossing kan bieden dan een niet-geautomatiseerd of niet-digitaal proces.
is te vinden in de Code Goed Digitaal Openbaar Bestuur.
Impact Assessment | Mensenrechten en Algoritmes
10 /94
Waarom? 1.1.Waarom?
2A. Wat (input)?
2B. Wat (throughput)?
3. Hoe?
4. Mensenrechten
Bijlagen
1.2
Doelstelling
1.2.1 Wat is het doel dat bereikt dient te worden met de inzet van het algoritme? Wat is hierbij het hoofddoel en wat zijn subdoelen?
Antwoord:
Impact Assessment | Mensenrechten en Algoritmes
11 /94
Waarom? 1.1.Waarom?
2A. Wat (input)?
2B. Wat (throughput)?
3. Hoe?
4. Mensenrechten
Bijlagen
1.2
Doelstelling Benodigde expertise/rol voor beantwoording van deze vraag: opdrachtgever, projectleider,
Als ook een DPIA wordt uitgevoerd – bijvoorbeeld omdat verwacht wordt dat bij de
evt. panel van burgers, evt. vertegenwoordiger van belangengroep
ontwikkeling of inzet van het algoritme persoonsgegevens worden gebruikt – is het daarbij nodig om de doelen van gegevensverwerking te definiëren. Deze doelen kunnen overlappen met de doelen van het inzetten van een algoritme (al is dat niet noodzakelijk). Het kan dus
Aanwijzingen en toelichting
handig zijn om de bij het IAMA gedefinieerde doelen te bewaren en ze ook in te zetten bij
Het zo expliciet mogelijk maken van de doelstelling is belangrijk, omdat in een later stadium
een DPIA, of andersom. Meer informatie over het uitvoeren van een DPIA is te vinden in de
de prestaties van het algoritme getoetst moeten kunnen worden aan de doelstelling.
Checklist DPIA van de Autoriteit Persoonsgegevens.
Een algoritme ontwikkelen vanuit goede intenties alleen is niet voldoende om het ontbreken van ongewenste effecten te waarborgen. Daarnaast moet het beoogde doel legitiem zijn.
Voor informatie over het bepalen van de doelen van de inzet van een algoritme kan verder te rade worden gegaan bij de Handreiking non-discriminatie by design en het Toetsingskader
Voortbouwend op de probleemdefinitie bij 1.1 is het zaak om het doel van de inzet van een
Algemene Rekenkamer.
algoritme zo concreet en specifiek mogelijk te definiëren. Dus niet (alleen): ‘bescherming van de nationale veiligheid’, maar (ook) ‘het geautomatiseerd in kaart kunnen brengen en analyseren
Om goede participatie van burgers te realiseren en draagvlak voor de inzet van een algoritme
van indicatoren voor terrorismerisico’s op bepaalde locaties’. Ook doelen van efficiëntie
te creëren kan het nuttig zijn om burgers te betrekken bij het definiëren van de doelstellingen.
of kostenbesparing kunnen worden geïdentificeerd, bijvoorbeeld: ‘geautomatiseerde
Dat kan bijvoorbeeld door een burgerpanel vragen voor te leggen over de doelen van
tekstanalyse om de werkdruk voor medewerkers significant terug te dringen en in het
het algoritme. Een andere optie is het betrekken van een vertegenwoordiger van een
volgende jaar 4 fte minder aan personeel nodig te hebben’. Waar mogelijk is het goed om de
belangengroep. Belangengroepen hebben een grote inhoudelijke expertise en zijn in het leven
doelstellingen te kwantificeren.
geroepen om groepen van betrokkenen te representeren.
Daarnaast is het belangrijk om een zekere rangorde te maken als er meer doelen zijn (dat is
Meer informatie over de wenselijkheid en mogelijkheden van het betrekken van burgers bij
bijna altijd zo): wat zijn de belangrijkste doelen en waarom? Welke doelen zijn ‘subdoelen’,
de besluitvorming rondom de inzet van digitale middelen, waaronder algoritmes,
waarvoor het niet zo erg is als ze niet voor 100% kunnen worden gerealiseerd?
is te vinden in de Code Goed Digitaal Openbaar Bestuur.
Impact Assessment | Mensenrechten en Algoritmes
12 /94
Waarom? 1.1.Waarom?
2A. Wat (input)?
2B. Wat (throughput)?
3. Hoe?
4. Mensenrechten
Bijlagen
1.3
Publieke waarden
1.3.1 Wat zijn de publieke waarden die de inzet van het algoritme ingeven? Indien meerdere publieke waarden de inzet van het algoritme ingeven, kan daar een rangschikking in aangebracht worden?
Antwoord:
Impact Assessment | Mensenrechten en Algoritmes
1.3.2 Wat zijn de publieke waarden die mogelijk in het gedrang komen door de inzet van het algoritme?
Antwoord:
13 /94
Waarom? 1.1.Waarom?
2A. Wat (input)?
2B. Wat (throughput)?
3. Hoe?
4. Mensenrechten
Bijlagen
1.3
Publieke waarden Benodigde expertise/rol voor beantwoording van deze vraag: opdrachtgever, bestuur, jurist, evt. burgerpanel, evt. vertegenwoordiger van belangengroep
Aanwijzingen en toelichting
Algoritmen kunnen dienen om bepaalde publieke waarden te vertalen naar concrete
Concreet is het de bedoeling dat de waarden die de ontwikkeling en het gebruik van het
besluitvorming. Daarbij kunnen algoritmen bepaalde waarden versterken, maar ze kunnen ook
betreffende algoritme ingeven, expliciet worden gemaakt. Het expliciet maken van de waarden
publieke waarden - zoals grondrechten - aantasten. Juist daarom is het belangrijk om in kaart
die besloten moeten liggen in het algoritme, kan helpen om de evaluatie van de effecten van
te brengen welke publieke waarden aan de orde kunnen zijn bij de inzet van het algoritme.
het algoritme, in een latere fase van het proces, te vergemakkelijken. Bij de beantwoording van deze vraag kan rekening worden gehouden met de aanleiding voor Het is niet altijd gemakkelijk om te weten wat publieke waarden zijn, maar het gaat steeds om
de inzet van het algoritme (zie vraag 1.1) en de doelen ervan (zie vraag 1.2), maar ook met de
manifestaties van het algemeen belang. De specifieke publieke waarden die overheidshandelen
kernwaarden van de organisatie of de afdeling die het algoritme gaat gebruiken. Daarnaast
ingeven, kunnen daarbij van situatie tot situatie verschillen. Vaak worden publieke waarden
moet aandacht worden besteed aan het grondrechtenstappenplan (zie deel 4 van dit IAMA) en
gedestilleerd uit essentiële rechtsstatelijke en democratische grondbeginselen, uit voorwaarden
het overzicht van grondrechtenclusters in bijlage 1. Als grondrechten kunnen worden geraakt
om een samenleving goed te kunnen laten functioneren, en uit individuele en collectieve
door het algoritme, of als grondrechten juist kunnen worden bevorderd door het algoritme,
grondrechten en vrijheden.
betekent dit namelijk dat grondrechten als publieke waarden aan de orde zijn.
Voorbeelden van publieke waarden zijn gelijkwaardigheid, respect voor persoonlijke
Wanneer meerdere publieke waarden de inzet van het algoritme ingeven, is het nuttig om na te
autonomie, solidariteit, vrijheid, veiligheid, verantwoordelijkheid, duurzaamheid,
denken over het relatieve gewicht van deze waarden. Welke waarden zijn het meest belangrijk?
rechtszekerheid, verdelende rechtvaardigheid, respect voor kwetsbare groepen, participatie
Hoe erg is het als deze niet (volledig) kunnen worden gerealiseerd met de inzet van het
en efficiënte besteding van middelen. Op een concreter niveau kan ook bescherming van
algoritme?
grondrechten (zoals persoonsgegevensbescherming, vrijheid van meningsuiting, het recht op toegang tot informatie en het recht op een eerlijk proces) tot de publieke waarden worden gerekend.
Impact Assessment | Mensenrechten en Algoritmes
14 /94
Waarom? 1.1.Waarom?
2A. Wat (input)?
2B. Wat (throughput)?
3. Hoe?
4. Mensenrechten
Bijlagen
1.3
Publieke waarden Als sprake is van een botsing van publieke waarden bij de inzet van het algoritme, moet een
Om goede participatie van burgers te realiseren en draagvlak voor de inzet van een algoritme
afweging worden gemaakt. Het kan moeilijk zijn om dit in dit stadium van het IAMA al te
te creëren kan het nuttig zijn om burgers te betrekken bij de discussie over de betrokken
doen, dus het is verstandig om nu niet meer te doen dan deze spanning te signaleren.
publieke waarden. Dat kan bijvoorbeeld door een burgerpanel vragen voor te leggen
Het doel van het nu al identificeren van de diverse betrokken waarden is vooral gericht
over de verwachte positieve en negatieve impact van het algoritme en de daartussen te
op bewustwording en bewustzijn; bij het doorlopen van de vragen in de vervolgdelen
maken afwegingen. Een andere optie is het betrekken van een vertegenwoordiger van een
van dit IAMA kunnen de betrokken belangen en eventuele spanningsverhoudingen in het
belangengroep. Belangengroepen hebben vaak een grote inhoudelijke expertise en zijn in het
achterhoofd worden gehouden. Uiteindelijk zal in ieder geval bij stappen 5, 6 en 7 van het
leven geroepen om groepen van betrokkenen te representeren.
grondrechtenstappenplan (zie deel 4 van dit IAMA) aandacht moeten worden besteed aan de wenselijkheid van de inzet van het algoritme in het licht van de waarden en grondrechten die
Meer informatie over de wenselijkheid en mogelijkheden van het betrekken van burgers
erdoor worden geraakt. Daar zal ook een afweging moeten worden gemaakt als er sprake is
bij de besluitvorming rondom de inzet van digitale middelen, waaronder algoritmes,
van grondrechtenbotsingen die niet op een adequate manier kunnen worden weggenomen.
bij besluitvorming en beleid is te vinden in de Code Goed Digitaal Openbaar Bestuur.
Voor informatie over het bepalen van de eventuele (positieve en negatieve) impact van de inzet van een algoritme op publieke waarden kan verder te rade worden gegaan bij de Handreiking non-discriminatie by design, Code Goed Digitaal Openbaar Bestuur en het Toetsingskader Algemene Rekenkamer.
Impact Assessment | Mensenrechten en Algoritmes
15 /94
Waarom? 1.1.Waarom?
2A. Wat (input)?
2B. Wat (throughput)?
3. Hoe?
4. Mensenrechten
Bijlagen
1.4
Wettelijke grondslag Bij de beantwoording van deze vraag gaat het erom na te gaan of er een wettelijke 1.4.1 W at is de wettelijke grondslag van de inzet van dit algoritme en van de beoogde besluiten die genomen zullen worden op basis van dit algoritme?
grondslag bestaat die – concreet en in heldere bewoordingen – de mogelijkheid biedt om een algoritme in te zetten en deze inzet voldoende voorzienbaar maakt. Als de verwachting is dat een algoritme tot gevolg heeft dat wordt ingegrepen in het leven of de vrijheid van mensen, en zeker als de verwachting is dat er grondrechten worden
Antwoord:
geraakt, moet er een wettelijke grondslag bestaan voor de inzet van het algoritme.
Ontbreekt in een dergelijk geval een wettelijke grondslag die aan de kwaliteitseisen voldoet, dan mag het algoritme niet worden ingezet.
NB: aan het wettigheidsvereiste gerelateerde vereisten rondom behoorlijk en goed bestuur, transparantie en rechtsbescherming komen in de hiernavolgende delen van het IAMA nader aan de orde.
Impact Assessment | Mensenrechten en Algoritmes
16 /94
Waarom? 1.1.Waarom?
2A. Wat (input)?
2B. Wat (throughput)?
3. Hoe?
4. Mensenrechten
Bijlagen
1.4
Wettelijke grondslag Benodigde expertise/rol voor beantwoording van deze vraag: jurist, opdrachtgever
Aanwijzingen en toelichting In een aantal gevallen – in het bijzonder als het algoritme een inbreuk kan maken op een van
Nadere specificatie van de eisen voor de wettige inzet van algoritmes is te vinden in het
de grondrechten zoals die in de Grondwet zijn vastgelegd – moet sprake zijn van een grondslag
Toetsingskader Algemene Rekenkamer) en in de Ethische Richtsnoeren voor betrouwbare
in een formele wet. In andere gevallen van ingrijpend overheidshandelen kan een lagere
Kunstmatige Intelligentie van de EU. Ook het Integraal afwegingskader voor beleid en regelgeving
regeling (bijvoorbeeld een AMvB) als grondslag volstaan.
biedt aanknopingspunten voor het bepalen van rechtmatigheid van voorgenomen wetgeving
2
en beleid, die ook gelden als het gaat om de inzet van algoritmen. In de Code Goed Digitaal Bij grondrechteninbreuken (zie deel 4 van dit IAMA) gelden op grond van het Europees Verdrag
Openbaar Bestuur wordt eveneens aandacht besteed aan het wettigheidsvereiste.
voor de Rechten van de Mens een aantal aanvullende vereisten, waarvan er twee voor de inzet
De discussie over de wettelijke grondslag moet in het licht van de in deze instrumenten
van algoritmes bijzonder van belang zijn:
gegeven toelichtingen worden gevoerd.
De grondrechteninbreuk moet voldoende voorzienbaar zijn. Dat betekent dat de wettelijke grondslag zo duidelijk moet zijn geformuleerd dat burgers en rechtspersonen kunnen weten waar ze aan toe zijn en zo nodig hun handelen kunnen afstemmen op de verwachte gevolgen. De wettelijke grondslag moet voldoende waarborgen bieden tegen willekeur. Dat betekent onder meer dat het toegestane handelen (bijvoorbeeld besluitvorming met behulp van een algoritme) moet worden omkleed met de nodige waarborgen tegen willekeur, dat er voldoende transparantie moet bestaan rondom de te nemen besluiten, en dat er voldoende mogelijkheden tot rechtsbescherming moeten bestaan.
Impact Assessment | Mensenrechten en Algoritmes
2 Vetzo, Gerards & Nehmelman 2018, p. 53 e.v.; Koops e.a. 2017.
17 /94
Waarom? 1.1.Waarom?
2A. Wat (input)?
2B. Wat (throughput)?
3. Hoe?
4. Mensenrechten
Bijlagen
1.5
Betrokkenen en verantwoordelijkheden Besteed bij het beantwoorden van deze vraag ook aandacht aan de volgende 1.5.1 Welke partijen en personen zijn er bij de ontwikkeling/het gebruik/het onderhoud van het algoritme betrokken?
punten: Indien meerdere partijen betrokken zijn bij de ontwikkeling/het gebruik/het onderhoud van het algoritme: kunnen de partijen en hun rollen expliciet gemaakt worden?
Antwoord:
Indien in de toekomst blijkt dat het algoritme niet meer gewenst/ haalbaar/relevant is, is een exitstrategie dan mogelijk? Hoe zou een dergelijke exitstrategie eruit kunnen zien?
Als het niet mogelijk is om de verantwoordelijkheden van betrokkenen voldoende te borgen, mag het algoritme niet worden ingezet.
Impact Assessment | Mensenrechten en Algoritmes
18 /94
Waarom? 1.1.Waarom?
2A. Wat (input)?
2B. Wat (throughput)?
3. Hoe?
4. Mensenrechten
Bijlagen
1.5
Betrokkenen en verantwoordelijkheden
1.5.2 Hoe zijn de verantwoordelijkheden belegd ten aanzien van de ontwikkeling en de inzet van het algoritme, ook nadat het algoritme eenmaal is afgerond?
Antwoord:
Impact Assessment | Mensenrechten en Algoritmes
1.5.3 W ie is eindverantwoordelijk voor het algoritme?
Antwoord:
19 /94
Waarom? 1.1.Waarom?
2A. Wat (input)?
2B. Wat (throughput)?
3. Hoe?
4. Mensenrechten
Bijlagen
1.5
Betrokkenen en verantwoordelijkheden Benodigde expertise/rol voor beantwoording van deze vraag: opdrachtgever, projectleider, overige leden projectteam, CISO of CIO
Aanwijzingen en toelichting
Daarbij moet enerzijds aandacht bestaan voor het belang van maatwerk en voor de menselijke
Het kan verleidelijk zijn om vooral vanuit een beleids- of bestuurlijk perspectief naar de inzet
maat, terwijl anderzijds gelijke behandeling en consistentie moeten worden gegarandeerd en
van het algoritme te kijken. Er kan echter een discrepantie bestaan tussen de bestuurlijk-
willekeur moet worden uitgesloten. De besluitvormingslijnen moeten zo worden vormgegeven
beleidsmatige besluitvorming over algoritmes en de politieke verantwoordelijkheid daarvoor
dat ze oog houden voor deze risico’s en spanningsverhoudingen. Nagedacht moet worden over
en controle daarop. Ook is er een risico dat het burgerperspectief uit beeld verdwijnt als het
de manier waarop ruimte kan worden geboden voor flexibiliteit, afwijking van de norm etc.7
gaat om besluitvorming over de inzet van algoritmes, mede doordat participatie door burgers bij de discussie over de inzet van algoritmes vaak beperkt is.5 Het is daarom belangrijk om in
Het belang bij het vroegtijdig betrekken van alle belanghebbenden en andere mogelijke
de discussie te bedenken of, naast bestuurlijk verantwoordelijken, ook politiek verantwoordelijken
betrokkenen – voor zover mogelijk en relevant – bij de ontwikkeling van een komt
en burgers een rol kunnen of moeten hebben bij de besluitvorming over de inzet van het
ook naar voren in de Handreiking non-discriminatie by design. Daarin worden concrete
algoritme en, zo ja, hoe die rol vorm moet krijgen. Niet voor niets is bij de eerdere vragen ook al
aanknopingspunten geboden die in de discussie kunnen worden betrokken.
gesuggereerd om ook een burgerpanel bij de discussie te betrekken of op een andere manier te zorgen voor burgerparticipatie.
Op de betrokkenheid van verschillende spelers en de relatie tussen bestuurlijke en politieke spelers en burgers wordt bovendien nader ingegaan in de Code Goed Digitaal Openbaar Bestuur.
Waar mogelijk en relevant is het wenselijk dat burgers ook in staat worden gesteld om in het
Ook met de daar geformuleerde handvatten kan in de discussie over deze vraag rekening
vervolgtraject (dus de fases 2 en 3 en de grondrechtentoets van deel 4) mee te denken over de
worden gehouden.
ontwikkeling van een algoritme.6 Al in de beginfase van de ontwikkeling van een algoritme kan nagedacht worden over het al dan niet toepassen van burgerparticipatie en de manier waarop die
Aan het vastleggen en borgen van de verschillende rollen en taken van betrokkenen en
participatie vorm kan krijgen.
verantwoordelijkheden worden verder de nodige eisen gesteld in het Toetsingskader Algemene Rekenkamer.
In ieder geval – en ook wanneer geen burgerparticipatie wordt voorzien – moet worden nagedacht over de manier waarop burgers worden geraakt door het in te zetten algoritme en hoe de positie van burgers op een goede manier kan worden beschermd. 5 Zie ook Vetzo, Gerards & Nehmelman 2018.
Impact Assessment | Mensenrechten en Algoritmes
6 Gerards 2019a. 7 Vgl. Altman 2015.
20 /94
Waarom? 1.1.Waarom?
2A. Wat (input)?
2B. Wat (throughput)?
3. Hoe?
4. Mensenrechten
Bijlagen
1.5
Betrokkenen en verantwoordelijkheden Een duidelijke verdeling en borging van (verschillende niveaus van) verantwoordelijkheden is
Hierbij is ook van belang dat wordt nagedacht over de valkuilen die kunnen bestaan als mensen
cruciaal voor het effectief en verantwoord verloop van het proces rondom de inzet van een
met behulp van algoritmen besluiten nemen; het is zaak om al in een vroegtijdig stadium
algoritme. Zeker wanneer ongewenste effecten (kunnen) optreden bij de implementatie van
te bedenken hoe dergelijke valkuilen kunnen worden vermeden. Denk hierbij aan valkuilen
een algoritme zijn korte lijnen en een duidelijke taakverdeling belangrijk voor het doen van
omtrent cognitieve vooringenomenheid, bijvoorbeeld automation bias: mensen zijn geneigd
aanpassingen of voor de inzet van mitigerende maatregelen (zie voor een overzicht daarvan
om besluiten die zijn gegenereerd door een computer als neutraal te zien en ze daardoor
bijlage 2). Hierover moet op voorhand al worden nagedacht; voorzien moet worden in goede
sneller voor waar aan te nemen. Een ander voorbeeld van cognitieve vooringenomenheid is
besluitvormingsstructuren en organisatorische inbedding van het algoritme.
anchoring: mensen zijn geneigd om het als eerste aangeboden stukje informatie als ‘anker’ of ijkpunt te gebruiken en daar niet snel van af te wijken wanneer later tegenstrijdige of
Deze duidelijke verdeling van verantwoordelijkheden dient ook in de toekomst geborgd
aanvullende informatie aangeboden wordt.
te blijven. Het is bijvoorbeeld niet ondenkbaar dat bepaalde collega’s van baan wisselen of om andere redenen hun functie niet kunnen voortzetten. Ook kan het voorkomen dat (onderdelen binnen) de organisatie gereorganiseerd worden. Centraal in de discussie over deze thema’s staat dan ook de vraag hoe er binnen de organisatie voor worden gezorgd dat verantwoordelijkheden en relevante contextuele kennis goed belegd blijven, ook in de toekomst? Wanneer, om welke reden dan ook, blijkt dat ontwikkeling of implementatie van het algoritme niet meer gewenst is, moet het mogelijk zijn om een exitstrategie te volgen. Dit is belangrijk, omdat het soms voor kan komen dat een organisatie al ‘te diep’ in het project zit en het lijkt alsof er geen weg terug meer mogelijk is. Dit kan schadelijke consequenties tot gevolg hebben, zoals de verspilling van publieke middelen of de inzet van een inaccuraat algoritme. Met een exitstrategie wordt dit voorkomen. De exitstrategie hoeft niet van tevoren al volledig uitgewerkt te worden; hoofdlijnen kunnen volstaan.
Impact Assessment | Mensenrechten en Algoritmes
21 /94
1. Waarom?
2A. Wat Wat (input)? 2A. (input)?
2B. Wat (throughput)?
3. Hoe?
4. Mensenrechten
Bijlagen
Deel 2A: Wat? Data – input
In dit deel komen de volgende vier onderwerpen aan bod:
Inleiding Als eenmaal vaststaat waarom een algoritme zal worden ingezet en hoe de organisatorische borging van publieke waarden en belangen vorm zal krijgen, is het zaak om na te denken over de vormgeving van het in te zetten algoritme. Daarop heeft deel 2
2A.1 Inschatting: type algoritme
van dit IAMA betrekking, dat gaat over het ‘Wat?’ van het project. 2A.2 Databronnen en kwaliteit
Dit deel valt uiteen in twee onderdelen: deel 2a betreft de input van het algoritme: de data (of digitaal vastgelegde gegevens) die gebruikt gaat worden en de randvoorwaarden
2A.3 Bias / aannames in de data
daaromheen. Deel 2b betreft het algoritme zelf, dus de throughput van het project. 2A.4 Beveiliging en archivering
Net als deel 1 omvat deel 2 een aantal vragen en punten die in ieder besluitvormingsproces over de inzet van een algoritme moeten worden meegenomen.
Instructie
Vul hier in welke personen dit onderdeel invullen. Vermeld daarbij ook hun functie.
Lees voor het bediscussiëren en beantwoorden van de vraag steeds eerst de toelichting (die volgt na de vraag). Per vraag staat in de toelichting ook vermeld wie binnen het team in ieder geval aanwezig moeten zijn bij de bespreking.
Impact Assessment | Mensenrechten en Algoritmes
22 /94
1. Waarom?
2A. Wat Wat (input)? 2A. (input)?
2B. Wat (throughput)?
3. Hoe?
4. Mensenrechten
Bijlagen
Deel 2A: Wat? Data – input
Delen 2a en 2b bouwen voort op/zijn gerelateerd aan:
Richtlijnen voor de uitvoering van een Data Protection Impact Assessment (DPIA) (Autoriteit
Handreiking non-discriminatie by design (onderdelen 2: dataverzameling; 3: datavoorbereiding; 4:
Persoonsgegevens)
modellering)
In veel gevallen zal bij het ontwikkelen en inzetten van een algoritme sprake zijn van
In deze handreiking komen soortgelijke punten aan de orde als in het onderhavige deel van
verzameling en verwerking van persoonsgegevens. In die gevallen moet vaak een
het IAMA, maar dan specifiek gericht op het aanpakken van bias of ongelijke behandeling in
DPIA worden uitgevoerd. Nu het hierbij gaat om een verfijning van het grondrecht op
de data. De handreiking kan dan ook worden gebruikt als verdieping en nadere toelichting
gegevensbescherming, besteden we hieraan aandacht in deel 4 van het IAMA – het
bij de discussie over de hieronder geformuleerde vragen, in het bijzonder waar het gaat om
grondrechtenstappenplan (stap 2).
het controleren van de data op bias.
In deel 1 van het IAMA is daarnaast ook al aandacht besteed aan het DPIA, namelijk voor zover het gaat om het formuleren van doelen van de verwerking van persoonsgegevens.
Toetsingskader algoritmes (in: Aandacht voor algoritmes) (Algemene Rekenkamer, 2020)
De bij het uitvoeren van een DPIA gegenereerde informatie en antwoorden kunnen
Dit toetsingskader formuleert vijf perspectieven die moeten worden betrokken in
ook relevant zijn bij het discussiëren over de IAMA-vragen hierna; andersom kunnen de
de besluitvorming over algoritmes, waarvan een van deze perspectieven (ethiek)
antwoorden op de IAMA-vragen nuttig zijn bij het uitvoeren van een DPIA.
overkoepelend is voor de andere vier perspectieven (sturing en verantwoording, model en data, privacy en ‘IT general controls’). De definities en toetsingsonderdelen die in dit
Richtlijnen voor het Toepassen van Algoritmen door Overheden
toetsingskader worden gegeven kunnen worden meegenomen bij de relevante vragen in
In deze richtlijnen staan de thema’s transparantie, uitlegbaarheid, validatie,
dit deel van het IAMA, specifiek waar het gaat om veiligheid (deel 2a) en rekenschap en
verantwoording en toetsbaarheid centraal. Deze thema’s komen ook in de vragen in dit
verantwoording (deel 2B). Het element privacy uit het ARK-toetsingskader komt meer
deel van het IAMA aan bod. Deze richtlijnen zijn van belang bij de discussie over vragen die
specifiek aan de orde in deel 4 (grondrechtenstappenplan).
op deze onderwerpen betrekking hebben, nu er een nadere toelichting in is te vinden over de genoemde onderwerpen.
Impact Assessment | Mensenrechten en Algoritmes
23 /94
1. Waarom?
2A. Wat Wat (input)? 2A. (input)?
2B. Wat (throughput)?
3. Hoe?
4. Mensenrechten
Bijlagen
Deel 2A: Wat? Data – input
Ethische Richtsnoeren voor betrouwbare Kunstmatige Intelligentie
Baseline Informatiebeveiliging Overheid (BIO)
Vertrekpunt van de vanuit de EU geformuleerde ethische richtsnoeren is dat moet
De BIO is een gezamenlijk toetsingskader voor informatiebeveiliging binnen de gehele
worden voorzien in ‘betrouwbare’ KI door 1) menselijke controle en menselijk toezicht, 2)
overheid. Het is van belang om de BIO in acht te nemen bij de vragen over beveiliging in
technische robuustheid en veiligheid, 3) privacy en datagovernance, 4) transparantie, 5)
deel 2a.
diversiteit, non- discriminatie en rechtvaardigheid, 6) milieu- en maatschappelijk welzijn en 7) verantwoordingsplicht. Deze verschillende punten komen hierna op verschillende punten
De FAIR- en FACT-principes
en manieren terug, waarbij aan punt 5 vooral aandacht wordt besteed in deel 4 van het
De FAIR- en FACT-principes gaan ervanuit dat de inzet van big data alleen bijdraagt aan een
IAMA (grondrechtenstappenplan) en punt 6 bij deel 1 aan de orde is gekomen (identificatie
betere maatschappij voor iedereen wanneer ze zijn ontwikkeld met belangrijke publieke
van publieke waarden). Daarnaast wordt in de richtlijnen veel aandacht besteed aan
waarden als uitgangspunt. De FAIR-principes gaan over traceerbaarheid, toegankelijkheid,
betrokkenheid/participatie, aan controleerbaarheid en aan informatievoorziening. Ook
interoperabiliteit en herbruikbaarheid. De FACT-principes gaan over eerlijkheid,
deze punten komen in dit deel van het IAMA aan de orde. De richtlijnen kunnen daarbij
nauwkeurigheid, vertrouwelijkheid en transparantie.
nadere invulling geven aan de verschillende vragen en kunnen behulpzaam zijn als er twijfels opkomen. Daarnaast vormt de in de richtsnoeren opgenomen ‘controlelijst’ een nadere verfijning van de hierna opgenomen vragen.
Impact Assessment | Mensenrechten en Algoritmes
24 /94
1. Waarom?
2A. Wat Wat (input)? 2A. (input)?
2B. Wat (throughput)?
3. Hoe?
4. Mensenrechten
Bijlagen
2A.1
Inschatting: type algoritme
2A.1.1 Wat voor type algoritme wordt gebruikt, of wat voor type algoritme gaat ontwikkeld worden?
Benodigde expertise/rol voor beantwoording van deze vraag: data scientist, ontwikkelaar algoritme, projectleider
De discussie over de keuze voor een bepaald type algoritme wordt uitgebreid Antwoord:
gevoerd in het volgende onderdeel van het IAMA (Deel 2B: Wat? | ‘Algoritme throughput’). Toch komt deze vraag hier ook alvast aan bod. Wanneer er namelijk nog geen ruw idee bestaat over welk type algoritme ingezet gaat worden, zijn de volgende vragen van dit IAMA-deel, die over data gaan, niet goed te beantwoorden. Bij de beantwoording van deze vraag kan het handig zijn om al even te kijken naar de varianten die bij vraag 2B.1 worden genoemd. Afhankelijk van het antwoord op de vraag of er al een beeld is van het in te zetten algoritme, zijn er voor de discussie verschillende opties: Als er al een ruw (of meer omlijnd) idee is van het in te zetten algoritme, kunnen de vragen hierna voor dat algoritme worden bediscussieerd. Als er verschillende te overwegen typen van algoritmes zijn, kunnen de vragen aan de orde komen voor de verschillende typen. Als er nog geen idee is over welk type algoritme gebruikt gaat worden, kan op dit punt gestopt worden met het gebruik van het IAMA. Pas als er een ruw idee is over het type algoritme, of een aantal verschillende opties, kan het IAMA verder worden ingezet.
Impact Assessment | Mensenrechten en Algoritmes
25 /94
1. Waarom?
2A. Wat Wat (input)? 2A. (input)?
2B. Wat (throughput)?
3. Hoe?
4. Mensenrechten
Bijlagen
2A.2
Databronnen en kwaliteit
2A.2.1 Wat voor type data gaat gebruikt worden als input voor het algoritme en uit welke bronnen is de data afkomstig? Indien geen gebruik wordt gemaakt van inputdata, ga door naar onderwerp 2A.4.
Antwoord:
Impact Assessment | Mensenrechten en Algoritmes
2A.2.2 Is de kwaliteit en betrouwbaarheid van de data voldoende voor de beoogde datatoepassing? Leg uit.
Antwoord:
26 /94
1. Waarom?
2A. Wat Wat (input)? 2A. (input)?
2B. Wat (throughput)?
3. Hoe?
4. Mensenrechten
Bijlagen
2A.2
Databronnen en kwaliteit Benodigde expertise/rol voor beantwoording van deze vraag: data scientist, ontwikkelaar algoritme, databeheerder/bronhouder
Aanwijzingen en toelichting
In de Handreiking non-discriminatie by design wordt op deze punten verder ingegaan (zie vooral
Tegenwoordig is iedereen bekend met het principe ‘garbage in = garbage out’. Deze uitspraak
onderdelen 2: dataverzameling; 3: datavoorbereiding). Het is goed om deze handreiking
reflecteert het gegeven dat de vraag welke data gebruikt wordt als input voor het algoritme
bij de discussie over deze vraag te betrekken. Hetzelfde geldt voor de Richtlijnen voor het
en de kwaliteit daarvan, bepalend is voor de uitkomsten uit het algoritme. Daarom is het
Toepassen van Algoritmen door Overheden en voor de aan inputkwaliteit gestelde eisen in het
belangrijk dat de data compleet en accuraat is. De datakwaliteit kan gecontroleerd worden
Toetsingskader Algemene Rekenkamer. Ook de FAIR en FACT-principes over kwaliteit van data
op verschillende manieren, bijvoorbeeld met behulp van steekproeven. De vraag die hierbij
zijn het bekijken waard.
centraal staat is: beschrijft de data het fenomeen dat onderzocht dient te worden? De data die wordt verzameld dient de juiste proxy te zijn voor hetgeen dat geïdentificeerd dient te worden. Indien het gaat om een algoritme dat gebruik maakt van trainingsdata is het nodig om te onderzoeken waar de trainingsdata van afkomstig is en of deze van goede kwaliteit is. Ook is het dan van belang om na te gaan of de set met trainingsdata al eerder door wetenschappers is bekritiseerd als foutief of zelfs is teruggetrokken.
Impact Assessment | Mensenrechten en Algoritmes
27 /94
1. Waarom?
2A. Wat Wat (input)? 2A. (input)?
2B. Wat (throughput)?
3. Hoe?
4. Mensenrechten
Bijlagen
2A.3
Bias / aannames in de data Zie voor een definitie van bias en een uitleg van 2A.3.1 W elke aannames en bias liggen in de data
2A.3.2 Indien gebruik wordt gemaakt van trainingsdata:
besloten en hoe wordt de invloed daarvan op
is de data representatief voor de context waarin
de output van het algoritme gecorrigeerd of
het algoritme ingezet gaat worden?
verschillende vormen van bias de Handreiking nondiscriminatie by design.
anderszins ondervangen of gemitigeerd (zie ook bijlage 2)? Antwoord:
Impact Assessment | Mensenrechten en Algoritmes
Antwoord:
28 /94
1. Waarom?
2A. Wat Wat (input)? 2A. (input)?
2B. Wat (throughput)?
3. Hoe?
4. Mensenrechten
Bijlagen
2A.3
Bias / aannames in de data Bij gebruikmaking van trainingsdata zijn ook nog andere factoren van belang om bias te Benodigde expertise/rol voor beantwoording van deze vraag: data scientist, ontwikkelaar algoritme, databeheerder
voorkomen. Trainingsdata kan bijvoorbeeld een goede kwaliteit hebben, maar alsnog niet geschikt zijn voor het specifieke algoritme en de doelstelling die met inzet van het algoritme wordt beoogd. Om te kunnen beoordelen of de trainingsdata geschikt is moet worden gekeken naar de doelstelling van het betreffende algoritme en naar de aard van de trainingsdata. De vraag is
Aanwijzingen en toelichting
daarbij of de trainingsdata inderdaad in staat is om het algoritme zodanig te trainen dat het de
Bias (of ‘vooringenomenheid’) is een breed begrip; bias in data kan verschillende
doelstelling kan vervullen. Het kan helpen om hierbij kort onderzoek te doen naar eerder gebruik
verschijningsvormen hebben. Het is belangrijk om bij de discussie naar deze verschillende
van de set trainingsdata door wetenschappers.
verschijningsvormen te kijken en te onderzoeken hoe daarmee moet worden omgegaan. Een voorbeeld dat laat zien waarom het belangrijk is om trainingsdata en doelstelling van Een heldere beschrijving van bias in data en de mogelijke verschijningsvormen ervan is te
het algoritme goed op elkaar aan te laten sluiten, is het voorbeeld van een algoritme dat had
vinden in de Handreiking non-discriminatie by design (Onderdeel 1: probleemdefinitie).
geleerd om husky’s en wolven van elkaar te onderscheiden. Daarbij was het algoritme getraind
Het Toetsingskader Algemene Rekenkamer bevat een groot aantal normen om bias in data tegen
met evenwichtige data die voor de helft uit afbeeldingen van husky’s en voor de helft uit
te kunnen gaan. Het is belangrijk dat de bij dit onderdeel van het IAMA betrokken teamleden
afbeeldingen van wolven bestonden. Het neurale netwerk had echter geleerd om het verschil
deze handreiking en de door de ADR gestelde normen zorgvuldig in acht nemen.
te herkennen door te signaleren dat afbeeldingen van husky’s vaker een groene omgeving
De hiernavolgende toelichting en aanwijzingen bevatten vooral een aantal voorbeelden en
hebben (bijvoorbeeld doordat ze worden gefotografeerd in het gras) en de ander vaker in een
hoofdpunten. In bijlage 2 bij het IAMA is ook nog een lijst is opgenomen met bronnen en voorbeelden
witte omgeving (sneeuw). Er was dus nog steeds een bias, maar dan een die was gericht op
van maatregelen die kunnen worden genomen om de effecten van bias in data te verzachten.
de achtergrond van de afbeeldingen. Daardoor leerde het algoritme weliswaar verschillen in de afbeeldingen herkennen, maar ging het niet om verschillen die relevant waren vanuit het
Een voorbeeld van bias dat in de Handreiking en in het Toetsingskader genoemd
perspectief van het doel (het onderscheiden van husky’ en wolven). Met name bij machine
wordt, is representatiebias. Deze ontstaat wanneer bijvoorbeeld bepaalde groepen
learning is het dus van belang om de dataset heel precies vorm te geven om voldoende specifiek
onder- of oververtegenwoordigd zijn in trainingsdata. Een bekend voorbeeld hiervan is
te kunnen definiëren wat de machine leert.
gezichtsherkenningssoftware die getraind is met foto’s van overwegend witte en mannelijke personen. Deze trainingsdata bevat daardoor een grote bias, met als gevolg dat het algoritme
Van belang is hiernaast of de dataset compleet en accuraat is. Als enerzijds een algoritmische regel
slecht getraind werd in het herkennen van donkere en vrouwelijke personen en veel fouten
wordt bedacht om mensen een uitkering te geven, maar vervolgens niet alle voor het doel van
maakte die grote consequenties hadden. Het is daarom van groot belang om dit type bias in
de regel relevante personen in een dataset zijn opgenomen, kan de toepassing van het algoritme
data te voorkomen.
alsnog tot bias leiden.
Impact Assessment | Mensenrechten en Algoritmes
29 /94
1. Waarom?
2A. Wat Wat (input)? 2A. (input)?
2B. Wat (throughput)?
3. Hoe?
4. Mensenrechten
Bijlagen
2A.4
Beveiliging en archivering 2A.4.1 I s de data voldoende beveiligd? Maak hierin onderscheid tussen de inputdata en de outputdata.
Besteed bij de beantwoording van deze vraag in ieder geval aandacht aan de volgende punten: Is de data voldoende beschermd voor eventuele aanvallen?
Antwoord:
Zijn er adequate maatregelen genomen om toegang te organiseren voor de (groepen) mensen die hiertoe bevoegd zijn? Vindt logging plaats om toegang en gebruik van data te monitoren? Dit om eventuele bedreigingen van binnen de organisatie te voorkomen en/of te herleiden. Zijn er voldoende maatregelen genomen voor het beschermen van de identiteit van de data, zoals het anonimiseren of pseudonimiseren van persoonsgegevens?
Impact Assessment | Mensenrechten en Algoritmes
30 /94
1. Waarom?
2A. Wat Wat (input)? 2A. (input)?
2B. Wat (throughput)?
3. Hoe?
4. Mensenrechten
Bijlagen
2A.4
Beveiliging en archivering
2A.4.2 Is er controle op de toegang tot de data? Maak hierin onderscheid tussen de inputdata en de outputdata.
Antwoord:
Impact Assessment | Mensenrechten en Algoritmes
2A.4.3 Hoe worden relevante regels over archivering in acht genomen, zoals die in de Archiefwet zijn vastgelegd?
Antwoord:
31 /94
1. Waarom?
2A. Wat Wat (input)? 2A. (input)?
2B. Wat (throughput)?
3. Hoe?
4. Mensenrechten
Bijlagen
2A.4
Beveiliging en archivering Benodigde expertise/rol voor beantwoording van deze vraag: data scientist, ontwikkelaar algoritme, databeheerder
Aanwijzingen en toelichting Bij het bediscussiëren van deze vragen is het nodig om de Baseline Informatiebeveiliging Overheid (BIO) in acht te nemen. Ook het Toetsingskader algoritmes is van belang, omdat daarin beheersmaatregelen uitgebreid aan bod komen die een organisatie heeft getroffen om ervoor te zorgen dat de IT-systemen betrouwbaar en integer zijn (IT General Controls). De belangrijkste toetsingskaders voor de IT General Controls zijn de internationale norm ISO/ IEC 27002 en de BIO. Ook het Toetsingskader Algemene Rekenkamer bevat een aantal specifieke normen die betrekking hebben op de informatiebeveiliging. Deze moeten bij de discussie en besluitvorming over de ontwikkeling en inzet van een algoritme zorgvuldig in acht worden genomen. Waar relevant, moeten de regels over archivering in acht worden genomen zoals die in de Archiefwet zijn vastgelegd. Hiermee voorkom je onder meer dat data langer bewaard wordt dan wettelijk is toegestaan.
Impact Assessment | Mensenrechten en Algoritmes
32 /94
1. Waarom?
2A. Wat Wat(input)? (input)?
2B. Wat (throughput)?
3. Hoe?
4. Mensenrechten
Bijlagen
Deel 2B: Wat?
Algoritme – throughput In dit deel komen de volgende vier onderwerpen aan bod:
Inleiding Ook deel 2b van de IAMA gaat over het ‘Wat?’ van het project (zie de inleiding op deel 2 het IAMA). Het algoritme zelf staat bij deze set van vragen centraal. Daarbij gaat het bijvoorbeeld om de vraag wat voor type algoritme gebruikt wordt en wat de
2B.1 Type algoritme
randvoorwaarden zijn voor verantwoorde inzet van het algoritme. Zie voor meer informatie de inleiding bij deel 2 van het IAMA.
2B.2 Eigenaarschap en controle
2B.3 Accuraatheid algoritme
Instructie Lees voor het bediscussiëren en beantwoorden van de vraag steeds eerst de toelichting (die
2B.4 Transparantie en uitlegbaarheid
volgt na de vraag). Per vraag staat in de toelichting ook vermeld wie binnen het team in ieder geval aanwezig moeten zijn bij de bespreking.
Impact Assessment | Mensenrechten en Algoritmes
33 /94
1. Waarom?
2A. Wat Wat(input)? (input)?
2B. Wat (throughput)?
3. Hoe?
4. Mensenrechten
Bijlagen
2B.1
Type algoritme
2B.1.1 Type algoritme: wat voor soort algoritme wordt gebruikt of gaat worden gebruikt? Hoe werkt het?
2B.1.2 W aarom wordt voor dit type algoritme gekozen?
Onderscheid tussen: A. Een niet-zelflerend algoritme, waarin de mens de regels specificeert die de computer moet volgen B. Een zelflerend algoritme, waarin de machine zelf leert over de patronen in de data (machine learning) Antwoord:
Antwoord:
Impact Assessment | Mensenrechten en Algoritmes
34 /94
1. Waarom?
2A. Wat Wat(input)? (input)?
2B. Wat (throughput)?
3. Hoe?
4. Mensenrechten
Bijlagen
2B.1
Type algoritme
2B.1.3 Waarom is dit type algoritme het meest geschikt om de bij vraag 1.2 geformuleerde doelstellingen
2B.1.4 Welke alternatieven zijn er en waarom zijn die minder passend of bruikbaar?
te bereiken? Antwoord:
Impact Assessment | Mensenrechten en Algoritmes
Antwoord:
35 /94
1. Waarom?
2A. Wat Wat(input)? (input)?
2B. Wat (throughput)?
3. Hoe?
4. Mensenrechten
Bijlagen
2B.1
Type algoritme Benodigde expertise/rol voor beantwoording van deze vraag: data scientist, ontwikkelaar algoritme, projectleider
Aanwijzingen en toelichting
Essentieel is dat bij niet-zelflerende algoritmen de mens zelf specificeert hoe de computer moet
Een voorbeeld van een niet-zelflerend algoritme is een algoritme dat controleert of een
werken, terwijl bij zelflerende algoritmen de mens alleen specificeert wat de computer moet leren
parkeerboete correct is betaald. Hierbij zou een mens bijvoorbeeld kunnen specificeren dat
en hoe deze mag leren (type algoritme). NB: We erkennen dat er veel discussie bestaat over
‘als het betalingskenmerk bij de transactie overeenkomt met een openstaande boete én het
de definitie van zelflerende en niet-zelflerende algoritmen. Gezien het beoogde doel van het
bedrag dat gestort is op de rekening gelijk is aan het boetebedrag, de parkeerboete correct
IAMA kiezen we in dit geval voor de eerder gegeven definitie.
is betaald’. Op basis van dit algoritme kan automatisch een betalingsbevestiging gestuurd worden aan de persoon waar de boete aan gekoppeld was. Een ander voorbeeld is een
Er zijn veel varianten van zelflerende algoritmen. Te denken is bijvoorbeeld aan meer
algoritme voor fraudesignalering, waarbij een expert specificeert dat ‘als er in het afgelopen
traditionele algoritmen die werken op basis van lineaire of logistische regressie, maar ook aan
jaar meer dan drie fouten zitten in de aangeleverde administratieve informatie, het systeem
modernere algoritmen zoals een ‘decision tree’ of een Support Vector Machine (SVM), of deep-
een signaal moet afgeven dat er nader onderzoek gedaan moet worden naar dit dossier’.
learningalgoritmen zoals convolutionele neurale netwerken.
Een voorbeeld van een zelflerend algoritme is een algoritme dat op basis van gelabelde
Een kort overzicht van verschillende mogelijke algoritmen is te vinden in de Richtlijnen voor het
voorbeeldfoto’s leert of een foto een hond of een kat toont. Een ander voorbeeld is
Toepassen van Algoritmen door Overheden. Daarin worden (niet-uitputtend) vijf verschillende
een algoritme dat op basis van verkoopcijfers en klantgegevens leert hoe bepaalde
typen algoritmen genoemd: eenvoudige beslisboom, eenvoudige rule-based, lineaire
klanteigenschappen samenhangen met de verkoop aan deze klanten. In het voorbeeld over
regressie, logistische regressie en deep learning. Alleen de ‘eenvoudige rule-based’-algoritme
fraudesignalering hierboven kan bijvoorbeeld ook een zelflerend algoritme worden ingezet,
kan een niet-zelflerend algoritme zijn, namelijk als de mens zelf de ‘rules’ moet specificeren.
bijvoorbeeld doordat het systeem, op basis van voorbeelden van fraude en niet-fraude, zo
De andere algoritmen zijn allemaal voorbeelden van zelflerende algoritmen.10
wordt ingericht dat het kan leren welke eigenschappen en gedragskenmerken samen blijken te hangen met fraude.
Impact Assessment | Mensenrechten en Algoritmes
10 Kleinberg e.a. 2019; Khademi e.a. 2019.
36 /94
1. Waarom?
2A. Wat Wat(input)? (input)?
2B. Wat (throughput)?
3. Hoe?
4. Mensenrechten
Bijlagen
2B.1
Type algoritme De reden waarom het onderscheid tussen deze twee hoofdtypen relevant is, is dat ze verschillende vragen oproepen over de inzet van een algoritme. Als een mens specificeert wat de machine moet doen, is het relevant om te reflecteren op de mensen die deze regels specificeren, op het (leer)proces dat zij doorlopen hebben om tot deze kennis te komen, en op de kwaliteit en legitimiteit van de keuzes die ze hierbij maken. Voor dit type algoritme zijn vragen relevant als ‘biedt de menselijke expertise genoeg fundament om het systeem op deze manier vorm te geven?’, ‘is er onder experts consensus dat deze “regels” gefundeerd zijn en goed van toepassing zijn op de context waarin het gebruikt wordt?’, en ‘hoe is geborgd dat er menselijke expertise beschikbaar blijft om de kwaliteit en geschiktheid van deze regels in de toekomst te kunnen beoordelen?’. Voor de zelflerende algoritmen moet de reflectie vooral gaan over de ‘machine’, hoe deze kan leren, op basis waarvan, en of dat proces geschikt is voor de context waarin het algoritme gebruikt zou moeten worden.
Impact Assessment | Mensenrechten en Algoritmes
37 /94
1. Waarom?
2A. Wat Wat(input)? (input)?
2B. Wat (throughput)?
3. Hoe?
4. Mensenrechten
Bijlagen
2B.2
Eigenaarschap en controle
2B.2.1 I ndien het algoritme is ontwikkeld door een externe partij: zijn er heldere afspraken gemaakt over eigenaarschap en beheer van het algoritme? Wat zijn die afspraken?