Toetsingskader Algoritmes - De Algemene Rekenkamer

Toetsingskader algoritmes versie 1.0 Gelicenseerd onder Creative Commons Naamsvermelding-NietCommercieel-GelijkDelen 4.0 Internationaal (CC BY-NC-SA 4.0)

Over het toetsingskader

Aan de slag met het toetsingskader

Het toetsingskader voor algoritmes is een praktisch instrument waarmee (overheids)organisaties kunnen toetsen of algoritmes voldoen aan bepaalde kwaliteitscriteria én of de risico’s voldoende in beeld zijn en/of worden beperkt. Het toetsingskader bestaat uit 5 perspectieven:

Het kader bestaat uit verschillende risico's, onderzoeksvragen, beheersmaatregelen en ethische principes. De auditor kan naar eigen inzicht een analyse maken die relevant is voor het te toetsen algoritme.

• Sturing en verantwoording • Model en data • Privacy • ITGC • Ethiek Voor de eerste vier perspectieven zijn risico's, onderzoeksvragen en beheersmaatregelen opgesteld. Ethiek is geen losstaand onderdeel in het toetsen van algoritmes, maar is verweven in de 4 andere perspectieven waaruit het toetsingskader bestaat. Meer informatie over de manier waarop het toetsingskader is opgebouwd is te vinden op de website van de Algemene Rekenkamer: rekenkamer.nl/algoritmestoetsingskader. Voor wie? Het toetsingskader is in eerste instantie bedoeld als toetsinstrument voor auditors (controleurs en toezichthouders). Zij kunnen dit kader gebruiken om de risico's van het beoordeelde algoritme in beeld te krijgen. Feedback Dit toetsingskader wordt periodiek geactualiseerd. Wij ontvangen daarom graag feedback! Verbetersuggesties en correcties kunnen gestuurd worden naar algoritmes@rekenkamer.nl

Naar het toetsingskader Stap 1: Zorg voor een heldere afbakening De context waarin het algoritme opereert heeft invloed op de vragen die relevant zijn bij de toetsing. Begin daarom met het maken van een eigen selectie van de onderzoeksvragen. Het is mogelijk om te filteren op onderwerp (kolom C) of op het specifieke risico (zet hiervoor een X bij de relevante risico's in kolom B). Ook is het mogelijk om de risico's te selecteren die horen bij een van de zeven ethische principes (kolom D t/m J). Stap 2: Bepaal in welke mate de risico's beperkt worden Beantwoord de onderzoeksvragen (kolom O) en bepaal hoe groot het risico voor een specifiek algoritme is (kolom N). Stap 3: afronden Trek conclusies, doe aanbevelingen voor verbetering en gebruik dit in het rapport voor de gecontroleerde (overheids)organisatie.

Aan de slag met ethiek Vanuit het perspectief ethiek onderscheiden we 4 onderwerpen in dit toetsingskader: 1. respect voor menselijke autonomie; 2. voorkomen van schade; 3. fairness (een eerlijk algoritme); 4. verklaarbaarheid en transparantie. Deze onderwerpen zijn gespecificeerd in 7 ethische principes. De ethische principes hebben we verbonden met de risico’s uit het toetsingskader. Daarmee is het ethisch perspectief – zoals onder andere de Europese Commissie het heeft geformuleerd – in dit toetsingskader gewaarborgd. De auditor die geinteresseerd is om de risico's van algoritmes te beoordelen met een ethisch perspectief als startpunt, kan dat op twee manieren doen: In het toetsingskader zelf: Met vinkjes (✔) is aangegeven hoe ethische principes verbonden zijn aan de risico's (kolom D t/m J). Door een vinkje bij een ethisch principe als filter te gebruiken, zie je welke risico's bij dat specifieke principe horen. In het tabblad 'ethische principes': Meer informatie over de samenstelling van de ethische principes is terug te vinden in het tabblad 'ethische principes'. Ga naar dit tabblad om te bekijken uit welke subonderdelen een principe bestaat (kolom C) en hoe die verbonden zijn aan de risico's uit het toetsingskader.

Onderwerp 1

1.01

✔

Sturing & Verantwoording

4.2 werking is uit te leggen

4.1 Verantwoording procedures

3.2 Maatschappelijke impact

3.1 Geen discriminatie

2.2 Privacy en data-bescherming

Nr.

2.1 Veiligheid en kwaliteit algoritme

Context

1.1 Menselijke tussenkomst

Ethische principes

Risico

Onderzoeksvraag

Beheersmaatregelen

Zonder eenduidigheid over het doel is geen sturing op en verantwoording over het algoritme mogelijk.

Is het doel van het algoritme vastgesteld?

Het doel van het algoritme moet gedefinieerd worden, ook in relatie tot het maatschappelijke resultaat (outcome)

Beoordeling in te vullen door de auditor

Toelichting in te vullen door de auditor

Bronnen

✔

Sturing & verantwoording

✔

COBIT EDM02 / APO02

1.02

Sturing & verantwoording

Zonder actueel beeld van risico's kan er geen goede afweging Vindt er op vastgelegde (periodieke) momenten een afweging Een ingericht en gedocumenteerd proces voor worden gemaakt of de voordelen van de toepassing van het plaats van de risico’s over het gebruik van het algoritme? risicobeheersing. Het gaat hier om het feit dat er over risico's algoritme opwegen tegen de nadelen. wordt nagedacht. De beoordeling van soorten risico's en frequentie gebeurt door de auditor op basis van professional judgement Zonder voldoende deskundigheid (kwalitatief en kwantitatief) Beschikt de organisatie over voldoende deskundigheid, zowel Een beeld van de beschikbare resources (kwalitatief en is er een groter risico op fouten kwalitatief als kwantitatief? kwantitatief) en sturing daarop

1.03

Sturing & verantwoording

1.04

Sturing & verantwoording

Een incompleet beeld op de life cycle van het algoritme bemoeilijkt sturing en beheersing

Is het complete lifecycle management-proces rondom het algoritme gedocumenteerd?

1.05

Sturing & verantwoording

Onduidelijkheid over rollen, taken, verantwoordelijkheden en bevoegdheden creëert risico's

Zijn de rollen, taken, verantwoordelijkheden en bevoegdheden Gedefinieerde rollen, beschreven taken, verantwoordelijkheden in het proces beschreven (inclusief eigenaarschap) en in de en bevoegdheden praktijk toegepast?

1.06

Sturing & verantwoording

Prestatiedoelstellingen en kwaliteitsdoelstellingen zijn niet meetbaar of bespreekbaar als er geen aanpak is

Is er een overeengekomen en vastgelegde aanpak voor kwaliteits- en prestatiedoelstellingen voor algoritmes?

1.07

Sturing & verantwoording

Afhankelijkheid van externe deskundigen die na het ontwikkelen van het algoritme met de betreffende kennis en ervaring weggaan, waardoor continuïteit en beheersing daarna niet meer gewaarborgd is

Zijn bij uitbesteding van onderdelen of activiteiten met Vastgelegde afspraken met externe partijen, waarborgen om betrekking tot het algoritme afspraken met betrokken externe lock-in en te grote afhankelijkheid te voorkomen. Inclusief exitpartijen gemaakt en vastgelegd? strategie. Denk ook aan eigenaarschap van gebruikte data voor het algoritme

1.08

Sturing & verantwoording

Zonder monitoring is er geen beheersing mogelijk

Wordt het algoritme op periodieke basis gemonitord? Je kunt Ingericht proces rondom monitoring op genoemde aspecten hierbij denken aan monitoring op beschikbaarheid, prestaties/kwaliteit, en of het algoritme voldoet aan actuele wet- en regelgeving.

✔

COBIT EDM03 / APO12

COBIT EDM04/APO07 / BAI09 Lifecycle management voor algoritmes of de systemen waar ze deel van uitmaken COBIT APO01.02

✔

COBIT APO01.02 / EDM01 Een vastgelegde aanpak voor kwaliteits- en prestatiedoelen voor algoritmes

✔

✔

2

Model & Data

2.01

Model & Data

2.02

Model & Data

2.03

Model & Data

2.04

Model & Data

2.05

Model & Data

2.06

✔

✔

✔

✔

✔

COBIT APO11

✔ Algoritme functioneert niet in lijn met geformuleerde doelstellingen

Is het doel van het algoritme duidelijk geformuleerd en is dat geoperationaliseerd in bruikbare aspecten in het kader van te gebruiken model en data? Welke taak of welk onderdeel van de bedrijfsvoering ondersteunt het algoritme?

Strategische doelstelling is concreet uitgewerkt in aspecten/criteria/indicatoren

Zonder gedeeld beeld van de doelstellingen is er een groter risico op fouten en/of verschillen in interpretatie

Is er een gedeeld doel van het algoritme en is dat inzichtelijk/uitlegbaar voor eigenaar, ontwikkelaar en gebruiker?

Multidisciplinaire aanpak en gremia

Niet of slecht uitlegbare toepassing van algoritmes

Is het algoritme uitlegbaar en heeft er een afweging Uitleg expliciet en indien van toepassing expliciet maken van plaatsgevonden tussen de uitlegbaarheid van het model en de afweging tussen uitlegbaarheid en prestaties prestatie van het model?

Het is niet meer te herleiden waarom welke keuzes zijn gemaakt in ontwerp en implementatie

Zijn de gemaakte overwegingen van het ontwerp en de implementatie vastgelegd?

Vastleggen overwegingen en keuzes in ontwerp (zoals keuzes tussen modellen, ROC-curves) en tijdens implementatie. Een ROC-curve is een hulpmiddel bij beoordeling van het model.

Geen continuïteit van het proces/uitvoering van werkzaamheden doordat documentatie ontbreekt

Is er documentatie die het ontwerp en de implementatie beschrijft?

Actuele, complete en toegankelijke documentatie.

Model & Data

Er heeft een willekeurige selectie van hyperparameters plaatsgevonden en daarbij zijn onjuiste keuzes gemaakt. Een hyperparameter is een parameter waarmee kan worden gestuurd op het trainings-/leerproces

Zijn de keuzes voor het gebruik van hyperparameters beargumenteerd en onderbouwd?

Uitvoeren peer review (vier-ogen-principe)

2.07

Model & Data

Ontbreken transparantie voor burgers/bedrijven/stakeholders, Is het model (code en werking) gepubliceerd en beschikbaar niet voldoen aan wet- en regelgeving met betrekking tot voor belanghebbenden? In hoeverre zijn de gebruikte data of transparantie een beschrijving daarvan gepubliceerd en beschikbaar voor belanghebbenden?

2.08

Model & Data

2.09

Model & Data

✔

✔

✔

✔

✔

✔

✔

✔

Gebruik van geautomatiseerde besluitvorming wanneer dat niet is toegestaan of ontbreken van de mogelijkheid van menselijke tussenkomst ✔

Model (code) publiceren op een site zoals github.com, inclusief beschrijving van werking, gebruikte data en/of beschrijving daarvan

Als er sprake is van geautomatiseerde besluitvorming, wordt Voldoen aan geldende wet- en regelgeving met betrekking tot daarbij voldaan aan de wet- en regelgeving die daarvoor geldt? automatische besluitvorming

✔ Te eenzijdige inbreng vergroot kans op fouten en niet voldoen Zijn de verschillende stakeholders/eindgebruikers van het aan doelen en aan wet- en regelgeving algoritme betrokken in het ontwikkelproces? ✔

Betrek stakeholders/eindgebruikers met verschillende achtergronden bij ontwikkeling

COBIT BAI08 / APO09

COBIT APO11 / BAI04 / DSS04

2.10

Model & Data

Werking niet volgens vooraf vastgestelde opzet en werking

Welke controles zijn toegepast om de aansluiting te maken tussen de invoer en de uitvoer om zo de juistheid en volledigheid van de verwerking te garanderen?

Implementatie structurele controles op correcte werking

2.11

Model & Data

Model is ontwikkeld op basis van regelgeving van jaar t-1, en wordt ingezet in jaar t. De regelgeving (grenswaarden, bedragen) kan ondertussen veranderd zijn of bepaalde bepalingen zijn niet meer geldig

Wordt het model periodiek geactualiseerd in lijn met actuele wet- en regelgeving?

Periodieke controle op voldoen aan en in lijn zijn met actuele wet- en regelgeving

2.12

Model & Data

Onjuiste manier van training/testing kan leiden tot overfitting en/of underfitting en/of bias

Is de kwaliteit gewaarborgd met betrekking tot keuzes die zijn Onder andere het aangetoond scheiden van training-, test- en gemaakt bij training- en testdata? validatiedata, ‘vreemde ogen’/peerreview en vastlegging van proces/discussies/keuzes

2.13

Model & Data

2.14

Model & Data

2.15

✔

✔ Het model creëert onwenselijke systematische afwijking voor Wordt er gewaarborgd dat er geen bias wordt gecreëerd door specifieke personen, groepen of andere eenheden (bias) keuzes met betrekking tot het model?

Maatregelen om bias te beperken, tegen te gaan en/of te compenseren

Er zit onwenselijke systematische afwijking (bias) in de data

Bevat de data geen onwenselijke bias?

Controleren/testen op bias en eventueel tegenmaatregelen nemen

Model & Data

Als er niet wordt gescheiden tussen training-, test- en validatiedata, dan is er sprake van overfitting en kan het model niet gebruikt worden voor nieuwe observaties

Zijn training-, test- en validatiedata gescheiden verwerkt?

Zichtbaar gescheiden training-, test- en validatiedata

2.16

Model & Data

De data zijn niet representatief

Zijn de gebruikte data representatief voor de toepassing?

Testen, controleren.

2.17

Model & Data

Afhankelijkheid van derden met betrekking tot gebruikte data

Heeft de (overheids)organisatie volledige controle en beheersing (eigenaarschap) over de gebruikte data voor het model?

Voor alle databronnen/gebruikte data regelen dat er geen beperkingen/verplichtingen zijn

2.18

Model & Data

Overtreden van geldende uitgangspunten/regels met betrekking tot dataminimalisatie en proportionaliteit

Is er sprake van dataminimalisatie? Is gekeken naar proportionaliteit en subsidiariteit?

Sturen op dataminimalisatie, expliciete afweging met betrekking tot proportionaliteit

2.19

Model & Data

De performance metrics komen niet overeen met de doelstellingen van het algoritme

Is de kwaliteit van het model gedocumenteerd?

Goede verslaglegging/audit-trail (ROC-curve)

2.20

Model & Data

De data waarop het model is gebaseerd, zijn niet beschikbaar Is er target leakage? Met andere woorden: maken de voordat de uitkomsten zijn geobserveerd voorspellingen deel uit van de model features?

Controle op genoemd aspect (target leakage)

2.21

Model & Data

Kwaliteit van de voorspelling is niet op orde

Wordt er gebruikgemaakt van prestatie-indicatoren of performance metrics?

Instrumenten zoals ROC-curve, confusion matrix

2.22

Model & Data

Soms werkt het model in de praktijk niet (meer)

Wordt de output van het model gemonitord?

Monitoren output, beoordelen en rapporteren

2.23

Model & Data

Het is voor mensen niet duidelijk dat zij met een algoritme te maken hebben, welke consequenties dat heeft of welke beperkingen het algoritme kent. Bij incidenten/fouten kan dit leiden tot schadeclaims achteraf

Vindt er externe communicatie plaats over het Externe communicatie over het model/algoritme. model/algoritme, inclusief de beperkingen: wat kan het wel en wat niet?

Het risico bestaat dat alle focus en effort aan de voorkant wordt gestoken in het ontwikkelen en in productie brengen van het algoritme, zonder overdracht naar degenen die het algoritme moeten beheren en ook “de business” vergeten wordt in het onderhoud

Vindt er onderhoud en beheer plaats op het algoritme?

Onderhoud en beheer op de technische componenten, het model, de gebruikte data, parameters, enzovoort

Niet voldoen aan wettelijke verplichting AVG met betrekking tot bijhouden register

Wordt er een register bijgehouden met betrekking tot het gebruik van persoonsgegevens?

Een register bijhouden volgens AVG

Ontwerp en opzet zijn onvoldoende gericht op bescherming van privacy

Is er sprake van data protection by design?

Ontwerpprincipes die privacy waarborgen

Niet voldoen aan wettelijke verplichting AVG met betrekking tot uitvoeren DPIA

Is er een DPIA uitgevoerd (indien van toepassing)?

Uitvoeren DPIA

Automatische besluitvorming terwijl dat volgens AVG niet is toegestaan

Is er sprake van automatische besluitvorming en zo ja: is dit toegestaan?

Geen automatische besluitvorming of geen documentatie (bijvoorbeeld in een Privacy Impact Assessment) waarom het is toegestaan

Niet voldoen aan wettelijke verplichting AVG/hanteren menselijke maat

Hebben de betrokkenen de mogelijkheid niet onderworpen te zijn aan geautomatiseerde besluitvorming (indien van toepassing)?

Vastgelegde en met betrokkenen gecommuniceerde procedure

✔

✔

✔

✔

✔

✔

✔

✔

✔

✔

✔

✔

✔

✔ 2.24

Model & Data

3

Privacy

3.01

Privacy

3.02

Privacy

3.03

Privacy

3.04

Privacy

3.05

Privacy

✔

✔

✔

AVG, art.30

✔

AVG, art.25

✔

✔

AVG, art.35

✔

✔

AVG, art.22

AVG, art.22

3.06

Privacy

3.07

Privacy

3.08

Privacy

3.09

Privacy

3.10

Privacy

3.11

Privacy

3.12

Privacy

3.13

Privacy

3.14

Privacy

3.15

Privacy

Niet proportioneel gebruik/verzameling van persoonsgegevens

Is er sprake van data-minimalisatie?

Vastlegging uitgangspunten, werkinstructies

Niet-wettelijk handelen met betrekking tot verwerking van gegevens

Vindt de verwerking van gegevens plaats op grond van een wettelijke taak?

Vastlegging in PIA, verwerkersovereenkomst/register

Niet voldoen aan doelbinding volgens AVG

Is de verwerking van (bijzondere) persoonsgegevens met het algoritme verenigbaar met het oorspronkelijke doel?

Het is vastgesteld dat de verwerking van persoonsgegevens met het algoritme verenigbaar is met het oorspronkelijke doel (doelbinding)

Niet voldoen aan wettelijke verplichting AVG met betrekking tot vastlegging van verantwoordelijkheden

Is vastgesteld wie de verwerkingsverantwoordelijke en De rechtmatige grondslag voor het verwerken van verwerker is van de persoonsgegevens met betrekking tot het persoonsgegevens door het algoritme is vastgesteld algoritme en de daarbij gebruikte data?

Handelen in strijd met artikel 1 uit de Grondwet (GW)/artikel 14 Europees Verdrag voor de Rechten van de Mens (EVRM)

Is er sprake van discriminatie door gebruikte data en model?

Denk aan etniciteit, huidskleur, geslacht, seksuele geaardheid maar ook postcode. Niet alleen check op data zelf is relevant maar ook zogenaamde proxies, model bias, enzovoort

Profilering in de zin van AVG, art. 4, sub 4: risico handelen in strijd met AVG

Is er getoetst in hoeverre er sprake is van profilering en in hoeverre dat is toegestaan?

Vastlegging van deze toetsing

Niet voldoen aan wettelijke verplichting AVG met betrekking tot informeren betrokkenen

Is er invulling gegeven aan het proactief of op verzoek informeren van betrokkenen wier gegevens worden verwerkt/gebruikt (zowel data als algoritme)?

De betrokkenen worden geïnformeerd over de verwerking van persoonsgegevens door het algoritme en de verwachte gevolgen

Niet voldoen aan wettelijke verplichting AVG en algemene beginselen behoorlijk bestuur (abbb’s) met betrekking tot logica en toegankelijkheid

Zijn de logica van het gebruikte algoritme en de gebruikte gegevens voldoende duidelijk voor betrokkenen?

De logica, werking en gebruikte data met betrekking tot het algoritme zijn beschreven en toegankelijk

Niet voldoen aan wettelijke verplichting AVG met betrekking tot impact op betrokkenen

Zijn de gevolgen van de toepassing van het gebruikte algoritme duidelijk voor betrokkenen?

Beschrijving en onderbouwing van (mogelijkheid) tot menselijke tussenkomst bij algoritme

✔

AVG,art.5

✔

AVG, art.6

✔

AVG, art.5

✔

AVG, art.26,27,28

✔

art.1 GW / Art.14 EVRM

✔

AVG art.4 sub4

✔

AVG, art.13

✔

AVG & ABB, art. 3:46, AWB

✔

AVG, art.12-14 Betrokkenen zijn niet op de hoogte van hun rechten, gebruikte Is er een openbaar privacybeleid waarin gebruikte data en algoritmes en data algoritmes aan bod komen?

Er is een openbaar privacybeleid waarin ook gebruikte algoritmes en data aan bod komen

✔

4 4.01

4.02

ITGC

✔

AVG, art.12-14

✔

ITGC

Zonder loginformatie is niet te achterhalen wanneer er aanpassingen zijn gedaan (audit trail)

ITGC

Toegangsrechten niet meer up-to-date

Wordt loginformatie over de werking van het algoritme bewaard en toegankelijk gemaakt?

Loginformatie wordt bewaard en is toegankelijk totdat de bewaartermijnen zijn verstreken. De bewaartermijn is afgestemd op de eisen van wet- en regelgeving en op de controle- en auditcyclus van de betreffende gegevens

BIR 10.10.2

Wordt gecontroleerd of toegangsrechten up-to-date zijn met Periodiek worden toegangsrechten op actualiteit getoetst en betrekking tot de omgeving waarin het algoritme functioneert? herbevestigd door het verantwoordelijke management. Zo nodig worden incidenten of wijzigingsvoorstellen ingediend

BIR 11.2.4.1

Worden toegangsrechten aangepast zodra er een uitdiensttreding of functiewijziging van een werknemer plaatsvindt?

BIR 8.3.3 en BIR 11.2.1

✔ 4.03

ITGC

Onrechtmatige toegang tot het algoritme

Functiewijzigingen en uitdiensttredingen worden bewaakt voor aanpassen van de toegangsrechten en voor intrekken van de identiteits- en authenticatiemiddelen

✔ 4.04

ITGC

4.05

ITGC

4.06

ITGC

Toegang wordt uitgegeven door persoon die daarvoor niet is geautoriseerd

Worden toegangsrechten uitgegeven door daarvoor bevoegde Toegangsrechten worden uitgegeven aan gebruikers en personen? beheerders na goedkeuring door een bevoegde functionaris

Kans op manipulatie van het algoritme bij conflicterende toegangsrechten

Wordt functievermenging voorkomen bij de toegang van gebruikers tot het algoritme?

✔

BIR 11.2.1.1 Toegangsbeveiliging is geïmplementeerd volgens het principe 'niets mag, tenzij nodig' op alle IT-middelen

✔

BIR 11.2.2.3 Hoe meer toegewezen speciale bevoegdheden, hoe meer kans Wordt er gebruikgemaakt van generieke beheeraccounts? Generieke beheeraccounts (root, administrator) zijn op manipulatie Staat het aantal beheeraccounts in logische verhouding tot de geblokkeerd of alleen te gebruiken onder registratie en beheerders? toezicht

✔ 4.07

ITGC

Gebruikersgroepen van het algoritme lastig te identificeren

Wordt er bij het inrichten van toegangsrechten van verschillende gebruikersgroepen/rollen gebruikgemaakt van naamgevingsconventies en systematiek?

Voor het inrichten van toegangsrechten gelden naamgevingsconventies en een systematiek van toegangsrechten per gebruikersgroep en/of rol ter bevordering van de onderhoudbaarheid van het beheer

Worden er naamgevingsconventies gebruikt voor gebruikers en beheerders, zodat zij geïdentificeerd kunnen worden?

Voor het identificeren van gebruikers en beheerders gelden naamgevingsconventies ter bevordering van de onderhoudbaarheid van het beheer

✔ 4.08

ITGC

Beheerders en gebruikers van het algoritme lastig te identificeren ✔

4.09

ITGC

Onduidelijkheid in wie wijzigingen/werkzaamheden aan het algoritme heeft uitgevoerd

Voeren beheerders werkzaamheden als beheerder en werkzaamheden als gewone gebruiker uit onder 2 verschillende gebruikersnamen?

Beheerders voeren werkzaamheden als beheerder en werkzaamheden als gewone gebruiker uit onder 2 verschillende gebruikersnamen

Hebben gebruikersaccounts (geen) directe toegang tot onderliggende componenten?

Gebruikers hebben op applicatieniveau en daarbuiten dezelfde rechten en beperkingen.

✔ 4.10

ITGC

Indien wel toegang tot onderliggende componenten kan manipulatie van de database plaatsvinden. ✔

BIR 11.2.2 en NOREA:Studierapport Algemene beheersing van IT-diensten 5.3.4 (Nr 03 en 23)

BIR 10.1.3.2/4 en NOREA:Studierapport Algemene beheersing van IT-diensten 5.3.4 (Nr 03 en 23)

BIR 10.1.3.2/4 en NOREA:Studierapport Algemene beheersing van IT-diensten 5.3.4 (Nr 03 en 23)

BIR 11.2.2 en NOREA:Studierapport Algemene beheersing van IT-diensten 5.3.4 (Nr 03 en 23)

BIR 11.2.2

4.11

ITGC

Indien toegang tot onderliggende componenten kan manipulatie van de database plaatsvinden met betrekking tot functiescheiding ✔

4.12

ITGC

Indien er toegang is tot onderliggende componenten kan manipulatie van de database plaatsvinden met betrekking tot wachtwoordbeheer ✔

Bestaat er een functiescheiding tussen aanvragen, autoriseren en verwerken van wijzigingen in gebruikersaccounts en Functiewijzigingen en uitdiensttredingen worden bewaakt voor toegangsrechten? aanpassen van de toegangsrechten en voor intrekken van de identiteits- en authenticatiemiddelen Is het wachtwoordbeheer interactief en zijn de wachtwoorden Gebruikmaking van twee-factor authenticatie bij hoog-risicovan geschikte kwaliteit? zones, periodiek wijzigen van wachtwoorden, vergrendelen van accounts bij inactiviteit, en blokkeren na een vooraf ingesteld aantal foutieve inlogpogingen.

4.13

ITGC

Ongeautoriseerde toegang, wijziging, beschadiging en/of dataverlies, niet naleven van wetgeving

Worden wijzigingen in de code van het algoritme op een gecontroleerde wijze uitgevoerd? Denk aan het testen en accorderen/autoriseren van wijzigingen

4.14

ITGC

Ongeautoriseerde toegang en daarmee kans op manipulatie van het algoritme (wijziging, beschadiging, dataverlies)

Is het algoritme beveiligd, zodat er geen risico is op ongeautoriseerde toegang, wijziging, beschadiging en/of dataverlies?

4.15

ITGC

Back-ups zijn niet in overeenstemming met het back-upbeleid. Worden er back-ups van het algoritme gemaakt en kunnen het Er is geen hersteloptie bij uitval van het algoritme en er is algoritme en de data hersteld worden? risico van gegevensverlies

4.16

ITGC

Bij het ontbreken van security by design zijn er risico's

BIR 11.6.1.3 en SANS "Password Construction Guidelines" 2014

Wijzigingen worden getest en geaccordeerd. Er vindt periodieke monitoring plaats op de verwerkte wijzigingen.

✔

BIR 6.1.4, BIR 10.1.4, BIR 10.3.2 en BIR 12.5.2

✔

✔

BIR 11.2.1/3 en NOREA:Studierapport Algemene beheersing van IT-diensten H5.3

Is er sprake van security by design?

Beveiliging

BIR 12.6.1.4, BIR 11.4.5

Back-up en herstelbeleid Security by design is gehanteerd en terug te zien als uitgangspunt. Aspecten hiervan zijn onder meer te vinden in de ISO/IEC 27000 series en verder.

BIR 10.5.1.2, BIR 10.5.1.3, BIR 10.5.1.1

BIR 14.2.1.1

De ethische principes: 1. Respect voor menselijke autonomie 1.1 De beslissingen die gemaakt zijn door het algoritme zijn te controleren door menselijke tussenkomst 2. Voorkomen van schade 2.1 Het algoritme is veilig en doet altijd waar het voor gemaakt is 2.2 Privacy is gewaarborgd en data zijn beschermd 3. Fairness (een eerlijk algoritme) 3.1 Het algoritme houdt rekening met diversiteit in de populatie en discrimineert niet 3.2 Er is bij de ontwikkeling van het algoritme rekening gehouden met impact op maatschappij en milieu 4. Verklaarbaarheid en transparantie 4.1 Er kan verantwoording worden afgelegd over de gevolgde procedures 4.2 De werking van het algoritme is te verklaren en uit te leggen

Nr.

Ethisch principe

E1.1

1.1 De beslissingen die gemaakt zijn door het algoritme zijn te controleren door menselijke

Subonderdeel van ethisch principe

Gerelateerd nr. uit toetsingskader

Gerelateerd risico uit toetsingskader

Bron ethisch principe (1)

E1.1.1 1.1 De beslissingen die gemaakt zijn door het algoritme zijn te controleren Er is sprakedoor van menselijke controle tussenkomst en toezicht

2.08

• Gebruik van geautomatiseerde besluitvorming wanneer dat niet is toegestaan of ontbreken van de mogelijkheid van menselijke tussenkomst

Europese Commissie (2019). High-level Expert Group on Artificial Intelligence, Ethics Guidelines for Trustworthy AI . Onderdeel Human agency and oversight, p. 15-16

E1.1.2 1.1 De beslissingen die gemaakt zijn door het algoritme zijn te Er is een menselijke review achteraf mogelijk controleren door menselijke tussenkomst

2.08

• Gebruik van geautomatiseerde besluitvorming wanneer dat niet is toegestaan of ontbreken van de mogelijkheid van menselijke tussenkomst

Europese Commissie (2020), White Paper on Artificial Intelligence: a European approach to excellence and trust . Onderdeel Human oversight, p. 21

2.21

• Kwaliteit van de voorspelling is niet op orde

Europese Commissie (2019). High-level Expert Group on Artificial Intelligence, Ethics Guidelines for Trustworthy AI. Onderdeel Technical robustness and safety, p. 16

E2.1

2.1 Het algoritme is veilig en doet altijd waar het voor gemaakt is

E2.1.1 2.1 Het algoritme is veilig en doet altijd waar het voor gemaakt is Het algoritme is technisch robuust

E2.1.2 2.1 Het algoritme is veilig en doet altijd waar het voor gemaakt is

Het algoritme is betrouwbaar, nauwkeurig, accuraat 2.04, 2.21 en reproduceerbaar

• Het is niet meer te herleiden waarom welke keuzes zijn gemaakt in ontwerp en implementatie • Kwaliteit van de voorspelling is niet op orde

Europese Commissie (2020), White Paper on Artificial Intelligence: a European approach to excellence and trust. Onderdeel Robustness and accuracy, p. 20 Europese Commissie (2019). High-level Expert Group on Europese Commissie (2020), White Paper on Artificial Intelligence, Ethics Guidelines for Trustworthy AI. Artificial Intelligence: a European approach to Onderdelen Accuracy & Reliability and reproducibility, p. 17 excellence and trust. Onderdeel Robustness and accuracy, p. 20 Europese Commissie (2020), White Paper on Artificial Intelligence: a European approach to excellence and trust. Onderdeel Robustness and accuracy, p. 20

E2.1.3 2.1 Het algoritme is veilig en doet altijd waar het voor gemaakt is Het algoritme moet tijdens levensduur kunnen omgaan met fouten

2.10, 2.21, 2.22

• Werking niet volgens vooraf vastgestelde opzet en werking • Kwaliteit van de voorspelling is niet op orde • Soms werkt het model in de praktijk niet (meer).

E2.1.4 2.1 Het algoritme is veilig en doet altijd waar het voor gemaakt is

2.16, 2.18, 2.22

• De data zijn niet representatief • Overtreden van geldende uitgangspunten/regels met betrekking tot dataminimalisatie en proportionaliteit • Soms werkt het model in de praktijk niet (meer) • Soms werkt het model in de praktijk niet (meer)

Europese Commissie (2019). High-level Expert Group on Artificial Intelligence, Ethics Guidelines for Trustworthy AI. Onderdeel Quality and integrity of data, p. 17

Datakwaliteit is ‘Fit for purpose’: hoge datakwaliteit die geschikt is voor het doel dat men nastreeft

E2.1.5 2.1 Het algoritme is veilig en doet altijd waar het voor gemaakt is Het algoritme kan realtime gemonitord worden

2.22

E2.1.6 2.1 Het algoritme is veilig en doet altijd waar het voor gemaakt is

2.08

• Gebruik van geautomatiseerde besluitvorming wanneer dat niet is toegestaan of ontbreken van de mogelijkheid van menselijke tussenkomst

Europese Commissie (2019). High-level Expert Group on Artificial Intelligence, Ethics Guidelines for Trustworthy AI. Onderdeel Fall-back plan and general safety, p. 16-17

4.16

• Bij het ontbreken van security by design zijn er risico's

Europese Commissie (2019). High-level Expert Group on Artificial Intelligence, Ethics Guidelines for Trustworthy AI. Onderdeel Resilience to attack and security, p. 16

Ontwerp van het algoritme voldoet aan de principes 4.16 van (cyber)security by design

• Bij het ontbreken van security by design zijn er risico's

Kabinet (2019), Strategisch Actieplan voor Artificiële Intelligentie, p. 50

E2.2.1 2.2 Privacy is gewaarborgd en data zijn beschermd

Privacy en gegevensbescherming zijn gewaarborgd 3 (AVG)

• Diverse risico's met betrekking tot niet voldoen aan de wettelijke verplichtingen zoals de AVG en niet voldoen aan algemene beginselen behoorlijk bestuur

Europese Commissie (2019). High-level Expert Group on Artificial Intelligence, Ethics Guidelines for Trustworthy AI . Onderdeel Privacy and data governance, p. 17

E2.2.2 2.2 Privacy is gewaarborgd en data zijn beschermd

Kwaliteit en integriteit gegevens zijn gewaarborgd

3

• Diverse risico's met betrekking tot niet voldoen aan de wettelijke verplichtingen zoals de AVG en niet voldoen aan algemene beginselen behoorlijk bestuur

Europese Commissie (2019). High-level Expert Group on Artificial Intelligence, Ethics Guidelines for Trustworthy AI . Onderdeel Privacy and data protection, p. 17

E2.2.3 2.2 Privacy is gewaarborgd en data zijn beschermd

Toegang tot gegevens is rechtmatig

3, 4

• Diverse risico's met betrekking tot voldoen aan de wettelijke verplichtingen zoals de AVG en niet voldoen aan algemene beginselen behoorlijk bestuur • Diverse risico's met betrekking tot niet voldoen aan normen op het vlak van IT General Controls en onrechtmatige toegang tot het algoritme

Europese Commissie (2019). High-level Expert Group on Artificial Intelligence, Ethics Guidelines for Trustworthy AI . Onderdeel Access to data, p. 17

Er wordt niet gediscrimineerd en bias wordt geminimaliseerd

2.13, 2.14

• Het model creëert onwenselijke systematische afwijking voor specifieke personen, groepen of andere Europese Commissie (2019). High-level Expert Group on eenheden (bias) Artificial Intelligence, Ethics Guidelines for Trustworthy AI . • Er zit onwenselijke systematische afwijking (bias) in de data. Onderdeel Diversity, non-discrimination and fairness, p. 18

Er is een uitwijkplan of een 'stop-knop'

E2.1.7 2.1 Het algoritme is veilig en doet altijd waar het voor gemaakt is De informatiebeveiliging van het algoritme is op orde: weerbaarheid tegen manipulatie en cyberaanvallen E2.1.8 2.1 Het algoritme is veilig en doet altijd waar het voor gemaakt is

E2.2

E3.1

Bron ethisch principe (2)

Datenethikkommission (2019), Opinion of the Data Ethics Commission. Onderdeel Data, p. 8

Europese Commissie (2020), White Paper on Artificial Intelligence: a European approach to excellence and trust. Onderdeel Human oversight, p. 21 Europese Commissie (2020), White Paper on Artificial Intelligence: a European approach to excellence and trust. Onderdeel Human oversight, p. 21 Europese Commissie (2020), White Paper on Artificial Intelligence: a European approach to excellence and trust. Onderdeel Robustness and accuracy, p. 21

2.2 Privacy is gewaarborgd en data zijn beschermd

3.1 Het algoritme houdt rekening met diversiteit in de populatie en discrimineert niet

E3.1.1 3.1 Het algoritme houdt rekening met diversiteit in de populatie en discrimineert niet

Europese Commissie (2020), White Paper on Artificial Intelligence: a European approach to excellence and trust. Onderdeel Training data, p. 18-19 Europese Commissie (2020), White Paper on Artificial Intelligence: a European approach to excellence and trust. Onderdeel Training data, p. 18-19

Europese Commissie (2020), White Paper on Artificial Intelligence: a European approach to excellence and trust. Onderdeel Training data, p. 18-19

E3.1.2 3.1 Het algoritme houdt rekening met diversiteit in de populatie en discrimineert niet

Er is extra aandacht voor kwetsbaren

2.14, 2.16

• Er zit onwenselijke systematische afwijking (bias) in de data. • De data zijn niet representatief

Europese Commissie (2019). High-level Expert Group on Artificial Intelligence, Ethics Guidelines for Trustworthy AI . Onderdeel Equality, non-discrimination and solidarity, p. 11

E3.1.3 3.1 Het algoritme houdt rekening met diversiteit in de populatie en discrimineert niet

Stakeholders en 'eindgebruikers' van het algoritme worden regelmatig betrokken

2.09

• Te eenzijdige inbreng vergroot kans op fouten en niet voldoen aan doelen en aan wet- en regelgeving

Europese Commissie (2019). High-level Expert Group on Artificial Intelligence, Ethics Guidelines for Trustworthy AI . Onderdeel Stakeholder participation, p. 19

E3.1.4 3.1 Het algoritme houdt rekening met diversiteit in de populatie en discrimineert niet

Data is breed genoeg, divers en representatief

2.16

• De data zijn niet representatief

Europese Commissie (2019). High-level Expert Group on Europese Commissie (2020), White Paper on Artificial Intelligence, Ethics Guidelines for Trustworthy AI . Artificial Intelligence: a European approach to Onderdeel Equality, non-discrimination and solidarity, p. 11 excellence and trust. Onderdeel Training data, p. 18-19

E3.2.1 3.2 Er is bij de ontwikkeling van het algoritme rekening gehouden met impact op maatschappij en milieu

Er vindt een Impact assessment plaats over de sociale gevolgen

2.13, 2.14

• Het model creëert onwenselijke systematische afwijking voor specifieke personen, groepen of andere Europese Commissie (2019). High-level Expert Group on eenheden (bias) Artificial Intelligence, Ethics Guidelines for Trustworthy AI . • Er zit onwenselijke systematische afwijking (bias) in de data Onderdeel Social impact, p. 19

E3.2.2 3.2 Er is bij de ontwikkeling van het algoritme rekening gehouden met impact op maatschappij en milieu

Er wordt rekening gehouden met de impact op samenleving en democratie

E3.2

E4.1

3.2 Er is bij de ontwikkeling van het algoritme rekening gehouden met impact op maatschappij en milieu

Europese Commissie (2019). High-level Expert Group on Artificial Intelligence, Ethics Guidelines for Trustworthy AI . Onderdeel Society and democracy, p. 19

4.1 Er kan verantwoording worden afgelegd over de gevolgde procedures

E4.1.1 4.1 Er kan verantwoording worden afgelegd over de gevolgde Afwegingen worden gedocumenteerd, waardoor keuzes 1.07, traceerbaar 2.04 zijn procedures

E4.1.2 4.1 Er kan verantwoording worden afgelegd over de gevolgde Ontwerp van het model is gedocumenteerd procedures

2.05, 2.07

E4.1.3 4.1 Er kan verantwoording worden afgelegd over de gevolgde Er vindt documentatie plaats over het verkrijgen, procedures selecteren en bewerken van data

2.07, 2.12

• Afhankelijkheid van externe deskundigen die na het ontwikkelen van het algoritme met de betreffende kennis Europese en ervaring Commissie weggaan, (2019). waardoor High-level continuïteit Expert Group en beheersing on Europese daarna Commissie niet meer gewaarborgd (2020), White is Paper • Heton is niet meer te herleiden waarom wel Artificial Intelligence, Ethics Guidelines for Trustworthy AI . Artificial Intelligence: a European approach to Onderdeel Accountability, p. 19-20 excellence and trust. Onderdeel Keeping of records and data, p. 19 • Geen continuïteit van het proces/uitvoering van werkzaamheden doordat documentatie ontbreekt Europese Commissie (2020), White Paper on Artificial • Ontbreken transparantie voor burgers/bedrijven/stakeholders, niet voldoen aan wet- en regelgeving Intelligence: a European approach to excellence and trust . met betrekking tot transparantie Onderdeel Keeping of records and data, p. 19 • Ontbreken transparantie voor burgers/bedrijven/stakeholders, niet voldoen aan wet- en regelgeving met betrekking tot transparantie • Onjuiste manier van training/testing kan leiden tot overfitting en/of underfitting en/of bias

Europese Commissie (2020), White Paper on Artificial Intelligence: a European approach to excellence and trust . Onderdeel Keeping of records and data, p. 19

E4.1.4 4.1 Er kan verantwoording worden afgelegd over de gevolgde Keuzes gemaakt bij trainen en testen worden gedocumenteerd 2.12 procedures

• Onjuiste manier van training/testing kan leiden tot overfitting en/of underfitting en/of bias

Europese Commissie (2020), White Paper on Artificial Intelligence: a European approach to excellence and trust . Onderdeel Keeping of records and data, p. 19

E4.1.5 4.1 Er kan verantwoording worden afgelegd over de gevolgde Karakteristieken van de dataset worden gedocumenteerd 2.16 procedures

• De data zijn niet representatief

Europese Commissie (2020), White Paper on Artificial Intelligence: a European approach to excellence and trust . Onderdeel Keeping of records and data, p. 19

E4.1.6 4.1 Er kan verantwoording worden afgelegd over de gevolgde Methoden om risico's te identificeren worden procedures gedocumenteerd

1.02

• Zonder actueel beeld van risico's kan er geen goede afweging worden gemaakt of de voordelen van de toepassing van het algoritme opwegen tegen de nadelen

Europese Commissie (2020), White Paper on Artificial Intelligence: a European approach to excellence and trust . Onderdeel Keeping of records and data, p. 19

E4.1.7 4.1 Er kan verantwoording worden afgelegd over de gevolgde Maatregelen om risico's tegen te gaan worden procedures gedocumenteerd

1.02

• Zonder actueel beeld van risico 's kan er geen goede afweging worden gemaakt of de voordelen van de toepassing van het algoritme opwegen tegen de nadelen

Gemeente Amsterdam, Modelbepalingen voor gemeenten voor verantwoord gebruik van Algoritmische toepassingen , artikel 6, p. 6

E4.1.8 4.1 Er kan verantwoording worden afgelegd over de gevolgde Het is duidelijk wie verantwoordelijk is als het procedures algoritme fouten maakt

1.05

• Onduidelijkheid over rollen, taken, verantwoordelijkheden en bevoegdheden creëert risico's

Kabinet (2019), Strategisch Actieplan voor Artificiële Intelligentie, p. 46

E4.2

Datenethikkommission (2019), Opinion of the Data Ethics Commission. Onderdeel Clear accountability structures, p. 18

4.2 De werking van het algoritme is te verklaren en uit te leggen

E4.2.1 4.2 De werking van het algoritme is te verklaren en uit te leggen

Technische processen zijn inzichtelijk

2.03

• Niet of slecht uitlegbare toepassing van algoritmes

Europese Commissie (2019). High-level Expert Group on Artificial Intelligence, Ethics Guidelines for Trustworthy AI . Onderdeel Explainability, p. 18

E4.2.2 4.2 De werking van het algoritme is te verklaren en uit te leggen

Het systeem is inzichtelijk

2.03

• Niet of slecht uitlegbare toepassing van algoritmes

Europese Commissie (2019). High-level Expert Group on Artificial Intelligence, Ethics Guidelines for Trustworthy AI . Onderdeel Transparency, p. 18

E4.2.3 4.2 De werking van het algoritme is te verklaren en uit te leggen

Het is inzichtelijk (te maken) hoe het algoritme keuzes op individueel niveau maakt

2.03, 3

• Niet of slecht uitlegbare toepassing van algoritmes • Niet voldoen aan wettelijke verplichting AVG en Algemene Beginselen Behoorlijk Bestuur

Europese Commissie (2019). High-level Expert Group on Artificial Intelligence, Ethics Guidelines for Trustworthy AI . Onderdeel Explainability, p. 18

E4.2.4 4.2 De werking van het algoritme is te verklaren en uit te leggen

Doel van het algoritme is helder

1.01, 2.01

• Zonder eenduidigheid over het doel is geen sturing op en verantwoording over het algoritme mogelijk Europese Commissie (2020), White Paper on Artificial • Algoritme functioneert niet in lijn met geformuleerde doelstellingen Intelligence: a European approach to excellence and trust . Onderdeel Information provision, p. 20

E4.2.5 4.2 De werking van het algoritme is te verklaren en uit te leggen

Het is inzichtelijk onder welke voorwaarden het algoritme goed functioneert

1.06, 2.19

• Prestatiedoelstellingen en kwaliteitsdoelstellingen zijn niet meetbaar of bespreekbaar als er geen aanpak is • De performance metrics komen niet overeen met de doelstellingen van het algoritme

Europese Commissie (2020), White Paper on Artificial Intelligence: a European approach to excellence and trust . Onderdeel Information provision, p. 20

E4.2.6 4.2 De werking van het algoritme is te verklaren en uit te leggen

Het is inzichtelijk wanneer het algoritme accuraat werkt en wat de prestaties zijn

2.21

• Kwaliteit van de voorspelling is niet op orde

Europese Commissie (2020), White Paper on Artificial Intelligence: a European approach to excellence and trust . Onderdeel Information provision, p. 20

Gemeente Amsterdam, Modelbepalingen voor gemeenten voor verantwoord gebruik van Algoritmische toepassingen, artikel 5.4, p. 6

E4.2.7 4.2 De werking van het algoritme is te verklaren en uit te leggen

Mensen die te maken hebben met een algoritme moeten hierover heldere informatie kunnen krijgen

2.02, 2.07, 2.23

• Zonder gedeeld beeld van de doelstellingen is er een groter risico op fouten en/of verschillen in Europese Commissie (2020), White Paper on Artificial interpretatie Intelligence: a European approach to excellence and trust . • Ontbreken transparantie voor burgers/bedrijven/stakeholders, niet voldoen aan wet- en regelgeving Onderdeel Information provision, p. 20 met betrekking tot transparantie • Het is voor mensen niet duidelijk dat zij met een algoritme te maken hebben, welke consequenties dat heeft of welke beperkingen het algoritme kent. Bij incidenten/fouten kan dit leiden tot schadeclaims achteraf