2. Achtergrond bias-analyse uitgangspunten en keuzes_v1.0.pdf

Onderwerp

Bijlage bij Raadsinformatiebrief bias-analyse uitgangspunten en keuzes

1 Bias: de andere kant van de medaille ‘eerlijke en transparante dienstverlening’

1.1 Oneerlijke dienstverlening door bias De gemeente staat voor eerlijke en transparante inzet van algoritmes en AI-systemen (verder: “algoritmes”). Vanuit diverse wetten en beleid wordt er al zorgvuldig gekeken naar algoritmes, zoals vanuit de AVG, BIO, Archiefwet, Wet open overheid, etc. Daarnaast wordt vaak de term ‘bias’ genoemd, wat is gedefinieerd als ‘een structureel verschil in behandeling van mensen of groepen in vergelijking met anderen’.1 Dit roept de vraag op wanneer dit systematische verschil oneerlijk is. Wat wordt bedoeld met (on)wenselijk en wat daarmee (on)eerlijk is? Dit is geen exacte wetenschap en kan alleen worden vastgesteld door menselijk (af)wegen. Wat eerlijk is, is daarmee situationeel en kan verschillen (“case-by-case”), of veranderen over tijd (bij dezelfde casus).

Om dit te illustreren volgt een aantal hypothetische voorbeelden waarin de meningen verdeeld zullen zijn of het eerlijk is om: - Een methode te gebruiken die voor 95% van de groep werkt, maar voor 5% niet? - Bij numerus fixus toelating in het onderwijs lage cijfers te corrigeren voor groepen die op “probleemscholen” hebben gezeten? - Iedereen een basisinkomen te geven ongeacht persoonlijke situatie? - Vrijheid van meningsuiting te hebben en specifieke content te censureren/verwijderen van social media? - Mensen met de langst resterende levensduur voorrang te geven op donororganen? - De hoogte van een parkeerboete te relateren aan iemands inkomen? Zoals bovenstaande voorbeelden illustreren: Wat de één wenselijk vindt, kan voor de andere persoon onwenselijk zijn. Onwenselijke systematische afwijkingen zijn daarom relatief en situatie afhankelijk. Dit betekent dat er altijd bias zal zijn. De vraag is welke “mate” van bias in algoritmes acceptabel is.

1

Bias en non-discriminatie - Algoritmekader (bèta)

Gemeente Amsterdam

Datum 8 april 2025 Pagina 2 van 26

Het gaat hier specifiek over bias in algoritmes. We moeten daarmee niet vergeten dat in menselijk handelen ook bias zit. De ministeries van Binnenlandse Zaken en Koninkrijksrelaties, Economische Zaken en Justitie en Veiligheid schrijven daarover in 2021 het volgende2: “Uiteraard moet worden bedacht dat besluitvormingsprocessen die geen gebruik maken van AI [of algoritmes] nu ook vaak [bias bevatten], maar dat er weinig kennis en data over dit soort bevooroordeeldheid is. Het werken met AI is dan ook niet per se een risico in termen van discriminatie, het is juist ook een kans om processen neutraler en rechtvaardiger te maken en beter in beeld te krijgen welke groepen worden getroffen door bepaald handelen, beleid of besluiten. Het gevaar met AI is wel dat als er discriminatie plaatsvindt, het een structureel probleem wordt dat zit ingebakken in het systeem en zodoende zeer grote gevolgen kan hebben”. En recent concludeerde de Staatscommissie tegen Discriminatie en Racisme3 dat “patronen van discriminatie en racisme diep verankerd [zitten] in de dienstverlening van de overheid”. Dit structurele probleem moet verholpen en voorkomen worden, of het nou menselijk-gedreven, algoritmegedreven of een combinatie is.

1.2 An inconvenient truth: bias is overal om ons heen, kan nooit volledig worden weggenomen en is lastig meetbaar Bias kan dus nooit volledig worden weggenomen. En er is geen perfecte ‘objectief’ eerlijke dienstverlening. Ieder mens, gevormd door ’nature and nurture’, beschouwt de wereld namelijk door een eigen gekleurde lens. Diezelfde (gekleurde) lens is verantwoordelijk voor het wegen wat wenselijk of onwenselijk is. Deze menselijkheid introduceert ook bias in de uitvoering van de dienstverlening. Op individueel niveau door keuzes en beslissingen van collega’s, op organisatorisch niveau door hoe processen zijn ingericht en op technisch niveau door automatisering met behulp van algoritmes. Kortom, wat we ook doen, in ieder scenario en realiteit zal er bias zijn. Met de wetenschap dat bias altijd zal bestaan, ontstaan de vragen of deze vervolgens ook kan worden aangetoond/geïdentificeerd en gekwantificeerd? Kwantificeren is deels mogelijk als er voldoende data is, die van toereikende kwaliteit is en als aan alle randvoorwaarden is voldaan. En zelfs dan blijft het een arbeidsintensief proces om tot betrouwbare inzichten te komen. “Kwalitatieve” identificatie van bias is een lastig fenomeen dat om een zorgvuldige aanpak vraagt. Daarnaast kan het niet worden “opgelost”.

Dit betekent echter niet dat er niets aan gedaan kan worden om mogelijk negatieve individuele en maatschappelijke effecten te voorkomen of verminderen. Er kunnen namelijk wel bewuste keuzes worden gemaakt. Op die manier zijn we niet helemaal overgeleverd aan het fenomeen bias.

Handreiking non-discriminatie by design | Rapport | Rijksoverheid.nl Voortgangsrapportage - Discriminatie in dienstverlening. Ervaringen en lessen om discriminatie in publieke dienstverlening te voorkomen en te bestrijden | Rapport | Staatscommissie tegen Discriminatie en Racisme 2 3

Gemeente Amsterdam

Datum 8 april 2025 Pagina 3 van 26

1.3 Toekomstperspectief omgaan met bias: Nooit weg, wel inzichtelijk en een bewuste keuze De Amsterdamse ambitie is om deze zorgvuldige aanpak rondom bias verder vorm te geven, zie hiervoor het Plan van Aanpak Algoritmes waarvan een overzicht en samenvatting van de acties rondom bias hieronder in hoofdstuk 2 is opgenomen. Hoofdstuk 3 Kaders & Uitgangspunten biasanalyse behandelt de achterliggende filosofie en denkwijze over hoe deze aanpak rondom bias wordt ingevuld. Hoofdstuk 4 Keuzes bias-analyse legt impactvolle afwegingen voor rondom een zestal problemen. Daarbij wordt per probleem een voorgestelde richting expliciet gemaakt. Deze uitgangspunten en voorgestelde richtingen worden gedurende 2025 en verder uitgewerkt in een praktisch werkbaar instrument, niet alleen gericht op technische medewerkers (zoals de dataanalyst of de datascientist) maar juist ook voor niet-experts. Zo helpen we hen de juiste afweging te maken en beslissing te nemen, zodat algoritmes burgers en werknemers zo eerlijk mogelijk behandelen. De uitgangspunten gelden in ieder geval voor hoog-risico algoritmes. Voor de overige algoritmes zal in de uitwerking een afweging gemaakt worden welke uitgangspunten van toepassing zijn. Daarbij zal een afweging worden gemaakt tussen mogelijke impact, benodigde tijd en middelen en effectiviteit van het uitgangspunt.

Gemeente Amsterdam

Datum 8 april 2025 Pagina 4 van 26

2 Achtergrond Plan van Aanpak Algoritmes en inleiding bias-analyse

2.1 Achtergrond Plan van Aanpak Algoritmes De gemeente staat voor eerlijke en transparante inzet van algoritmes en AI-systemen (verder: “algoritmes”). Het Plan van Aanpak Algoritmes4 (“PvA Algoritmes”) is in de raadsvergadering van 26 juni 2024 behandeld. Daarbij is een aantal verbetervoorstellen met bijbehorende resultaten toegelicht om algoritmes nog eerlijker en transparanter in te zetten, zie Figuur 1 voor een samenvatting. De uitkomst van het PvA Algoritmes is een geüpdatet en geïmplementeerd beheerskader algoritmes en een grondige analyse van de algoritmes die de gemeente momenteel gebruikt.

Figuur 1 Samenvatting Plan van Aanpak Algoritmes

Hoofdstuk 3 van het PvA Algoritmes gaat specifiek over het beter omgaan met bias. Zoals eerder is besproken, is bias gedefinieerd als een systematisch verschil in behandeling van mensen of groepen in vergelijking met anderen. Of systematische verschillen op bepaalde kenmerken onwenselijk zijn, is een lastig te beantwoorden vraag. In andere woorden gaat het namelijk om de overweging of het een “eerlijke behandeling” van mensen is. En “eerlijk” is voor iedereen anders.

4

Volledige versie Plan van Aanpak Algoritmes: Plan van aanpak algoritmen - openresearch.amsterdam.

Gemeente Amsterdam

Datum 8 april 2025 Pagina 5 van 26

Dit vraagt dus om een gestructureerde manier om tot een conclusie te komen wat in een specifiek geval “eerlijke behandeling” is. Momenteel zijn er namelijk veel, vaak zeer gedetailleerde, beschrijvingen van bias. Vaak in de vorm van vragen of onderwerpen waaraan gedacht kan worden. En vaak zonder heldere duiding, richting of algemene uitgangspunten. Deze beschrijvingen zijn arbeidsintensief om toe te passen en geven geen antwoord op de vraag: “vinden we dit eerlijk”? Hierdoor is er momenteel niet één manier om met bias om te gaan en verschilt de bias-analyse per algoritme. Met het te ontwikkelen bias-analyse instrument willen we gestructureerd, efficiënt en systematisch komen tot een weloverwogen antwoord met achterliggende afweging. Ook om zowel intern als extern verantwoording af te leggen. Een deel van het antwoord is altijd contextafhankelijk. Maar voor een ander deel van het antwoord kunnen algemene richtlijnen gevolgd worden. Dit document geeft de richting van de algemene richtlijnen binnen een bias-analyse. Dit is onderdeel van actie “3.2.1 Uitwerking van de ambitie van biasbestrijding (april 2024 t/m december 2025)” in het PvA Algoritmes. De richtlijnen zullen na bespreking op ambtelijk en bestuurlijk niveau verder uitgewerkt worden naar concrete maatregelen en instructies.

De maatregelen en instructies worden vanaf Q2 2025 in een praktisch werkbaar instrument verwerkt, onderdeel van “3.2.2 Opnemen verbeterde maatregelen in het beheerskader om bias tegen te gaan (vanaf april 2025)”. Dit instrument heeft als doel om significant, praktisch en pragmatisch bij te dragen aan de vraag of de inzet van een algoritme eerlijk is – en in sommige gevallen het antwoord zelfs te geven. Door nu een richting te kiezen zal het duidelijker worden wat mag, er minder discussie zijn over wat eerlijk is en kan er efficiënter met middelen omgegaan worden.

2.2 Achtergrond bias-analyse In de context van een bias-analyse zijn er drie onderwerpen5 om te bepalen of inzet van een algoritme eerlijk is: - Organisatorisch (willen we het); - Juridisch (mag het); en - Technologisch (kan het). Zoals in hoofdstuk 1 omschreven zal er altijd bias zijn. En een analyse die “100% garandeert” dat bias gemitigeerd is bestaat niet – zowel uit praktische overwegingen (beperkte tijd, capaciteit en geld) als theoretisch (bv. te weinig beschikbare data): - Organisatorisch: iedereen heeft een andere definitie van eerlijke behandeling; - Juridisch: wet- en regelgeving en beleid geven richting maar zijn niet zwart-wit en geven vaak geen uitsluitsel over specifieke casuïstiek door verschillende interpretatiemogelijkheden; en 5

Zie bijvoorbeeld: Handreiking non-discriminatie by design | Rapport | Rijksoverheid.nl

Gemeente Amsterdam

-

Datum 8 april 2025 Pagina 6 van 26

Technologisch: voor een grondige bias-analyse is veel data, rekencapaciteit, tijd en capaciteit nodig. Vaak is het juridisch of ethisch onwenselijk om die data te verzamelen en komt er alsnog geen antwoord uit of het algoritme mensen eerlijk behandeld.

Daarom zullen de kaders en keuzes in dit document de basis zijn hoe de gemeente Amsterdam eerlijke behandeling van burgers waarborgt bij de inzet van algoritmes. In hoofdstuk 3 worden eerst enkele algemene uitgangspunten beschreven die gedurende het ontwikkel- en gebruiksproces altijd van toepassing zijn en daarna volgen specifieke uitgangspunten per stap van de levenscyclus van algoritmes. De uitgangspunten gelden in ieder geval voor hoog-risico algoritmes6. Voor de overige algoritmes zal in de uitwerking een afweging gemaakt worden welke uitgangspunten van toepassing zijn. Daarbij zal een afweging worden gemaakt tussen mogelijke impact, benodigde tijd en middelen en effectiviteit van het uitgangspunt. In dit document wordt de structuur van de levenscyclus algoritmes van het Algoritmekader van het Ministerie van Binnenlandse Zaken en Koninkrijksrelaties gevolgd: 0. Organisatieverantwoordelijkheden 1. Probleemanalyse 2. Ontwerp 3. Dataverkenning en datapreparatie 4. Ontwikkelen 5. Verificatie en validatie 6. Implementatie 7. Monitoring en beheer 8.

Uitfaseren Voor de totstandkoming van dit document zijn naast externe experts, kennisinstellingen en publicaties uit publiek toegankelijke bronnen, onder meer de volgende bestaande kaders geraadpleegd en verwerkt:  Amsterdamse algoritme beheerskader – Gemeente Amsterdam (meer informatie beschikbaar maar verspreid over intranet en de organisatie, actiepunt onder PvA om dit centraal te verzamelen)  Algoritmekader – Ministerie van Binnenlandse Zaken  The Fairness Handbook – Gemeente Amsterdam Algoritmes worden in risico categorieën (“risico classificatie”) ingedeeld. Dit zijn: Hoog-risico AI-systeem; Impactvol algoritme of AI-systeem; en Laag-risico algoritme of AI-systeem. Daarnaast zijn er verboden toepassingen, algoritmes die nooit ingezet mogen worden (bv. social scoring van burgers). Aan de hand van de risicoclassificatie moeten verschillende maatregelen genomen worden. Een eerste versie van de maatregelen is operationeel en deze maatregelen worden continu doorontwikkeld, zie ook hoofdstuk 1 van het PvA Algoritmes. Voor meer informatie over de risicoclassificatie en bijbehorende maatregelen, zie Quality Assurance Acceptatiecriterium 4 (momenteel te bereiken via: Quality assurance (kwaliteitborging) - Startpagina - Tamtam – dit wordt te zijner tijd verplaatst in verband met nieuwe intranet). 6

Gemeente Amsterdam

       

Datum 8 april 2025 Pagina 7 van 26

Mensenrechtelijk Toetsingskader voor Profilering – College rechten van de Mens Toetsingskader risicoprofilering – Normen tegen discriminatie op grond van ras en nationaliteit – College voor de Rechten van de Mens Handreiking non-discriminatie by design – Rijksoverheid (onder andere op advies van de CPA, zoals beschreven in het CPA jaarverslag 2023) Publieke standaard profileringsalgoritmes – stichting Algorithm Audit Rapport Algoritmen – Rekenkamer Amsterdam-Zaanstad Toetsingskader Algoritmen – Algemene Rekenkamer Onderzoekskader algoritmes – Audit Dienst Rijk Ethische richtsnoeren voor betrouwbare AI – Europese Commissie

Gemeente Amsterdam

Datum 8 april 2025 Pagina 8 van 26

3 Kaders & uitgangspunten bias-analyse

Algoritmes bieden kansen en mogelijkheden om de gemeentelijke dienstverlening te verbeteren. En mits zorgvuldig ontworpen, geïmplementeerd en gecontroleerd, kunnen algoritmes bijvoorbeeld ook vooringenomenheid bij mensen corrigeren en herhaling van fouten voorkomen. Hoofdstuk 3 en 4 gaan over de kaders hoe algoritmes zorgvuldig te ontwerpen en in te zetten. Hieronder worden voor de ontwikkeling, gebruik en beheer van algoritmes zowel algemene als levenscyclus(fase)-afhankelijke uitgangspunten genoemd. Deze uitgangspunten dragen bij aan het bewuste besluit of een algoritme burgers en ambtenaren eerlijk behandelt. Dit kan vanuit bestaande wet- en regelgeving of beleid zijn of op basis van gangbare (technische) kaders en principes. Deze uitgangspunten worden later uitgewerkt om te komen tot een gebruiksvriendelijke en specifieke bias-analyse die begrijpelijk is voor niet-experts. De exacte invulling van de uitgangspunten zal afhankelijk zijn van de situatie, want er zal een balans moeten zijn tussen “zekerheid” en detail vs. praktische werkbaarheid en kosten. Dit is onderdeel van het vervolgproces. Gebruikers kunnen het instrument gebruiken om beargumenteerd en redelijkerwijs vast te stellen of een algoritme burgers “eerlijk behandelt”.

3.1 Algemene uitgangspunten De gemeente Amsterdam spant zich actief in om eerlijke behandeling te waarborgen bij de inzet van algoritmes. De volgende algemene uitgangspunten worden daarin meegenomen. 1. Non-discriminatierecht: extra zorgvuldigheid bij indirect onderscheid – Om te toetsen of gelijke gevallen gelijk worden behandeld, zijn de Algemene wet gelijke behandeling (Awgb) en het Europese non-discriminatierecht leidend.7 Volgens dit recht is direct onderscheid op een van de beschermde gronden8 verboden tenzij een geslaagd beroep kan worden gedaan op één van de limitatief opgesomde uitzonderingsbepalingen. Bij indirect onderscheid9 op een van de beschermde gronden geldt een open systeem van Allereerst zijn de discriminatieverboden uit artikel 14 EVRM en art. 1 twaalfde protocol EVRM relevant. Daarnaast gelden er vanuit het Unierecht enkele gelijkebehandelingsrichtlijnen, die in Nederlandse wetgeving geïmplementeerd zijn, te weten de Antirassendiscriminatierichtlijn (2000/43/EG), de Kaderrichtlijn gelijke behandeling in arbeid en beroep (2000/78/EG), de Richtlijn gelijke behandeling van mannen en vrouwen bij de toegang tot en het aanbod van goederen en diensten (2004/113/EG), en de herschikte Richtlijn gelijke behandeling van mannen en vrouwen in arbeid en beroep (2006/54/EG). 8 Art.

1(b) Awgb: Godsdienst, levensovertuiging, politieke gezindheid, ras, geslacht, nationaliteit, hetero- of homoseksuele gerichtheid of burgerlijke staat. 9 Met indirect onderscheid worden ogenschijnlijk neutrale gegevens (proxykenmerken) bedoeld die sterk gecorreleerd zijn aan andere wél beschermde gronden. Door een sterke correlatie kan men door proxykenmerken te gebruiken (mogelijk onbedoeld) ook de gevoelige groep raken. Lidmaatschap van een vrouwelijke studentenvereniging is bijvoorbeeld een proxy voor het persoonskenmerk ‘vrouw'; het bezitten van een seizoenskaart voor een voetbalclub is mogelijk een proxy voor het 7

Gemeente Amsterdam

Datum 8 april 2025 Pagina 9 van 26

rechtvaardiging. Dit houdt in dat dit type onderscheid toelaatbaar is mits het redelijk en objectief kan worden gerechtvaardigd. 2. Gevoelige kenmerken: invulling hoe omgegaan moet worden met 16 gevoelige kenmerken10 – In de raadsinformatiebrief van 25 januari 2023 heeft de toenmalig wethouder ICT en Digitale Stad toegezegd dat “we willen voorkomen dat er een ongerechtvaardigd onderscheid wordt gemaakt op [16] gevoelige kenmerken”. Een biasanalyse van een algoritme is daarin één van de middelen. Niet alleen ten aanzien de beschermde gronden uit de Awgb, maar ook ten aanzien van de 16 gevoelige kenmerken. Zoveel mogelijk van deze 16 kenmerken worden gebruikt in de bias-analyse, maar vaak is het onwenselijk of onmogelijk om alle kenmerken te gebruiken, zie paragraaf 4.2. Als een bias-analyse met betrekking tot bepaalde kenmerken niet mogelijk is, dan wordt op een andere manier bepaald of het gebruik van de gevoelige kenmerken wenselijk is. 3. Open juridische normen: open juridische normen zoveel mogelijk invullen – juridische normen zijn vaak abstract, zijn daardoor soms multi-interpretabel en hebben lang niet altijd het gewenste effect. Dit is deels te verklaren door de kloof tussen de algemene kaders en de concrete vraagstukken die spelen in de praktijk11.

Het objectief rechtvaardigen van gemaakt (indirect) onderscheid met betrekking tot een of meerdere van de 16 gevoelige kenmerken verschilt per geval. De gemeente Amsterdam is zich ervan bewust dat het inhoudelijk toetsen van eerlijke behandeling de interpretatie van open juridische normen met zich meebrengt. Wanneer interpretatie van juridische normen plaatsvindt worden experts ingeschakeld, bijvoorbeeld Digitale Rechten & Ethiek Officers, Digitale Rechten & Algoritme Officers en Privacy Officers. 4. Geautomatiseerde besluitvorming: geen extra stappen voor nu, we volgen landelijk beleid – De gemeente Amsterdam heeft als uitgangspunt geen volledig geautomatiseerde besluitvorming toe te passen in processen met rechtsgevolgen voor burgers of in processen die burgers anderszins in aanmerkelijke mate treffen, tenzij er een zorgvuldige afweging is gemaakt. Als dit het geval is, dan wordt extra aandacht besteed aan het waarborgen van eerlijke behandeling, waarbij nader te bepalen strikte voorwaarden gelden12. De exacte invulling van deze begrippen is momenteel in ontwikkeling. Onder meer naar aanleiding van uitspraken van het Europese Hof van Justitie en aanvullende uitleg van nationale toezichthouders zoals de Autoriteit persoonskenmerk ‘man’. Bij overheidshandelen moet hiermee rekening worden gehouden.

In sommige gevallen is het toegestaan om onderscheid te maken tussen burgers met en zonder seizoenkaart, maar niet tussen mannen en vrouwen. 10 De gemeente Amsterdam hanteert 16 beschermde gronden: nationaliteit, geboorteland, postcode, huidskleur, etniciteit, geslacht, leeftijd, burgerlijke staat, seksuele geaardheid, religie, politieke opvatting, verblijfsstatus, zwangerschap, gezondheid, sociale klasse en genetica. Zie ook: https://amsterdam.raadsinformatie.nl/document/12457304/1/09012f9780b47955?connection_type=1&connection_id=7429244. 11 Hoe ‘algoprudentie’ kan bijdragen aan een verantwoorde inzet van machine learning-algoritmes 12 ‘Volledig geautomatiseerde besluitvorming’ zoals gespecificeerd in art. 22 van de AVG. Zie ook recente ontwikkelingen dat dit begrip breder geïnterpreteerd wordt: https://www.autoriteitpersoonsgegevens.nl/documenten/advies-geautomatiseerdebesluitvorming.

Gemeente Amsterdam

Datum 8 april 2025 Pagina 10 van 26

Persoonsgegevens. De gemeente Amsterdam blijft deze ontwikkelingen volgen en past indien nodig haar beleid, processen en instrumenten aan om te handelen in overeenstemming met de AVG en het daaruit volgende verbod op uitsluitend geautomatiseerde besluitvorming in art. 22. 5. Behoorlijk bestuur: transparantie waar mogelijk – De gemeente Amsterdam heeft de verantwoordelijkheid om uitlegbaar, controleerbaar en transparant te zijn, des te meer wanneer het gaat om het voorbereiden of nemen van besluiten met impact op mensen. Dit is niet anders wanneer algoritmes worden gebruikt in de besluitvormingsketen. Documentatie over algoritmes wordt waar mogelijk openbaar gemaakt in het landelijke Algoritmeregister. 6. Amsterdams beleid: volgen beheerskader algoritmes – De gemeente Amsterdam is zich bewust dat organisatorische waarborgen een belangrijke rol spelen om algoritmes verantwoord in te zetten. Het centrale algoritmeteam helpt de organisatie met het toepassen van het beheerskader, het opleiden van de organisatie om het beheerskader zelfstandig te gebruiken en ziet toe op naleving van relevante kaders bij gebruik van de technologie. 7.

Verschillende risicoclassificaties algoritmes: geen algemene (“one size fits all”) maar risicogestuurde aanpak – De gemeente Amsterdam volgt zoveel mogelijk de landelijke definitie en kaders van het Ministerie van Binnenlandse Zaken en Koninkrijksrelaties. Niet alle impactvolle algoritmes die de gemeente Amsterdam gebruikt vallen onder de definitie van een AI-systeem zoals gedefinieerd in de AI-verordening13. Toch kunnen deze algoritmes wel risico’s op ongelijke behandeling met zich meebrengen. Daarom nemen we aanvullende maatregelen aan de AI-verordening. Maatregelen zullen gedefinieerd worden aan de hand van onder andere de risicoclassificatie van een algoritme. 8. Technische normen: nadere invulling geven aan Europese en Nederlandse normen – Om eerlijke behandeling te borgen worden technische normen gebruikt voor veilige en eerlijke algoritmes. Hierbij spelen de geharmoniseerde normen een belangrijke rol, die in het kader van de AI-verordening door Europese standaardiseringsorganisaties worden ontwikkeld. Hiertoe behoren onder meer: geschikte documentatiestandaarden, inventarisatie van gebruikte technologieën, risicoclassificatie en risicobeheersmaatregelen. De gemeente Amsterdam is zich ervan bewust dat technische normen primair procedureel van aard zijn en meestal niet het gewenste detailniveau bereiken omdat norminvulling contextafhankelijk is.

Er zal dus een nadere invulling gegeven moeten worden, welke bepaald zal worden aan de hand van de gepubliceerde normen.

13

Artikel 3 AI-verordening

Gemeente Amsterdam

Datum 8 april 2025 Pagina 11 van 26

9. Amsterdams beleid: volgen bestaande (ethische) kaders – De gemeente Amsterdam beschermt digitale rechten van burgers, zoals nader gespecificeerd in bijvoorbeeld de Agenda Digitale Stad, Actieplan Grip op Technologie en de Amsterdamse visie op AI. Daarin worden bestaande (ethische) kaders gevolgd, zoals de Tada-waarden. Het Tada manifest heeft zes waarden die leidend zijn voor het verantwoord gebruik van data en het verantwoord ontwerpen van technologie in de stad. De zes Tada-waarden zijn: legitiem en gecontroleerd, open en transparant, van en voor iedereen, inclusief, zeggenschap en menselijke maat. 10. Overige compliance kaders: volgen van bestaande wet- en regelgeving en gemeentelijk beleid – Uiteraard volgen we bestaande wettelijke kaders en normen, zoals de AVG, BIO, Archiefwet, Wet Open Overheid, etc. Deze wetten en normen zijn voor de leesbaarheid hier niet opgenomen, maar zullen dusdanig verwerkt worden in het instrument zodat dubbeling zoveel mogelijk voorkomen wordt – ook in relatie tot het bestaande Quality Assurance proces. De volgende uitgangspunten zijn relevant per stap van de levenscyclus algoritmes.

3.2 Uitgangspunten per stap van de levenscyclus algoritmes 0. Organisatieverantwoordelijkheden 



Kennisniveau medewerkers op peil houden – De gemeente Amsterdam spant zich actief in om de digitale geletterdheid (inclusief AI-geletterdheid) van haar medewerkers op peil te houden. Hierdoor zijn medewerkers zich bewust van hoe algoritmes ongelijke behandeling kunnen veroorzaken of versterken, en hoe dit voorkomen kan worden. Multidisciplinair en divers samengestelde teams betrekken bij algoritme ontwikkeling – Een dataspecialist is niet de enige die over een algoritme gaat, het algoritme wordt namelijk door een multifunctioneel team ontwikkeld. Het team is idealiter samengesteld met oog voor diversiteit (zoals leeftijd, geslacht, professionele achtergrond en culturele diversiteit).

1. Probleemanalyse 

Context en meerwaarde algoritme bepalen en vastleggen – Het is essentieel om van tevoren na te denken over het probleem dat het algoritme oplost en over de meerwaarde van het algoritme tegenover bijvoorbeeld een mens-gedreven proces. En het is van belang te bepalen welke ethische waarden het algoritme verbetert en welke waarden mogelijk onder druk komen te staan. Waarbij de conclusie is of het algoritme het juiste middel is om het probleem op doelmatige wijze op te lossen. Dit dient goed beschreven en

Gemeente Amsterdam





Datum 8 april 2025 Pagina 12 van 26

gedocumenteerd te worden, waarbij de doelgroep zowel interne als externe belanghebbenden kunnen zijn. Hierbij wordt de wettelijke grondslag voor het verwerken van eventuele persoonsgegevens in ogenschouw genomen. Extra aandacht bij profilering – Profilering kan bijdragen aan het vergroten van effectiviteit, efficiëntie en kostenbesparing van overheidshandelen14. Tegelijkertijd is profilering een zwaarwegend middel. Aan het gebruik zijn daarom al strikte voorwaarden verbonden, onder meer om eerlijke behandeling te garanderen. Zo moet het gemaakte onderscheid geschikt, noodzakelijk en proportioneel zijn. Voor risicoprofilering door middel van een algoritme gelden nog striktere eisen. De gevolgen op onder meer de uitlegbaarheid en robuustheid worden getoetst in de proportionaliteitsweging van de ingezette methode en dienen verantwoord te kunnen worden. Extra aandacht voor kwetsbare groepen – Tijdens de probleemanalyse en ontwerpfase worden groepen in de doelpopulatie geïdentificeerd, met extra aandacht voor kwetsbare groepen op basis van de beschermde gronden onder de Awgb15. Hierbij worden eventuele nadelige gevolgen in kaart gebracht en wordt er een expliciet besluit genomen of deze gevolgen acceptabel zijn.

2. Ontwerp 



 

Extra aandacht persoonsgegevens – Bij verwerking van (bijzondere16) persoonsgegevens door de overheid zijn we ons bewust van de verhoogde kans op oneerlijke behandeling van natuurlijke personen en organisaties. Als algoritmes worden ingezet ten behoeve van besluitvorming-ondersteunende processen waarbij persoonsgegevens worden verwerkt, dan is het waarborgen van eerlijke behandeling daarom extra relevant. Dit geldt ook voor de verwerking van gegevens die indirect rechtsgevolgen hebben op personen. Afwegen algoritmische methoden – Geschikte algoritmische methoden, die tijdens de ontwikkelfase getest worden, worden zorgvuldig tegen elkaar afgewogen. Keuzes over de (on)geschiktheid van methoden worden gedocumenteerd. Hierbij behoren onder meer uitlegbaarheid en robuustheid tot de vergelijkingscriteria. Prestatie algoritme meten – Hoe goed een algoritme werkt is belangrijk om te meten. Relevante prestatiemetrieken voor de algoritmische toepassing worden vastgelegd. Oordeel vellen over technische eerlijkheid algoritme – Afhankelijk van de context wordt in de technische bias-analyse wat de meest relevante kwantitatieve maat is, ook wel

Profilering zoals gedefinieerd in artikel 4 van de AVG: “Elke vorm van geautomatiseerde verwerking van persoonsgegevens waarbij aan de hand van persoonsgegevens bepaalde persoonlijke aspecten van een natuurlijke persoon worden geëvalueerd, met name met de bedoeling zijn beroepsprestaties, economische situatie, gezondheid, persoonlijke voorkeuren, interesses, betrouwbaarheid, gedrag, locatie of verplaatsingen te analyseren of te voorspellen.” 15 Beschermde gronden onder de Algemene wet gelijke behandeling (Awgb): godsdienst, levensovertuiging, politieke gezindheid, ras, geslacht, nationaliteit, hetero- of homoseksuele gerichtheid of burgerlijke staat. Maar ook gronden die formeel niet juridisch beschermd zijn, maar op basis waarvan onderscheid alsnog ethisch onwenselijk kan zijn, zoals overgewicht, opleidingsniveau en professioneel voorkomen. 16 Bijzondere persoonsgegevens volgens de AVG: ras, politieke opvatting, religie, lidmaatschap vakbond, persoonlijke gezondheid, seksueel gedrag, genetische gegevens en biometrische gegevens. 14

Gemeente Amsterdam

Datum 8 april 2025 Pagina 13 van 26

eerlijkheidsmetriek of biasmetriek genoemd. De keuze voor de eerlijkheidsmetriek wordt in overleg genomen en gedocumenteerd. Er wordt een keuze gemaakt uit bestaande instrumenten, zoals de Aequitas-beslisboom17 en andere (open-source) “technische” instrumenten, maar bijvoorbeeld ook uit hulpmiddelen zoals de ‘gouden standaard’18 van demografische pariteit (“evenwichtige verdeling”).

3. Dataverkenning en datapreparatie 









17 18

Hoge kwaliteit trainingsdata gebruiken – Om betrouwbare data zoveel mogelijk te garanderen, wordt trainingsdata en/of synthetische data verzameld. Deze data gebruiken we alleen wanneer de data van voldoende kwaliteit is en geschikt is voor het doel van het algoritme. Dit proces wordt gedocumenteerd. Het proces is controleerbaar en repliceerbaar. Dit geldt ook voor data die middels derde partijen zijn verkregen. Als het dataverzamelingsproces wijzigt, wordt de datakwaliteit opnieuw beoordeeld, met extra aandacht voor de representativiteit van de (eerder gebruikte) trainingsdata. Als het dataverzamelingsproces eenmaal is opgezet kan het proces alleen worden gewijzigd als daar een duidelijke noodzaak voor is. Historische vs. huidige datakwaliteit meten – De data worden gecontroleerd op ontbrekende waarden, nauwkeurigheid en representativiteit. Resultaten hiervan worden gedocumenteerd. Mochten verschillen zich voordoen, dan worden deze toegelicht en worden mitigerende maatregelen overwogen. Bij gebruik van historische data wordt in het bijzonder aandacht besteed aan de verschillen tussen historische data en huidige data. Dit is belangrijk omdat historische data mogelijk verouderde patronen of vooroordelen bevatten die niet meer aansluiten bij de huidige context, wetgeving, of actuele trends.

Overweeg om willekeurige steekproeven uit te voeren – De kwaliteit van het algoritme kan onderzocht worden door bijvoorbeeld willekeurige steekproeven in te zetten. Dit kan zowel worden ingezet om de kwaliteit van het algoritme te checken en als separaat selectiemechanisme dat – parallel aan het algoritme – selecteert. Bij profilering kunnen zelfs striktere eisen worden gesteld, zie de keuze in paragraaf 4.5. Documenteren van keuzes in de data-analyse – De geschiktheid van datasets, analysemethoden en daarop voortbouwende beslissingen worden gemotiveerd en gedocumenteerd. Expliciete besluitvorming bij onvoldoende (kwalitatieve) data – Wanneer data niet als voldoende geschikt of van voldoende kwaliteit wordt geacht, wordt er een expliciet besluit genomen of: o er geen algoritme gebruikt wordt; óf o eerst andere data verzameld wordt die voldoende nauwkeurig en representatief is.

https://www.datasciencepublicpolicy.org/our-work/tools-guides/aequitas/ Gouden Standaard 2020 | CBS

Gemeente Amsterdam

Datum 8 april 2025 Pagina 14 van 26

4. Ontwikkelen  



Betrekken van experts – Experts worden gehoord over relevante open juridische normen en ethische afwegingen die gedurende het ontwikkelproces in beeld zijn gebracht. Kwalitatieve (juridische) toets bij profilering – Bij profilering worden kenmerken nagelopen op exclusie- en inclusiegronden door privacy- en/of mensenrechten experts19. De toets voorkomt profilering op basis van onderbuikgevoelens. Statistische hypothesetoets bij profilering – Aan de hand van de willekeurige steekproef wordt een statistische hypothesetoets toegepast om na te gaan of er een statistisch significant verband bestaat tussen een profileringskenmerk en het legitiem nagestreefde doel. De toets zelf geeft geen uitsluitsel, maar kan als onderdeel van de gehele biasanalyse uiteindelijk profilering op basis van onjuiste aannames voorkomen.

5. Verificatie en validatie 







Validatie door onafhankelijke kundige derde – In bepaalde – nader te bepalen – situaties is het wenselijk om een ontwikkeld algoritme te laten valideren door (externe of interne, maar wel onafhankelijke) experts die niet betrokken zijn geweest bij het ontwerpproces. Beoordeling algoritmische oplossing versus alternatief – Bij beoordeling of een digitaal algoritme (indirect) discrimineert wordt rekening gehouden met het alternatief dat het algoritme niet wordt ingezet. Dit is ofwel een bestaande niet-algoritmische methode ofwel het volledig afzien van de toepassing. Daarbij worden alle drie de invalshoeken organisatorisch, juridisch en technisch meegenomen. Bias-analyse algoritme afwegen tegen huidige proces – Bij de inzet van algoritmes is discriminatie niet altijd zichtbaar. Een bias-analyse van het algoritme speelt bij het toetsen van eerlijke behandeling daarom een belangrijke rol. Indien mogelijk wordt een bias-analyse verricht aan de hand van interne (binnen de gemeente beschikbare) gegevens en de gekozen eerlijkheidsmetriek. Wanneer de bias-analyse niet (goed) uitgevoerd kan worden, bijvoorbeeld door gebrek aan data door toepassing van het dataminimalisatieprincipe (zie de keuze in paragraaf 4.2), dan wordt een nader te bepalen alternatief ethisch afwegingsproces uitgevoerd.

Bias-analyse aan de hand van beschermde gronden – Voor een bias-analyse kunnen intern beschikbare gegevens over beschermde gronden en gevoelige kenmerken worden gebruikt20. Indien interne gegevens niet beschikbaar zijn, wordt overwogen om het Centraal Bureau voor de Statistiek (CBS) te benaderen voor een maatwerkverzoek21.

Zie ook schriftelijke vragen inzake toegepaste profileringscriteria gemeentelijke algoritmes, 04-12-2023: https://amsterdam.raadsinformatie.nl/document/13573898/1/236+sv+Aslami%2C+IJmker+en+Garmy+inzake+toegepaste+profile ringscriteria+gemeentelijke+algoritmes 20 Zie interpretatie van artikel 9 AVG in de context van ‘Slimme check levensonderhoud’ https://algoritmeregister.amsterdam.nl/onderzoekswaardigheid-slimme-check-levensonderhoud/. 21 https://www.cbs.nl/nl-nl/onze-diensten/maatwerk-en-microdata 19

Gemeente Amsterdam



Datum 8 april 2025 Pagina 15 van 26

Afweging eerlijke behandeling – Er wordt nagegaan of groepen verschillend worden behandeld, of dit verschil nadelig is voor deze groep en of het verschil te rechtvaardigen is. Hierover wordt een expliciet besluit genomen en gedocumenteerd.

6. Implementatie 



Rechten van belanghebbenden waarborgen – Bij implementatie van het algoritme worden belanghebbenden, bijvoorbeeld inwoners op wie de algoritmes impact hebben, op de hoogte gebracht van hun rechten (bijv. recht op informatie, recht om niet onderworpen te worden aan geautomatiseerde besluitvorming). Deze maatregel is indirect van invloed op het waarborgen van (on)eerlijke behandeling omdat het belanghebbenden actief informeert dat gegevens worden verwerkt door een algoritme. Deze bewustwording helpt om mogelijk onwenselijk of onrechtmatig onderscheid op te sporen. Het bestaande gemeentelijke bezwaar- en beroepproces wordt geëvalueerd en waar nodig aangepast om te zorgen dat klachten effectief door de organisatie opgepikt worden. Toegankelijkheid toepassing waarborgen – Gebruikerstesten, gebruiksgemak en toegankelijkheid van de toepassing moeten voldoen aan de Web Content Accessibility Guidelines (WCAG)22 volgens het besluit digitale toegankelijkheid overheid23.

7. Monitoring en beheer 





22 23

Impact algoritme meten gedurende levensduur – Eerlijke behandeling wordt gedurende de inzet van het algoritme gemonitord aan de hand van eerder gespecificeerde eerlijkheid- en prestatiemetrieken. Als tijdens de toepassing een van deze metrieken significant afwijkt, dan wordt beoordeeld of dit acceptabel is. Als dit niet het geval is, dan wordt de toepassing (tijdelijk) stopgezet totdat de oorzaak van de afwijking in beeld is gebracht. Data en modellen up-to-date houden – Bij updates van de onderliggende datasets en algoritmische modellen worden de data, huidige- en/of nieuwe modellen geëvalueerd om oneerlijke behandeling in nieuwe versies van de toepassing tegen te gaan. Versiebeheer van het algoritme – Het algoritme wordt bewaard en beheerd met behulp van versiebeheer, zodat mogelijke (on)eerlijke behandeling uit het verleden getraceerd en verklaard kan worden.

Web Content Accessibility Guidelines (WCAG) 2.2 wetten.nl - Regeling - Tijdelijk besluit digitale toegankelijkheid overheid - BWBR0040936

Gemeente Amsterdam

Datum 8 april 2025 Pagina 16 van 26

8. Uitfaseren 

Archiveren van het algoritme – Gebruikers kunnen geen gebruik meer van maken van het algoritme. Bij een zelf-ontwikkeld algoritme wordt het dusdanig gearchiveerd zodat later kan worden gereconstrueerd hoe het systeem heeft gefunctioneerd. Hierbij wordt rekening gehouden met bijvoorbeeld bewaartermijnen en archiveringstermijnen vanuit de Archiefwet en andere relevante wet- en regelgeving.

Gemeente Amsterdam

Datum 8 april 2025 Pagina 17 van 26

4 Keuzes bias-analyse

In hoofdstuk 3 zijn de algemene uitgangspunten voor een bias-analyse beschreven. Er zijn ook nog enkele open punten, die in dit hoofdstuk in de vorm van problemen voorgelegd worden. Ieder probleem is voorzien van een vraag, toelichting en een voorgestelde richting. In Tabel 1 is een overzicht gegeven van de problemen, uitgesplitst naar de verschillende onderwerpen in een bias-analyse. In de daarop volgende paragrafen worden de problemen toegelicht.

Probleem

Voorgestelde richting

Algemeen

4.1 Bias-analyse is zeer arbeidsintensief en soms onmogelijk

Een bias-analyse is arbeidsintensief, waarbij de benodigde tijd en middelen aanzienlijk toenemen naarmate meer kenmerken en de relaties daartussen onderzocht worden. Daarnaast is niet alle data beschikbaar (zie probleem 2). Een “volledige” biasanalyse is praktisch nooit mogelijk.

Voor een nader te bepalen aantal situaties wordt gespecificeerd wat de scope en diepgang van de biasanalyse moet zijn, welke aanvullende data daarvoor noodzakelijk is, wanneer onderlinge relaties tussen kenmerken onderzocht moeten worden en wie daarbij betrokken moet worden. Hierbij wordt rekening gehouden met bijvoorbeeld juridische (on)mogelijkheden. Nader onderzoek is nodig om generieke scope en diepgang voor specifieke situaties te bepalen.

Juridisch

4.2 Persoonsgegevensverwerking voor bias-analyse in relatie tot de AVG Om een bias-analyse uit te voeren zijn altijd persoonsgegevens nodig. De Algemene verordening gegevensbescherming (AVG) biedt heldere regels en kaders voor het gebruik van persoonsgegevens. Bijvoorbeeld dat er zo min mogelijk persoonsgegevens gebruikt worden. Maar om een zo compleet mogelijke technische bias-analyse uit te voeren, moeten bijna altijd meer persoonsgegevens verzameld en verwerkt worden. Dit staat op gespannen voet met het dataminimalisatieprincipe uit de AVG.

Bij een bias-analyse gebruiken we alleen de persoonsgegevens die beschikbaar zijn voor het doel waarvoor het algoritme wordt ingezet. We accepteren dat hiermee de technische bias-analyse een beperkt beeld geeft. Dit beeld wordt aangevuld met een juridische en organisatorische bias-analyse om te komen tot één gecombineerd (kwantitatief en kwalitatief) oordeel of het algoritme eerlijk genoeg is (zie voorgestelde richting probleem 3).

Gemeente Amsterdam

Probleem

Datum 8 april 2025 Pagina 18 van 26

Voorgestelde richting

Organisatorisch

4.3 Bias-analyse op zichzelf geeft geen eenduidige conclusie en is lastig op waarde te schatten

Uitkomsten van een technische bias-analyse zijn lastig te interpreteren en nog geen onderdeel van een integrale (ethische) afweging. Een technische bias-analyse wordt nu wel op zichzelf gebruikt om een oordeel over een algoritme te vellen.

Maak geen beslissingen op basis van alleen een technische bias-analyse, maar bekijk het in het bredere perspectief. Hieronder vallen zowel juridische als organisatorische bias-analyses. Maar bijvoorbeeld ook de Tada-waarden en de principes uit de Visie op AI. Vergelijk de prestatie van het algoritme altijd met het mensgedreven proces. Wanneer er geen alternatieven voorhanden zijn moet een waardegedreven afweging worden gemaakt of inzet van de technologie wenselijk is.

4.4 Verschillende visies over gebruik van afkomstgerelateerde kenmerken in risicoprofilering door een algoritme

Technisch

Een specifieke vorm van profilering is risicoprofilering. Dat wordt door het College voor de Rechten voor de Mens gedefinieerd als “het toepassen van één of meer criteria op basis waarvan een handhavende instantie een bepaald risico op normovertreding inschat. Deze risicoinschatting wordt vervolgens gebruikt om personen te selecteren op wie (nadere) controle wordt toegepast.” Er zijn verschillende visies of het gebruik van afkomstgerelateerde kenmerken door een algoritme in risicoprofilering eerlijk is.

We sluiten het gebruik van afkomstgerelateerde kenmerken uit voor nader te bepalen algoritmische toepassingen (op basis van verboden toepassingen uit de AI-verordening, zoals social scoring, en op basis van nader onderzoek). Leg vast waarom indirect onderscheid niet systematisch uitgesloten kan worden en verwijs hierbij naar de altijd verplichte objectieve rechtvaardigingstoets om eerlijke behandeling te toetsen. Met het nieuwe toetsingskader van het College voor de Rechten van de Mens zullen praktisch toepasbare instructies opgesteld worden als onderdeel van het beheerskader algoritmes.

4.5 Verschillende visies over volledig automatiseren van processen waarin profilering gebruikt wordt

Profilering is een zwaarwegend middel en mag volgens de AVG alleen onder strenge voorwaarden. Sommige processen zijn volledig geautomatiseerd, bijvoorbeeld het geautomatiseerd handhaven of voertuigen wel in een bepaalde milieuzone mogen rijden. Als processen zowel volledig geautomatiseerd zijn én er wordt profilering gebruikt, dan kunnen de gevolgen in potentie groot zijn. Er is immers per definitie geen menselijke tussenkomst, waardoor fouten wellicht niet op tijd opgemerkt worden.

In de praktijk is het “best practice” om op verschillende manieren algoritmes inhoudelijk te controleren op eerlijke behandeling, als onderdeel van de technische bias-analyse. Een geaccepteerde en veelgebruikte best practice is het parallel uitvoeren van willekeurige selectie naast algoritme profileringgedreven en signaal-gedreven selectie. Onderdeel hiervan is om medewerkers die een casus verwerken binnen het nagestreefde doel niet te informeren hoe de persoon of organisatie in kwestie is geselecteerd, om daarmee vooringenomenheid te voorkomen. We kiezen dus om processen waarin hoger risico algoritmes gebruikt worden niet volledig te automatiseren, maar ook (willekeurige) steekproeven te

Gemeente Amsterdam

Datum 8 april 2025 Pagina 19 van 26

Probleem

Voorgestelde richting nemen om de eerlijkheid van het algoritme te testen. In de uitwerking van het beheerskader wordt nader bepaald voor welke risicoclassificatie dit geldt en hoe de steekproeven ingericht dienen te worden qua scope, timing en proces.

4.6 Verschillende visies over het gebruik van AI bij profilering Intensieve automatisering (AI) kan helpen bij algoritmische profilering met als doel selecteren van personen of groepen. Dit brengt echter ook risico’s met zich mee, onder andere rondom de uitlegbaarheid.

We willen transparant zijn rondom het gebruik van algoritmes en uit kunnen leggen waarom burgers geselecteerd zijn. Daarom verbieden we zelflerendealgoritmes, waarbij het algoritme burgers profileert en selecteert voor een bepaald doel.

Tabel 1 Overzicht problemen en voorgestelde richting bias-analyse

4.1 Bias analyse is zeer arbeidsintensief en soms onwenselijk Probleem: Een bias-analyse is arbeidsintensief en kostbaar, waarbij de benodigde tijd en middelen aanzienlijk toenemen naarmate meer kenmerken onderzocht worden. Daarnaast is niet alle data beschikbaar (zie probleem 2). Een “volledige” bias-analyse is praktisch nooit mogelijk. Vraag: Welke scope moet een bias-analyse in welke situatie hebben? De beschikbare tijd en middelen moeten per geval bekeken worden. Des te uitgebreider de bias-analyse, des te meer data van verschillende kenmerken nodig is, en des te meer relaties tussen deze data geanalyseerd wordt. De toename in complexiteit neemt niet lineair, maar exponentieel toe. Er zal daarnaast zelden voldoende relevante data zijn met betrekking tot beschermde gronden of gevoelige kenmerken. Toelichting: Om te toetsen op bias moeten diverse kenmerken onderzocht worden, bijvoorbeeld geslacht. Indien ook getoetst moet worden op combinaties van kenmerken, bijvoorbeeld geslacht met een specifieke huishoudelijke samenstelling en leeftijd, dient die data wel beschikbaar te zijn en de onderzoeksgroep groot genoeg. Hierdoor wordt de bias-analyse aanzienlijk moeilijker en tijdrovender.

Daarnaast zijn de 16 gevoelige kenmerken en de in de Awgb-gespecificeerde beschermde gronden niet altijd beschikbaar in de databases van de gemeente Amsterdam of mogen niet verwerkt worden vanuit privacy-overwegingen. Bijvoorbeeld: tijdens ontwikkeling van het Blurring-as-a-Service (BaaS) algoritme – dat persoonsgegevens uit camerabeelden verwijdert – was geen data beschikbaar over de etniciteit van personen (in dit specifieke geval de huidskleur). Toch werd het noodzakelijk geacht om een bias-analyse uit te voeren met betrekking tot dit kenmerk. Er is daarom specifiek voor het uitvoeren van een bias-analyse van het BaaS-algoritme data verzameld en geannoteerd waarbij medewerkers van de gemeente op een

Gemeente Amsterdam

Datum 8 april 2025 Pagina 20 van 26

gestandaardiseerde en repliceerbare wijze een score hebben toegekend aan de huidskleur van personen in camerabeelden. Deze data zijn vervolgens gebruikt voor de bias-analyse. Dergelijke processen voor dataverzameling en -annotatie zijn tijdrovend en kunnen niet altijd voor alle beschermde gronden, laat staan voor alle 16 gevoelige kenmerken of een combinatie van deze kenmerken, worden uitgevoerd. Maar er is nergens beschreven tot hoever de analyse dan wel moet gaan. Voorgestelde richting: Voor een nader te bepalen aantal situaties (bijvoorbeeld het automatisch controleren of een auto het recht heeft om geparkeerd te staan in een bepaalde wijk) wordt gespecificeerd wat de scope en diepgang van de bias-analyse moet zijn, welke aanvullende data daarvoor noodzakelijk is, wanneer onderlinge relaties tussen kenmerken onderzocht moeten worden en wie daarbij betrokken moet worden. Hierdoor kan de gebruiker eerder inschatten wat de benodigde tijd, middelen en capaciteit is voor een algoritme in een specifieke context. En dus ook bepalen of eventueel aanpassingen wenselijk zijn rondom het algoritme of om geen algoritme in te zetten. In de context van BaaS is bijvoorbeeld expliciet de keuze gemaakt om de bias-analyse uit te voeren met betrekking tot de volgende gronden: geslacht, leeftijd, huidskleur, kleding en attributen24.

Hierbij wordt rekening gehouden met bijvoorbeeld juridische (on)mogelijkheden. Nader onderzoek is nodig om generieke scope en diepgang voor specifieke situaties te bepalen.

4.2 Persoonsgegevensverwerking voor bias-analyse staat op gespannen voet met de AVG Probleem: Om een bias-analyse uit te voeren zijn altijd persoonsgegevens nodig. De Algemene verordening gegevensbescherming (AVG) biedt heldere regels en kaders voor wanneer persoonsgegevens gebruikt kunnen worden. Bijvoorbeeld dat er zo min mogelijk persoonsgegevens gebruikt worden om het doel te bereiken. Om een zo compleet mogelijke technische bias-analyse uit te voeren, moeten veel persoonsgegevens verzameld worden, vaak ook bijzondere persoonsgegevens. Dit staat op gespannen voet met sommige regels uit de AVG. Vraag: Om een bias-analyse uit te kunnen voeren heb je vaak persoonsgegevens nodig om te concluderen of mensen of groepen worden achtergesteld. Deze persoonsgegevens zijn niet altijd nodig voor het doel van het algoritme en dus niet beschikbaar om een bias-analyse mee te doen.

Moet bij ontbrekende data alsnog aanvullende dataverzameling en –annotatie worden ingezet om een volledigere bias-analyse uit te kunnen voeren? En specifieker: moet een bias-analyse met betrekking tot gevoelige kenmerken worden verplicht, gegeven dat het voor dit doel noodzakelijk verwerken van persoonsgegevens tegenstrijdig is met principes zoals dataminimalisatie uit de Algemene Verordening Gegevensbescherming (AVG) wetgeving? Toelichting: Om bijvoorbeeld te controleren of een algoritme bias vertoont op het kenmerk “geslacht”, zal dit kenmerk beschikbaar moeten zijn. Maar dit kenmerk wordt niet per se in het 24

Fairness analyse.pdf

Gemeente Amsterdam

Datum 8 april 2025 Pagina 21 van 26

desbetreffende proces gebruikt. Dit betekent dat de data rondom geslacht niet beschikbaar is om een bias-analyse op te verrichten. En zelfs als het kenmerk beschikbaar is, dan zou je wellicht willen controleren op een combinatie van de kenmerken “geslacht” en “burgelijke staat”. De toenmalige wethouder ICT en Digitale Stad heeft in de informatieraadsbrief van 25 januari 2023 toegezegd dat bias-analyses van algoritmes worden uitgevoerd met betrekking tot zoveel mogelijk van de 16 gevoelige kenmerken.10 Een deel van deze kenmerken is in de AVG aangemerkt als Bijzondere categorie persoonsgegeven25. Verwerking van deze gegevens is verboden tenzij aan een van de uitzonderingsgronden in de AVG of AI-verordening26 wordt voldaan. Ook wanneer de gevoelige kenmerken geen bijzondere persoonsgegevens27 betreffen, moeten voor een dergelijke bias-analyse persoonsgegevens verwerkt worden. In de meeste gevallen zijn deze persoonsgegevens niet specifiek verzameld voor het doel van de toepassing. En deze persoonsgegevens zijn daarom niet noodzakelijk om het nagestreefde doel van het algoritme uit te voeren. Dat betekent dat deze persoonsgegevens extra moeten worden verzamelt en verwerkt, met als (aanvullend) doel bias onderzoeken.

De verwerking van deze persoonsgegevens staat daarmee op gespannen voet met het principe van doelbinding en dataminimalisatie uit de AVG.28 Voorgestelde richting: Een bias-analyse is alleen verplicht met persoonsgegevens die beschikbaar zijn binnen het doel waarvoor het algoritme wordt ingezet. We accepteren dat hiermee de technische bias-analyse een beperkt beeld geeft. Soms kan ontbrekende data opgevuld worden met synthetische data, maar dit is lang niet altijd mogelijk. En in sommige situaties zal er een wettelijke grondslag zijn om meer gegevens te verzamelen. Dan verzamelen en gebruiken we deze extra gegevens. De uitkomsten van een technische bias-analyse wordt aangevuld met een juridische en organisatorische bias-analyse om te komen tot één gecombineerd (kwantitatief en kwalitatief) oordeel of het algoritme eerlijk genoeg is. Een technische bias-analyse met betrekking tot 16 gevoelige kenmerken geldt nog wel als algemeen uitgangspunt, maar we accepteren dat zelden op alle kenmerken (of een combinatie daarvan) kan worden getest. Zo worden teams/medewerkers aangemoedigd om de reikwijdte van de bias-analyse te vergroten terwijl geen extra data verzamelt hoeft te worden.

We onderzoeken of het opdelen van de 16 gevoelige kenmerken de bias-analyse praktisch werkbaarder maakt, bijvoorbeeld een onderscheid in a) de kenmerken die een bijzonder persoonsgegeven zijn volgens de AVG13 en b) andere kenmerken15. Met deze maatregelen wordt voldaan aan de strikt juridische eisen (actieve inspanningsverplichting om gelijke behandeling met betrekking tot beschermde gronden te garanderen) en wordt voldaan aan ethische- en maatschappelijke verwachting om Zie artikel 9 AVG. Van de 16 kenmerken zijn de volgende bijzondere persoonsgegevens volgens artikel 9(1) AVG: huidskleur, etniciteit, seksuele geaardheid, religie, politieke opvatting, zwangerschap, gezondheid en genetica 26 De AI verordening introduceert een uitzondering waardoor bijzondere persoonsgegevens verwerkt mogen worden, voor zover dit strikt noodzakelijk is om de opsporing en correctie van bias te waarborgen in verband met de AI-systemen met een hoog risico. 27 De volgende van de 16 kenmerken zijn geen bijzondere persoonsgegevens volgens artikel 9(1) AVG: nationaliteit, geboorteland, postcode, geslacht, leeftijd, burgerlijke staat, verblijfsstatus, sociale klasse. 28 Er is geen sluitend juridisch antwoord op deze vraag, noch beschikbare jurisprudentie. In de AI-verordening wordt expliciet stilgestaan bij het belang om een dergelijke bias-analyse wel uit te kunnen voeren.

AVG artikel 5(1)(c): Verwerking van persoonsgegevens moet “toereikend zijn, ter zake dienend en beperkt tot wat noodzakelijk is voor de doeleinden waarvoor zij worden verwerkt (‘minimale gegevensverwerking’)”. Zie ook AI-verordening Artikel 10 (5). 25

Gemeente Amsterdam

Datum 8 april 2025 Pagina 22 van 26

gelijke behandeling breder te interpreteren (bijvoorbeeld met het onderzoeken van een deel van de 16 kenmerken). De Directie Coördinatie Algoritmes (DCA) van de Autoriteit Persoonsgegevens zijn aan het onderzoeken of landelijke normuitleg over dit vraagstuk mogelijk is. Intern beleid wordt op basis van dit juridische advies en mogelijke normuitleg waar nodig aangepast.

4.3 Bias analyse op zichzelf geeft geen eenduidige conclusie en is lastig op waarde te schatten Probleem: Uitkomsten van een technische bias-analyse zijn lastig te interpreteren en nog geen onderdeel van een integrale (ethische) afweging. Een technische bias-analyse wordt nu wel op zichzelf gebruikt om een oordeel over een algoritme te vellen. Vraag: Accepteren we dat een technische bias-analyse vaak geen uitsluitsel over wenselijkheid geeft en op waarde moet worden geschat als onderdeel van een bredere afweging? Toelichting: Een technische bias-analyse is onderdeel van het oordeel of een algoritme eerlijk is. Simpel gezegd komt uit deze technische bias-analyse een “getal”, maar geen eenduidige conclusie of het algoritme eerlijk is. Voor een goede duiding moet het “getal” gerelateerd worden aan een te bepalen norm welke onderdeel is van een integrale afweging. Bijvoorbeeld rondom een juridisch en organisatorisch bias oordeel, maar ook ten opzichte van het alternatief (wat als we geen algoritme gebruiken). Bij de bias-analyse van ‘Slimme check levensonderhoud’29 werd de bias van het algoritme-gedreven besluitvormingsproces afgezet tegen de aangetoonde bias in het mensgedreven besluitvormingsproces. Allereerst kwam naar voren dat in beide besluitvormingsprocessen bias werd geconstateerd.

Vervolgens werd vastgesteld dat in absolute getallen het algoritme gelijkwaardig of beter presteerde dan het mens-gedreven proces, op de onderzochte bias-metrieken. Echter, door de afwezigheid van een vooraf gestelde norm om bias in het algoritmische en mens-gedreven besluitvormingsproces te wegen, is er niet vooraf expliciet gemaakt wat wenselijk is (mens-gedreven of algoritmisch). Dit zorgde voor verschillende interpretatiemogelijkheden toen de absolute getallen er wel waren. Daarnaast is de mogelijke verbetering die het algoritme zou kunnen brengen niet doorgezet omdat de bias nog ‘niet was geëlimineerd’ (iets wat onmogelijk is). Onder andere op basis van deze ervaring is het duidelijk dat er een beter kader en praktisch werkbaar instrument rondom bias-analyse moet komen. Voorgestelde richting: Maak geen beslissingen op basis van alleen een technische bias-analyse, maar bekijk het in het bredere perspectief. Hieronder vallen zowel juridische als organisatorische bias-analyses maar bijvoorbeeld ook de Tada waarden en de principes uit de Visie op AI. Vergelijk de prestatie van het algoritme altijd met het mens-gedreven proces. Wanneer er geen alternatieven voorhanden zijn moet een waarde-gedreven afweging worden gemaakt of inzet van

29

Bias analyse.pdf

Gemeente Amsterdam

Datum 8 april 2025 Pagina 23 van 26

de technologie wenselijk is, onder meer op basis van ethische overwegingen en de elementen onder stap 1 ‘Probleemanalyse’ uit de levenscyclus voor algoritmes.

4.4 Verschillende visies over gebruik van afkomst-gerelateerde kenmerken in risicoprofilering door een algoritme Probleem: Een specifieke vorm van profilering is risicoprofilering, en wordt door het College van de Rechten voor de Mens gedefinieerd30 als “het toepassen van één of meer criteria op basis waarvan een handhavende instantie een bepaald risico op normovertreding inschat. Deze risico-inschatting wordt vervolgens gebruikt om personen te selecteren op wie (nadere) controle wordt toegepast.” Er zijn verschillende visies of afkomst-gerelateerde kenmerken door een algoritme in risico profilering eerlijk zijn. Vraag: Mogen afkomst-gerelateerde kenmerken worden ingezet in algoritme-gedreven risicoprofilering? Toelichting: Onderscheid op basis van afkomst-gerelateerde kenmerken bij risicoprofilering is een discussiepunt. Het College van de Rechten van de Mens schrijft daarover: “Risicoprofilering brengt risico’s op discriminatie mee. Discriminatie is onderscheid op grond van bepaalde persoonskenmerken waarvoor geen objectieve rechtvaardiging is. Criteria die worden gebruikt in een risicoprofiel maken per definitie onderscheid tussen personen: daar zijn ze voor ontworpen.” Direct onderscheid op basis van ras of nationaliteit is verboden. Maar indirect onderscheid of onderscheid op basis van andere criteria is niet altijd verboden.

Het meten van indirect onderscheid is lastig, waarbij de variabelen niet altijd makkelijk te herkennen zijn. Dit zijn zogenoemde “proxy-variabelen”, voor ras zijn dat bijvoorbeeld taalvaardigheid, postcode of naam – op basis van deze proxy-variabelen kun je ras afleiden. Bij het discriminatieverbod is de hamvraag steeds of er een objectieve rechtvaardiging is voor een selectiecriterium of risicofactor. Risicoprofilering mag onder strikte voorwaarden worden ingezet voor bijvoorbeeld (jeugd)criminaliteitspreventie, of handhaving en toezicht van sociale voorzieningen. En hierbij kunnen algoritmes worden gebruikt, waarvoor nog strengere voorwaarden gelden. Het College voor de Rechten van de Mens heeft begint 2025 een vernieuwd toetsingskader gepubliceerd wat handvatten geeft om te bepalen of onderscheid maken mag. Of deze vorm van algoritmische risicoprofilering gewenst is, is echter een politieke keuze. Voorgestelde richting: Sluit toepassingen met afkomst-gerelateerde kenmerken voor nader te bepalen specifieke algoritmische toepassingen uit (zie onder meer verboden toepassingen uit de AI-verordening: social scoring etc. maar ook de geleerde lessen uit de praktijk). Houd daarbij ook rekening met proxy-variabelen.

Leg vast waarom indirect onderscheid niet systematisch uitgesloten kan worden en verwijs hierbij naar de altijd verplichte objectieve rechtvaardigingstoets https://www.tweedekamer.nl/downloads/document?id=2024D20007 en Toetsingskader risicoprofilering – Normen tegen discriminatie op grond van ras en nationaliteit | College voor de Rechten van de Mens 30