1. Raadsinformatiebrief bias-analyse uitgangspunten en keuzes.pdf

Raadsinformatiebrief

Aan:

Portefeuillehouder(s): Behandeld door

De leden van de gemeenteraad van Amsterdam 8 april 2025 ICT en Digitale Stad Alexander Scholtes Digitale Strategie en Informatie (bestuurszaken.dii@amsterdam.nl)

Onderwerp

Uitgangspunten en keuzes rondom bias-analyse bij algoritmes (incl. AI)

Datum Portefeuille(s)

Geachte leden van de gemeenteraad, Met deze brief informeert het college u over het volgende. De gemeente staat voor eerlijke en transparante inzet van algoritmes en AI-systemen (verder: “algoritmes”1). Het Plan van Aanpak Algoritmes2 (“PvA Algoritmes”) is in de raadsvergadering van 26 juni 2024 behandeld, waarbij een aantal verbetervoorstellen met bijbehorende resultaten is toegelicht om algoritmes nog eerlijker en transparanter in te zetten. De uitkomst van het PvA Algoritmes is een geüpdatet en geïmplementeerd beheerskader algoritmes en een grondige analyse van de algoritmes die de gemeente momenteel gebruikt. In het beheerskader is er speciale aandacht voor het maken van een bias-analyse. Bias is ‘een systematisch verschil in behandeling van mensen of groepen in vergelijking met anderen’. In andere woorden: in een biasanalyse kijken we of het algoritme mensen eerlijk behandelt. Ik heb toegezegd dat ik u betrek in de ontwikkeling van het instrument bias-analyse. Met deze brief geef ik een tussenstand aan. Ik geef daarin aan welke uitgangspunten we daarbij willen hanteren en geef enkele nadere overwegingen ten aanzien van de bias-analyse. We gaan het voorstel iteratief doorontwikkelen om een praktisch werkbaar instrument voor bias-analyse op te leveren. Een eerste versie van het instrument zal eind 2025 gereed zijn. Ik zal dit begin 2026 met u delen.

Tot die tijd worden losse instrumenten gebruikt, zoals de ethische bijsluiter en het fairness handbook, en zal het proces maatwerk zijn en dus arbeidsintensiever. Vooropgesteld: er is altijd bias aanwezig, zowel in menselijke als geautomatiseerde processen. Of bias onwenselijk of oneerlijk is, kan alleen worden vastgesteld door menselijk (af)wegen. Wat eerlijk is, is daarmee situationeel. Een voorbeeld is dat in sommige landen bepaalde boetes worden gerelateerd aan iemands inkomen: des te hoger iemands inkomen, des te hoger de boete. Dit zorgt voor bias. In dezelfde situatie hebben mensen met een lager inkomen een voordeel en

1 Tot op heden is binnen Amsterdam de term “Algoritmen” gebruikt. Landelijk is “Algoritmes” inmiddels de standaard. Beide

schrijfwijzen zijn correct. Amsterdam neemt waar mogelijk de landelijke standaard “Algoritmes” over, bv. bestaande publicaties en (web)links blijven gelijk, maar voortaan verwijzen we naar het “PvA Algoritmes”. Het betreft slechts een stijlwijziging zonder inhoudelijke implicaties. 2 Volledige versie Plan van Aanpak Algoritmes: Plan van aanpak algoritmes - openresearch.amsterdam.

Gemeente Amsterdam, raadsinformatiebrief

Datum 8 april 2025 Pagina 2 van 5

worden mensen met een hoger inkomen benadeeld. Deze bias is echter een bewuste keuze en wordt in deze landen eerlijk gevonden. Daarom stellen we kaders op over wat we als organisatie eerlijk vinden en hoe je gestructureerd tot een bewuste en weloverwogen afweging komt. In de context van een bias-analyse zijn er drie onderdelen die bepalen of inzet van een algoritme eerlijk is: - Organisatorisch (willen we het): iedereen heeft een andere definitie van eerlijke behandeling; - Juridisch (mag het): wet- en regelgeving en beleid geven richting, maar zijn niet zwart-wit en geven vaak geen uitsluitsel over specifieke casuïstiek door verschillende interpretatiemogelijkheden; en - Technologisch (kan het): voor een grondige bias-analyse is veel data, rekencapaciteit, tijd en capaciteit nodig. Vaak is het juridisch of ethisch onwenselijk om die data te verzamelen en komt er alsnog geen antwoord uit of het algoritme mensen eerlijk behandelt. Om een eerlijke behandeling bij de inzet van algoritmes te waarborgen, hebben we een aantal algemene uitgangspunten opgesteld. Samengevat zijn de uitgangspunten: • We volgen het onderscheid dat het non-discriminatierecht maakt. Direct onderscheid mag alleen als er sprake is van een -limitatieve- uitzonderingsbepaling. Indirect onderscheid is alleen toegestaan als het redelijk en objectief kan worden gerechtvaardigd.

• We gebruiken waar mogelijk 16 gevoelige kenmerken in een bias-analyse. De 16 kenmerken (zoals nationaliteit en geslacht) zijn opgenomen in de raadsinformatiebrief van 25 januari 2023. •

•

• •

•

Ten aanzien van de ontwikkelingen op het gebied van geautomatiseerde besluitvorming volgen we het landelijk beleid. Op dit moment hebben we het “nee, tenzij” beleid. Er wordt door de Autoriteit Persoonsgegevens gewerkt aan een nadere uitwerking van de regels en waarborgen ten aanzien van geautomatiseerde besluitvorming. Wij volgen dit en passen indien nodig ons beleid, processen en instrumenten aan. We hanteren een risicogestuurde aanpak. Niet alle impactvolle algoritmes die de gemeente Amsterdam gebruikt vallen onder de definitie van een AI-systeem zoals gedefinieerd in de AI-verordening. Toch kunnen deze algoritmes wel risico’s op ongelijke behandeling met zich meebrengen. Daarom nemen we aanvullende maatregelen, die worden gedefinieerd aan de hand van onder andere de risicoclassificatie van een algoritme. We bieden zoveel mogelijk transparantie. Documentatie over algoritmes wordt -waar mogelijk- openbaar gemaakt in het landelijke Algoritmeregister. We vullen nationale en Europese normen zo concreet en contextafhankelijk mogelijk in. Dit geldt bijvoorbeeld voor abstracte (open) juridische normen en technische (procedurele) normen. We zijn compliant aan de relevante lokale, nationale en Europese wet- en regelgeving. Dit betekent bijvoorbeeld dat we het beheerskader algoritmes en de Tada-waarden

Gemeente Amsterdam, raadsinformatiebrief

Datum 8 april 2025 Pagina 3 van 5

toepassen. Ook volgen we vanzelfsprekend de bepalingen uit onder andere de AVG, BIO, Archiefwet en de Wet Open Overheid. Dit is in de bijlage nader uitgewerkt. Daar zijn ook aandachtspunten benoemd per specifieke stap in de levenscyclus van algoritmes, zoals probleemanalyse, ontwerp, dataverkenning, ontwikkeling, verificatie, implementatie, monitoring en uitfasering. Er zijn ook een aantal problemen waarover een keuze moet worden gemaakt. De bijgevoegde bijlage bevat uitgebreide informatie en overwegingen over de uitgangspunten, problemen en voorgestelde richtingen. In Tabel 1 zijn de problemen en bijbehorende voorgestelde richtingen samengevat. Probleem

Voorgestelde richting

Algemeen

4.1 Bias-analyse is zeer arbeidsintensief en soms onmogelijk

Een bias-analyse is arbeidsintensief, waarbij de benodigde tijd en middelen aanzienlijk toenemen naarmate meer kenmerken en de relaties daartussen onderzocht worden. Daarnaast is niet alle data beschikbaar (zie probleem 2). Een “volledige” biasanalyse is praktisch nooit mogelijk.

Voor een nader te bepalen aantal situaties wordt gespecificeerd wat de scope en diepgang van de biasanalyse moet zijn, welke aanvullende data daarvoor noodzakelijk is, wanneer onderlinge relaties tussen kenmerken onderzocht moeten worden en wie daarbij betrokken moet worden. Hierbij wordt rekening gehouden met bijvoorbeeld juridische (on)mogelijkheden. Nader onderzoek is nodig om generieke scope en diepgang voor specifieke situaties te bepalen.

Juridisch

4.2 Persoonsgegevensverwerking voor bias-analyse in relatie tot de AVG Om een bias-analyse uit te voeren zijn altijd persoonsgegevens nodig. De Algemene verordening gegevensbescherming (AVG) biedt heldere regels en kaders voor het gebruik van persoonsgegevens. Bijvoorbeeld dat er zo min mogelijk persoonsgegevens gebruikt worden. Maar om een zo compleet mogelijke technische bias-analyse uit te voeren, moeten bijna altijd meer persoonsgegevens verzameld en verwerkt worden. Dit staat op gespannen voet met het dataminimalisatieprincipe uit de AVG.

Bij een bias-analyse gebruiken we alleen de persoonsgegevens die beschikbaar zijn voor het doel waarvoor het algoritme wordt ingezet. We accepteren dat hiermee de technische bias-analyse (kan het) een beperkt beeld geeft. Dit beeld wordt aangevuld met een juridische (mag het) en organisatorische bias-analyse (willen we het) om te komen tot één gecombineerd (kwantitatief en kwalitatief) oordeel of het algoritme eerlijk genoeg is (zie voorgestelde richting probleem 3).

Gemeente Amsterdam, raadsinformatiebrief

Datum 8 april 2025 Pagina 4 van 5

Organisatorisch

4.3 Bias-analyse op zichzelf geeft geen eenduidige conclusie en is lastig op waarde te schatten

Uitkomsten van een technische bias-analyse zijn lastig te interpreteren en nog geen onderdeel van een integrale (ethische) afweging. Een technische bias-analyse wordt nu wel op zichzelf gebruikt om een oordeel over een algoritme te vellen.

Maak geen beslissingen op basis van alleen een technische bias-analyse, maar bekijk het in het bredere perspectief. Hieronder vallen zowel juridische als organisatorische bias-analyses. Maar bijvoorbeeld ook de Tada-waarden en de principes uit de Visie op AI. Vergelijk de prestatie van het algoritme altijd met het mensgedreven proces. Wanneer er geen alternatieven voorhanden zijn moet een waarde gedreven afweging worden gemaakt of inzet van de technologie wenselijk is.

4.4 Verschillende visies over gebruik van afkomstgerelateerde kenmerken in risicoprofilering door een algoritme

Technisch

Een specifieke vorm van profilering is risicoprofilering. Dat wordt door het College voor de Rechten voor de Mens gedefinieerd als “het toepassen van één of meer criteria op basis waarvan een handhavende instantie een bepaald risico op normovertreding inschat. Deze risicoinschatting wordt vervolgens gebruikt om personen te selecteren op wie (nadere) controle wordt toegepast.” Er zijn verschillende visies of het gebruik van afkomstgerelateerde kenmerken door een algoritme in risicoprofilering eerlijk is.

We sluiten het gebruik van afkomstgerelateerde kenmerken uit voor nader te bepalen algoritmische toepassingen (op basis van verboden toepassingen uit de AI-verordening, zoals social scoring, en op basis van nader onderzoek). Leg vast waarom indirect onderscheid niet systematisch uitgesloten kan worden en verwijs hierbij naar de altijd verplichte objectieve rechtvaardigingstoets om eerlijke behandeling te toetsen. Met het nieuwe toetsingskader van het College voor de Rechten van de Mens zullen praktisch toepasbare instructies opgesteld worden als onderdeel van het beheerskader algoritmes.

4.5 Verschillende visies over volledig automatiseren van processen waarin profilering gebruikt wordt

Profilering is een zwaarwegend middel en mag volgens de AVG alleen onder strenge voorwaarden. Sommige processen zijn volledig geautomatiseerd, bijvoorbeeld het geautomatiseerd handhaven of voertuigen wel in een bepaalde milieuzone mogen rijden. Als processen zowel volledig geautomatiseerd zijn én er wordt profilering gebruikt, dan kunnen de gevolgen in potentie groot zijn. Er is immers per definitie geen menselijke tussenkomst, waardoor fouten wellicht niet op tijd opgemerkt worden.

In de praktijk is het “best practice” om op verschillende manieren algoritmes inhoudelijk te controleren op eerlijke behandeling, als onderdeel van de technische bias-analyse. Een geaccepteerde en veelgebruikte best practice is het parallel uitvoeren van willekeurige selectie naast algoritme profileringgedreven en signaalgedreven selectie. Onderdeel hiervan is om medewerkers die een casus verwerken binnen het nagestreefde doel niet te informeren hoe de persoon of organisatie in kwestie is geselecteerd, om daarmee vooringenomenheid te voorkomen. We kiezen dus om processen waarin hoger risico algoritmes gebruikt worden niet volledig te automatiseren, maar ook (willekeurige) steekproeven te nemen om de eerlijkheid van het algoritme te testen. In de uitwerking van het beheerskader wordt nader bepaald

Gemeente Amsterdam, raadsinformatiebrief

Datum 8 april 2025 Pagina 5 van 5

voor welke risicoclassificatie dit geldt en hoe de steekproeven ingericht dienen te worden qua scope, timing en proces. 4.6 Verschillende visies over het gebruik van AI bij profilering Intensieve automatisering (AI) kan helpen bij algoritmische profilering met als doel selecteren van personen of groepen. Dit brengt echter ook risico’s met zich mee, onder andere ten aanzien van de uitlegbaarheid.

We willen transparant zijn over het gebruik van algoritmes en uit kunnen leggen waarom burgers geselecteerd zijn. Daarom verbieden we zelflerende algoritmes, waarbij het algoritme burgers profileert en selecteert voor een bepaald doel.

Tabel 1 Overzicht problemen en voorgestelde richtingen Deze uitgangspunten en voorgestelde richtingen worden gedurende 2025 en verder uitgewerkt in een praktisch werkbaar instrument, niet alleen gericht op technische medewerkers (zoals de dataanalist of de datascientist) maar juist ook voor niet-experts. Zo helpen we hen de juiste afweging te maken en beslissing te nemen, zodat algoritmes burgers en werknemers zo eerlijk mogelijk behandelen. De uitgangspunten gelden in ieder geval voor hoog-risico algoritmes. Voor de overige algoritmes zal in de uitwerking een afweging gemaakt worden welke uitgangspunten van toepassing zijn. Daarbij zal een afweging worden gemaakt tussen mogelijke impact, benodigde tijd en middelen en effectiviteit van het uitgangspunt. Ik zal u hierover bij de volgende voortgangsrapportage over het PvA Algoritmes informeren.

Met vriendelijke groet, Namens het college van burgemeester en wethouders van de gemeente Amsterdam,

Alexander Scholtes Wethouder ICT en Digitale Stad

Bijlage 1.

Achtergrond bias - uitgangspunten en keuzes v1.0.pdf