2. Achtergrond bias-analyse uitgangspunten en keuzes v1.0.docx

Gemeente Amsterdam

Datum 8 april 2025 Pagina 24 van 26

om eerlijke behandeling te toetsen. Met het nieuwe toetsingskader van het College van de Rechten van de Mens zal zullen praktisch toepasbare instructies gemaakt worden als onderdeel van het beheerskader algoritmes.

4.5 Verschillende visies over volledig automatiseren van processen waarin profilering gebruikt wordt Probleem: Profilering is een zwaarwegend middel en mag volgens de AVG alleen onder strenge voorwaarden31. Sommige processen zijn volledig geautomatiseerd, bijvoorbeeld het geautomatiseerd handhaven of voertuigen wel in een bepaalde milieuzone mogen rijden. Geautomatiseerde besluitvorming is meestal verboden. Geautomatiseerd besluiten mogen volgens de AVG wanneer het noodzakelijk is om een overeenkomst met deze persoon af te sluiten of uit te voeren, er in een wet staat dat het mag of diegene uitdrukkelijk toestemming heeft gegeven. Als processen zowel volledig geautomatiseerd zijn én er wordt profilering gebruikt32, dan kunnen de gevolgen in potentie groot zijn. Er is immers per definitie geen menselijke tussenkomst, waardoor fouten wellicht niet op tijd opgemerkt worden. Een van de risico’s hiervan is de kans op een oneerlijk besluit. Of zelfs op discriminatie. Vraag: Moeten in hoog-risico algoritmes die selectie door middel van profilering toepassen, verplicht (willekeurige) steekproeven worden getrokken om de kans op fouten door het algoritme te minimaliseren? Toelichting: Testen op technische eerlijkheid van een algoritme bij profilering is vaak lastig, onder andere omdat uitkomsten lastig te interpreteren zijn (zie probleem 3).

Bij inzet van profilering kan het daarom wenselijk zijn om verschillende methodes voor bias-analyse te gebruiken en de uitkomsten onderling te vergelijken, wat het risico enigszins mitigeert. Van tevoren dient een verdeling vastgesteld te worden hoeveel personen of organisaties in de relevante populatie worden geselecteerd. Willekeurige steekproeven van voldoende grootte kunnen ingezet worden als controlegroep om de effectiviteit en eerlijkheid van profileringsmethoden te meten. Signaalgedreven selectie, bijvoorbeeld gemelde klachten of andere signalen uit de organisatie, zorgt voor een extra mitigatie van bias. Het nadeel is dat deze methodiek extra capaciteit en middelen vraagt en automatisering dus duurder en tijdrovender maakt. Voorgestelde richting: In de praktijk is het “best practice” om op verschillende manieren algoritmes inhoudelijk te controleren op eerlijke behandeling, als onderdeel van de technische bias-analyse. Een geaccepteerde en veelgebruikte best practice is het parallel uitvoeren van willekeurige selectie naast algoritme profileringgedreven en signaalgedreven selectie.

Onderdeel hiervan is om medewerkers die een casus verwerken binnen het nagestreefde doel niet te AVG-regels voor profilering | Autoriteit Persoonsgegevens en Recht op een menselijke blik bij besluiten | Autoriteit Persoonsgegevens 32 Let op dat dit niet per se geautomatiseerde besluitvorming is. Voor geautomatiseerde besluitvorming geldt het uitgangspunt: 'Nee, tenzij', waarbij strikte voorwaarden & instructies gelden. Een voorbeeld waar geautomatiseerde besluitvorming wel mag is als het in een specifieke wet is opgenomen (bv. geautomatiseerd parkeerboetes verwerken). 31

Gemeente Amsterdam

Datum 8 april 2025 Pagina 25 van 26

informeren hoe de persoon of organisatie in kwestie is geselecteerd, om daarmee vooringenomenheid te voorkomen. We kiezen dus om processen waarin hoger risico algoritmes gebruikt worden ook (willekeurige) steekproeven te nemen om de eerlijkheid van het algoritme te testen. In de uitwerking van het beheerskader wordt nader bepaald voor welke risico classificatie dit geldt en hoe de steekproeven ingericht dienen te worden qua scope, timing en proces.

4.6 Verschillende visies over het gebruik van AI bij profilering Probleem: Artificiële Intelligentie (AI) kan helpen bij algoritmische profilering met als doel selecteren van personen of groepen. Dit brengt echter ook risico’s met zich mee, onder andere ten aanzien van de uitlegbaarheid. Vraag: Moet de inzet van zelflerende-algoritmes (subset van AI) worden verboden voor profileringsdoeleinden? Toelichting: Inzet van zelflerende-algoritmes kent voordelen maar ook nadelen. Voordelen zijn onder meer dat zelflerende-algoritmes sneller en efficiënter patronen kunnen detecteren die lastig waarneembaar zijn voor menselijke experts. Het belangrijkste nadeel is dat dit niet altijd het geval is (menselijk gedrag voorspellen is bijvoorbeeld lastig) en er is beperkte uitlegbaarheid wanneer zelflerende algoritme profileren. Bijvoorbeeld: bij de ontwikkeling van algoritme ‘Slimme check levensonderhoud’ bleek dat de gebruikte zelflerende-methode nog steeds weinig betekenisvol uitlegbaar was. Er kon in spreektaal niet duidelijk worden uitgelegd op basis van welke persoonsgegevens het algoritme de ‘onderzoekswaardigheid-score’ op individueel niveau had bepaald. Dit beperkt de transparantie naar burgers33. Bij impactvolle besluitvormingsprocessenprocessen, zoals selectie op basis van profilering, moet transparantie juist worden nagestreefd.

Voorgestelde richting: We willen transparant zijn over het gebruik van algoritmes en uit kunnen leggen waarom burgers geselecteerd zijn. Daarom verbieden we zelflerende-algoritmes waarbij het algoritme burgers profileert en selecteert voor een bepaald doel.

4.7 Slotwoord keuzes Deze uitgangspunten worden gedurende 2025 nader uitgewerkt in een praktisch werkbaar instrument, niet alleen gericht op technische medewerkers (bv. Data Analyst/-Scientist) maar juist voor niet-experts. Zo helpen we hen de juiste afweging en beslissing te nemen zodat algoritmes burgers zo eerlijk mogelijk behandelen. Het bias-analyse instrument zal integraal onderdeel uitmaken van het beheerskader Algoritmes en bestaande (Quality Assurance) processen.

Experts noemen dit type zelflerende-algoritmes onverenigbaar met het motiveringsbeginsel uit de Algemene beginselen van behoorlijk bestuur (Abbb). 33

Gemeente Amsterdam

Datum 8 april 2025 Pagina 26 van 26

De uitgangspunten gelden in ieder geval voor hoog-risico algoritmes. Voor de overige algoritmes zal in de uitwerking een afweging gemaakt worden welke uitgangspunten van toepassing zijn. Daarbij zal een afweging worden gemaakt tussen mogelijke impact, benodigde tijd en middelen en effectiviteit van het uitgangspunt.