Voortgangsrapportage 2025 PvA Algoritmes v1.0.pdf

PLAN VAN AANPAK ALGORITMES Q1 2026 Voortgangsrapportage 2025 Plan van Aanpak Algoritmes

Voorgangsrapportage 2025 PvA Algoritmes1 ▪

Het Plan van Aanpak Algoritmes (“PvA Algoritmes”) 2024 – 2026 beschrijft welke verbeterstappen het college gaat zetten om algoritmes eerlijker en transparanter in te zetten. De geplande acties zorgen voor een doorontwikkeling en verbeterde toepassing van het huidige beheerskader, een verbeterde omgang met bias en verbeterde privacybescherming, transparantie en participatie op het gebied van algoritmes. Het PvA Algoritmes is behandeld in de raadsvergadering van 26 juni 2024.

▪

In deze voortgangsrapportage 2025 worden de acties en tijdslijnen samengevat en de bijbehorende status en resultaten eind 2025 per actiepunt doorlopen. In de commissie FKD van 5 juni 2025 is de voortgangsrapportage 2024 besproken, met daarin de status eind 2024.

▪

De uitvoering van het PvA Algoritmes vindt plaats in nauwe samenwerking met andere initiatieven zoals Agenda Digitale Stad, Actieplan Grip op Technologie en de AI Agenda.

▪

Het beheerskader algoritmes wordt continu geüpdatet, bijvoorbeeld door toevoeging van landelijke en Europese ontwikkelingen.

▪

Over het algemeen lopen de acties volgens planning. Het proces waarin we algoritmes identificeren, classificeren naar risico en de juiste maatregelen nemen binnen de 50+ lijndirecties loopt en vordert gestaag. Het blijft echter een handmatig, lastig en tijdrovend proces wat ook in 2026 (en daarna) aandacht nodig heeft.

1) Tot eind 2024 is binnen Amsterdam de term “Algoritmen” gebruikt. Landelijk is “Algoritmes” inmiddels de standaard. Beide schrijfwijzen zijn correct. Amsterdam neemt waar mogelijk de landelijke standaard “Algoritmes” over, bv.

bestaande publicaties en (web)links blijven gelijk, maar voortaan verwijzen we er naar als het “PvA Algoritmes”. Het betreft slechts een stijlwijziging zonder inhoudelijke implicaties.

2

Vooruitblik 2026 In 2026 ligt de focus op het afronden van onderdelen van het Plan van Aanpak Algoritmes, nauwe samenwerking met het AI Expertiseteam en andere Nederlandse (0.a. G4) en Europese gemeenten. De verwachting is dat de openstaande activiteiten in 2026 worden afgerond, dan wel geborgd zijn in het reguliere proces. De belangrijkste activiteiten zijn als volgt, met daarin de actiepuntnummers die corresponderen met het PvA Algoritmes tussen haakjes. ▪

Het biasinstrument (3.2.2) is opgesteld en wordt na definitieve vaststelling in 2026 geïmplementeerd.

▪

Het proces van identificatie en classificatie van algoritmes (2.2.1) wordt doorgezet. Dit is een continu en tijdsintensief proces. ▪

Mensenrechtenanalyses (3.2.3) worden verder uitgevoerd waarbij het eerder opgestelde proces wordt gevolgd. Hierbij wordt prioriteit gegeven aan algoritmes met het hoogst ingeschatte risico.

▪

Tijdens de inventarisatie worden ook de algoritmes in kaart gebracht die betrokken zijn bij besluiten richting de burger. De verbetering van de informatievoorziening aan de burger wordt hierbij meegenomen (5.2.2).

▪

Nieuwe inkoopvoorwaarden voor algoritmes die in 2025 zijn opgesteld worden in 2026 vastgesteld en toegepast (1.2.5). Daarnaast wordt, op basis van het eerder genomen besluit (1.2.5), de analyse rondom het toepassen van de contractvoorwaarden bij huidige contracten meegenomen in de lopende inventarisaties bij lijndirecties (2.2.1).

▪

Een aantal beleidsinstrumenten wordt verder uitgewerkt of verbeterd (1.2.3), zoals het proces rondom bias-analyses, de Digitale Rechten Impact Assessment (mensenrechtentoets voor Hoog-risico AI-systemen) (3.2.3) en de technische documentatie voor laag-risico en impactvolle algoritmes (1.2.6).

▪

In 2026 wordt verder gewerkt aan het vergroten van het bewustzijn (2.2.4), o.a. door bewustwordingssessies en het vergroten van de AIgeletterdheid.

3

Voortgangsrapportage PvA Algoritmes: 1. Doorontwikkeling van het beheerskader algoritmes (1/4) Start & einde actie

1.2.1 Toepassen eenduidige definitie, opstellen nieuwe classificatie en koppeling met instrumenten

t/m sept. 2024

Samenvatting eindresultaten PvA Algoritmes

Status eind 2025

▪ Landelijke definitie van het begrip algoritme eenduidig toepassen. ▪ Nieuwe risicoclassificatie opstellen in lijn met de Europese AI-verordening (in het Engels: AI Act). ▪ In concept bepalen wanneer een algoritme een bepaalde classificatie krijgt en welke instrumenten ingezet moeten worden per categorie. ▪ Nieuwe definitie en classificatie zullen ook geïmplementeerd worden in de huidige opgavegerichte werkwijze.

▪ Eenduidige, landelijke definitie doorgevoerd in 2024. ▪ Versie 1.0 van de risicoclassificatie is gepubliceerd in 2024 en in 2025 getest (zie Templates en documenten). Hierdoor kunnen algoritmes nu van een objectieve risicoclassificatie worden voorzien. Er worden continu verbeteringen aan de classificatiestructuur aangebracht aan de hand van continue evaluaties. ▪ De inhoud is afgestemd met zowel interne als externe partijen (bv. Algorithm Audit, G4, etc.) en de interpretatie van de AI-verordening is verwerkt. ▪ Risicoclassificatie-instrument is verwerkt in Quality Assurance proces, waardoor alle nieuwe algoritmes de classificatie doorlopen en meteen helder is welke maatregelen genomen moeten worden. Bestaande algoritmes zijn en worden de komende tijd geïdentificeerd en doorlopen vervolgens hetzelfde proces (zie actie 2.2.1). ▪ Uitgangspunt is dat instrumenten zoveel mogelijk ‘open source’ beschikbaar worden gesteld. De risicoclassificatie is bijvoorbeeld te vinden op Github. ▪ Sinds de invoering is in een jaar tijd de classificatie 160 keer ingevuld. Soms worden ideeën of algoritmes overigens meerdere keren ingevuld, bijvoorbeeld omdat er iets wijzigt. ▪ Steekproefsgewijs en op basis van hulpvragen controleert het centrale algoritmeteam de risico inschatting en helpt bij het nemen van de juiste maatregelen.

▪ In een landelijke werkgroep wordt met een aantal andere overheidsorganisaties (incl. gemeenten) besproken of en hoe de risicoclassificatie uniform ingezet kan worden.

Acties 2025 afgerond zoals beoogd

4

Voortgangsrapportage PvA Algoritmes: 1. Doorontwikkeling van het beheerskader algoritmes (2/4) Start & einde actie

1.2.2 Invoeren van nieuwe gebruiksvriendelijke instrumenten voor vroegtijdige haalbaarheid

Jan. ‘25 t/m sept. ‘25

Samenvatting eindresultaten PvA Algoritmes

Status eind 2025

▪ Niet-deskundigen kunnen zelfstandig de analyse en risicoclassificatie maken van een algoritme. En zelf bepalen of een algoritme de juiste oplossing is. ▪ Ontwikkelen van een proces en de benodigde instrumenten invoeren om vroegtijdige haalbaarheid te bepalen.

▪ Niet-deskundigen kunnen met het risicoclassificatie v1.0 instrument zelfstandig de risicoklasse en bijbehorende maatregelen bepalen door begrijpelijke vragen en een duidelijke beslisboom structuur. Het centrale algoritmeteam helpt momenteel de niet-deskundigen met de correcte inschatting van de risicoclassificatie. Dit blijkt echter steeds minder nodig doordat de risicoclassificatie consistent verschillende algoritmes en bijbehorende context goed classificeert. ▪ Niet alle algoritmes die de risicoclassificatie doorlopen zijn al ontwikkeld, omdat sommigen in een vroegtijdige fase zitten. Bijvoorbeeld omdat een idee geclassificeerd wordt, bijvoorbeeld om een inschatting van de benodigde maatregelen te krijgen. Dit is een indicatie dat de nieuwe risico classificatie tool helpt om vroegtijdig een beslissing te nemen om al dan niet door te gaan met de opzet, ontwikkeling en inzet van een algoritme. ▪ Verder zijn alle algoritme maatregelen geïntegreerd in het Quality Assurance proces, wat verder helpt met het vroegtijdig bepalen van de haalbaarheid. ▪ Het Bias Impact Assessment – zie actie 3.2.1 en 3.2.2 – is specifiek ontwikkeld om in een vroegtijdig stadium een zelfstandige, weloverwogen en bewuste eerste keuze te maken of de altijd aanwezige bias acceptabel is.

▪ Voor hoog-risico AI-systemen geldt dat ze ter goedkeuring naar het College van B&W moeten, wat verder helpt met de vroegtijdige (bestuurlijke) haalbaarheid te bepalen.

Acties 2025 afgerond zoals beoogd

5

Voortgangsrapportage PvA Algoritmes: 1. Doorontwikkeling van het beheerskader algoritmes (3/4)

1.2.3 Verbetering van governance, aansturing, beleid, processen en instrumenten

1.2.4 Verbetering van het algoritmeregister

Start & einde actie

Samenvatting eind resultaten PvA Algoritmes

Status eind 2025

Doorlopend, vanaf juli ‘24

▪ Verbeteren van de governance (beleid, taken & verantwoordelijkheden, processen, instrumenten) en de aansturing hiervan. ▪ Opstellen en implementeren van een overkoepelende governance voor eerlijke inzet van data en technologie, die ook betrekking heeft op AI en algoritmes. ▪ Implementatie van de governance, waarin we medewerkers gaan begeleiden bij het toepassen van instrumenten en het maken van risicoanalyses.

▪ Centrale algoritmeteam is uitgebreid en belangrijkste taken en verantwoordelijkheden, proces en aansturing van centrale algoritme team en aanverwante functies (bv. digitale rechten & ethiek officers) zijn vastgesteld. ▪ Bij diverse instrumenten zijn procesbeschrijvingen toegevoegd, met onder andere expliciete taken en verantwoordelijkheden.

▪ Voldoen aan digitale toegankelijkheideisen. ▪ Zorgen dat de teksten in het algoritmeregister vooraf gecontroleerd worden op begrijpelijkheid en dat beschrijvingen zowel in het Nederlands als Engels beschikbaar zijn. ▪ Zorgen dat het algoritmeregister bekender wordt en goed vindbaar op amsterdam.nl. Zowel door een e-learning aan ambtenaren aan te bieden over algoritmes en het algoritmeregister en ook door het algoritmeregister te promoten via niet-digitale communicatiekanalen.

▪ Gemeente Amsterdam is nog steeds de koploper in het aantal gepubliceerde algoritmes in het algoritmeregister. Het centrale algoritmeteam is continu bezig met het uitbreiden en vollediger maken van het register. ▪ Het Ministerie van BZK is met een ontwikkelteam bezig met de continue promotie en doorontwikkeling van het landelijke algoritmeregister. ▪ Met de overgang naar het landelijke register is ook voldaan aan digitale toegankelijkheideisen, automatische vertaling naar o.a. Engels en goede vindbaarheid. ▪ Het publiceren van algoritmes in het Algoritmeregister is geïntegreerd in het bredere Quality Assurance proces. Teksten van de gemeente Amsterdam worden vooraf door de directie Communicatie op begrijpelijkheid gecontroleerd. ▪ Diverse (landelijke) e-learnings zijn beschikbaar, bijvoorbeeld “AI in de gemeente”, “Non-discriminatie in algoritmes en data”, “de Nationale AI-Cursus” of “de Ethische kant van AI”.

Jan. ‘24 t/m juli ’24

Acties 2025 afgerond zoals beoogd

6

Voortgangsrapportage PvA Algoritmes: 1. Doorontwikkeling van het beheerskader algoritmes (4/4) Start & einde actie

Samenvatting eind resultaten PvA Algoritmes

Status eind 2025

▪ Contractvoorwaarden voor de inkoop van algoritmes worden daadwerkelijk toegepast bij relevante aanbestedingen. ▪ Analyseren of bestaande contracten aangepast kunnen worden. Per contract een afweging maken aan de hand van het risicoprofiel van het algoritme, de resterende looptijd van het contract en eventuele extra kosten. De aanpassing kan alleen plaats vinden als beide contractpartijen hiermee instemmen en deze wijziging niet in strijd is met de aanbestedingswet en -regelgeving.

▪ Nieuwe contractvoorwaarden algoritmes ontwikkeld, waarin ook digitale rechten en de eisen uit de AIverordening zijn meegenomen. ▪ Contractvoorwaarden worden als standaard optie meegenomen in aanbestedingen. Het is aan de lijndirectie om de contractvoorwaarden daadwerkelijk te gebruiken. ▪ Het is lastig gebleken om vanuit bestaande contracten algoritmes in meer detail te kunnen analyseren. Er is namelijk inhoudelijke kennis van het proces, de context en algoritme nodig. Om de inhoudelijke kennis toe te voegen, dient met de lijndirectie door het proces, algoritme en contract gelopen te worden. Daarom is besloten om vanuit de lopende inventarisatie bij lijndirecties (zie actiepunt 2.2.1) de discussie over contractvoorwaarden mee te nemen als onderdeel van de te nemen maatregelen.

▪ Ontwikkelen en invoeren van een praktische standaard voor 1.2.6 Invoeren van een de technische documentatie van door de gemeente zelf nieuwe standaard voor Doorlopend, ontwikkelde algoritmes. Inclusief implementeren van de de technische vanaf april ’24 standaard bij eigen ontwikkelde algoritmes. documentatie

▪ Standaard voor technische documentatie van algoritmes ingevoerd en geïntegreerd in zowel het bestaande Quality Assurance proces als gedetailleerdere frameworks zoals het Privacy Control Framework en Security Control Framework. ▪ Technische templates gecreëerd zodat lijndirecties makkelijker kunnen voldoen aan de AI-verordening. ▪ De technische standaarden worden continu doorontwikkeld.

1.2.7 Ontwikkeling van een instrument om tijdens de hele April ‘24 t/m levenscyclus van een april ’27 algoritme de juiste maatregelen te nemen

▪ Amsterdam heeft een werkbezoek georganiseerd waarbij het beheerskader en mensenrechtentoetsen centraal stond, naast twee uitwisselingsbezoeken in Bacau en Riga. ▪ O.a. de Ethische Bijsluiter gedeeld als officiële best practice via de Interreg community en relevante instrumenten geüpdatet aan de hand van internationale ervaringen.

1.2.5 Consistent gebruik van de contractvoorwaarden en review huidige contracten met leveranciers

Jan. ‘24 t/m dec. ’25

▪ Met een consortium van 7 Europese overheidsinstellingen (incl. gemeenten) wordt een (bestaand) instrument ontwikkeld of aangepast om tijdens de levenscyclus van een algoritme continu de juiste maatregelen te kunnen nemen.

Acties 2025 afgerond zoals beoogd

7

Voortgangsrapportage PvA Algoritmes: 2. Verbeterde toepassing van het beheerskader algoritmes (1/2) Start & einde actie

Samenvatting eind resultaten PvA Algoritmes

Status eind 2025

2.2.1 Algoritmeregister completeren, analyses Jan. ‘24 t/m maken en maatregelen dec. ’26 doorvoeren

▪ Bestaande algoritmes van alle directies zijn eind 2026: ▪ Geïdentificeerd; ▪ Geclassificeerd naar risico; en ▪ Eventueel aangepast en juiste maatregelen genomen.

▪ Continu proces: in 2025 zijn 10 algoritmes gepubliceerd tot een totaal aantal van 65 gepubliceerde algoritmes. ▪ Om het portfolio verder inzichtelijk te maken wordt nauw samengewerkt en verdere afspraken gemaakt met de lijndirecties. Het proces waarin we algoritmes identificeren, classificeren naar risico en de juiste maatregelen nemen binnen de 50+ lijndirecties loopt en vordert gestaag. Het blijft echter een handmatig, lastig en tijdrovend proces wat ook in 2026 (en daarna) aandacht nodig heeft. ▪ Inmiddels is met ~80% van de directies gesproken om algoritmes te identificeren. Deze algoritmes worden vervolgens geclassificeerd waarna de directies verbeterplannen opstellen zodat de juiste maatregelen genomen kunnen worden. Zij worden hierbij ondersteund door het centrale algoritmeteam. Aandachtspunt is dat er veelal capaciteit vrijgemaakt moet worden om de maatregelen te nemen, waardoor de doorlooptijd lang is. ▪ Er zijn tot dusver geen verboden AI-systemen geïdentificeerd en de verwachting is dat deze niet in gebruik zijn bij de gemeente Amsterdam. ▪ Voortdurende veranderingen in regelgeving rondom algoritmes en AI kunnen extra eisen stellen en capaciteit vergen.

2.2.2 Bezwaar en beroep beter implementeren

▪ Proces voor bezwaar en beroep bij besluiten beter ingericht. ▪ Onderzoeken van de mogelijkheid om op een eenvoudige wijze digitaal bezwaar in te dienen – in lijn met bestaande methodes binnen de gemeente.

▪ Proces voor bezwaar en beroep bij algoritmes is in het stadsbrede 'Bezwarenboard' besproken. Handleiding is aangescherpt en aangesloten op het huidige Bezwaar & Beroep proces. ▪ Er kan momenteel op eenvoudige wijze digitaal bezwaar worden ingediend.

Sept. ‘24 t/m dec. ‘24

Acties 2025 afgerond zoals beoogd

8

Voortgangsrapportage PvA Algoritmes: 2. Verbeterde toepassing van het beheerskader algoritmes (2/2) Start & einde actie

2.2.3 Invoeren periodieke evaluaties

2.2.4 Vergroten van het bewustzijn binnen de gemeentelijke organisatie

Samenvatting eind resultaten PvA Algoritmes

Status eind 2025

Doorlopend, vanaf jan. ’25

▪ Beheerskader wordt 1x per 3 jaar geëvalueerd ▪ Met burgers (onderdelen van) het beheerskader evalueren tijdens bijvoorbeeld de Digitale Rechten Weken.

▪ Het beheerskader is dit jaar geëvalueerd, waarbij dubbelingen uit andere onderdelen van het Quality Assurance proces eruit zijn gehaald en er is een doorlopende beheer cyclus voor alle algoritme instrumenten. ▪ In de week van de digitale mensenrechten wordt altijd aandacht besteed aan algoritmes in het algemeen en (onderdelen van) het beheerskader in het bijzonder.

Doorlopend, vanaf jan. ‘24

▪ Continue bewustwordingsworkshops/trainingen houden en e-learning beschikbaar stellen voor medewerkers. ▪ Het volgen krijgt een verplichtend karakter voor medewerkers die uit hoofde van hun functie betrokken zijn bij (besluiten over) de invoering van algoritmes.

▪ Er is een aantal e-learnings beschikbaar (zie actie 1.2.4). ▪ Met P&O lopen gesprekken hoe de digitale geletterdheid verder verhoogd kan worden. ▪ Naast bewustwordingsworkshops, is bewustwordingsmateriaal op SAM vernieuwd en gecreëerd, waaronder een animatie.

▪ Borgen dat nieuwe hoog-risico AI-systemen ter goedkeuring worden voorgelegd aan het college. ▪ Governance aanpassen en opstellen van een uniforme template voor de voordracht.

▪ In 2025 is er 1 hoog-risico AI-systeem geïdentificeerd (geheim verklaard) en in Q4 door het college besproken, met als uitkomst om het systeem verder te gaan verkennen. De lijndirectie is nu bezig met doorontwikkeling en het nemen van de juiste maatregelen op basis van de QAA. ▪ De identificatie en risico classificatie is een continu proces, de verwachting is dat er in 2026 een beperkt aantal hoogrisico AI-systemen wordt geïdentificeerd. Bij identificatie van een hoog-risico AI-systeem besluit de lijndirectie soms het algoritme en/of proces aan te passen, waardoor het algoritme in een lagere categorie valt. Door verlaging van het risico hoeft er aan minder eisen te worden voldaan. ▪ Het proces voor collegegang van hoog-risico AI-systemen is geborgd binnen het Quality Assurance proces, inclusief een template en procesbeschrijving voor voordracht.

2.2.5 Het college Vanaf sept. neemt een explicietere ’24 rol in

Acties 2025 afgerond zoals beoogd

9

Voortgangsrapportage PvA Algoritmes: 3. Verbeterde omgang met bias (1/3)

3.2.1 Uitwerking van de ambitie van biasbestrijding

Start & einde actie

Samenvatting eind resultaten PvA Algoritmes

Status eind 2025

April ‘24 t/m dec. ’25

▪ Met de Commissie Persoonsgegevens Amsterdam (CPA), de functionaris gegevensbescherming (FG) en vakdeskundigen brengen we de mogelijkheden en onmogelijkheden van biasbestrijding in kaart en formuleren we een ambitie en (ethische) afwegingen rondom bias. ▪ Aan de hand van de uitkomsten van deze uitwerking stelt het college in de eerste helft van 2024 een eerste voorstel op met daarin enkele overwegingen en dat gaan we bespreken met de raad. ▪ Daarna zal dit voorstel iteratief doorontwikkeld worden om tot praktisch handvatten te komen wat geïntegreerd wordt in het beheerskader.

▪ Mogelijkheden en onmogelijkheden van bias-analyse zijn in kaart gebracht met zowel interne als externe experts en niet-experts. ▪ Ambitie en (ethische) afwegingen rondom bias-analyse zijn beschreven in algemene uitgangspunten en voorgestelde keuzes. Deze zijn in de gemeenteraad van 9 juli 2025 besproken. ▪ Naast interne experts, is uitgebreid advies gevraagd van externe experts zoals Stichting Algorithm Audit, de Hogeschool van Amsterdam en de CPA. Daarnaast zijn ook andere experts op onderdelen gehoord vanuit bijvoorbeeld BZK, het Civic AI lab, Universiteit van Amsterdam, Vrije Universiteit en andere gemeenten en overheidsinstellingen.

Acties 2025 afgerond zoals beoogd

10

Voortgangsrapportage PvA Algoritmes: 3. Verbeterde omgang met bias (2/3) – zie pagina 17 en verder voor een gedetailleerdere update Start & einde actie

3.2.2 Opnemen aanvullende maatregelen in het beheerskader om bias tegen te gaan

Samenvatting eind resultaten PvA Algoritmes

▪ Aan de hand van uitkomsten van het gesprek met de gemeenteraad (zie 3.2.1.) gaan we op basis van huidige instrumenten een verbeterd kader opstellen. ▪ Kader vertaald naar instrumenten en geïmplementeerd in Vanaf april ’25 organisatie – uitgevoerd op hoog-risico AI-systemen. ▪ Lijndirecties zullen daarna structureel begeleid worden om de verbeterde biasanalyse uit te voeren en maatregelen te implementeren.

Status eind 2025

Acties 2025 afgerond zoals beoogd

▪ Aan de hand van de uitgangspunten en keuzes is het Bias Impact Assessment (BIA) instrument ontwikkeld. Dit biedt handvatten om op een systematische manier, een weloverwogen, bewuste en vroegtijdige eerste keuze te maken of de aanwezige bias acceptabel is en het algoritme eerlijk. ▪ Met het BIA kunnen lijndirecties zelfstandig, vroegtijdig en gestructureerd het gesprek over bias voeren. Dit dient als hulpmiddel om te bepalen of en hoe het algoritme verder wordt ontworpen en ontwikkelt. ▪ De eerste versie 1.0 is in december 2025 opgeleverd en zal verder getest en doorontwikkeld worden in 2026. ▪ Het Bias Impact Assessment is extern getest met: Algorithm Audit, Hogeschool van Amsterdam, TNO, VNG, Ministerie van Binnenlandse Zaken en Koninkrijksrelaties, Gemeente Amersfoort, -Eindhoven, -Rotterdam, -Utrecht en de Regio Holland Rijnland (13 gemeenten, o.a. Leiden, Alphen aan de Rijn, Noordwijk, Oegstgeest) ▪ Daarnaast is het instrument intern gereviewed/getest door directie Juridisch Bureau, directie Wonen, vakgroep Data Science, ChatAmsterdam team, Privacy team en het Digitale Rechten team

11

Voortgangsrapportage PvA Algoritmes: 3. Verbeterde omgang met bias (3/3) Start & einde actie

3.2.3 Mensenrechtenanalyses uitvoeren op alle impactvolle- en Vanaf jan. ‘24 hoog-risico algoritmes en AI-systemen

Samenvatting eind resultaten PvA Algoritmes

Status eind 2025

▪ Mensenrechtenanalyses uitvoeren op alle nieuwe impactvolle- en hoog-risico algoritmes en AI-systemen, maatregelen genomen en bewustwordingsworkshops gegeven. ▪ Voor impactvolle-risico algoritmes waarop geen IAMA van toepassing is worden andere, minder bewerkelijke, mensenrechtenanalyses opgesteld en uitgevoerd. ▪ Daarvoor verfijnen we bestaande instrumenten en trainen we de digitale rechten-, ethiek- en privacy officers om de mensenrechtenanalyses te begeleiden en organiseren we speciale bijeenkomsten voor clusters en directies

▪ Bij ~30 nieuwe (potentiële) algoritmes (incl. AI) zijn in 2024 en 2025 extra waarborgen ingezet om mensenrechten te borgen, bijvoorbeeld door Ethische Bijsluiter of IAMA sessies ongeacht risico classificatie. In de Ethische Bijsluiter sessies wordt een bewuste, weloverwogen afweging gemaakt van de impact op digitale rechten en wordt getoetst op morele waarden bij inzet van een algoritme. ▪ Gegeven de grotere vraag naar hulp bij het uitvoeren van mensenrechtenanalyses is besloten om de capaciteit om Ethische Bijsluiters te begeleiden op te hogen, momenteel worden daarom 2 extra personen opgeleid. ▪ Het Digitale Rechten Impact Assessment (DRIA) is gecreëerd en geïntegreerd in het QA proces. Daarmee zijn de Privacy QuickScan, DPIA en hoofdstuk 4 van het landelijke IAMA samengevoegd. Het doel is lijndirecties beter en sneller in staat stellen om de impact op digitale mensenrechten in te schatten, doordat overlap tussen instrumenten eruit is gehaald en de gebruiker in begrijpelijkere taal meegenomen wordt. ▪ Continue bewustwording over digitale rechten door middel van het organiseren van diverse kennissessies voor verschillende teams, zowel bij lijndirecties als binnen het cluster DII.

Acties 2025 afgerond zoals beoogd

12

Voortgangsrapportage PvA Algoritmes: 4. Verbeterde privacybescherming Start & einde actie

4.2.1 Wegnemen van privacy belemmeringen

Jan. ‘24 – sept. ‘24

Samenvatting eind resultaten PvA Algoritmes

Status eind 2025

▪ Meer gebruik maken van de kennis van de Commissie Persoonsgegevens Amsterdam en medeoverheden, zoals bijvoorbeeld met de G4 en het rijk. ▪ Daarna gaan we de werkwijzen, hulpmiddelen en sjablonen aanpassen. Daarbij wordt bijvoorbeeld de template voor de privacy-analyse (DPIA) zo aangepast dat de functionaris gegevensbescherming (FG) standaard wordt betrokken. ▪ Gesprek met de CPA over eventuele belemmeringen die zij ervaren in hun adviserende taak. Daarbij zullen we in ieder geval kijken naar de bezetting en informatiebehoefte.

▪ Nauwere samenwerking met o.a. CPA, G4, BZK en VNG. Zowel op Privacy als Digitale Rechten en Algoritme vlak. ▪ Privacy proces is versimpeld, verbeterde Privacyinstrumenten geïmplementeerd in OWW-werkwijze. Zo heeft de DPIA een nieuw gebruiksvriendelijker template, wordt de FG standaard betrokken, zijn algoritmes een apart onderdeel van de DPIA en is expliciet gemaakt dat een DPIA minimaal 1x per 3 jaar herzien en waar nodig geactualiseerd moet worden. ▪ De nieuwe opzet en instrumenten worden continu verbeterd, wat ook onderdeel is van een breder I-domein initiatief om de Quality Assurance werkwijze te verbeteren. ▪ De CPA ervaarde belemmeringen rondom het meer betrekken bij diverse vraagstukken en de informatiepositie. Dit is opgelost door het proces rondom CPA-adviezen integraal op te nemen in de Quality Assurance werkwijze en de ambtelijk secretaris een grotere rol te geven in het proces. We gaan nader in gesprek met de CPA hoe we dit nog optimaler kunnen organiseren

Acties 2025 afgerond zoals beoogd

13

Voortgangsrapportage PvA Algoritmes: 5. Verbeterde transparantie en participatie (1/3) Start & einde actie

5.2.1 Verbeterde Doorlopend, informatievoorziening vanaf sept. over algoritmes aan de ‘24 raad

Samenvatting eind resultaten PvA Algoritmes

Status eind 2025

▪ De raad op nader te bepalen momenten informeren over algoritmes(beleid). Hiervoor zal een standaardtemplate worden opgesteld aan de hand waarvan een periodieke update gedaan wordt voor hoog risico AI-systemen. Jaarlijks wordt gerapporteerd over de stand van zaken van de uitvoering van de aanbevelingen tot aan implementatie

▪ In lijn met beantwoording van motie 276.24 worden ieder halfjaar de genomen besluiten over inzet van nieuwe hoogrisico AI-systemen gebundeld en aangeboden aan de raad. In de besluiten is opgenomen welke afwegingen het college heeft gemaakt, welke risico’s dit oplevert voor de Amsterdammer en voor de gemeente en hoe deze worden beheerst. ▪ Zoals in de raadscommissie FKD van 4 december 2025 gemeld, zijn er in het 2e en 3de kwartaal van 2025 door het college geen besluiten genomen over de inzet van hoog risico AI-systemen. ▪ Zoals in actie 2.2.5 vermeld is er 1 hoog-risico AI-systeem (geheim verklaard) in Q4 2025 door het college gegaan, met positieve uitkomst. Dit AI-systeem is nog in de voorbereidingsfase en de lijndirectie is nu bezig met het nemen van de juiste maatregelen. ▪ De identificatie en risico classificatie is een continu proces (zie 2.2.1). De verwachting is dat er een beperkt aantal hoog-risico AI-systemen wordt geïdentificeerd, omdat er weinig in gebruik/ontwikkeling zijn. Doordat algoritmes en/of het proces aangepast worden aan de hand van de risicoclassificatie, zullen niet alle algoritmes ter besluitvorming naar het college worden gestuurd.

Acties 2025 afgerond zoals beoogd

14

Voortgangsrapportage PvA Algoritmes: 5. Verbeterde transparantie en participatie (2/3) Start & einde actie

5.2.2 Verbeterde informatievoorziening Sept. ‘24 – aan burgers over het dec. ’26 gebruik van algoritmes bij besluiten

Samenvatting eind resultaten PvA Algoritmes

Status eind 2025

▪ Burgers transparantie bieden over de rol van algoritmes in besluiten en gaan ze informeren over het gebruik van hun gegevens bij hoog- en beperkt-risico algoritmes ▪ Met alle betrokken directies een standaardtekst opstellen die aan een besluit wordt toegevoegd als daarbij een algoritme betrokken is. Daarin verwijzen we in ieder geval naar de beschrijving van het algoritme in het algoritmeregister. ▪ Ook wijzen we de burger op de (bestaande) mogelijkheden om bezwaar te maken. De analyse voor welke algoritmes dit geldt ronden we gedurende 2024 af, implementatie van maatregelen zal geleidelijk gaan waarbij in 2025 afronding volgt.

▪ In 2025 is er een tekst over het gebruik het algoritme gevoegd bij het besluit rondom parkeernaheffingen via scanauto’s. In 2023 ging het om 400.000 parkeernaheffingen waar burgers schriftelijk geïnformeerd werden. ▪ In lijn met actie 2.2.1 wordt geïnventariseerd voor welke algoritmes ook een tekst bij het besluit moeten worden gevoegd. ▪ Daarnaast is er een instructie en standaardzin toegevoegd aan het beheerskader. ▪ In het besluit staat welke mogelijkheden de burger heeft om bezwaar te maken en hoe dat kan.

Acties 2025 afgerond zoals beoogd

15

Voortgangsrapportage PvA Algoritmes: 5. Verbeterde transparantie en participatie (3/3) Start & einde actie

5.2.3 Onderzoeken mogelijkheid burgerpanel

Doorlopend, vanaf maart ’24

Samenvatting eind resultaten PvA Algoritmes

Status eind 2025

▪ Onderzoeken de mogelijkheid van het opzetten van een (divers samengesteld) burgerpanel te om zo Amsterdammers te betrekken bij digitaliseringsvraagstukken zodat zij een stem krijgen in onder andere de ontwikkeling en inzet van algoritmes van gemeente Amsterdam

▪ Een vast burgerpanel specifiek voor digitaliseringsvraagstukken raden we niet aan. Digitalisering is geen afgebakend beleidsdomein, maar speelt in vrijwel elk domein, elk met eigen vraagstukken en belangen. Participatie werkt het beste wanneer deze aansluit bij de context en het concrete vraagstuk, in plaats van een vaste groep burgers over uiteenlopende digitale thema's te bevragen. Bij een permanent panel bestaat bovendien het risico dat steeds dezelfde groep participeert, waardoor bepaalde perspectieven en doelgroepen minder worden bereikt. ▪ Ook binnen de Cities Coalition for Digital Rights zijn internationale ervaringen met burgerparticipatie rond digitalisering besproken. Daaruit blijkt dat effectieve participatie vraagstukafhankelijk is en dat een vast, generiek burgerpanel voor digitalisering in de praktijk minder goed aansluit en werkt. ▪ De gemeente Amsterdam heeft daarom ervaring opgedaan met flexibelere vormen van participatie, die beter passen bij de diversiteit van digitaliseringsvraagstukken. Een positief voorbeeld is het burgerpanel rond de scanfiets, waarbij een groep Amsterdammers gedurende een jaar in verschillende fasen heeft meegedacht en geadviseerd over de inzet van deze technologie.

Acties 2025 afgerond zoals beoogd

16

BIJLAGE ACTIE 3.2.1 EN 3.2.2 – BIAS IMPACT ASSESSMENT

Op 9 juli 2025 is in de gemeenteraad 'Bias-analyse uitgangspunten en keuzes’ besproken: onderdeel daarvan is onder andere de ontwikkeling van het Bias Impact Assessment

Waarom

Doel instrument

Voor wie

▪ De gemeente staat voor eerlijke en transparante inzet van algoritmes en AI-systemen (“algoritmes”) ▪ Met het gebruik van algoritmes schenden we soms mensenrechten. Onder andere door onwenselijke bias1, bv. discriminatie. Dit willen we voorkomen ▪ Ook willen we onbedoeld negatieve effecten van het algoritme op (groepen) mensen voorkomen

Uitkomst instrument

▪ Vroegtijdige beslissing of een algoritme: 1. Eerlijk is; 1. 2. 2. Eerlijk is en welke aanpassingen doorgevoerd worden; of 3. 3. Oneerlijk is en stoppen met ontwikkeling/gebruik van het algoritme. ▪ Weloverwogen en bewuste eerste keuze gebaseerd op Amsterdamse waarden, juridische kaders en technische (on)mogelijkheden ▪ Indicatie voor gedetailleerdere bias-analyses als het algoritme wordt (door)ontwikkelt en ingezet

Disclaimer en doorontwikkeling instrument

▪ Het instrument wordt idealiter in een vroeg stadium gebruikt, zodat het kan helpen om een algoritme verder vorm te geven ▪ Dit instrument bevat de belangrijkste elementen rondom bias. En het is een eerste versie. Aan de hand van praktijkervaringen wordt dit instrument continu geüpdatet ▪ Waar relevant wordt verwezen naar gedetailleerde uitleg en instructies, dit instrument is niet bedoeld als “allesomvattend” naslagwerk

▪ Het Bias Impact Assessment instrument biedt handvatten om op een systematische manier, een weloverwogen, bewuste en vroegtijdige eerste keuze te maken of de aanwezige bias acceptabel is en het algoritme eerlijk ▪ Het instrument is aanvullend aan bv. een Ethische Bijsluiter, DRIA, DPIA en gedetailleerde technische bias-analyses ▪ Proceseigenaar: Epic Owner, B-Lead, Product Owner en/of projectleider ▪ Inhoudsdeskundigen voor specifieke hulpvragen: digitale rechten & ethiek officer, jurist of privacy officer, data analist/-scientist, centrale algoritmeteam

1 Bias is gedefinieerd als ‘een systematisch verschil in behandeling van mensen of groepen in vergelijking met anderen’.

Een v1.0 van het Bias Impact Assessment is af en geïntegreerd in het Quality Assurance proces

Bias Impact Assessment v1.0 (dubbelklik op het Word icoon, of zie de bijlage)

19

Het Bias Impact Assessment faciliteert een bewuste, weloverwogen eerste keuze of de altijd aanwezige bias in het algoritme acceptabel is en het algoritme eerlijk

Het Bias Impact Assessment is met een zo breed mogelijke groep getest, andere (overheids)organisaties zijn meegenomen en positief Reviewers

Externe organisaties die hebben gereviewed en input gegeven: ▪ Algorithm Audit ▪ Hogeschool van Amsterdam ▪ TNO ▪ VNG ▪ Ministerie van Binnenlandse Zaken en Koninkrijksrelaties ▪ Gemeente Amersfoort ▪ Gemeente Eindhoven ▪ Gemeente Rotterdam ▪ Gemeente Utrecht ▪ Regio Holland Rijnland (13 gemeenten, o.a. Leiden, Alphen aan de Rijn, Noordwijk, Oegstgeest) Daarnaast intern gereviewed/getest door: ▪ 2 verschillende teams van directie Juridisch Bureau ▪ Directie Wonen ▪ Data Science team ▪ ChatAmsterdam team ▪ Privacy team ▪ Digitale Rechten team

Feedback van externe organisaties op v0.8

De meeste Bias-analyse uitgangspunten en keuzes zijn geïntegreerd in het QA proces of bias-specifieke instrumenten (1/4) Paragraaf 3.1 algemene uitgangspunten

Samenvatting

Status

Waar opgenomen

1. Non-discriminatierecht: extra zorgvuldigheid bij indirect onderscheid

▪

Direct vs. indirecte discriminatie

✓

▪

Bias Impact Assessment

2. Gevoelige kenmerken: invulling hoe omgegaan moet worden met 16 gevoelige kenmerken

▪

Voorkomen ongerechtvaardigd onderscheid 16 gevoelige kenmerken

✓

▪

Juridische Bias Impact Assessment

3. Open juridische normen: open juridische normen zoveel mogelijk invullen

▪

Interpretatie van juridische normen met experts

To do

▪

Wanneer (landelijk) beschikbaar: Juridische Bias Impact Assessment

4. Geautomatiseerde besluitvorming: geen extra stappen voor nu, we volgen landelijk beleid

▪

Bij nieuwe updates van AP/Europese hof van Justitie beleid AMS updaten

To do

▪

Wanneer (landelijk) beschikbaar: Bias Impact Assessment

▪

Documentatie over algoritmes waar mogelijk openbaar in het Algoritmeregister

✓

▪

QA proces

▪

Centrale algoritmeteam helpt de organisatie

✓

▪

QA proces

▪

Maatregelen zullen gedefinieerd worden aan de hand van onder andere de risicoclassificatie van een algoritme.

✓

▪

QA proces

8. Technische normen: nadere invulling geven aan Europese en Nederlandse normen

▪

Normen vanuit Europese standaardiseringsorganisaties integreren in Amsterdamse Technische normen

▪

Wanneer (landelijk) beschikbaar: Technische standaarden

9. Amsterdams beleid: volgen bestaande (ethische) kaders

▪

Bestaande (ethische) kaders gevolgd, zoals de Tada-waarden

✓

▪

QA proces

10. Overige compliance kaders: volgen van bestaande wet- en regelgeving en gemeentelijk beleid

▪

Volgen bestaande wettelijke kaders en normen

✓

▪

QA proces

5. Behoorlijk bestuur: transparantie waar mogelijk 6. Amsterdams beleid: volgen beheerskader algoritmes 7. Verschillende risicoclassificaties algoritmes

To do

De meeste Bias-analyse uitgangspunten en keuzes zijn geïntegreerd in het QA proces of bias-specifieke instrumenten (2/4) Paragraaf 3.2 Uitgangspunten per stap van de levenscyclus algoritmes 0. Organisatieverantwoordelijkheden

1. Probleemanalyse

2. Ontwerp

3. Dataverkenning en datapreparatie

Samenvatting

Status

Waar opgenomen

▪

Kennisniveau medewerkers op peil houden. Digitale geletterdheid van medewerkers op peil houden

✓

▪

Opleidings- en trainingsprogramma vanuit P&O en diverse e-learnings

▪

Multidisciplinair en divers samengestelde teams betrekken bij algoritme ontwikkeling.

✓

▪

Bias Impact Assessment

▪

Context en meerwaarde algoritme bepalen en vastleggen

✓

▪

Ethische Bias Impact Assessment

▪

Extra aandacht bij profilering

✓

▪

Juridische Bias Impact Assessment

▪

Extra aandacht voor kwetsbare groepen

✓

▪

Ethische & Technische Bias Impact Assessment

▪

Extra aandacht persoonsgegevens

✓

▪

Juridische Bias Impact Assessment

▪

Afwegen algoritmische methoden

✓

▪

Gedetailleerde technische bias-analyse

▪

Prestatie algoritme meten

✓

▪

Gedetailleerde technische bias-analyse

▪

Oordeel vellen over technische eerlijkheid algoritme

✓

▪

Technische Bias Impact Assessment

▪

Hoge kwaliteit trainingsdata gebruiken

✓

▪

Technische Bias Impact Assessment

▪

Historische vs. huidige datakwaliteit meten

✓

▪

Gedetailleerde technische bias-analyse

▪

Overweeg om willekeurige steekproeven uit te voeren

✓

▪

Bias Impact Assessment

▪

Documenteren van keuzes in de data-analyse

✓

▪

Gedetailleerde technische bias-analyse

▪

Expliciete besluitvorming bij onvoldoende (kwalitatieve) data

✓

▪

Gedetailleerde technische bias-analyse

De meeste Bias-analyse uitgangspunten en keuzes zijn geïntegreerd in het QA proces of bias-specifieke instrumenten (3/4) Paragraaf 3.2 Uitgangspunten per stap van de levenscyclus algoritmes 4. Ontwikkelen

5. Verificatie en validatie

6. Implementatie

7. Monitoring en beheer

8. Uitfaseren

Samenvatting

Status

Waar opgenomen

▪

Betrekken van experts

✓

▪

QA proces

▪

Kwalitatieve (juridische) toets bij profilering

✓

▪

Juridische Bias Impact Assessment

▪

Statistische hypothesetoets bij profilering

✓

▪

Gedetailleerde technische bias-analyse

▪

Validatie door onafhankelijke kundige derde

✓

▪

Gedetailleerde technische bias-analyse

▪

Beoordeling algoritmische oplossing versus alternatief

✓

▪

Ethische Bias Impact Assessment

▪

Bias-analyse algoritme afwegen tegen huidige proces

✓

▪

Ethische Bias Impact Assessment

▪

Bias-analyse aan de hand van beschermde gronden

✓

▪

Juridische Bias Impact Assessment

▪

Afweging eerlijke behandeling

✓

▪

Bias Impact Assessment

▪

Rechten van belanghebbenden waarborgen

✓

▪

QA proces

▪

Toegankelijkheid toepassing waarborgen

✓

▪

QA proces

▪

Impact algoritme meten gedurende levensduur

✓

▪

Technische standaarden

▪

Data en modellen up-to-date houden

✓

▪

Technische standaarden

▪

Versiebeheer van het algoritme

✓

▪

Technische standaarden

▪

Archiveren van het algoritme

✓

▪

QA proces

De meeste Bias-analyse uitgangspunten en keuzes zijn geïntegreerd in het QA proces of bias-specifieke instrumenten (4/4) Hoofdstuk 4. Keuzes bias-analyse 4.1 Bias-analyse is zeer arbeidsintensief en soms onmogelijk

4.2 Persoonsgegevensverwerking voor bias-analyse in relatie tot de AVG

Samenvatting ▪

Waar opgenomen ▪

Wanneer landelijk beschikbaar en/of uit actie 2.2.1 van het PvA Algoritmes: Gedetailleerde technische biasanalyse

Voor een nader te bepalen aantal situaties wordt gespecificeerd wat de scope en diepgang van de bias-analyse moet zijn, welke aanvullende data daarvoor noodzakelijk is, wanneer onderlinge relaties tussen kenmerken onderzocht moeten worden en wie daarbij betrokken moet worden. Hierbij wordt rekening gehouden met bijvoorbeeld juridische (on)mogelijkheden. Nader onderzoek is nodig om generieke scope en diepgang voor specifieke situaties te bepalen.

To do

▪

Bij een bias-analyse gebruiken we alleen de persoonsgegevens die beschikbaar zijn voor het doel waarvoor het algoritme wordt ingezet. We accepteren dat hiermee de technische bias-analyse een beperkt beeld geeft.

✓

▪

Juridische Bias Impact Assessment

▪

Maak geen beslissingen op basis van alleen een technische bias-analyse, maar bekijk het in het bredere perspectief. Hieronder vallen zowel juridische als organisatorische bias-analyses. Maar bijvoorbeeld ook de Tada-waarden en de principes uit de Visie op AI. Vergelijk de prestatie van het algoritme altijd met het mens-gedreven proces. Wanneer er geen alternatieven voorhanden zijn moet een waardegedreven afweging worden gemaakt of inzet van de technologie wenselijk is.

✓

▪

QA proces, Bias Impact Assessment

▪

Beantwoording motie 305.25 na afronding actie 2.2.1 van het PvA Algoritmes

▪

Bias Impact Assessment

▪

Bias Impact Assessment

4.3 Bias-analyse op zichzelf geeft geen eenduidige conclusie en is lastig op waarde te schatten ▪ 4.4 Verschillende visies over gebruik van afkomstgerelateerde kenmerken in risicoprofilering door een algoritme ▪ 4.5 Verschillende visies over volledig automatiseren van processen waarin profilering gebruikt wordt

4.6 Verschillende visies over het gebruik van AI bij profilering

Status

▪

We sluiten het gebruik van afkomstgerelateerde kenmerken uit voor nader te bepalen algoritmische toepassingen (op basis van verboden toepassingen uit de AI-verordening, zoals social scoring, en op basis van nader onderzoek). Leg vast waarom indirect onderscheid niet systematisch uitgesloten kan worden en verwijs hierbij naar de altijd verplichte objectieve rechtvaardigingstoets om eerlijke behandeling te toetsen. Met het nieuwe toetsingskader van het College voor de Rechten van de Mens zullen praktisch toepasbare instructies opgesteld worden als onderdeel van het beheerskader algoritmes.

To do

In de praktijk is het “best practice” om op verschillende manieren algoritmes inhoudelijk te controleren op eerlijke behandeling, als onderdeel van de technische bias-analyse. Een geaccepteerde en veelgebruikte best practice is het parallel uitvoeren van willekeurige selectie naast algoritme profileringgedreven en signaal-gedreven selectie. Onderdeel hiervan is om medewerkers die een casus verwerken binnen het nagestreefde doel niet te informeren hoe de persoon of organisatie in kwestie is geselecteerd, om daarmee vooringenomenheid te voorkomen. We kiezen dus om processen waarin hoger risico algoritmes gebruikt worden niet volledig te automatiseren, maar ook (willekeurige) steekproeven te nemen om de eerlijkheid van het algoritme te testen. In de uitwerking van het beheerskader wordt nader bepaald voor welke risicoclassificatie dit geldt en hoe de steekproeven ingericht dienen te worden qua scope, timing en proces.

✓

We willen transparant zijn rondom het gebruik van algoritmes en uit kunnen leggen waarom burgers geselecteerd zijn. Daarom verbieden we zelflerende-algoritmes, waarbij het algoritme burgers profileert en selecteert voor een bepaald doel.

✓