Raadsinformatiebrief toezegging ingekochte algoritmen.pdf

Raadsinformatiebrief Afdoening toezegging

Aan: Datum Portefeuille(s) Portefeuillehouder(s): Behandeld door Onderwerp

De leden van de gemeenteraad van Amsterdam 6 maart 2024 ICT en Digitale Stad Alexander Scholtes Digitale Strategie en Informatie, bestuurszaken.dii@amsterdam.nl Afdoening toezegging over meer informatie over ingekochte algoritmes (TA2023-000565) uit de commissievergadering van 10 mei 2023

Geachte leden van de gemeenteraad, In uw vergadering van 10 mei 2023 heb ik op een vraag van raadslid Garmy (Volt) toegezegd u nader te informeren over ingekochte algoritmes en de toepassing van mensenrechtenscans op deze algoritmen. Uit de notulen van de commissie van 10 mei 2023: Om af te ronden heb ik nog twee vragen. In de brief lees ik dat wij in 2023 meer zicht willen hebben op algoritmes die ingekocht zijn en gaan wij na in hoeverre bestaande contracten aangepast kunnen worden. Zouden we hier richting het eind van het jaar een schriftelijke update kunnen over ontvangen? En als laatste, er staat in de brief niet hoe we de mensenrechtenscan voor algoritmes gaan toepassen op algoritmes die we in het verleden al hebben ingekocht, algoritmes waar externe partijen medeverantwoordelijk voor zijn. Hoe gaan we ervoor zorgen dat ook bij deze algoritmes een mensenrechtenscan plaatsvindt? Zicht op ingekochte algoritmes De afgelopen maanden hebben we een eerste inventarisatie gedaan welke algoritmes die binnen de gemeente gebruikt worden ingekocht zijn en hoog-risico zijn (onder de huidige classificatie). Uit de inventarisatie zijn er in ieder geval 36 algoritmes met het label hoog-risico gekomen. We onderzoeken of de bepalingen voor het rechtvaardig gebruik van algoritmische toepassingen in de contracten zijn opgenomen, te beginnen met de hoog-risicoalgoritmes.

Dit vervolgonderzoek is opgenomen in het Plan van Aanpak Algoritmen. Aanpassen van bestaande contracten Binnen het vervolgonderzoek kijken we of bestaande contracten aangepast kunnen worden. De aanpassing kan alleen plaats vinden als beide contractpartijen hiermee instemmen en deze wijziging niet in strijd is met de aanbestedingswet en -regelgeving. In het geval dat de aanpassing nadelig is voor de leverancier bestaat de kans dat de leverancier niet instemt met aanpassing of dat de leverancier extra kosten inrekening brengt voor de aanpassing. De gemeente bepaalt aan de hand van het risicoprofiel van het algoritme, de resterende looptijd van het contract en eventuele extra kosten van de leverancier of aanpassen noodzakelijk is. Dit betekent dat de gemeente een afweging per contract zal maken.

Gemeente Amsterdam, raadsinformatiebrief

Datum 6 maart 2024 Pagina 2 van 2

Uitvoeren van een mensenrechtenscan Het college is voornemens te besluiten om een verplichte mensenrechtenscan in de vorm van een IAMA uit te voeren bij hoog-risicoalgoritmes. Dit gebeurt al bij nieuw ingekochte- of eigen ontwikkelde hoog-risicoalgoritmes. Voor twee eigen ontwikkelde algoritmes, Blurring as a Service en Slimme Check, is deze toetsing inmiddels uitgevoerd. Bij hoog-risicoalgoritmes die al eerder ontwikkeld zijn voeren we de komende tijd met terugwerkende kracht alsnog deel 4 (mensenrechten) van het Impact Assessment Mensenrechten en Algoritmes (IAMA) uit. Voor beperkt-risico algoritmen zal een andere, minder bewerkelijke, mensenrechtenanalyse opgesteld en uitgevoerd worden. In het Plan van Aanpak Algoritmen is hier ook aandacht voor en hebben we opgenomen wanneer we verwachten klaar te zijn met de mensenrechtenscans. Ik hoop u hiermee voldoende te hebben geïnformeerd.

Met vriendelijke groet, Namens het college van burgemeester en wethouders van de gemeente Amsterdam,

Alexander Scholtes Wethouder ICT en Digitale Stad

Een routebeschrijving vindt u op amsterdam.nl