Raadsinformatiebrief toezeggingen bias en broncode algoritmen 20230403.pdf
Tekst van het document
Raadsinformatiebrief Afdoening toezegging
Aan: Datum Portefeuille(s) Portefeuillehouder(s): Behandeld door Onderwerp
De leden van de gemeenteraad van Amsterdam 28 maart 2023 Digitale Stad en ICT Touria Meliani Digitale Strategie en Informatie (bestuurszaken.dii@amsterdam.nl) Afdoening toezegging over het algoritmeregister uit de commissievergadering FKD van 9 maart 2023
Geachte leden van de gemeenteraad, In uw vergadering van 9 maart 2023 heb ik op een vraag van raadslid Belkasmi (PvdA) toegezegd u nader te informeren over de wijze waarop de onderzoeken naar bias kunnen worden toegevoegd aan het Algoritmeregister. Daarnaast heb ik u de toezegging gedaan naar aanleiding van een vraag van het raadslid IJmker (GroenLinks) om te onderzoeken of de broncode van gemeentelijke algoritmen gepubliceerd kunnen worden. Bias-onderzoeken werkwijze De gemeente heeft een proces opgesteld dat doorlopen moet worden voordat gekozen kan worden voor implementatie van een algoritme. In dit proces is als stap opgenomen dat het algoritme getoetst wordt met behulp van de Impact Assessment Mensenrechten en Algoritmen (IAMA). Daarnaast heeft de gemeente een mensenrechten impact assessment opgesteld, wat ingaat op de eisen die volgen uit het Stedelijk kader verwerken persoonsgegevens Amsterdam. In beide toetsen wordt uitgebreid stil gestaan bij de risico’s van bias. Aan de hand van de uitkomsten worden maatregelen genomen om de bias te ondervangen. De belangrijkste maatregel hierbij is dat algoritmen geen definitief besluit bepalen, maar dat dit als advies wordt meegegeven aan de inhoudelijke afdeling.
De toepassing van een algoritme in een proces levert dan één gegeven op, die gecombineerd met andere gegevens leidt tot een gewogen besluit dat door een mens wordt genomen. Van beide toetsen is het sjabloon toegevoegd als bijlage bij deze raadsbrief. De Bias-analyse wordt op de volgende indicatoren toegepast: - Nationaliteit* - Seksuele geaardheid - Geboorteland* - Religie - Postcode* - Politieke opvatting - Huidskleur - Verblijfsstatus* - Etniciteit - Zwangerschap - Geslacht* - Gezondheid - Leeftijd* - Sociale klasse - Burgerlijke staat* - Genetica
Gemeente Amsterdam, raadsinformatiebrief
Datum 28 maart 2023 Pagina 2 van 3
De organisatie toetst of er directe en indirecte bias bestaan in een algoritme. De opsteller of gebruiker van het algoritme is verantwoordelijk voor het verwerken van de uitkomst van de impactanalyses. Het algoritme wordt daarna toegevoegd aan het algoritmeregister. Waarmee het gebruik van het algoritme openbaar bekend wordt gemaakt. Daarnaast worden de maatregelen uitgevoerd om de directe en indirecte bias tegen te gaan. Het gebruik van het algoritme wordt vervolgens periodiek gecontroleerd aan de gemeentelijke criteria over onder andere openbaarheid, bescherming persoonsgegevens en bias. Het college zal met u de beschrijving van de toepassing en sturing op algoritmen delen. De notitie wordt op dit moment geactualiseerd vanwege de veranderingen in het i-domein. U ontvangt de notitie voor het zomerreces. Broncode gemeentelijke algoritmen De gemeente laat algoritmen ontwikkelen maar ontwikkelt soms ook zelf. De meeste algoritmen die door de gemeente worden toegepast zijn door een leverancier ontwikkeld. De broncode van die algoritmen is dan juridisch beschermd op basis van de auteursrechtenwet. Dit betekent dat de gemeente deze niet zonder meer kan publiceren. Voor algoritmen die door de gemeente zijn ontwikkeld is dit geen belemmering. De gemeente maakt deze laatste type algoritmen al openbaar via de website Github. In het algoritmeregister zullen we hiernaar linken.
In de beschrijving van de toepassing en sturing op algoritmen wordt ook ingegaan op de aanschaf van algoritmen. De gemeente neemt aanvullende bepalingen op, zodat de transparantie van algoritmen vooraf is vastgelegd. De gemeente heeft hierin expliciet opgenomen dat de broncode of werking van algoritmen zo veel mogelijk openbaar gemaakt kunnen worden via het algoritmeregister. Omdat dit het intellectuele eigendom van de ontwikkelaar kan raken, kan dit consequenties hebben voor de kosten. Deze afweging zal per algoritme gemaakt moeten worden en kan meegenomen worden in de uitvraag. Opnemen bias analyse in algoritmeregister De bias analyse zal als extra “veld” worden opgenomen in het algoritmeregister, als dit beschikbaar is bij het toegepaste algoritme. Het openbaar publiceren van een algoritme vindt plaats tenzij daarvoor uitzonderingen zijn. Deze uitzonderingen liggen vast in de Wet open overheid of in wettelijke bepalingen over eigendoms- en auteursrecht. Hiermee werkt de gemeente actief aan transparantie over algoritmen.
Een routebeschrijving vindt u op amsterdam.nl
Gemeente Amsterdam, raadsinformatiebrief
Datum 28 maart 2023 Pagina 3 van 3
Open Source algoritme crowd monitoring In de commissie van 9 maart 2023 zijn door het raadslid Meerburg vragen gesteld over mogelijke verdere uitrol van een open source crowd monitoring algoritme dat in de voortgangsrapportage Smart Mobility opgenomen was. U wordt hierover geïnformeerd via wethouder Van der Horst. Ik hoop u hiermee voldoende te hebben geïnformeerd.
Met vriendelijke groet, Namens het college van burgemeester en wethouders van de gemeente Amsterdam,
Touria Meliani Waarnemend portefeuillehouder Digitale Stad en ICT Bijlagen 1. Impact assessment Mensenrechten en Algoritmen 2. gemeentelijk instrument mensenrechten impact assessment
Een routebeschrijving vindt u op amsterdam.nl