Raadsinformatiebrief Algoritme Lifecycle Programma.pdf

Raadsinformatiebrief

Aan:

De leden van de gemeenteraad van Amsterdam

Datum Portefeuille(s) Portefeuillehouder(s): Behandeld door

ICT en Digitale Stad Touria Meliani CTO Innovatieteam (bestuurszaken.cto@amsterdam.nl) en CIO office (CIO office @amsterdam.nl)

Onderwerp

Raadsinformatiebrief Algoritme Lifecycle Programma

Geachte leden van de gemeenteraad, Met deze brief willen wij u graag actief informeren over de voortgang van de Algoritme Lifecycle Aanpak. Dit programma is onderdeel van de Agenda Amsterdamse Intelligentie en de Agenda Digitale Stad. Hoe gaat het en wat doen we? De Gemeente Amsterdam spant zich dagelijks in om de stad leefbaar te houden voor alle Amsterdammers. Soms zetten we algoritmen in om ons te helpen bij onze dienstverlening. Er worden dan bepaalde stappen door een computer uitgevoerd in plaats van door een mens. Algoritmen helpen ons als gemeente om onze taken sneller, gerichter of beter uit te voeren. Bijvoorbeeld door scanauto’s die door de stad rijden en parkeercontrole uitvoeren: een algoritme herkent de kentekens waar de scanauto langsrijdt en controleert of voor dat kenteken parkeergeld is betaald. Daardoor kan de handhavingscapaciteit veel eerlijker over de stad verdeeld worden en is bovendien het aantal parkeerbeambten dat belaagd wordt flink teruggenomen. Maar algoritmen kunnen op nog veel meer manieren ingezet worden om de stad te helpen. Bijvoorbeeld om drukte te monitoren om in drukke gebieden op tijd in te grijpen. Of om meldingen van burgers naar de juiste afdeling te sturen. Of om schulden in een vroegtijdig stadium te signaleren en de juiste hulpverlener te attenderen.

Omdat algoritmen veel voordelen op kunnen leveren voor de stad, wil Amsterdam vooroplopen in het op lokaal niveau stimuleren van het gebruik van algoritmen. Hoe we dit doen staat in de Raadsinformatiebrief Amsterdamse Intelligentie die u recent hebt ontvangen1. Maar gebruik van algoritmen vereist ook van de gemeente dat zij transparant is over de inzet van algoritmes. Om daarmee mogelijke risico’s voor de Amsterdammers door de inzet van algoritmes tot een minimum te beperken. Daarom zijn we in Amsterdam de ‘Algoritme Lifecycle Aanpak’ gestart.

1

Dagmail 29 juni 2021 Raadsinformatiebrief Voortgangsbrief Agenda Amsterdamse Intelligentie https://amsterdam.raadsinformatie.nl/document/10340532/1/Raadsinformatiebrief%20Amsterdamse% 20Intelligentie%2020210623

Gemeente Amsterdam, raadsinformatiebrief

Datum Pagina 2 van 5

Maatschappelijke context Als overheid hebben we de verantwoordelijkheid om uit te leggen welke keuzes wij maken en op basis van welke informatie wij een besluit nemen. Ook als een algoritme helpt bij die keuze. Dat betekent dat de algoritmen die wij als gemeente gebruiken begrijpelijk moeten zijn. Maar omdat algoritmen in computertaal geschreven zijn is niet voor iedereen altijd duidelijk welke afwegingen er precies gemaakt worden. De SyRI-uitspraak van de Rechtbank Den Haag, de Toeslagenaffaire en ook het recente rapport van de Algemene Rekenkamer en de Rotterdamse Rekenkamer maken eens te meer duidelijk waarom het zo belangrijk is dat algoritmen eerlijk en uitlegbaar zijn. De naleving hiervan is maatschappelijk zeer relevant en urgent. EU-wetgeving voor AI Op 21 april 2021 publiceerde de Europese Commissie een ontwerpverordening, de Regulation on a European approach for artificial intelligence. Dit voorstel moet nog worden aangenomen door het Europees Parlement. Zodra de verordening is vastgesteld, is zij rechtstreeks van toepassing in de hele EU. Deze AI-Verordening gaat uit van een risicogerichte benadering en richt zich vooral op AI met een hoog risicoprofiel en zelfs een onacceptabel risicoprofiel. Er komen strenge eisen voor makers en gebruikers van AI.

Onaanvaardbaar risico AI-systemen die een duidelijke bedreiging vormen voor de veiligheid, bestaansmiddelen en rechten van mensen, worden verboden. Het gaat om toepassingen die menselijk gedrag manipuleren om de vrije wil van gebruikers te omzeilen en systemen die “sociale scoring” door overheden mogelijk maken. Ik zal u nader informeren over de ontwikkelingen rond de AI-Verordening en de implementatie daarvan in Amsterdam. Definitie algoritmen Er zijn op dit moment veel verschillende definities voor ‘algoritme’ of ‘algoritmische toepassing’. Er wordt landelijk en binnen de EU gewerkt aan bruikbare en heldere definities. Tot die tijd hanteren we de volgende definitie: software die - door gebruik van data-analyse, statistiek of zelflerende logica - geautomatiseerd voorspellingen doet, beslissingen neemt of adviezen geeft die leiden tot impact op burgers of bedrijven. Deze definitie is overigens grotendeels in lijn met de definitie die is voorgesteld door de Europese Commissie in haar voorstel tot regulering van AI. De definitie is breed en tegelijk precies. Binnen deze definitie passen zowel simpele rekenmodellen als ‘machine-learning-modellen’ en andere vormen van kunstmatige intelligentie (ook wel ‘Artificial Intelligence’ of AI genoemd).

Als zo’n algoritme gebruikt wordt bij een activiteit met impact op burgers of bedrijven, dan nemen we het algoritme op in het Algoritmeregister en gelden ook de andere instrumenten. De meeste activiteiten van de gemeente hebben directe of indirecte impact: als we een boete opleggen of belasting heffen heeft dat natuurlijk impact, maar ook als we vuilnis ophalen of bomen kappen. Aanpak voor algoritmen Om meer grip te krijgen op de algoritmen die gemeente gebruikt, werken we binnen de Algoritme Lifecycle Aanpak aan verschillende instrumenten om het gebruik van algoritmen eerlijker en transparanter te maken voor onze inwoners. Instrumenten om algoritmen gedurende hun levenscyclus te kunnen beheren, risico’s in te schatten en te auditen.

Gemeente Amsterdam, raadsinformatiebrief

Datum Pagina 3 van 5

De instrumenten worden al ontwikkeld en getoetst in de praktijk zodat in september 2021 de eerste definitieve versies van de instrumenten kunnen worden ingezet. De doorontwikkeling van instrumenten met andere Nederlandse overheden (consortium “publieke controle op algoritmen”) staat gepland tot december 2021. Hier treft u een overzicht aan van de ontwikkelde instrumenten: -

Algoritmeregister: op 28 september 2020 is het algoritmeregister van de gemeente Amsterdam live gegaan. In het Algoritmeregister is in te zien welke algoritmen er zijn, waarvoor ze ingezet worden en hoe ze werken. Dit register wordt steeds verder aangevuld met de algoritmen die door de gemeente gebruikt worden. In juli en augustus 2021 gaan we opnieuw in gesprek met een grote groep burgers om beter te begrijpen wat zij willen weten over algoritmen.

-

Contractvoorwaarden: we hebben in contractvoorwaarden vastgelegd welke informatie leveranciers van algoritmen met de gemeente moeten delen, zodat de gemeente die informatie met Amsterdammers kan delen. De contractvoorwaarden zijn in november 2020 vastgesteld.

-

Onderzoek bezwaar maken: als een Amsterdammer of een bedrijf of instelling het niet eens is met een besluit van de gemeente (zoals een boete of belasting) kan bezwaar worden gemaakt. We onderzoeken of Amsterdammers duidelijke en volledige informatie krijgen als ze bezwaar maken tegen een besluit waar een algoritme bij betrokken was.

-

Verantwoordelijkheid vastleggen: we leggen voor de gemeente zelf in een governance heel precies vast welke maatregelen getroffen moeten worden om risico’s bij het inzetten van algoritmen te voorkomen, welke informatie gedocumenteerd moet worden en wie verantwoordelijk is als een algoritme iets doet dat niet de bedoeling is.

-

Audits: de dienstverleningsprocessen waarbij we algoritmen gebruiken kunnen gecontroleerd worden met behulp van een audit. In een audit wordt gecontroleerd of de juiste maatregelen zijn genomen om risico’s, bijvoorbeeld op discriminatie of het schenden van rechten, te voorkomen.

-

Biasanalyse: om vooringenomenheid tegen te gaan bij het gebruik van algoritmen is gewerkt aan een standaard voor een bias-analyse. Deze standaard wordt continu doorontwikkeld, maar krijgt een verplicht karakter bij de ontwikkeling van algoritmen.

-

Impactassessment: om de impact van het gebruik van algoritmen op de mensenrechten te analyseren en borgende maatregelen te treffen, is een mensenrechtenimpact assessment ontwikkeld.

We ontwikkelen deze instrumenten in samenwerking met een groep gemeenten, provincies, uitvoeringsorganisaties en de VNG, om ervoor te zorgen dat niet elke overheid het wiel uit moet vinden. Ook wordt er samengewerkt met kennisinstellingen zoals de TU Delft en wordt een samenwerking met de Hogeschool van Amsterdam verkend, voor het inzichtelijk maken van bestaande algoritmes en de registratie in de Algoritmeregister.

Gemeente Amsterdam, raadsinformatiebrief

Datum Pagina 4 van 5

We zijn er nog niet De Rekenkamer Rotterdam heeft een verkenning uitgevoerd (‘Gekleurde technologie’ van april 2021) naar het gebruik van algoritmes ter ondersteuning van de besluitvorming in Rotterdam. Heel kort samengevat zijn de aanbevelingen dat er bewustwording nodig is, net als een volledig overzicht en inzicht (een algoritmeregister), dat de ethische risico’s en maatregelen beoordeeld moeten worden, dat het nodig is om de regie en verantwoordelijkheid centraal beleggen en tot slot dat instrumenten nodig zijn (regels, richtlijnen en instructies, onder andere op het gebied van verantwoordelijkheid, transparantie, eerlijkheid en de evaluatie van algoritmes) nodig voor eerlijke algoritmen en evaluatie. De bevindingen zijn herkenbaar voor Amsterdam en de aanbevelingen zijn ook voor ons toepasbaar. Het programma Algoritme Lifecycle Aanpak trekt lering uit de aanbevelingen van Rotterdam en paste de aanbevelingen toe in hat programma. De instrumenten worden bovendien continu getoetst aan het voorstel voor AI-regelgeving van de Europese Commissie. Er is aandacht nodig voor het gegeven dat het nieuwe instrumenten zijn en dat deze vragen om inzet van expertise op gebied van ethische, juridische en technische risico’s, op alle plekken in de organisatie waar algoritmen worden gebruikt die een aanmerkelijke impact hebben op Amsterdammers.

Hier wordt op dit moment in de gemeente Amsterdam hard aan gewerkt.

Met vriendelijke groet,

Touria Meliani Wethouder ICT en Digitale Stad

Gemeente Amsterdam, raadsinformatiebrief

Datum Pagina 5 van 5