A - 11 ICT en Digitale Stad (49) 03 Onderzoeksrapport Algoritmen DEF

64

ALGORITMEN - ONDERZOEKSRAPPORT

2.8.3

Contractvoorwaarden: verschillende eisen voor algoritmen

In aanvulling op de Gemeentelijke inkoopvoorwaarden bij IT van de gemeente Amsterdam (GIBIT) heeft de gemeente Amsterdam samen met andere partijeneee contractvoorwaarden ontwikkeld voor het “verantwoord gebruik van Algoritmische toepassingen”.240 Deze contractvoorwaarden zijn zowel van toepassing wanneer een algoritmische toepassing op zichzelf wordt geleverd als wanneer die algoritmische toepassing deel uitmaakt van een meeromvattende ICT-prestatie. De contractvoorwaarden hebben betrekking op de kwaliteit van zowel de data als de algoritmische toepassing. Bijzondere aandacht wordt besteed aan de (technische, procedurele) transparantie van de algoritmische toepassing en de uitlegbaarheid daarvan, de te volgen risicomanagementstrategie, het beheer en het auditen van de algoritmische toepassing. De reden voor de gemeente Amsterdam om deze contractvoorwaarden op te stellen, is dat dergelijke voorwaarden tot nog toe ontbraken.241 Volgens de toelichting zijn de bepalingen nu door alle gemeenten te gebruiken en opgenomen in de GIBIT-overeenkomstengenerator.242 De ambtelijke organisatie kan ervoor kiezen om een algoritme zelf te gaan ontwikkelen, in plaats van een algoritme in te kopen.

Het Amsterdamse beheerskader geeft geen inhoudelijke richting aan deze beslissing.243 Het is niet duidelijk of dezelfde eisen gesteld worden aan de ontwikkeling van algoritmen 'in-house' als aan ingekochte algoritmen. De contractvoorwaarden vereisen namelijk dat de leverancier de kwaliteit van de toepassingen en risicostrategie voortdurend monitort en bijwerkt, terwijl het Amsterdamse beheerskader deze verplichting niet expliciet maakt voor algoritmen die de gemeente zelf ontwikkelt.244 De ambtelijke organisatie geeft aan dat de contractvoorwaarden van toepassing zijn op alle algoritmen die zijn ingekocht na het GMT-besluit op 20 januari 2022.245 De aanvullende contractvoorwaarden zijn in twee aanbestedingen toegepast: bij 1) ‘Omnichannel informatievoorziening’, en 2) ‘Geo-registraties informatievoorziening’.246 Wij vragen ons af of de aanvullende contractvoorwaarden op alle aanbestedingen zijn toegepast. Zo zien we op Tenderned aanbestedingen staan voor informatiesystemen voor schuldregelingen en budgetondersteuning en de nieuwe informatievoorziening WOZ Waarderen.247 Bij deze aanbestedingen hebben we niet kunnen vaststellen of de aanvullende voorwaarden van toepassing zijn. De contractvoorwaarden bevatten allerlei afspraken waaraan het algoritme moet voldoen, bijvoorbeeld over transparantie en risicomanagement.

Ook bevatten de voorwaarden een 'exit-regeling' waarin staat wat er moet gebeuren als het contract om wat voor reden dan ook eindigt (artikel 17 ‘Exit’). De reikwijdte van de afspraken beperkt zich echter tot "besluiten die burgers in aanmerkelijke mate treffen".248 Het rapport van Tilburg

eee Dit betreft de Europese Commissie, DG, GROW & DG CONNECT, Pels Rijcken, VNG, Ministerie van

Binnenlandse Zaken & Koninkrijkrelaties en Consortium ‘Controle op Publieke Algoritmes’. De bepalingen zijn vervolgens becommentarieerd door verschillende inkopers, juristen, leveranciers, auditors, programmeurs, informatiemanagers en andere stakeholders.

65

REKENKAMER AMSTERDAM University constateert dat de zinsnede “in aanmerkelijke mate” is ontleend uit artikel 22 van de AVG. Het is echter niet duidelijk waarom deze beperking, die in de AVG betrekking heeft op het al dan niet garanderen van menselijke tussenkomst, wordt toegepast op de contractvoorwaarden. Het kan bovendien zorgen voor discussies over wat 'in aanmerkelijke mate' betekent en dit kan ook leiden tot onzekerheid over de toepassing van de contractvoorwaarden.249

2.8.4

Handreiking bezwaar maakt mindere aandacht in primair besluit zichtbaar

De handreiking voor bezwaarbehandelaars, voluit de Handreiking Effectieve en efficiënte rechtsbescherming tegen het gebruik van algoritmen door de overheid, bevat aanbevelingen voor behandelaars van een bezwaar waarbij een algoritme ten grondslag ligt aan het genomen primaire besluit.250 De handreiking bevat voor verschillende fases in de behandeling van het bezwaar (indiening van bezwaar, opstellen verweerschrift, hoorzitting en samenstelling adviescommissie en beslissing op bezwaar) aanbevelingen die zijn toegespitst op algoritmen. Het document bevat ook enkele bijlagen die meer achtergrondinformatie geven over de geldende juridische verplichtingen, zoals de SyRIuitspraak en de AERIUS-jurisprudentie bij geautomatiseerde besluitvorming.251 De SyRIuitspraak maakt duidelijk dat er aanmerkelijke gevolgen voor burgers kunnen worden gecreëerd, zelfs wanneer (nog) geen sprake is van een besluit in bestuursrechtelijke zin, maar van een feitelijke handeling (bijvoorbeeld de plaatsing van sensoren, de verzameling van bepaalde data, de opname van bepaalde data in een dataset).

En dat dit op grond van het transparantiebeginsel eisen stelt aan de toepassing van algoritmen.252 Met de AERIUSjurisprudentie wordt het bestuur verplicht om in het geval van geautomatiseerde besluitvorming de gemaakte keuzes en de gebruikte gegevens en aannames volledig, tijdig en uit eigen beweging openbaar te maken op een passende wijze zodat deze keuzes, gegevens en aannames voor derden toegankelijk zijn.253 Het is positief dat in de handreiking het belang van ambtshalve aandacht in bezwaar voor geautomatiseerde besluitvorming wordt benadrukt. Bovendien wordt hiermee concreet invulling gegeven aan de menselijke tussenkomst die in bezwaar plaatsvindt. Tegelijk doet de beperking tot de fase van bezwaar de vraag rijzen welke beheersinstrumenten beschikbaar zijn voor de primaire besluitvorming en voor feitelijk handelen. Bij afwezigheid van andere instrumenten in het Amsterdamse beheerskader lijken die andere situaties een blinde vlek te vormen.254 Dat is geen tekortkoming van de handreiking zelf, maar wel van het beheerskader als geheel (zie ook paragraaf 2.2).

Deze werkwijze roept bij ons de vraag op waarom het college de nadruk in de bezwaarfase legt, en niet al bij het primaire besluit aandacht heeft voor transparantie.255 Als het college op dit punt niet transparanter wordt, dan achten wij de kans aanwezig dat burgers op termijn massaal in bezwaar gaan, om zo zicht te krijgen op het mogelijke gebruik van algoritmen in de besluitvorming. Daarbij is het belangrijk dat de gemeente zich realiseert dat de juridische eisen die aan de kwaliteit van de motivering en transparantie worden gesteld momenteel in beweging zijn, zodat eerder een ruimere dan een minimale bescherming van de burger op zijn plaats is.256

66

ALGORITMEN - ONDERZOEKSRAPPORT Wat verder opvalt, is dat de handreiking nog weinig aandacht heeft voor hoe de ambtelijke organisatie kan leren van situaties waarin het bezwaar (of het beroep) gegrond is verklaard, wanneer bij het primaire besluit een algoritme is gebruikt. De handreiking geeft namelijk geen invulling aan dit proces van terugkoppeling.257 Bij behandeling bezwaren geen zicht op gebruik van algoritmen Wij hebben aan de ambtelijke organisatie gevraagd voor welke bezwaren gebruik is gemaakt van deze handreiking. De ambtelijke organisatie gaf aan dat er “nog geen bezwaren [zijn] binnen gekomen voor het gebruik van algoritmen".258 Uit deze reactie blijkt dat de ambtelijke organisatie (inclusief de bezwaarbehandelaars) geen zicht heeft op het gebruik van algoritmen door de gemeente Amsterdam en welke bezwaren daaraan zijn gerelateerd. Voor het bepalen van de WOZ-waarde en het opleggen van onroerendezaakbelastingen (OZB) gebruikt Amsterdam immers een algoritme, dat ook is opgenomen in het algoritmeregister en in de inventarisatie van algoritmen (bijlage 5). Over het belastingjaar 2021 heeft Amsterdam 14.438 bezwaren tegen een WOZbeschikking ontvangen, en over het belastingjaar 2022 had het in maart 2023 10.927 bezwaarschriften ontvangen.259

2.8.5

Noodzaak eigen 'mensenrechtenimpactanalyse' onduidelijk

De gemeentelijke Mensenrechtenimpactanalyse (inclusief bias-analyse zie paragraaf 2.8.6) bevat een Template Kunstmatige Intelligentie Impact Assessment (hierna: de template). De template bevat 136 vragen verdeeld over dertien vraagcategorieën (zie kader Dertien vraagcategorieën template). De toegevoegde waarde van de template is dat dit een handvat biedt om zowel vooraf, tijdens het gebruik, als achteraf de impact van een algoritme te bepalen.260 De ambtelijke organisatie geeft aan dat de template tot juni 2023 slechts eenmaal is ingezet: bij het algoritme Onderzoekswaardigheid ‘Slimme check’, overigens samen met het landelijke IAMA.261 Dertien vraagcategorieën mensenrechtenimpactanalyse 1. Bepalen noodzaak voor het doen van een kunstmatige intelligentie impact assessment; 2. KI-toepassing, verantwoordelijkheden en betreffende werkproces; 3. Beschrijf de baten van de KI-toepassing; 4. Architectuur; 5. Data en data-governance; 6. Wettige en ethische toepassing; 7. Technische documentatie; 8. Risicomanagement; 9. Informatiebeveiliging;

67

REKENKAMER AMSTERDAM 10. Beheer; 11. Communicatie; 12. Verantwoording; 13. Afwegingen en conclusie. Bron: Gemeente Amsterdam, Template Kunstmatige Intelligentie Impact Assessment, V1., ongedateerd. Gezien de diversiteit aan onderwerpen (13) en de variatie in de gestelde vragen (136) heeft de template meer het karakter van een algemene vragenlijst met betrekking tot de impact van het algoritme, waarvan een mensenrechtenanalyse en bias-analyse slechts deel uitmaken.262 De template roept veel vragen op. Ten eerste, voor welke algoritmen moet de template worden toegepast? Alleen als er sprake is van kunstmatige intelligentie, zoals de titel van de template suggereert, of ook voor de eenvoudigere algoritmen met alleen een geautomatiseerde beslisboom? Ten tweede, wanneer moet de template worden toegepast? Alleen voorafgaand aan de beslissing van het algoritme, of ook gedurende het gebruik? Ten derde, waartoe moeten de antwoorden op de vragen leiden? Is dat slechts om een beslissing te nemen over (het continueren van) een algoritme, of wordt van de ambtelijke organisatie verwacht ook maatregelen te treffen om risico’s te verminderen? De template biedt daarbij geen uitsluitsel of de antwoorden actief openbaar worden gemaakt (in het algoritmeregister).263 Zowel op internationaal als op nationaal niveau zijn er mensenrechtenimpactanalyses ontwikkeld.

Het Impact Assessment Mensenrechten en Algoritmes (IAMA), dat in opdracht van het ministerie van BZK is ontwikkeld, heeft een sterkere focus op de mensenrechten dan de Amsterdamse versie. Het doel van de IAMA is ook duidelijk: het gezamenlijk in discussie gaan over te maken keuzes, het vastleggen van gemaakte keuzes en het functioneren als naslagwerk wanneer op basis van het algoritme beslissingen worden genomen. Tot slot beoogt het IAMA nadrukkelijk aan te sluiten bij andere documenten die in het kader van de omgang met algoritmen zijn ontwikkeld, zoals de Handreiking nondiscriminatie by design en het toetsingskader van de Algemene Rekenkamer, en bovendien bij niet-technologisch ingestoken waarborgkaders.264 Uit het stuk Grip op Technologie (juni 2023) blijkt dat de ambtelijke organisatie overstapt naar het structureel gebruiken van de IAMA in plaats van het eigen instrument.265 In september 2023 heeft de ambtelijke organisatie meer achtergrondinformatie gegeven bij de overwegingen rond het gebruik van de IAMA. Volgens de ambtelijke organisatie was de IAMA ten tijde van de ontwikkeling van de eigen impactanalyse nog niet beschikbaar.

De vaststelling van beide instrumenten zou volgens de ambtelijke organisatie echter erg dicht bij elkaar liggen: op 16 juni 2021 is de Amsterdamse Impact Assessment aangeboden aan de organisatie.266 De IAMA kwam in juli 2021 beschikbaar.267 De ambtelijke organisatie

68

ALGORITMEN - ONDERZOEKSRAPPORT bevestigt in september 2023 dat ze overstappen naar het structureel gebruiken van de landelijke IAMA. Tegelijkertijd geeft de ambtelijke organisatie aan dat de IAMA niet alomvattend is en niet toereikend is op het gebied van een Architectuurnotitie, Security en Privacy Frameworks, ethische discussies en informatiebeheer. Weinig houvast, status onduidelijk De template geeft de gebruiker ervan bovendien weinig houvast. Context en toelichting ontbreken, waardoor begrippen uit de vragen verkeerd of niet-eenduidig kunnen worden geïnterpreteerd.268 Daardoor is ook niet duidelijk hoe de antwoorden moeten worden gewogen. Met Tilburg University zijn wij van mening dat bij een mensenrechtenanalyse de evenredigheid van een beperking van (grond)rechten een belangrijk onderdeel van de analyse zou moeten vormen, maar deze analyse maakt geen onderdeel uit van het onderdeel 'Wettige en ethische toepassing' uit de Template Kunstmatige Intelligentie Impact Assessment. De evenredigheid komt op hoofdlijnen terug in het onderdeel 'Afwegingen en conclusie', maar op dat moment staat die afweging buiten de context van mensenrechten.269 De template verwijst naar tien bijlagenfff, die geen deel uitmaken van de template of van het vastgestelde Amsterdamse beheerskader voor algoritmen.

De naamgeving van de bijlagen (bijvoorbeeld 'DPIA', 'Collegebesluit' en 'Gebruikersinstructie') wijst op reguliere instrumenten van de ambtelijke organisatie die door de lijnorganisatie met enige regelmaat worden toegepast. De template maakt echter niet duidelijk wanneer en in welke situaties deze reguliere instrumenten moeten worden ingezet. De template slaagt er daarmee niet in om een verbinding met de praktijk van de lijnorganisatie te leggen.

2.8.6

Bias-analysemodel: belang van inzet in volledige levenscyclus

Het bias-analysemodel is onderdeel van de Kunstmatige Intelligentie Impact Assessment (zie paragraaf 2.8.5).270 Het model schetst negen (iteratieve) stappen om ontoelaatbare bias zoveel mogelijk uit het algoritme te weren. Dit leidt tot een rapportage die de oorspronkelijk gevonden en uiteindelijke biases omvat, samen met eventuele maatregelen die genomen zijn en de overwegingen om een bias al dan niet aanvaardbaar te achten.271 Volgens de ambtelijke organisatie zou dit model voor alle algoritmen doorlopen moeten worden, dus ook voor algoritmen die in gebruik zijn, algoritmen die nog worden ontwikkeld, of algoritmen die worden ingekocht.272 Het bias-analysemodel bevat geen definitie van bias. De openbare gemeentelijke Handreiking algoritmen (december 2022) waarin het bias-analysemodel is samengevat, geeft die definitie wel: “mogelijke onvoorziene vooroordelen”.273 In de raadsinformatiebrief Inzake Afdoening toezegging over het algoritmeregister (maart 2023)

fff 1) DPIA werkproces, 2) Excelbestand met overzichten van: - Verwerkte data (met doelbinding,

relevantie voor ontwikkeling KI), - Opgestelde features, - Business rules betreffende werkproces, Verwijderde features, 3) Excelbestand met weging betrokken (grond)rechten en waarden inzet KI, 4) Baselinetoets/DRA, 5) Rapportbias-analyse, 6) Auditrapport,; 7) CPA-/FG-advies/-adviezen, 8) Collegebesluit, 9) Gebruikersinstructie, en 10) Beheerplan.

69

REKENKAMER AMSTERDAM geeft het college een uitgebreidere definitie van bias: "We willen voorkomen dat ongerechtvaardigd onderscheid wordt gemaakt op gevoelige kenmerken als: nationaliteit, geboorteland, postcode, huidskleur, etniciteit, geslacht, leeftijd, burgerlijke staat, seksuele geaardheid, religie, politieke opvatting, verblijfsstatus, zwangerschap, gezondheid, sociale klasse en genetica."274 In het bias-analysemodel en in de raadsbrief van maart 2023 zijn dezelfde zestien kenmerken genoemd waarop geen ongerechtvaardigd onderscheid gemaakt mag worden. Het valt op dat het college aangeeft dat negen van de zestien kenmerken niet bij de gemeente bekend zijn, in die zin dat de gemeente geen gegevens over verwerkt, waaronder etniciteit, gezondheid en sociale klasse.275 We vragen ons daarom af hoe het college bias op deze kenmerken kan uitsluiten, vooral met het oog op indirecte bias. Van indirecte bias is sprake wanneer een gevoelig kenmerk, zoals nationaliteit, geen deel uitmaakt van een algoritme, maar kenmerken die sterk samenhangen met de nationaliteit, bijvoorbeeld een specifiek postcodegebied, hier wel deel van uitmaken.276 In dit voorbeeld zou de variabele ‘postcode’ indirect kunnen leiden tot bias op basis van nationaliteit.

Het bias-analysemodel onderkent wel het onderscheid tussen directe en indirecte bias, maar reikt geen oplossingen aan voor het bovenstaande probleem. Er is niet uitgelegd waarom het college koos voor deze zestien kenmerken en of het overzicht van kenmerken limitatief bedoeld is. De lijst komt wel grotendeels overeen met de lijst van ‘beschermde gronden’ van de European Union Agency for Fundamental Rights and Council of Europe waarop niet gediscrimineerd mag worden volgens Europese wetgeving, verdragen en jurisprudentie.277 De lijst van het college mist nog de volgende gronden: 1) spreektaal, 2) genderidentiteit, 3) niet-politieke opvattingen, en 4) overige status: i.e. beschermde verschillenggg gebaseerd op een identificeerbare, objectieve of persoonlijke eigenschap, of “status”, waardoor individuen of groepen van elkaar te onderscheiden zijn.278 De vraag is dan ook of het voor de ambtelijke organisatie duidelijk is dat op andere kenmerken ongerechtvaardigd onderscheid gemaakt kan worden.

Verder heeft het biasanalysemodel geen aandacht voor intersectionaliteit; het fenomeen dat juist een combinatie van kenmerken problematisch kan zijn in het licht van bias.279 Het model maakt duidelijk dat een systematische afwijking op zich nog niet problematisch hoeft te zijn, maar dat uiteindelijk de vraag moet worden beantwoord of een bepaalde vorm van systematische afwijking al dan niet aanvaardbaar is. Dat vinden wij op zichzelf positief. Het gaat er immers niet om dat systematische afwijkingen als zodanig worden

ggg De European Union Agency for Fundamental Rights and Council of Europe benoemt de volgende

‘overige’ beschermde verschillen op basis van jurisprudentie: vaderschap, burgerlijke staat, lidmaatschap van een organisatie, militaire rang, ouderschap van een kind geboren uit huwelijk, woonplaats, gezondheid of medische conditie, voormalig KGB-officier, gepensioneerden werkzaam in bepaalde categorieën van de publieke sector, en arrestanten in afwachting van proces. Bron: European Union Agency for Fundamental Rights and Council of Europe, Handbook on European nondiscrimination law, 2018, pp. 224-225.

70

ALGORITMEN - ONDERZOEKSRAPPORT uitgesloten, maar enkel dat bias (onwenselijke systematische afwijkingen) worden geweerd.280 Om de ambtelijke organisatie te ondersteunen bij het nemen van een beslissing of een bias (on)aanvaardbaar is, geeft het model vier invalshoeken, voorzien van een korte vraag:

1. Juridisch. Mag het? 2. Business. Herkennen we dit uit de praktijk? 3. Ethiek. Willen we het? 4. Tech. Wat is de impact op het model? In het model wordt daarbij aangegeven dat het van belang is dat mensen vanuit verschillende rollen en achtergronden betrokken zijn bij het wegen van de uitkomsten van de bias-analyse.281 Het afwegen of er sprake is van een onaanvaardbaar onderscheid, lijkt een ambtelijke aangelegenheid te zijn. Het model geeft niet aan of en wanneer het college (of de wethouder) bij deze besluitvorming betrokken moet worden. Het bias-analysemodel geeft geen duidelijkheid of de toepassing van het model wordt ingebed in een bredere benadering, waarin in gesprek met de betrokken doelgroepen wordt onderzocht of bias wordt ervaren. Zodoende ontbreekt een vijfde invalshoek in het besliskader: het perspectief van de betrokken doelgroep.282 Onduidelijk of bias-analyses voor alle algoritmen moeten worden uitgevoerd Het bias-analysemodel geeft geen duidelijkheid over de vraag hoe en wanneer dit instrument wordt ingezet gedurende de volledige levenscyclus van het algoritme.

Enkel toepassen in de ontwikkelfase van het algoritme doet geen recht aan de (onvoorziene) effecten ten aanzien van bias die het gebruik van een algoritme in de praktijk kan hebben.283 Volgens het college moeten Amsterdamse algoritmen, voordat deze in gebruik worden genomen, worden getoetst met behulp van het IAMA (weblink) en de eigen bias-analyse (weblink) als onderdeel van de eigen mensenrechtenimpactassessment.284 Het team bespreekt vervolgens de uitkomsten van de bias-analyses met de betrokken directeuren, beleidsadviseurs, juristen en senior medewerkers van het werkproces. Gezamenlijk wordt dan bepaald of een verschil passend is of niet. Aan de hand van de uitkomsten worden maatregelen genomen om de bias te ondervangen, aldus de wethouder.285 Opvallend is dat in de raadsbrieven geen onderscheid wordt gemaakt tussen hoog risico-algoritmen en andere algoritmen als het gaat om het uitvoeren van bias-analyses. Daarmee blijft in het midden of de bias-analyses voor alle typen algoritmen moeten worden uitgevoerd. Uit het Amsterdamse beheerskader voor algoritmen en de raadsbrieven blijkt bovendien niet of de bias-analyses ook moeten worden uitgevoerd voor de reeds bestaande algoritmen.

71

REKENKAMER AMSTERDAM Tot 1 juni 2023 waren twaalf algoritmen in het Amsterdamse algoritmeregister geregistreerd.hhh Voor een van de twaalf algoritmen, het algoritme Onderzoekswaardigheid 'Slimme Check' is een bias-analyse is uitgevoerd.286 Voor de overige elf algoritmen was in juni 2023 geen bias-analyse uitgevoerd, voordat het algoritme in gebruik is genomen. Dat beide bias-analyses zouden moeten worden uitgevoerd, strookt niet met een eerdere interpretatie van een deel van de ambtelijke organisatie (juni 2023). Die geeft aan de keuze te hebben om het IAMA of de Amsterdamse bias-analyse - al dan niet in combinatie in te zetten. De beslissing wordt genomen door de privacy officer.287 Een ander deel van de organisatie (juni 2023) geeft aan dat de ambtelijke organisatie overgaat naar het structureel gebruiken van de IAMA in plaats van het eigen instrument.288 In september 2023 is bevestigd dat deze structurele overstap wordt gemaakt.289

2.8.7

Organisatie handelt naar aanleiding van audits

Het zevende en laatste instrument betreft audits die door de afdeling Interne Audit en Beleidsonderzoek (IA&BO) worden uitgevoerd. De focus van de afdeling ligt op de beheersing van risicovolle processen, rechtmatigheid en het onderzoeken van doeltreffendheid en doelmatigheid van het beleid. Het werk van de afdeling heeft als doel om bij te dragen aan een lerende organisatie die op een beheerste wijze haar doelen realiseert.290 De afdeling stelt in samenspraak met het GMT een jaarplan op dat wordt vastgesteld door het GMT. Daarnaast voert de afdeling audits uit op verzoek van afzonderlijke gemeentelijke directies.291 In relatie tot algoritmen heeft het college in juli 2021 aangegeven dat dienstverleningsprocessen waarbij algoritmen worden gebruikt gecontroleerd kunnen worden met behulp van een audit. In een audit wordt volgens het college gecontroleerd of de juiste maatregelen zijn genomen om risico’s, bijvoorbeeld op discriminatie of het schenden van rechten, te voorkomen.292 Sinds 2018 heeft de afdeling IA&BO drie audits uitgevoerd die gerelateerd zijn aan algoritmen: iii 1. 2021: Beoordeling informatiebeveiliging data-omgeving VAO Secure Plus 2. 2022: Beoordeling van het Stedelijk toetsingskader voor Algoritmen293 3. 2022: Beoordeling van het algoritme Handhaving illegale vakantieverhuur

Op basis van https://web.archive.org/web/20230601180427/https://algoritmeregister.amsterdam.nl/ betreft dit de volgende algoritmen: 1. Onderzoekswaardigheid ‘Slimme Check’; 2. Handhaving illegale; 3. Adviestool Gripvol; 4. Parkeercontrole; 5. Public Eye; 6. Beeldherkenning; 7.Druktebeeld (NL); 8. Vroeg Eropaf; 9. Top 400/600; 10. Waarderen WOZ-objecten; 11. Meldingen openbare ruimte; 12. Map it out. iii Naast deze drie audits is in 2018 het algoritme Signalen Informatievoorziening Amsterdam (SIA), dat inmiddels bekend is onder de naam Meldingen openbare ruimte, beoordeeld. Dit auditrapport is gemaakt door KPMG, die de opdracht via de ACAM heeft ontvangen (Bronnen: Gemeente Amsterdam, Controle op algoritmen, Aanpak en instrumenten voor verantwoord algoritmegebruik in Amsterdam, december 2022, p. 12.; Feitelijke reactie van de ambtelijke organisatie op de Nota van Bevindingen Algoritmen, 18 september 2023) hhh

72

ALGORITMEN - ONDERZOEKSRAPPORT In de beoordeling van de gemeentelijke ontwikkel- en testomgeving voor algoritmen (Veilige Analyse Omgeving, VAO) komt de afdeling IA&BO tot de conclusie dat de geïdentificeerde risico’s redelijk worden beheerst. Voor de risico’s rondom autorisatiebeheer en ‘hardening’jjj vragen zij aandacht.294 Voor de ambtelijke organisatie is dit rapport mede de aanleiding om over te stappen naar een Analyse Suite ontwikkeld in Azure Cloud (hierna: Azure).295 Mede naar aanleiding van de audit van het stedelijk toetsingskader voor algoritmen (zie kader Resultaten beoordeling stedelijk toetsingskader) heeft de ambtelijke organisatie besloten om vanaf juli 2022 niet langer het eigen toetsingskader te gebruiken voor audits, maar het auditraamwerk van de Algemene Rekenkamer.296 Resultaten beoordeling stedelijk toetsingskader In 2018 heeft de gemeentelijke organisatie in samenwerking met ACAM en KPMG een eigen kader ontwikkeld voor het toetsen van algoritmen. Nadien heeft de Algemene Rekenkamer (februari 2021) een toetsingskader opgesteld en heeft de Norea een richtlijn opgesteld voor het toetsen van algoritmen. In de audit heeft de afdeling IA&BO het stedelijk toetsingskader beoordeeld en vastgesteld welke verbeteringen er mogelijk zijn voor versterking van de beheersing van de gemeentelijke algoritmen.

In de samenvatting van het auditrapport concludeert de afdeling IA&BO: “Het toetsingskader voldoet aan de vereisten aangetroffen in de literatuur en alle elementen [...] aangetroffen in de kaders van Norea en Algemene Rekenkamer, welke relevant zijn voor goed beheerste toepassing van AI. Sterke punten van het toetsingskader betreffen: -

Het kader heeft uitgebreid aandacht voor de ethische aspecten van de AI.

-

Het kader besteedt aandacht aan informatiebeveiliging.

-

Het toetsingskader van Amsterdam bevat de elementen die ook zijn opgenomen in de recent ontwikkelde kaders van Norea en Algemene Rekenkamer.

De afdeling IA&BO beveelt aan om in de doorontwikkeling van het Amsterdamse AIbeheersingskader aandacht te besteden aan: -

Opstelling van de documenten, richtlijnen en checklists waarnaar in het AI-beheersingskader wordt verwezen.

jjj Eis van hardening: “De applicatie en infrastructuur gebruikt bij de aansluiting is voorzien van de

meest recente, relevante patches conform de richtlijnen. De applicatie en infrastructuur gebruikt bij de aansluiting is (aantoonbaar) volgens de instructies en procedures van de leverancier ingericht (o.a. afsluiten niet benodigde IP poorten, wijzigen van default passwoorden en naleving van de gedocumenteerde basisconfiguratie).” Bron: Afdeling Interne Audit en Beleidsonderzoek van de gemeente Amsterdam, Informatiebeveiliging data-omgeving VAO Secure Plus, 16 november 2021.

73

REKENKAMER AMSTERDAM -

Een goede en logische plaatsing van de AI-beheersingskader in het geheel van gemeentelijke (IT)beheersingskaders (vb. informatiebeveiligingsbeleid, IT Governance, personeelsbeleid).

-

Toevoeging van een relatie met de generieke gemeentelijke normen en waarden zoals opgenomen in de ambtseed, de gedragscode en de ‘vijf principes’.

-

Toevoeging van aandacht voor naleving van de gemeentelijke standaarden voor o.a. informatiebeveiliging en inkoop.

-

Latere hoofdstukken zoals monitoren, maar ook accepteren & implementeren en evolueren bevatten beheersingsmaatregelen die gezien hun aard verwacht waren bij Governance & Strategie. Herordening van deze beheersingsmaatregelen zou zinvol zijn.

-

Aanvulling bij begripsvorming met aandacht voor data en uitbreiding van business case en algoritme(risico)profiel.”

Bron: Afdeling Interne Audit en Beleidsonderzoek van de gemeente Amsterdam, Beoordeling stedelijk beheersingskader voor Algoritmen, 3 februari 2022, pp. 2, 3. Naar aanleiding van de audit van het algoritme Handhaving illegale vakantieverhuur (zie kader Resultaten beoordeling algoritme Handhaving illegale vakantieverhuur) heeft de ambtelijke organisatie besloten te stoppen met dit algoritme en dit algoritme te verwijderen uit het algoritmeregister. Tevens wil de ambtelijke organisatie de uitkomsten van de audit betrekken in de verdere ontwikkeling van het algoritme Detectie illegale onderhuur (zie paragraaf 3.1.2).297 Resultaten beoordeling algoritme Handhaving illegale vakantieverhuur Het algoritme Handhaving illegale vakantieverhuur geeft een prioriteringspercentage voor te bezoeken adressen in verband met mogelijke illegale vakantieverhuur. De audit heeft als centrale onderzoeksvraag: Is voor algoritme Alpha voldaan aan de vereisten voor een betrouwbaar en goed beveiligd algoritme? Daarbij is tevens getoetst of het ontwikkelde toetsingskader in de praktijk ook toepasbaar is. In de samenvatting van het auditrapport concludeert de afdeling IA&BO dat het normenkader op meerdere punten verduidelijkt moet worden en nog niet geheel toereikend is.

Daarnaast is ook aan een deel van de (reeds duidelijke) vereisten uit het Amsterdamse beheersingskader Algoritmen niet (volledig) voldaan. Dit betreft vooral het onderdeel Security. De afdeling benadrukt dat er veel werk is verzet, en dat een goed en innovatief product is neergezet. Op basis van de audit wordt een aantal punten gesignaleerd als belangrijkste lessen voor verdere doorontwikkeling (p. 3): -

“[V]erdere verduidelijking [is] noodzakelijk voor een aantal normen opgenomen in het AI-kader. Dit wordt ook versterkt doordat het AI-kader nog niet goed

74

ALGORITMEN - ONDERZOEKSRAPPORT geïncorporeerd is in het geheel van gemeentelijke kaders […] en niet bekend was bij de organisatiedelen betrokken bij ontwikkeling en eerste gebruik van Alpha. -

De eerstelijns directies zijn zelf verantwoordelijk voor informatiebeveiliging. Ondersteuning vindt plaats vanuit de 2e lijn met specialisten en de tweede lijn is verantwoordelijk om voldoende ondersteuning te bieden. Er is nog onduidelijkheid over de invulling van deze verantwoordelijkheden in de praktijk. Een groot aantal eisen binnen het onderdeel Security voldoet niet, omdat zichtbare vastlegging ontbreekt. Hiermee is niet gezegd dat de informatie ontoereikend beveiligd was. Op basis van de door ons verkregen informatie achten wij het aannemelijk dat de informatiebeveiliging toereikend is.

-

De overdracht van ontwikkeling naar beheer is gecompliceerd. Dit is onder meer terug te zien doordat (nog) geen toezicht op het gebruik en functioneren van het algoritme wordt uitgevoerd.

-

Het beheerst ontwikkelen en beheren van een algoritme vergt tijd en kost geld. Het is goed om vooraf een goede inschatting te maken van de kosten en baten. Vanuit de doorontwikkeling van AI-governance is inmiddels een hulpmiddel vastgesteld door het GMT dat hierin ondersteuning kan bieden.”

Bron: Gemeente Amsterdam, Algoritme Alpha, concept-versie 3.0, 30 september 2022. Uit het Jaarplan 2023 van de afdeling IA&BO blijkt dat de afdeling in 2023 geen algoritmen zal gaan onderzoeken. Wel zal de afdeling in 2023 van de ontwikkel- en de dataomgeving voor algoritmen (Azure) de informatiebeveiliging en privacybescherming gaan onderzoeken.298

2.9 Stand van zaken afspraken uit het beheerskader Het governancedocument uit het beheerskader (zie paragraaf 2.8.2) beschrijft welke taken en verantwoordelijkheden het college, de Chief Information Officer (CIO), de directeur Digitale Voorzieningen en de directeur Data hebben om innovatie door middel van slimme technologie te stimuleren én om de mogelijk negatieve effecten te beperken door het beheersen van risico’s.299 Daartoe moeten (periodiek) een aantal concrete documenten worden opgesteld of activiteiten worden uitgevoerd. Begin juni 2023 heeft de ambtelijke organisatie op ons verzoek ons geïnformeerd in hoeverre daaraan uitvoering is gegeven. Hieronder leest u per thema wat de stand van zaken is. Eerder gaf de ambtelijke organisatie in algemene zin aan dat het huidige beheerskader nog onvoldoende effectief is (december 2022).300 Volgens de ambtelijke organisatie is verdere bewustwording in de organisatie nodig over dat er voor algoritmen aanvullende voorwaarden gelden. Ook moet er voldoende kennis zijn van het bestaan van het beheerskader. Het is ook nodig dat het beheerskader verder wordt doorontwikkeld om beter aan te sluiten bij de ambtelijke praktijk en veranderende wetgeving. Het

75

REKENKAMER AMSTERDAM beheerskader is continu in ontwikkeling en zal in de komende jaren nog wijzigen, aldus de ambtelijke organisatie.301

2.9.1

Bestuurlijke kaders voor algoritmen zijn nog niet vastgesteld

Het is de verantwoordelijkheid van het college om de kaders vast te stellen voor het werken met algoritmen.302 De portefeuillehouder ICT & Digitale Stad is stelselverantwoordelijk, bevordert de bescherming van de digitale rechten van burgers en is verantwoordelijk voor kennisontwikkeling, voorlichting, preventie en eventuele nazorg.303 Gegeven deze bestuurlijke verantwoordelijkheden valt het op dat het college geen kaders voor algoritmen heeft vastgesteld. De ambtelijke organisatie geeft aan dat het Amsterdamse beheerskader voor algoritmen enkel door het GMT is vastgesteld (januari 2022). In de GMT-voordracht staat dat zes van de zeven instrumenten uit het beheerskader ‘direct uitvoerbaar’ zijn vanaf de datum van de GMT-voordracht, waarvoor de communicatieplicht naar de gemeentelijke organisatie bij de CIO is belegd.304 Een uitzondering vormt het zevende beheersinstrument over de governance (zie ook paragraaf 2.8.2). In de GMT-voordracht staat dat dit document een maand later (februari 2022) aan het college zou worden voorgelegd.305 Wij hebben de voordracht van het governancedocument aan het college en de besluitvorming daarover echter niet kunnen vaststellen.

2.9.2

Slechts één algoritme met een hoog risico voorgelegd aan het college

Daarnaast is in het governancedocument vastgesteld dat de portefeuillehouders algoritmen met een hoog risico ter besluitvorming voorleggen aan het college. 306 Sinds januari 2022, het moment van vaststelling van het beheerskader door het GMT, is volgens de ambtelijke organisatie één algoritme met een hoog risico, het algoritme Onderzoekswaardigheid 'Slimme Check', voorgelegd aan het college.307 Dit is opvallend, aangezien in het algoritmeregister zeker acht andere algoritmen staan (juli 2023) met een hoog risico die (nog) niet ter besluitvorming aan het college zijn voorgelegd: Vroeg Eropaf (om mensen met problematische schulden te identificeren en door te leiden naar de juiste schuldhulpverlening), Handhaving Illegale Vakantieverhuur, Geautomatiseerde handhaving Milieuzones, Geluidsensoren: Slimme geluidsmeter, Adviestool Gripvol (om te bepalen of een onderneming levensvatbaar is), Waardering WOZ-objecten, Parkeercontrole en Top400/600.

2.9.3

Kaderstellende afspraken voor de toepassing van algoritmen wisselend nagekomen

In opdracht van de wethouder ICT & Digitale Stad is de CIO verantwoordelijk voor het formuleren en beheren van kaderstellende afspraken en uitgangspunten voor het toepassen van algoritmen, ter bescherming van rechten van burgers en bedrijven. De zes producten waarin dit zou moeten resulteren, zijn beschreven in het governancedocument.308 Onderstaande tabel toont de producten en ons oordeel over de realisatie daarvan, op basis van de informatie die we van de ambtelijke organisatie hebben ontvangen (juni tot en met juli 2023).

76

ALGORITMEN - ONDERZOEKSRAPPORT

Tabel 2.1 - RMA-beoordeling over producten uit governancedocument (junijuli 2023) Product

Realisatie

Beleid voor het gebruik van algoritmen

Deels gerealiseerd

Standaard voor vaststelling risicoanalyse

Deels gerealiseerd

Verantwoordingsstrategie en verantwoordingsdocumentatie

Deels gerealiseerd

Referentiearchitectuur

Deels gerealiseerd

Ethische principes

Gerealiseerd

Standaarden technische documentatie

Niet gerealiseerd

Ons oordeel over de realisatie per product lichten we hieronder toe. 1. Beleid voor het gebruik van algoritmen – deels gerealiseerd Te realiseren: Beleid voor het gebruik van algoritmen met definities en verwerkingseisen om de betrouwbaarheid te waarborgen, de definitie van algemene uitgangspunten voor toepassingen met behulp van algoritmen voor de stad en een overzicht van wet- en regelgeving voor de generieke toepassing van algoritmen.309 Stand van zaken (juni 2023): In de beantwoording van de vraag of er beleid is ontwikkeld, geeft de ambtelijke organisatie enerzijds aan dat de AVG van toepassing is bij algoritmen die persoonsgegevens verwerken. Voor die algoritmen geldt dat de (verwerkings)grondslag, DPIA en privacyverklaring moeten worden opgenomen in het algoritmeregister. Aanvullend zijn de Tada-waarden en de AI-waarden opgesteld die ook gelden voor algoritmen die geen persoonsgegevens verwerken. Anderzijds geeft de ambtelijke organisatie aan dat er een proces is ingericht voorafgaand aan het publiceren van een algoritme.310 Onderdeel van dat proces zijn de ‘Quality Assurance Acceptatiecriteria’. Deze criteria zijn nog niet gemeentebreed van toepassing. Hoewel de genoemde punten onderdeel kunnen vormen van beleid, is er op dit moment nog geen sprake van samenhangend beleid. Bovendien ontbreekt een overzicht van de wet- en regelgeving. 2.

Standaard voor vaststelling risicoanalyse – deels gerealiseerd Te realiseren: Een standaard voor het vaststellen van een risicoanalyse.311 Stand van zaken (juni 2023): Voor deze standaard verwijst de ambtelijke organisatie naar de tool Afwegingskader en risicoanalyse (zie kader Afwegingskader: concreet, maar

77

REKENKAMER AMSTERDAM beperkt in toepassing, in paragraaf 2.2.1). Daarnaast heeft de ambtelijke organisatie aangegeven eind 2023 gesprekken te willen starten om een landelijk instrument te ontwikkelen.312 In paragraaf 2.8.1 constateren we dat het Afwegingskader een tool of toepassing niet als algoritme kwalificeert op basis van de gehanteerde criteria, terwijl de tool of toepassing volgens de algoritmedefinitie uit het algoritmeregister wel een algoritme betreft. Het gevolg is dat risicoanalyse in dat geval ten onrechte wordt gestaakt. Daarnaast constateerden we dat de status van het Afwegingskader onduidelijk is (zie paragraaf 2.2.1); maakt het wel of geen onderdeel uit van het Amsterdamse beheerskader voor algoritmen? In dezelfde paragraaf constateerden we dat het Afwegingskader concreet is en tot handelen aanzet, maar dat het onduidelijk is waarom het model uitsluitend betrekking heeft op ‘hoog risico’-toepassingen en hoe de uitkomsten van de risicoanalyse een vervolg krijgen. Verder is het periodiek actualiseren van een risicoanalyse in onze ogen een belangrijke voorwaarde om risico’s gedurende het bestaan van het algoritme in kaart te brengen en af te wegen of getroffen beheersmaatregelen bijstelling behoeven. 3.

Verantwoordingsstrategie en verantwoordingsdocumentatie – deels gerealiseerd Te realiseren: Een verantwoordingsstrategie met betrekking tot input, output, gebruikte technologie en documentatie voor verantwoording.313 Stand van zaken (juni 2023): De ambtelijke organisatie geeft aan dat een groot deel van de genoemde zaken met betrekking tot datasets, architectuur, risico's en prestaties al worden opgenomen in het algoritmeregister.314 Bovendien is de ambtelijke organisatie voornemens om het algoritmeregister verder te ontwikkelen. Dit met als doel dat het algoritmeregister meer informatie bevat over het algoritme zodat alle fasen van het algoritme (van ontwikkeling tot archivering) worden geregistreerd, het risico op een ‘black box’ wordt verminderd en ook de input en output makkelijker zijn te volgen.315 Eerder constateerden we dat de kwaliteit en de diepgang van het register per algoritme verschillen en dat algoritmen die niet meer worden gebruikt uit het register worden verwijderd (zie paragraaf 2.8.1). Als de aangekondigde verbeteringen daarnaast worden gerealiseerd, dan wordt daarmee ook de transparantie van het register vergroot.

Omdat er in de toelichting van de ambtelijke organisatie op de verantwoordingsstrategie nog geen aandacht is voor het onderdeel technologie, en omdat deze verantwoordingsstrategie niet door ambtenaren kan worden ontsloten, komen wij tot het oordeel ‘deels gerealiseerd’. 4. Referentiearchitectuur – deels gerealiseerd Te realiseren: Een referentiearchitectuur voor algoritmen.316 Stand van zaken (juni 2023): De ambtelijke organisatie geeft aan dat de referentiearchitectuur voor algoritmen bestaat uit een aantal principes, kaders en richtlijnen die in acht genomen dienen te worden bij de implementatie van algoritmen. De belangrijkste principes zijn daarbij transparantie, potentie, betrouwbaarheid, ethische

78

ALGORITMEN - ONDERZOEKSRAPPORT overwegingen, onderhoud en uitlegbaarheid.317 Wij hebben deze referentiearchitectuur niet ontvangen. Wel troffen wij in het algoritmeregister bij het algoritme Onderzoekswaardigheid 'Slimme Check' het document Architectuurnotitie WPI Risicomodel v1.2. aan. De kaders in dat document worden gevormd door het algoritmeregister, de Tada-waarden en het governancedocument (zie paragraaf 2.8.2). Het document bevat zeven architectuurprincipes en zeven aanvullende principes waaraan de directie Werk, Participatie en Inkomen (WPI) belang hecht. Vier principes (betrouwbaarheid, ethische overwegingen, onderhoud en uitlegbaarheid) maken daar echter geen onderdeel van uit. Het document bevat ook geen richtlijnen.318 Niet alle genoemde principes en richtlijnen zijn gedocumenteerd. Daardoor kunnen ambtenaren er geen kennis van nemen. 5. Ethische principes – gerealiseerd Te realiseren: Vastgestelde ethische principes voor ethisch en verantwoord gebruik van data en algoritmen. 319 Stand van zaken (juni 2023): Voor nieuwe algoritmen zijn de vastgestelde ethische principes (de Tada-waarden, zie paragraaf 1.2.1) de standaard, aldus de ambtelijke organisatie.

Daarnaast noemt de ambtelijke organisatie dat bij afwijking van de ethische principes voor data en algoritmen, of bij vragen over de toepassing van algoritmen, de CPA desgevraagd adviseert over de toepassing met inachtneming van de wet- en regelgeving, de maatschappelijke en ethische inzichten en technologische ontwikkelingen.320 Voor bestaande algoritmen maakt de ambtelijke organisatie naar eigen zeggen in de loop van 2023 een "roadmap voor een inhaalslag voor het analyseren van deze algoritmen op basis van deze principes [de Tada-waarden] en de IAMA".321 De ambtelijke organisatie geeft aan dat de ethische principes op de website van algoritmeregister zijn toegelicht (zie kader Welke ethische principes worden gevolgd bij het gebruik van algoritmes in Amsterdam?).322 Daarnaast geeft het college in het Grip op technologie actieplan (juli 2023) aan dat de TADA-waarden worden doorontwikkeld, met de bedoeling om deze als “concreet, duidelijk en hanteerbaar ethisch kader voor de hele organisatie” te gebruiken.

Deze waarden zijn gebaseerd op “de laatste inzichten over digitale rechten, zoals de nieuwe Europese EU Digitale Rechten Principes en de Code Goed Digitaal Openbaar Bestuur.”323 De CPA constateert dat de Tada-waarden op een te rooskleurig beeld van de zelfredzame burger zijn gebaseerd.324 Omdat is besloten de ethische principes uit de Tadawaarden te volgen, beoordelen we dit product als gerealiseerd. Welke ethische principes worden gevolgd bij het gebruik van algoritmes in Amsterdam? “Dienstverlening of gegevensverwerking die met behulp van algoritmes is geautomatiseerd, moet dezelfde principes respecteren als alle andere dienstverlening door de gemeente. Ze moeten mensen gelijk behandelen, de vrijheid en zeggenschap niet inperken, open en controleerbaar zijn en in dienst staan van de Amsterdammer; niet andersom. Bovendien mogen algoritmes niet het laatste woord hebben en niet uitsluitend werken op basis van toevallige verbanden (correlaties). We vinden dat alle

79

REKENKAMER AMSTERDAM Amsterdammers toegang moeten hebben tot begrijpelijke en actuele informatie over hoe algoritmes hun leven beïnvloeden. Daarom hebben we het Amsterdamse algoritmeregister ontwikkeld.” Bron: algoritmeregister.amsterdam.nl/meer-informatie, geraadpleegd 11 juli 2023. 6. Standaarden technische documentatie – niet gerealiseerd Te realiseren: Het vaststellen van standaarden voor technische documentatie over de werking van het algoritme.325 Stand van zaken (juni 2023): In antwoord op deze vraag beschrijft de ambtelijke organisatie welke ‘checks’ er in de praktijk worden uitgevoerd voorafgaand aan het registreren van een algoritme in het algoritmeregister.kkk326 Die beschrijving is wat anders dan het vaststellen van standaarden voor technische documentatie. De concept-AIverordening bevat een standaard voor technische documentatie voor algoritmen met een hoog risico, met daarin onder meer een beschrijving van het systeem, de elementen, het proces voor de ontwikkeling ervan, en gedetailleerde informatie over de monitoring, werking en controle van het systeem.327 Dit strekt veel verder dan de ‘checks’ die door de ambtelijke organisatie worden genoemd.

Verder dient de technische documentatie van een systeem met een hoog risico opgesteld te worden voordat het in gebruik wordt gesteld,328 en heeft het proces met ‘checks’ betrekking op het proces voorafgaand aan publicatie van een algoritme in het algoritmeregister.

2.9.4

Activiteiten dragen bij aan vergroten bewustwording, kennis en competenties

De CIO van Amsterdam is verantwoordelijk voor het vergroten van de bewustwording, kennisontwikkeling en competenties, en het laten verzorgen van opleidingen van medewerkers van de gemeente Amsterdam op het gebied van het beleid voor algoritmen, ethiek en het gebruik van algoritmen. Het gaat daarbij om medewerkers die binnen de gemeente Amsterdam werken aan digitalisering (het ‘I-domein’).329 Om de bewustwording te vergroten en kennis en competenties te ontwikkelen, heeft het kernteam Algoritme mede een Jaarplan algoritme lifecycle 2023 (november 2022) opgesteld. Onder het doel ‘Bewustwording, training en opleidingen’ worden veertien verschillende activiteiten benoemd, op basis van het kennisniveau van 2022, variërend in type activiteit, omvang en doelgroep (zie kader Activiteiten bewustwording, training en opleidingen).330 Het jaarplan is niet vastgesteld door de CIO of het GMT.331

kkk Het betreft: 1) Privacy-check (inclusief IAMA en bias-analyse met een privacy officer), 2) Externe

ethische check door peer reviewer (Hogeschool van Amsterdam), 3) Communicatiecheck (toets op begrijpelijk taal voor de burger), 4) Technische check (door vakgroep Data Science), 5) Akkoord voor publicatie door de verantwoordelijke directeur.

80

ALGORITMEN - ONDERZOEKSRAPPORT

Activiteiten bewustwording, training en opleidingen Het jaarplan benoemt veertien activiteiten: “a. We organiseren 2 maal een algoritme week. Hiervoor komt een apart draaiboek; b. Interne bewustwording (poll en kraampjes, workshops, heeft uw een algoritme in uw bezit? We maken een gemeentelijk team om het register te vullen; c. Extern: sessie met de algoritme eigenaren en burgers, minimaal 6 sessie voor 6 algoritmen; d. Technische sessie voor de raad; e. Kennisinstellingen en kennis uitwisseling; f. Rekenkamer presenteert rapport in de algoritme week van oktober; g. Sessies met burgers om het landelijkregister te testen; h. Intern sessies over fully in control; i. langs MT’s over algoritme lifecycle; j. Een seminar met architecten gericht op algoritmen; k. Opleidingen voor vakgroepen Data, Informatiebeheer, functioneel beheer en Privacy; l. Organiseren sessies met leadbuyers; m. Kennissessies met EU partners en met City coalition (6 keer per jaar), waarvan 2 in Nederland gehost; n. Maken van een korte film (max 6 min) over Algoritme life cycle Amsterdam.” Bron: Gemeente Amsterdam, Jaarplan 2023 Algoritme life cycle, 9 november 2022, pp. 10-11. In de tweede helft van 2023 zal het jaarplan worden geëvalueerd en bijgesteld.

Tot begin juni 2023 zijn in het kader van bewustwording rondom algoritmen met een hoog risico verdiepingssessies georganiseerd bij de directie OOV en het cluster Sociaal. Daarnaast hebben verschillende workshops van het kernteam Algoritme en de vakgroep Privacy plaatsgevonden, aldus de ambtelijke organisatie.332 Daarnaast is er een workshop Introductie Tada-waarden en moet een ethische bijsluiter worden ingevuld en actueel worden gehouden. Opvallend is de beschrijving van situaties waarin een ‘projectleider'lll wordt geacht om deze workshop te volgen en de ethische bijsluiter te actualiseren. Er worden hierbij twaalf zeer uiteenlopende “statements” genoemd die dit acceptatiecriterium zouden activeren.mmm333 Het abstracte karakter van die statements (bijvoorbeeld “er wordt nieuwe technologie gebruikt” of “onderbuikgevoel”) roept bij ons de vraag op of de criteria om de workshop te volgen en de ethische bijsluiter actueel te houden, niet te vrijblijvend zijn geformuleerd.

lll We hebben de functiebenamingen zoals Epic Owner, B-lead en I-lead samengevat onder de

noemer van ‘projectleider’. mmm De twaalf statements in de Quality Assurance Acceptatiecriteria v1.1 (onderdeel 29) zijn: “a. Er wordt nieuwe technologie gebruikt. b. ’Mensenwerk’ wordt deels gedigitaliseerd of geautomatiseerd. c. Er is een hoge impact naar buiten toe, voor de stad en inwoners. d. Er is sprake van profilering van personen of gebieden. e. Er is sprake van gericht sturen/beïnvloeden van gedrag. f. Er worden voorspellende data-analyses gedaan. g. Er wordt gebruik gemaakt van (gedeeltelijk)geautomatiseerde besluitvorming. h. Een specifieke doelgroep ondervindt mogelijk verhoogd ongemak. i. Onderbuikgevoel: ‘Dit kan ik niet met droge ogen uitleggen.’ j. Kans op stigmatisering of versterking van ongelijkheid tussen groepen/plekken. k. Gevolgen zijn mogelijk ingrijpend op lange termijn of nog onduidelijk. l. Uit de Data Protection Impact Assessment (DPIA) blijkt dat er sprake is van risicovolle verwerking van persoonsgegevens.”

81

REKENKAMER AMSTERDAM Om het risicobewustzijn van ambtenaren te vergroten, worden er workshops verzorgd voor ambtenaren die beroepshalve betrokken zijn bij algoritmen (onder meer algoritmeeigenaren, privacy officers, product-owners, accounthouders).334 De ambtelijke organisatie schat in dat via de (cluster) I-leads, privacy officers en het zelf-ontwikkelde Afwegingskader en de zelf-ontwikkelde risicoanalyse (zie paragraaf 2.2.1) “relatief eenvoudig” achterhaald kan worden of een algoritme als hoog risico beschouwd kan worden.335 Omdat de Europese risico-indeling niet eenduidig is en afwegingen vergt (zie paragraaf 2.2.4) , vragen wij ons af of het in de praktijk inderdaad ‘relatief eenvoudig’ zal zijn om een risico-inschatting te maken van een algoritme. Tot slot is er sprake van reflectie op het eigen handelen. Het document Controle op algoritmen bevat de geleerde lessen tot december 2022.336 De uitgevoerde en beoogde activiteiten dragen bij aan het vergroten van de bewustwording, kennisontwikkeling en competenties. Tegelijkertijd blijkt uit ons onderzoek van de praktijk (zie hoofdstuk 3) dat het benodigde niveau van bewustwording, kennis en competenties nog niet geheel is gerealiseerd.

2.9.5

Risicomanagement(systeem), controles en rapportages ontbreken

Ook het inrichten van risicomanagement ten aanzien van het gebruik van algoritmen is een verantwoordelijkheid van de CIO. Jaarlijks zou de naleving van de vastgestelde uitgangspunten voor algoritmen en de naleving van de taken en verantwoordelijkheden voor het gebruik van algoritmen moeten worden gecontroleerd. In concernrapportages en in een jaarlijkse rapportage aan de raad zou over deze controles verantwoording moeten worden afgelegd.337 Op de vraag wanneer het risicomanagementsysteem (voor algoritmen) is ingericht, antwoordde de ambtelijke organisatie in juni 2023 dat een nieuw beheersingssysteem in de loop van 2023 zal worden ingericht. Dit systeem (Fully in Control) is integrale governance, risk & compliance (GRC-)software om risico’s te identificeren en te monitoren.338 De Functionaris Gegevensbescherming (FG) (maart 2023) constateert dat structurele meetinstrumenten ontbreken, waardoor de ambtelijke organisatie inclusief de CIO en de FG onvoldoende zicht hebben op (privacy)risico’s. 339 Gemeentebreed wordt veel verwacht van het nieuwe systeem.

Zo zijn er verwachtingen rond het verbeteren van het privacymanagement, en bij opvolgingen van aanbevelingen van de gemeentelijke accountant- en adviesdienst (ACAM) en van de rekeningencommissie.340 Voor wat betreft de jaarlijkse controle op de naleving van de vastgestelde uitgangspunten voor algoritmen en de controle op de naleving van de taken en verantwoordelijkheden, geeft de ambtelijke organisatie aan (juni 2023) daar dit jaar mee te zullen starten. De FG en de CIO zullen deze controles per kwartaal (laten) uitvoeren met behulp van de input van de beoogde nieuwe risicorapportages.341 De ambtelijke organisatie geeft aan dat er in het tweede kwartaal van 2023 voor het eerst een rapportage is opgesteld per cluster waarin de stand van zaken rondom algoritmen is

82

ALGORITMEN - ONDERZOEKSRAPPORT opgenomen.342 We hebben deze rapportage niet ontvangen en kunnen dit daarom niet vaststellen. Met de raadsinformatiebrieven Toezeggingen over algoritmen tijdens commissievergaderingen in het derde kwartaal 2022 (dd. 25 januari 2023) en Afdoening toezegging over het algoritmeregister uit de commissievergadering FKD van 9 maart 2023 (dd. 28 maart 2023) is de raad geïnformeerd over een tal van onderwerpen rondom algoritmen. Het gaat daarbij onder meer over bias-analyses, de volledigheid van het algoritmeregister, toepassingen met kunstmatige intelligentie en het openbaar maken van de broncode van de algoritmen.343 Deze raadsbrieven hebben echter niet het karakter en de inhoud van de beoogde jaarlijkse verantwoording over het risicomanagement ten aanzien van het gebruik van algoritmen.

2.9.6

Technische kwaliteitscontroles verschillend in opzet, diepgang en betrokkenheid externen

De directeur Digitale Voorzieningen is verantwoordelijk voor de technische kwaliteitscontrole en -borging bij de begripsvorming, ontwikkeling, modellering, evaluatie en monitoring van de algoritmen, borgt de naleving van technische kwaliteitsvereisten en toetst de documentatie van het Ontwikkelteam. Deze controle dient voor algoritmen met een hoog risico in ieder geval te worden uitgevoerd voordat het algoritme in productie wordt genomen.344 In juni 2023 was er nog geen systeem (in gebruik) om algoritmen te evalueren en te monitoren. Wel zijn in 2022 zijn voor twee algoritmen technische kwaliteitscontroles uitgevoerd. De ambtelijke organisatie heeft aangegeven dat de ambitie is om deze controle op den duur voor “alle algoritmen” te willen uitvoeren.345 Het is onduidelijk of dit betekent dat de controles ook zullen worden toegepast bij algoritmen zonder een hoog risico. Dit zou een grote toename van de administratieve druk op projecten kunnen betekenen, terwijl de projecten in opzet en impact wellicht niet zo groot zouden zijn. De verschillen tussen de twee uitgevoerde kwaliteitscontroles is groot.

De technische documentatie bij het eerste algoritme, Onderzoekswaardigheid ‘Slimme Check’, behelst een uitvoerig document met een toelichting van de dataset (onder meer scope, inhoud en datakwaliteit), eigenschappen (onder meer omgang met outliers en ontbrekende waarden), doel en werking van het model, de belangrijkste metrieken en belangrijke overwegingen bij implementatie.346 De kwaliteitscontrole heeft veel weg van een selfassessment en kent veel diepgang. De ambtelijke organisatie geeft aan dat het stedelijk team Algoritmen in 2023 een aanvullende controle heeft uitgevoerd op dit algoritme.347 Voor het tweede algoritme, Detectie illegale onderhuurnnn, is de aangeleverde technische documentatie oppervlakkiger. De documentatie bestaat uit een collegevoordracht,348 een advies bij deze voordracht van DMC en DJZ349 en de notulen van een vergadering van de

nnn De ambtelijke organisatie kent dit algoritme als Model Sigma.

83

REKENKAMER AMSTERDAM CPA.350 Alleen in de notulen wordt - op hoofdlijnen - ingegaan op de technische kwaliteit van het algoritme. Hier staat tegenover dat bij dit algoritme meer externen betrokken lijken te zijn dan bij het andere algoritme. Zelf geeft de ambtelijke organisatie aan dat op dit moment een standaardwerkwijze wordt geformuleerd.351

2.9.7

Naleving verantwoordelijk datagebruik enigszins bevorderd

De directeur Data is verantwoordelijk voor het signaleren van de toepassing van algoritmen bij data-analyses, met als doel de verantwoordelijke partij daarvan op de hoogte te stellen. Daarnaast is deze directeur verantwoordelijk voor het bevorderen van de naleving van taken en verantwoordelijkheden bij het gebruik van algoritmen.352 De ambtelijke organisatie geeft aan dat op diverse manieren invulling is gegeven aan deze verantwoordelijkheden. Zo bevat het intranet van de gemeente Amsterdam vanaf februari 2022 een algoritmepagina, waarop de verschillende instrumenten uit het beheerskader voor algoritmen zijn beschreven en voorzien zijn van een link naar meer informatie.353 Aanvullend zijn het in beeld brengen van hoog risico-algoritmen door directies en workshops over algoritmen genoemd (zie ook paragraaf 2.9.4). Tot slot geeft de ambtelijke organisatie aan dat algoritmen sinds 2023 een vast onderdeel zijn van de agenda in de periodieke gesprekken tussen de directie DS&I en de clusterleads.354 Kwartaalplanningsevents vanaf september 2023 de nieuwe standaard voor alle clusters De werkwijze van Opgavegericht en Wendbaar werken is nog niet gemeentebreed geïmplementeerd.

Op dit moment werken delen van de directie WPI, de opgave Beheer openbare ruimte en de opgave Stedelijke ontwikkeling en beheer volgens deze werkwijze.355 Wel werken vanaf september 2023 alle clusters, dus ook de clusters die nog niet zijn ingericht volgens Opgavegericht en Wendbaar werken, met kwartaalplanningsevents.356 Werk in uitvoering bij beleid op het gebied van datagebruik Verder is de directeur Data verantwoordelijk voor het formuleren van beleid op het gebied van datagebruik bij het ontwikkelen van algoritmen.357 Gevraagd naar dit beleid, verwijst de ambtelijke organisatie naar de Amsterdamse Datastrategie 2021-2022 (vastgesteld in 2021), met daarin afspraken over het opslaan en gebruik van data over Amsterdammers en over de stad (zie paragraaf 1.2.1). In datastrategie staan twee doelen centraal: 1) Amsterdammers moeten meer zeggenschap krijgen over hun data, en 2) data over de stad zijn voor de stad beschikbaar.358 Op 31 mei 2022 is de raad geïnformeerd over de voortgang van achttien acties uit de Datastrategie 2021-2022.359 Een actie was om inzicht te genereren in het gebruik van algoritmen en data door de gemeente,360 waarvoor wordt verwezen naar informatie in de raadsinformatiebrief Algoritme Lifecycle Programma (juli 2021).

In de raadsinformatiebrief is te lezen dat de gemeente Amsterdam “opnieuw” in gesprek gaat met een “grote groep burgers” om beter te begrijpen wat zij willen weten

84

ALGORITMEN - ONDERZOEKSRAPPORT over algoritmen.361 Een breed consortiumooo waarvan Amsterdam deel uitmaakt, heeft aan een extern onderzoeksbureau opdracht gegeven om inzicht te krijgen hoe burgers geïnformeerd willen worden over het gebruik van algoritmen door overheden en welke informatie ze willen kunnen inzien. 362 Dat onderzoek bestond uit een enquête onder ruim duizend burgers in Nederland en een groepsgesprek met vier burgers (zie kader Informatiebehoeften van burgers over de inzet van algoritmes door overheden voor de uitkomsten van dit onderzoek). Zelf heeft de gemeente geen gesprekken gevoerd met burgers. Een tweede actie gerelateerd aan algoritmen omvat “meer eerlijke omgang met data in algoritmes”. Hiertoe is het Civic AI Lab van de UvA gestart met de uitvoering van een onderzoeksprogramma naar het tegengaan van kansenongelijkheid (weblink).363 Uit de documentatie is niet af te leiden of het onderzoek heeft geresulteerd in beleid op het gebied van datagebruik bij het ontwikkelen van algoritmen.