Presentatie Rekenkamer Rotterdam: kleur bekennen, vervolgonderzoek naar algoritmes
Tekst van het document
Vervolgonderzoek algoritmes
Toelichting door Marjolein van Asselt Commissie BOFV 23 mei 2024
Achtergrond onderzoek • Motie bij behandeling ‘Gekleurde technologie’
• Centrale vraag: In hoeverre is de algoritmegovernance van de gemeente Rotterdam toereikend voor een verantwoorde toepassing van algoritmes en in hoeverre leidt dit tot het beheersen van risico’s in de praktijk?
Opzet onderzoek • Documentstudie • Literatuuronderzoek • Interviews • Concernbrede inventarisatie algoritmes • Casestudies 4 geselecteerde algoritmes
Conclusies 1. Meer aandacht voor risico’s algoritmes; algoritmegovernance ontwikkeld 2. Politiek-bestuurlijk kader ontbreekt 3. Governance op hoofdlijnen voldoende; knelpunten in opzet, uitvoering en capaciteit 4. Geen compleet zicht algoritmes en onvoldoende transparantie gebruik 5. Geen grote risico’s bij onderzochte algoritmes; wel verschillende aandachtspunten
Conclusies 1. Afgelopen twee jaar meer aandacht voor risico’s algoritmes; algoritmegovernance ontwikkeld
Conclusies 1. Afgelopen twee jaar meer aandacht voor risico’s algoritmes; algoritmegovernance ontwikkeld
Bestaat uit:
• Risicotoets (‘ARA’) • Mensenrechtentoets (‘IAMA’) • Inkoopvoorwaarden • Beschrijving verantwoordelijkheden • Toezicht • Advies (via Algoritme Adviesraad)
Conclusies 2. Politiek-bestuurlijk kader met leidende normen en principes voor ontwikkeling en gebruik algoritmes ontbreekt. Belangrijke besluiten over wenselijkheid, haalbaarheid, transparantie en bias nu bij ambtelijke organisatie.
Conclusies 3. In hoofdlijnen biedt governance voldoende basis voor verantwoorde omgang met algoritmes. In
praktijk knelpunten in opzet, uitvoering en capaciteit. • Nieuwe risicotoets (‘ARA +’) voldoende basis Maar:
• IAMA functioneert onvoldoende als toets • Aansluiting andere governance onvoldoende geregeld • Externe doelgroepen niet betrokken • Intern toezicht niet goed geregeld • Afhankelijkheid algoritme expert
Conclusies 4. Geen compleet zicht algoritmes en onvoldoende transparant over gebruik. Te weinig intern bewustzijn over algoritmes. Onduidelijkheid doel en doelgroep algoritmeregister. • 60 geïdentificeerd, 38 in register. Meerderheid beslisregels voor selectie of toekenning • Geavanceerde algoritmes (“zelflerend” of “case-based”) voor beeldherkenning, tekst mining, voorspelling • 1 case-based voor selectie personen • Deel clusters niet of nauwelijks algoritmes • Geen compleet zicht • Informatie in registers onvoldoende
Conclusies 5. Geen grote risico’s geïdentificeerd bij onderzochte algoritmes. Wel verschillende aandachtspunten. Te herleiden tot knelpunten in governance en implementatie.
• Doelstellingen ontbreken, geen indicatoren voor meting prestaties, geen monitoring prestaties • Aandacht risico’s toegespitst op bias • Rollen en verantwoordelijkheden onvoldoende duidelijk • Onduidelijkheid wat het algoritme is • Afhankelijkheid externe leveranciers, afspraken verschillend ingevuld
Conclusies op een rij 1. Meer aandacht voor risico’s algoritmes; algoritmegovernance ontwikkeld 2. Politiek-bestuurlijk kader ontbreekt 3. Governance op hoofdlijnen voldoende; knelpunten in opzet, uitvoering en capaciteit 4. Geen compleet zicht algoritmes en onvoldoende transparantie gebruik 5. Geen grote risico’s bij onderzochte algoritmes; wel verschillende aandachtspunten
Aanbevelingen 1. Opstellen algoritmebeleidskader met leidende waarden, normen en principes bij toepassing van algoritmes.
en
m overgeno
2. Handhaaf Rotterdamse criteria voor vaststellen van risico algoritme.
en m o n e g r e ov
3. Investeer in verdere implementatie en doorontwikkeling van
m overgeno
algoritmegovernance.
en
en m o n 4. Zorg bij ieder algoritme voor uitwerking doelstellingen, te verwachten prestaties e g r e ov en wijze van monitoring.
5. Werk communicatiestrategie uit. Besteed aandacht aan doel en doelgroep algoritmeregister.
men o n e g r e v o