Presentatie algoritmes MPOF
Tekst van het document
Gekleurde technologie Verkenning ethisch gebruik algoritmes Op welke manier maakt de gemeente Rotterdam gebruik van voorspellende en voorschrijvende algoritmes en hoe beheerst zij de ethische risico’s van deze algoritmes?
Presentatie commissie MPOF 16 september
Achtergrond onderzoek • Gebruik van algoritmes door overheid neemt toe • Rekenkamer heeft voor beoordelen daarvan aanvullende kennis nodig • Verkenning gebruik algoritmes en beheersing ethische risico’s • In samenwerking met de Erasmus Universiteit Rotterdam
Opzet onderzoek • Beleid: Programma Datagedreven Werken – project ‘kwaliteitsborging algoritmes’
• Casestudy: ‘Project analytics uitkeringsfraude’ – Algoritme kent risicoscores toe aan ontvangers bijstandsuitkering
Wat doet een algoritme? • Voorbeeld: aanvragen hypotheek
Veel verschillende stakeholders
Ethische risico’s Ethische principes • Verantwoordelijkheid • Transparantie en navolgbaarheid • Eerlijkheid • Menselijke autonomie • Privacy • Rechtvaardigheid • …..
iOverheid (2011) Het politieke enthousiasme voor nieuwe applicaties en informatiestromen gaat hand in hand met argumenten als het vergroten van de veiligheid en verhogen van effectiviteit en efficiëntie. Deze waarden [blijken] per maatregel (een systeem, een koppeling) zwaarder te wegen dan waarden als transparantie, privacy, keuzevrijheid of accountability.
Belang beheersen ethische risico’s Gebruik algoritme selectie heronderzoeken neemt toe
Beleid
Conclusie Concernbrede aandacht voor ethiek algoritmes
• Programma Datagedreven Werken heeft aandacht voor borging kwaliteit en ethiek van algoritmes Maar: • Onvoldoende zicht op het gebruik van algoritmes • Geen centrale regie en standaard werkwijze • Nog weinig besef van ethische risico’s • Geen richtlijnen evaluatie
Casestudy
Beheersing ethische risico’s Ethisch principe • Transparantie • Verantwoordelijkheid
• Eerlijkheid
Oordeel
Casestudy
Conclusie Verantwoordelijkheden onduidelijk belegd
Casestudy
Conclusie Te weinig aandacht voor eerlijkheid algoritme
Oneerlijkheid kan op vier manieren in de data aanwezig zijn: • Objectieve data • Historische data • Selectie variabelen • Impliciete bias
Casestudy
Conclusie Te weinig aandacht voor eerlijkheid algoritme
Objectieve data
Casestudy
Conclusie Te weinig aandacht voor eerlijkheid algoritme
Historische data
Casestudy
Conclusie Te weinig aandacht voor eerlijkheid algoritme
Selectie van variabelen
Casestudy
Conclusie Te weinig aandacht voor eerlijkheid algoritme
Impliciete bias
Casestudy
Conclusie Te weinig aandacht voor eerlijkheid algoritme
Oneerlijkheid kan op vier manieren in de data aanwezig zijn: • Objectieve data • Historische data • Selectie variabelen • Impliciete bias
Casestudy
Conclusie Te weinig aandacht voor transparantie
• Intern: gemaakte keuzes rondom ethische vraagstukken zijn niet navolgbaar • Extern: voor de burger is het vrijwel onmogelijk inzicht te krijgen in rol algoritme selectie heronderzoeken
Aanbeveling
Collegereactie
• Centraal beleggen van de eindverantwoordelijkheid • Spoedig een concernbrede inventarisatie van algoritmes • Invoeren algoritmeregister • Per algoritme een beoordeling van ethische risico’s en beheersmaatregelen • Formuleer regels, richtlijnen en instructies voor algoritmes • Maak betrokkenen bewust van de mogelijke ethische risico’s
✔
✔
✔ ✔
✔ ✔
Aandacht nodig gemeenteraad • Behandeling producten programma DGW – Algoritmekader – Algoritmeregister – Etc.
• Algoritmeregister – Geeft mogelijkheid tot bevragen college over specifieke algoritmes
• Inhoudelijke discussie beleidsterreinen