Bias Impact Assessment v1.0 template.pdf

Voordeel: Minder kans op foutieve meldingen.

•

Nadeel: Mogelijk worden sommige waarnemingen niet

doorgegeven, ook als ze relevant zijn. Signalen niet missen Het algoritme geeft zoveel mogelijk waarnemingen door, ook als er enige onzekerheid is. Bijvoorbeeld als je waarnemingen ook doorgeeft bij 60% zekerheid. Dit heeft als gevolg dat de boswachter vaker moet controleren.

Waar ligt binnen ons project de focus?

☐ Fouten vermijden Actie: Stel strengere drempelwaarden in, voeg menselijke controle toe en communiceer de mate van zekerheid bij elk resultaat. Test het algoritme grondig en stel duidelijke grenzen voor acceptabele foutmarges.

☐ Signalen niet missen Actie: Stel lagere drempelwaarden in om meer resultaten door te geven, bouw extra controlemechanismen in en zorg voor een feedbackloop om het algoritme te verbeteren.

28

Gemeente Amsterdam Quality Assurance

Versie 1.0 Januari ’26

Bias Impact Assessment – Wat is eerlijk?

Dilemma’s (voorbeeld: casus Mokumse Bos)

Keuze in ons project en vervolgstappen

•

Voordeel: Meer kansen om beschermde soorten te detecteren.

•

Nadeel: De boswachter moet meer tijd besteden aan het controleren van foutieve meldingen. Toelichting keuze (context, risico, afweging)? << Vul in >>

Dilemma 3: Moeten we iedereen op dezelfde manier behandelen, of vinden we dat we mogen afwijken in bepaalde situaties? In het kort: vinden we uniformiteit of maatwerk belangrijker? Uniformiteit (iedereen hetzelfde) Alle beelden worden met dezelfde instellingen en regels verwerkt, ongeacht de omstandigheden, om objectieve vergelijking mogelijk te maken. •

Voordeel: Consistente en objectieve verwerking, eenvoudiger te

Waar ligt binnen ons project de focus?

☐ Uniformiteit Actie: Zorg voor een evenwichtige dataset en test het systeem op verschillende soorten data en groepen om te controleren of de prestaties acceptabel zijn. Monitor consistentie en communiceer dat er geen onderscheid wordt gemaakt.

implementeren en te beheren. •

Nadeel: Specifieke of afwijkende situaties (zoals uitzonderlijke gevallen of complexe data) kunnen minder goed worden

verwerkt. Maatwerk (aanpassen bij verschil) Nachtbeelden of zeldzame soorten krijgen extra controles, aparte modellen of regels, om te voorkomen dat zij gemist worden. •

Voordeel: Betere prestaties in unieke of uitdagende situaties.

•

Nadeel: Complexere systemen, meer onderhoud en mogelijk

☐ Maatwerk Actie: Identificeer kwetsbare groepen en ontwikkel specifieke regels of mechanismen om hen beter te herkennen. Monitor de impact van deze aanpassingen en communiceer transparant over de keuze om extra bescherming te bieden.

minder consistentie tussen verschillende datatypen of situaties. Toelichting keuze (context, risico, afweging)? << Vul in >>

5.4 Conclusie Technische Bias Impact Assessment H vol o i door te ontwikkelen?

ic

i

c

isc

c sp

risico’s o

algoritme

Vorm een conclusie gebaseerd op paragraaf 5.1, 5.2 en 5.3. Je hebt voldoende inzicht als je bij alle vragen een keuze hebt gemaakt.

<< Ja/Nee >> we hebben voldoende inzicht in de technische aandachtspunten en risico's die belangrijk zijn voor een betrouwbare, uitlegbare en eerlijkere werking van het algoritme. We gaan << wel/niet >> door met het algoritme en nemen onderstaande maatregelen: -

<< Vul maatregelen in >>

Ga terug naar hoofdstuk 1 Conclusie Bias Impact Assessment en maak een integrale afweging op basis van de Ethische-, Juridische- en Technische Bias Impact Assessments of de bias in het algoritme acceptabel is om door te gaan met de ontwikkeling.

29

Gemeente Amsterdam Quality Assurance

Versie 1.0 Januari ’26

Bias Impact Assessment – Wat is eerlijk?

Bijlage 1.

Definities

Definitie Bias Directe discriminatie Discriminatiegrond

Ethische Bijsluiter

Etniciteit Fairness metrics Indirecte discriminatie Nationale afstamming of herkomst Nationaliteit

Profilering

Quality Assurance Ras Risicoprofilering

Variabele

Een systematisch verschil in behandeling van mensen of groepen in vergelijking met anderen. Een behandeling van een persoon of groep personen op andere wijze dan een ander in een vergelijkbare situatie op grond van een beschermd persoonskenmerk (discriminatiegrond) zonder dat hiervoor een objectieve rechtvaardiging bestaat. Juridisch beschermde persoonskenmerken waarop (behoudens objectieve rechtvaardiging) geen onderscheid gemaakt mag worden gemaakt. Voorbeelden van discriminatiegronden zijn ‘ras’, nationaliteit, religie, geslacht, seksuele gerichtheid, handicap of chronische ziekte. Een instrument dat teams helpt om waarden en dilemma’s expliciet te maken. Hierdoor kan je rekening houden met de rechten, belangen en wensen van alle betrokkenen. Zo creëert de Ethische Bijsluiter transparantie over de morele implicaties van technologie die we inzetten als gemeente. Zie voor meer informatie Quality Assurance. Een sociale categorie die verwijst naar het (verondersteld) behoren tot een Sociale of maatschappelijke groep, die gekenmerkt wordt door een gemeenschappelijke nationaliteit, afstamming, religie, taal of culturele en traditionele afkomst en/of achtergrond. Etniciteit valt juridisch onder de discriminatiegrond ‘ras’.

“Eerlijkheidsmaatstaven” zijn wiskundige hulpmiddelen die worden gebruikt om vooringenomenheid te kwantificeren en te meten hoe eerlijk een algoritme verschillende groepen behandelt. Een ogenschijnlijk neutrale bepaling, maatstaf of handelwijze die personen met een bepaald beschermd persoonskenmerk (discriminatiegrond) in vergelijking met andere personen in het bijzonder benadeelt, zonder dat hiervoor een objectieve rechtvaardiging bestaat. Verbondenheid met een nationale staat, bijvoorbeeld omdat de persoon in kwestie of diens ouders daar is geboren of opgegroeid zijn. Nationale afstamming (of ‘herkomst’) valt onder de discriminatiegrond ‘ras’ en is iets anders dan het juridische begrip ‘nationaliteit’. Juridische status van een persoon als staatsburger van een staat. Beschrijft derhalve de juridische band tussen een individu en een staat, waar over en weer rechten en plichten aan ontleend kunnen worden. Elke vorm van (geautomatiseerde) verwerking van persoonsgegevens waarbij aan de hand van persoonsgegevens bepaalde persoonlijke aspecten van een natuurlijke persoon worden geëvalueerd, met name met de bedoeling zijn beroepsprestaties, economische situatie, gezondheid, persoonlijke voorkeuren, interesses, betrouwbaarheid, gedrag, locatie of verplaatsingen te analyseren of te voorspellen.

Quality Assurance (QA), ofwel kwaliteitsborging, is een gestructureerde aanpak om ervoor te zorgen dat onze digitale producten, diensten en processen voldoen aan relevante wetten, regels en normen én de verwachtingen van de gebruikers. Voor meer informatie, zie: Quality Assurance - Kwaliteitsborging. Juridische verzamelterm voor persoonskenmerken als huidskleur, etniciteit en nationale of etnische herkomst. ‘Ras’ is een discriminatiegrond. Profilering (zie definitie) die plaatsvindt aan de hand van algemene, verondersteld voorspellende (risico)criteria, die geacht worden te correleren met de kans op overtreding van een bepaalde norm, bij afwezigheid van concrete of specifieke informatie over feitelijke normovertredingen of daders. In de context van algoritmes is een variabele een opslag wat wordt gebruikt om gegevens op te slaan en te manipuleren. Variabelen kunnen verschillende typen waarden bevatten, zoals getallen, tekst of objecten, afhankelijk van het algoritme en de context.

30