1. Reflectie_EC_dashboard-instrument datagedreven besluitvorming

inzicht

Informatievoorziening Telefoon 14038 www.zwolle.nl/contact

Reflectie Ethische commissie Digitalisering Dashboard als instrument voor datagedreven besluitvorming

Versie Datum

definitief september 2023

Datum Titel

september 2023 Dashboard als instrument voor datagedreven besluitvorming

Inhoud

Inleiding Aanleiding Bespreking van het onderwerp

3 3 3

1 1.1 1.2 1.3

Een dashboard omdat het kan De ‘hype’ van onze tijd Meerwaarde en risico’s Dashboards in de gemeentelijke praktijk

4 4 5 6

2

Uitgangspunten voor het gebruik van dashboards vanuit het ethisch perspectief

8

2/15

Datum Titel

september 2023 Dashboard als instrument voor datagedreven besluitvorming

Inleiding Aanleiding Binnen de gemeente Zwolle wordt er al langere tijd gebruik gemaakt van diverse dashboards. Doorgaans kennen we dashboards die de workflow, workload of stand van zaken rond een onderwerp inzichtelijk maken. Op basis van de benoemde kengetallen vindt er bijsturing plaats. Tegelijkertijd groeit de hoeveelheid registraties en toepassingen van (big) data binnen de gemeente. Een dashboard wordt gezien als een handig instrument om data overzichtelijk en betekenisvol te presenteren. Ook met het stimuleren van het datagedreven werken binnen Zwolle wordt er naar data-gestuurde inzichten gezocht, wederom via de dashboards. Bijvoorbeeld, van de 8 rocket-projecten in 2022 (innovatieprojecten onder het programma Datagedreven werken) hadden er 6 betrekking op de ontwikkeling van een dashboard. Ook beschikt de gemeente over een tool (Power BI) voor de visualisatie van data en het maken van dashboards. Het gebruik van deze (en andere) tool(s) wordt binnen de gemeente gestimuleerd. Het lijkt erop dat de dashboards een steeds belangrijker en wellicht prominentere rol gaan spelen in de besluitvorming binnen de gemeente Zwolle. In maart 2022 heeft het College van B&W de Ethische commissie Digitalisering opgericht. De commissie zal reflecteren op moreel ethische vragen die spelen rondom digitale (slimme) technologieën in Zwolle1.

Binnen de gemeente Zwolle wordt datagedreven werken breed gestimuleerd en steeds meer geïntegreerd in de gemeentelijke manier van werken. Het ontwikkelen en werken met de dashboards is een van de vormen ervan. De commissie ziet dit als een belangrijke ontwikkeling die ook vanuit ethisch perspectief aandacht behoeft. Zij formuleert de volgende vraag om te reflecteren: Met welke ethische aspecten moeten we rekening houden bij gebruik van dashboards voor besluitvorming binnen de gemeente?

Bespreking van het onderwerp Na verkenning van dit onderwerp en de ethische implicaties daarbij heeft de commissie toegewerkt naar een lijst met uitgangspunten die bijdragen aan een ethisch verantwoord gebruik van dashboards voor besluitvorming. Daarnaast heeft de commissie input opgehaald bij een aantal gemeentelijke medewerkers en een aantal externe stakeholders over hoe zij tegen de dashboards aankijken en hoe ze ermee omgaan vanuit het ethisch perspectief (commissiebijeenkomsten van 28 november 2022 en 27 maart, en een panelgesprek op 15 mei 2023).

1 Nadere informatie over de werkwijze en samenstelling van de Ethische Commissie Digitalisering is te vinden

op https://www.zwolle.nl/organisatie/adviesraden/ethische-commissie. 3/15

Datum Titel

september 2023 Dashboard als instrument voor datagedreven besluitvorming

De verkregen input en de overwegingen van de commissie zijn gezamenlijk in deze reflectie uitgewerkt en vertaald naar een taal van uitgangspunten.

1

Een dashboard omdat het kan

1.1

De ‘hype’ van onze tijd Met de toenemende hoeveelheid data die organisaties verzamelen, en beschikbaarheid van immense diversiteit aan big data, groeit de populariteit van dashboards als hulpmiddel voor besluitvorming. Het wordt belangrijker dan ooit om na te denken over de ethische implicaties bij het gebruik ervan. Data wordt ‘het nieuwe goud’ genoemd. Data komt steeds meer en sneller beschikbaar waardoor datagedreven werken een trend is geworden, ook binnen de gemeenten. Gemeente Zwolle is vooruitstrevend en ambitieus en ziet datagedreven werken als een van de speerpunten. Binnen de gemeente wordt vaker gekeken en actief gezocht naar hoe data kan helpen bij de uitvoering van de gemeentelijke opgaves. Informatiemanagement wordt hiermee alsmaar belangrijker. Er wordt over ‘data’, ‘kennis’, ‘informatie’ gesproken; de begrippen worden door elkaar gebruikt. De commissie merkt op dat er veel naar sturingsinformatie gezocht wordt. Men wil inzichten ophalen en beleid vormen op basis daarvan. Datagedreven werken wordt langzamerhand de dagelijkse praktijk voor steeds meer medewerkers binnen de gemeente. Een dashboard is een van de weergaven van sturingsinformatie. Deze kent vele vormen: het kan een poster op de muur zijn, een interactief dashboard of een statisch dashboard dat periodiek wordt ge-update. Bij sommige dashboards kun je in en uit-zoemen op de gegevens.

Ook is het mogelijk om verschillende gegevens naast elkaar te tonen of diverse gebieden of wijken te vergelijken. In een Digital Twin kun je zelfs meerdere lagen met informatie over elkaar leggen, diverse scenario’s schetsen. Zowel me statistische methodieken als in Digital Twin omgeving wordt steeds vaker getracht om historische data te extrapoleren naar de toekomst en om verschillende situaties te gaan voorspellen. Kortom, veel wat in de stad gebeurt, proberen we digitaal, in cijfers, vast te grijpen. Er is een breed maatschappelijk trend om de stad minder op intuïtie en meer op data te gaan sturen. Er lijkt een overtuiging aan ten grondslag te liggen dat datagedreven sturing beter is. Met ambitie om te laten zien wat een afdeling doet of hoe deze presteert, kan data overschat zijn waardoor een dashboard tot het doel kan worden verheven. Een andere technologische trend is om alles met elkaar in verbinding te brengen. De mensen worden met technocratische kennis opgevoed en wij vinden het ‘normaal’ om ons beleid en beslissingen erop te baseren. De wereld wordt meer en meer gepresenteerd in feitelijke waarnemingen. Andere fundamentele principes (zoals empirisch onderzoek) worden langzamerhand verdrongen. De vraag rijst: is wat je ziet de enige waarheid of is dit afhankelijk van de waarneming? Een mooi voorbeeld is de 4/15

Datum Titel

september 2023 Dashboard als instrument voor datagedreven besluitvorming

discussie die ontstond over een ‘white-purple dress’, verschillende mensen zagen een andere kleur op de foto. Dit bewijst dat we ons in dezelfde fysieke realiteit bevinden maar we kunnen niet zeggen dat we deze realiteit op dezelfde manier waarnemen. De waarneming wordt ook beïnvloed door aangeboden en/of geselecteerde data. Denk aan een algoritme achter, bijvoorbeeld social media, nieuws pagina’s of bol.com, die selecties voor jou maakt en suggesties doet over wat interessant voor jouw is. Hierdoor ontstaat een risico van ’leven in een geselecteerde data bubbel’.

Belangrijk om te benadrukken is dat de dashboards vaak niet alleen voor het verkrijgen van inzicht worden ontwikkeld, het achterliggend doel kan zijn om en stapje verder te gaan en datagedreven besluitvorming mogelijk te maken.

1.2

Meerwaarde en risico’s Dashboards zijn een krachtig hulpmiddel geworden voor besluitvorming in organisaties. Ze bieden een overzichtelijke en toegankelijke presentatie van gegevens, waardoor gebruikers in staat worden gesteld om snel inzichten te verkrijgen en gefundeerde beslissingen te nemen. Er zit veel waarde in data. De computer is veel beter in staat om een oogdiagnose te stellen dan een oogarts. Tegelijkertijd kan het onbegrensd vertrouwen in technologie problemen opleveren. Een sprekend voorbeeld is de toeslagenaffaire, waar veel vertrouwen was belegd bij geautomatiseerde besluitvorming. Net als elk ander instrument, zijn er zowel voordelen als nadelen verbonden aan het gebruik van dashboards. De voordelen van een dashboard kunnen we als volgt opsommen: ▪ Inzicht in trends en ontwikkelingen, biedt perspectief voor beleids(door)ontwikkeling, voor bijstelling van dienstverlening of voor direct handelen. ▪ Inzicht in prestaties op basis waarvan je vroegtijdig kunt handelen en/of bijsturen. Je hebt sneller actuele en overzichtelijke informatie voor handen en kunt, bijvoorbeeld, inspelen op langer wordende doorlooptijden. ▪ (Beter) inzicht in uitzonderingen, knelpunten en/ of structurele problemen. ▪ Kan dienen als eenduidig vertrekpunt in een gesprek; je maakt diverse aspecten concreet. ▪ Dashboard ontzorgt en helpt bij de te maken afwegingen.

▪ Helpt ontdubbelen en verspilling tegen te gaan (wel realiserend dat de verzameling en verwerking van informatie arbeidsintensief is). ▪ Helpt oorzaak-gevolg analyses te maken. ▪ Informatie van verschillende gemeenten is eenvoudig en snel te presenteren en te vergelijken dankzij technische mogelijkheden om data eenvoudig en eenduidig aan te leveren.

5/15

Datum Titel

september 2023 Dashboard als instrument voor datagedreven besluitvorming

Er zijn ook diverse aandachtspunten en risico’s bij dashboards te benoemen: ▪ Data verzameling en presentatie dat een doel op zich wordt. ▪ Sociaal gerelateerde zaken zijn moeilijk in data te vatten. ▪ Dashboard omvat vaak een deel van het verhaal, iets wat geregistreerd wordt en in dashboard terecht komt. Het is vaak een versimpelde weergave van de werkelijkheid. Er blijft een deel van het verhaal buiten beeld waardoor een dashboard blinde vlekken kan bevatten. ▪ Het is discutabel en voor interpretatie vatbaar welke aspecten en/of indicatoren in een dashboard het zwaarst wegen. ▪ Er kan ruis ontstaan bij interpretatie van de uitkomsten; je moet data en de presentatie daarvan begrijpen. ▪ Voor commerciële partijen kunnen bepaalde inzichten betekenen om anders met de klant om te gaan, bijvoorbeeld een “risicoklant” aan het einde van de wachtrij te laten aansluiten en dus langer laten wachten. ▪ Afspiegeling van de maatschappelijke waarden voor de gemeente (zoals coulance, inleving, rechtvaardigheid etc.) zijn niet eenduidig te vertalen naar puur datagedreven input. De spanning die bestaat tussen ‘de geest en de letter van de wet’ en menselijke interpretatie van de wet- en regelgeving naar de uitvoering, dragen bij aan deze complexiteit. ▪ Discrepantie die kan ontstaan tussen data en intuïtie/ verwachtingen.

“Wie” heeft in deze situatie gelijk? De grootste fouten die in dashboards worden aangetroffen zijn stereotypering, profiling, rekenen met gemiddelden, probleem van interpretatie, gebrek aan betrouwbaarheid en/of validiteit van data. Desondanks blijft het interessant om te experimenteren met data maar wel met aandacht voor zorgvuldige ontwikkeling en gebruik ervan.

1.3

Dashboards in de gemeentelijke praktijk Dashboards worden binnen alle gemeentelijke domeinen gebruikt. Zowel in de uitvoering als op beleidsniveau zijn gemeentemedewerkers ermee bekend. Zwolle kent dashboards die uitsluitend voor intern gebruik zijn, zoals Managementinformatie Schulddienstverlening of Jeugd Sturingsinformatie. Ook zijn er dashboards die gepubliceerd worden, zoals Armoede en schuldenmonitor, Wijkdata, rapportage Buurt voor Buurt en Zwolse indexen. Informatie in de dashboards kan gericht zijn op een onderwerp, gebied, wijk of op prestaties van een team of een medewerker. Er zijn geen voorspellende dashboards bekend. Een dashboard wordt als een hulpmiddel gezien. Als uiteindelijke belangrijke output worden het beleidsbesluit en de gemeentelijke dienstverlening benoemd, dashboard vormt één van de informatiebronnen in deze processen. Bij de totstandkoming van de dashboards is er aandacht voor datakwaliteit en privacyaspecten van datagebruik.

6/15

Datum Titel

september 2023 Dashboard als instrument voor datagedreven besluitvorming

Gemeentemedewerkers en panelleden hebben een aantal aandachtspunten benoemd die geen weerslag in een specifiek uitgangspunt van de commissie hebben gevonden. Deze punten gaan voorbij de ethische blik van de commissie en hebben te maken met het borgen van waardevolle inzichten van de dashboards door goed de verantwoordelijkheden eromheen te regelen, kritisch te kijken naar de interactie met de inwoner en kennisontwikkeling rondom de nieuwe digitale technologieën. Voor de volledigheid worden deze punten hieronder weergegeven: ▪ Een trend dat een leverancier telkens een stapje verder gaat bij de ontwikkeling van het systeem en het creëren van voorspellende en soms voorschrijvende eigenschappen. In de uitvoering is er aandacht voor nodig. ▪ Eigenaarschap van data: inwoner versus overheid of een andere dataverwerker (bijvoorbeeld, een camera leverancier). ▪ Aandacht voor privacy en het hebben van keuze. Hieronder een praktijkvoorbeeld waaruit de impact van een data-uitvraag op privacy wordt belicht, namelijk een subsidieregeling aan ondernemers van de provincie. Bij het aanvragen van deze subsidie werden uitgebreid de gegevens opgevraagd, zoals een controle van het Bureau Krediet Registratie (BKR), het sociale media-profiel en het strafblad van de aanvrager.

De aanvrager geeft bij zijn aanvraag de toestemming voor het raadplegen van deze gegevens omdat dit een voorwaarde is voor het verkrijgen van de subsidie. Desondanks voelt dit erg verregaand en onprettig. Het vereist het blootleggen van alle persoonlijke informatie, wat een gevoel van ongemak en inbreuk in privacy sfeer met zich meebrengt. ▪ Nu er zoveel dashboards ontwikkeld worden kan er overlap in zitten. Hoe voorkomen we dit en hoe houden we het overzicht? Hoe is het eigenaarschap rond de dashboards geregeld? ▪ Hebben we duidelijk voor ogen hoe we omgaan met verrijking van data? Welke data waarover we beschikken kunnen en willen we combineren en verrijken? Doen we dit omdat het gewoonweg kan of dient het een bepaald doel? ▪ De gemeente wil de inwoner ontlasten door niet dezelfde data opnieuw uit te vragen. Dit vereist investering in koppelingen naar de originele bronnen en integratie daarvan in de gemeentelijke processen. ▪ Alert zijn of je data intern houdt of deze openbaar maakt. Er kunnen voordelen en nadelen daaraan kleven. Data kan inwoners ook in beweging brengen. Zo is een buurt initiatief ontstaan “koffie met senioren” na de publicatie en bespreking van de indexen in de wijken. ▪ Een vraag vanuit politiek kan zorgen voor de uitwisseling van (nog meer) data.

Is men hiervan bewust? Is er ruimte in dit geval om kritische vragen te stellen of we dit willen? ▪ In hoeverre is het ambtelijke apparaat uitgerust met kennis over de opkomende technologieën, zoals AI en digital wallet. Wat is er nodig om voorbereid te zijn op deze ontwikkelingen?

7/15

Datum Titel

2

september 2023 Dashboard als instrument voor datagedreven besluitvorming

Uitgangspunten voor het gebruik van dashboards vanuit het ethisch perspectief Het ontwerpen en ontwikkelen van een goed functionerend dashboard vereist zorgvuldige planning en aandacht voor details. Vanuit het ethisch perspectief ziet de commissie de volgende uitgangspunten die bijdragen aan de kwaliteit en het gebruik van een dashboard. 1.

Een dashboard dient een doel en kan aan een (beleids-)doelstelling worden gekoppeld De hoeveelheid van data waarover de organisaties beschikken neemt exponentieel toe. Hierdoor kan de periodieke en geautomatiseerde verwerking –analyse en toegankelijke presentatie – van deze data snel leiden tot het ontstaan van een dashboard. We beschikken ook over de middelen waarmee een dashboard snel gemaakt is. De vraag die daarop volgt is: wat kun je en wat doe je met de informatie uit het dashboard? Is het dashboard een doel op zich? Voor een optimaal gebruik van een dashboard is het van belang om goed te bekijken met welk doel een dashboard samengesteld wordt, aan welke organisatiedoelstelling of opgave deze bijdraagt. Daarmee ontstaat ook een richting voor het bepalen welke data en waarom voor dit specifieke dashboard geselecteerd en gebruikt gaat worden. Daarnaast zorgt de verbinding van een dashboard met de visie en doelstellingen van de organisatie voor een duidelijk afwegingskader. Bijvoorbeeld, het vergroten van de geluksfactor of van leefbaarheid in de stad zijn twee hogere doelen die doorslaggevend overwicht kunnen bieden bij het nemen van een beslissing. Of een overweging welke acties de grootste impact zouden hebben. Op deze manier plaats je een dashboard en de uitkomsten daarvan in een groter geheel.

2.

Een dashboard als één van de sturingsinstrumenten bij de besluitvorming Bij het nemen van datagedreven beslissingen blijft het essentieel dat een mens uiteindelijk de beslissing neemt en een afweging maakt. Een dashboard biedt inzicht en kan als input en vertrekpunt in het besluitvormingsproces dienen. Volgens de Duitse filosoof en humanistische denker Hans-Georg Gadamer ligt de waarheid niet alleen in het vaststellen van feiten, maar in relativering, inzicht, kennis en ervaring. Daarom is het van cruciaal belang om menselijke interpretatie niet te verwaarlozen bij het gebruik van de dashboards. Interpretatie en duiding van data stelt ons in staat om het verhaal achter de cijfers te ontdekken, nuances te begrijpen en strategische inzichten te verkrijgen die verder gaan dan puur logische redenering. Door het dashboard te zien als een aanvullend hulpmiddel en niet als de enige bron van waarheid, kan een evenwichtige benadering van besluitvorming gerealiseerd worden die rekening houdt met zowel de kwantitatieve gegevens als de menselijke kennis en intuïtie.

8/15

Datum Titel

september 2023 Dashboard als instrument voor datagedreven besluitvorming

In sommige gevallen kan echter ook het proces van belang zijn en niet alleen de uitkomst. Zoals bij de verkiezingen is het stemmen een uiting van democratie en kan niet los van de uitkomst worden gezien. Het is dus goed om het bredere perspectief in oogschouw te nemen. 3.

Waarde aan de menselijke interpretatie (onderbuikgevoel en intuïtie). In de wereld van data en analytics is het gemakkelijk om te vergeten dat menselijke interpretatie een onschatbare waarde heeft. In deze tijd valt men te veel in de valkuil van rationalisme, waarbij de neiging ontstaat om enkel te vertrouwen op kwantitatieve gegevens en harde feiten. Echter, het verhaal 'achter de cijfers' biedt een aanvullende dimensie die niet genegeerd mag worden. De cijfers op zich bieden waardevolle inzichten, maar het is de menselijke interpretatie die de context, nuances en diepere betekenis kan onthullen. Door de gegevens te combineren met onze eigen ervaringen, kennis en inzichten kunnen we een completer beeld krijgen en beter begrijpen wat er werkelijk gaande is. Door uitsluitend op een dashboard te vertrouwen, kan de verbinding met de realiteit verloren gaan. Het zijn de mensen die een uniek vermogen hebben om verbindingen te leggen tussen verschillende kennisgebieden, zelfs wanneer de logica van de data deze verbindingen niet direct laat zien. Computers kunnen vaak andere verbanden waarnemen dan mensen. Bovendien is het niet mogelijk om alle ontwikkelingen in data te vatten. Een jongerenwerker kan bijvoorbeeld een trend waarnemen die nog niet zichtbaar is in de data. Een interessant voorbeeld uit België is van de notarissen die subjectieve en objectieve meldingen gebruiken.

Uit onderzoek blijkt dat de subjectieve meldingen vaak juist blijken te zijn en de objectieve meldingen vaak een verklaring nodig hebben. Proberen we met dashboards onze onderbuikgevoelens in een programma te vangen? Tegelijkertijd is het begrijpelijk dat we juist willen vermijden dat onderbuikgevoelens een rol spelen bij een besluit, zodat het besluit objectief wordt genomen en er geen sprake is van onbewuste vormen van profiling. In de praktijk blijkt dat geautomatiseerde besluitvorming minder gevoelig ligt bij de besluitvorming over niet-mens gerelateerde kwesties. Aan de hand van een doordacht model en uitvoerige toetsing kan, bijvoorbeeld, onderhoud van gebouwen of riolering gepland worden op basis van sensordata. In dergelijke gevallen is ‘regel gestuurde’ besluitvorming leidend en is er minder ruimte voor 'andere' interpretaties. De commissie wil een kanttekening plaatsen bij interpretatie van de uitkomsten uit een dashboard: een mens kan er mogelijk ook naast zitten met zijn gevoel, zelfs als het gevoel heel sterk is. Het lichtpunt hierbij is dat men zijn gevoel kan beredeneren en bespreekbaar maken. Na een gesprek kan het beeld dat een persoon heeft, nog veranderen. 9/15

Datum Titel

september 2023 Dashboard als instrument voor datagedreven besluitvorming

Het systeem kan ook fouten maken. Echter deze zijn minder snel te merken en de vraag is of deze ook besproken worden. De fouten kunnen ook ‘te laat’ aan het licht komen, zoals onderzoek naar eerlijke selectie van potentiële fraudeurs in Fraudeopsporing algoritme van DUO. 4.

Zorgvuldige interpretatie van de uitkomsten van een dashboard Ervaringsdeskundigen pleiten om na de data-analyse stil te staan bij de uitkomsten van een dashboard: begrijpen we wat we zien? Kloppen de uitkomsten? Hoe kunnen we dit nagaan? Pas na deze interventie kan tot acties overgegaan worden. Hiermee vormen de uitkomsten van een dashboard de aanleiding voor een gesprek, ze geven je een ’zoek’-richting voor nadere duiding. Voorzichtigheid met het trekken van de directe conclusies is geboden. Vaak heeft het te maken met zoeken naar correlaties en causale verbanden. Het is van belang hierbij oorzaak en gevolg niet door elkaar te halen. Een tijd geleden was een bijzondere constatering gedaan: de beste voorspeller van intelligentie op Facebook bleek het ‘liken’ van krulfriet te zijn. Statistisch gezien klopte deze constatering: binnen de dataset was er sprake van significante correlatie. Uit nader onderzoek bleek dat iemand die met de krulfriet begonnen was, verkeerde in zeer intelligente kringen waardoor het verband met ‘intelligentie’ dominant bleek te zijn. Jaren later had dit verband nog steeds invloed op de dataset. In dit voorbeeld is er sprake van oorzaak-gevolg verwarring. Het werken met gemiddelden kan bedrieglijk zijn. Eén rijk persoon kan zorgen voor een ‘goed’ gemiddelde binnen een kleine wijk.

In deze situatie is het van belang om op ‘uitschieters’ te letten en de werkelijkheid achter de getallen te zoeken. Een voorbeeld: in Breecamp werd een sterke toename van onveiligheidsgevoel geconstateerd, bleek uit de Veiligheidsindex die op basis van uitkomsten Buurt voor Buurt onderzoek (BvB) wordt opgesteld. Bij nader onderzoek bleek dat dat onveiligheidsgevoel werd veroorzaakt door een schietpartij dat recent vóór het BvB plaatsvond in de wijk. Zorgvuldige interpretatie heeft ook betrekking op de duiding van de uitkomsten. Bij sommige ‘feitelijke’ informatie rijst de vraag: is wat je ziet 'goed' of 'slecht'? Hierbij is het van belang om te realiseren dat de begrippen 'goed' en 'slecht' - subjectieve interpretaties zijn van mensen. Een voorbeeld hiervan is te zien in de toeslagenaffaire, waarbij het dashboard aangaf dat alles goed - "groen" - was, met een kleine rode "splinter". In werkelijkheid had deze "splinter" betrekking op maar liefst 24.000 mensen die getroffen waren. Tot slot wil de commissie benoemen dat sommige situaties niet uit een dashboard te halen zijn, terwijl deze aanleiding kunnen zijn tot beleidsaanpassing of een politiek debat. Spraakmakend is een voorbeeld van een moeder met 2 gehandicapte kinderen die aan het werk moest volgens de regels van de Participatiewet. Hierdoor kon zij haar 10/15

Datum Titel

september 2023 Dashboard als instrument voor datagedreven besluitvorming

kinderen niet meer zelf naar de opvang brengen; er was een taxi voor hen geregeld. In de praktijk leidde de nieuwe situatie tot veel onrust en stress in het gezin. Als de taxi te laat was moesten de kinderen en moeder wachten waardoor de dagelijkse routine was verstoord. Kinderen waren te laat voor de opvang, konden daarmee niet goed omgaan, met luid protest en verzet als gevolg. Moeder had een probleem op het werk vanwege te laat komen. Na een stressvolle dag was het thuis ook onrustig wat wederom leidde tot meer stress zowel bij de kinderen als bij de moeder. De vraag die erop volgt is of zo’n gezin met de naleving van de algemene regel geholpen is of is er ruimte nodig is voor maatwerk waarbij er sprake zal zijn van acceptatie dat iemand minder werkt dan een ander. Beschikbaarheid van achtergrondinformatie over het dashboard draagt bij aan betere interpretatie van de uitkomsten en borging van de gemaakte keuzes op de langere termijn. Hiermee worden de transparantie en verantwoording vergroot over hoe een beslissing tot stand komt. 5.

Bewust zijn van risico op simplificatie en tunnelvisie Het is belangrijk om te erkennen dat dashboards slechts een deel van de werkelijkheid weergeven en dat er andere aspecten zijn die niet in cijfers uit te drukken zijn. Dat andere deel vormt een belangrijke aanvulling op de beschikbare data. Stellen we onszelf wel eens de vraag wat niet wordt gemeten of bekend is, oftewel wat buiten het dashboard blijft? Dit inzicht kan waardevolle informatie bevatten en van invloed zijn op besluitvorming. Het is essentieel om bewust te zijn van de beperkingen van de gebruikte indicatoren en om ruimte te laten voor bredere context en verdiepende vragen. In het Sociaal domein, bijvoorbeeld, worden niet alle aspecten vastgelegd, zoals sociale voorzieningen. Toch is deze informatie noodzakelijk om een volledig beeld te krijgen en passende beslissingen te nemen met betrekking tot deze voorzieningen. Dashboards bieden vaak een vereenvoudigde weergave van de werkelijkheid. Het is belangrijk om te realiseren dat er altijd een mate van verstoring aanwezig is. Bijvoorbeeld, een gemiddelde kan worden beïnvloed door enkele uitschieters. Statistiek is dus niet volledig objectief. Bovendien is de manier waarop gegevens worden gepresenteerd van cruciaal belang. Visualisatie kan de waarheid op verschillende manieren presenteren en beïnvloeden.

De commissie benoemt nog een ander aspect dat aandacht verdient: ‘data in een politieke context’. Data wordt vaak gezien als waarheid en als zodanig gepresenteerd aan politici en het management. Echter, bij het samenvatten van inzichten op operationeel niveau bestaat het risico dat waardevolle informatie wordt weggelaten. Enigszins heeft dit te maken met het selecteren van de belangrijkste indicatoren. Tegelijkertijd kunnen hierdoor nuances en aanknopingspunten voor verdere discussie verloren gaan. Het is daarom belangrijk om kritisch te blijven en te 11/15

Datum Titel

september 2023 Dashboard als instrument voor datagedreven besluitvorming

beseffen dat verdere vereenvoudiging van de werkelijkheid kan leiden tot het missen van waardevolle inzichten en het ontbreken van de mogelijkheid om vragen te stellen. Het gebruik van big data biedt niet altijd tot een alomvattende oplossing. Data moet het middel blijven en geen doel op zich worden. Het is cruciaal om eerst het doel te bepalen en dan op zoek te gaan naar de ‘juiste’ data die bijdraagt aan dat doel. Daarnaast is het raadzaam om waakzaam te zijn voor blinde vlekken en bias die in de data kunnen sluipen. Voortdurend in gesprek zijn over de uitkomsten van het dashboard, over mogelijke beperkingen en interpretaties ervan helpt om de genoemde valkuilen te vermijden. 6.

Een dashboard beperkt zich niet tot alleen financieel inzicht Bij besluitvorming neemt het financiële component vaak een dominante positie in of vormt een dwingend kader en is vaak doorslaggevend. Ook in Zwolle worden financiële gegevens meegenomen in de dashboards. Maar waarom is het prijskaartje zo bepalend, terwijl de beslissingen in essentie mensenlevens raken? Daarom is de oproep om een dashboard niet te snel te beperken tot louter financiële aspecten. Het post-groeimodel van de economie biedt een mooie benadering dat ook naar dashboards te vertalen is. In dit model ligt de nadruk niet langer op economische groei, maar op het vergroten van levensgeluk, het verminderen van uitval en het aanpakken van problemen. Dit model biedt een bredere en meer inclusieve benadering van welvaart en welzijn. Zo kunnen we beter naar het individu kijken vanuit een holistisch perspectief en niet blind blijven staren naar één indicator, zoals het Bruto Binnenlands Product (BBP). Het draait niet alleen om een specifiek beleidsterrein, maar om het beschouwen van het individu als geheel. Vanuit dit perspectief kunnen we ons beter richten op het versterken van het geluk en het bevorderen van welzijn.

7.

Aandacht voor validiteit van data, risico op bias, en gekozen indicatoren Datagedreven besluitvorming staat of valt met de accuraatheid van de onderliggende data, oftewel met de uitkomsten van een dashboard. Gebrekkige informatie kan grote gevolgen hebben voor de (levens van) mensen. Hoewel men streeft naar slimme berekeningen in de dashboards, kan de uitwerking onterecht zijn. Hoewel de uitkomst in een dashboard er exact uitziet omdat deze afkomstig is van een systeem, kan het toch foutief zijn. Er zijn verzekeraars die gebruikmaken van een rekenmodel voor premieberekeningen. Voor velen is het een 'black-box'. Er zijn voorbeelden dat een aanvraag uit een ‘achterstandswijk’ voor een inboedelverzekering wordt geweigerd omdat er ‘te kostbare bezittingen’ bij zitten. Blijkbaar ontstaat er een mismatch in het systeem tussen ‘gedefinieerde wijk-type’ en de toegekende waarde aan de bezittingen. 12/15

Datum Titel

september 2023 Dashboard als instrument voor datagedreven besluitvorming

Bij een besluitvormingsalgoritme kunnen onbedoeld bias en/of discriminerende regels voorkomen. Dergelijke algoritmen worden ontwikkeld door een combinatie van beslisregels en trainingsdata, die invloed hebben op de werking van het algoritme. Een beslisboom wordt gebouwd op basis van statistische kansen die gebaseerd zijn op historische gegevens. Bijvoorbeeld, als een algoritme op zoek is naar de beste werknemer op basis van historische data, zal de training-set naar verwachting meer mannen aanbevelen, simpelweg omdat vrouwen historisch gezien minder vertegenwoordigd zijn in de dataset. De keuze bij beslisregels kan ook vragen met zich meebrengen. Als een klant slechts één artikel koopt en deze bij een zelfscankassa wil afrekenen, kunnen we het risico op fraude als laag beschouwen? Betekent dit dat klanten met één artikel worden uitgesloten van een steekproef? Welke regel geef je hier mee in de algoritme? Let ook op ethische overwegingen bij het inbouwen van "business-rules" in een algoritme. Gaat een organisatie bijvoorbeeld de voorkeur geven aan de opvang van een kind gedurende 1,5 dag zodat de moeder kan werken (maatschappelijk belang) of voor de opvang van een kind voor 4 dagen (commercieel belang)? Een ander aspect is het correct operationaliseren van concepten en definities.

Meten we (nog steeds) de juiste dingen? Geven we dezelfde invulling aan "vertrouwen in de wijk"? Heldere definities voorkomen dubbel werk en bevorderen de samenwerking zowel binnen de organisatie als in de keten. Daarnaast zijn de data-kwaliteit, data-herkomst en type dashboard (historisch of voorspellend) van belang. Een voorspellend of historisch dashboard vraagt om een andere aanpak en data-validatie. Voor de kwaliteitswaarborg op de lange termijn blijft het nemen van een steekproef nodig. Bij historische data kijkt je altijd terug en geef je de patronen weer die relevant zijn voor die tijd. Voorzichtigheid is geboden bij het gebruik van de historische data voor voorspellende modellen. Covid liet zien dat alle voorspelmodellen van bedrijven over productie en verkoop niets waard waren, daarin is geen rekening gehouden met covid en de veranderde omgeving. 8.

Zorgvuldigheid bij classificatie van data, vermijd profiling en waak voor ongewenste effecten daarvan. Via een dashboard wil men inzicht en overzicht verkrijgen om uiteindelijk op basis daarvan te kunnen sturen. Vanuit deze behoefte wordt data meestal in groepen en/of profielen ingedeeld en gepresenteerd. Echter werken met profielen kan ook leiden tot ongewenste profiling. Op basis van data-analyse zal je bijvoorbeeld vroegtijdig kunnen signaleren dat iemand in de schulden komt; dit wordt afgeleid van herhaaldelijk niet betaalde zorgpremie of huur. Hoewel het streven hierbij nobel is, kan het analyseren en categoriseren van dergelijke signalen leiden tot profiling. Na categorisering wordt er namelijk ook bepaald welk gedrag tot een risicoprofiel wordt gerekend en welk niet. 13/15

Datum Titel

september 2023 Dashboard als instrument voor datagedreven besluitvorming

Profiling kan in de commerciële sector duidelijke voordelen hebben, dat leidt tot verkoop van meer producten op basis van een goed samengesteld profiel. Een foutief profiel leidt tot gemiste verkoopkansen. Onderzoek heeft aangetoond dat 10% van de profielen fouten bevat. Voor de overheid brengt profielen meer risico’s mee. Op basis van social mediagegevens kan bijvoorbeeld de politieke voorkeur van een individu worden voorspeld. Wat doet de gemeente met dit profiel? Welke impact zouden de acties van de gemeente hebben in dit geval op de inwoner? 9.

Mogelijk effect van ‘gaming the system’ Bij het werken met dashboards bestaat het risico dat gebruikers gaan streven naar de normen en verwachtingen die in het dashboard zijn opgenomen of als indicator worden weergegeven. Denk hierbij aan een ranglijst of het streven minder ‘zware’ of dure voorzieningen in te willen zetten. Dit brengt het gevaar met zich mee dat de indicator leidend zal zijn in het dagelijkse werk en bepaalt de keuze wat is het ‘goede om te doen’ in een bepaalde situatie. Het gevolg is dat het beleid het gedrag van de mensen bepaalt. Dit kan resulteren in vertekening van het werkelijke beeld en het ondermijnen van daadwerkelijke doelstellingen van het beleid. Een gekozen indicator kan dus een groot effect hebben in de praktijk. Stel dat een organisatie wordt beoordeeld op het "aantal contactmomenten". In dit geval verschuift de focus naar het registreren van zoveel mogelijk contactmomenten, in plaats van zich te richten op wat het beste is om te doen – bijvoorbeeld, inzet van andere voorzieningen - in die specifieke situatie van een inwoner.

10. Aandacht bij verandering en doorontwikkeling van het dashboard Een dashboard is een dynamisch instrument en is nooit volledig af. Het impliceert echter niet per definitie dat het dashboard achterloopt op ontwikkelingen. Om ervoor te zorgen dat het dashboard relevant en effectief blijft, is het belangrijk om voortdurend aandacht te besteden aan het volgen van nieuwe trends en ontwikkelingen in het vakgebied, en het in de gaten houden van veranderingen in wet- en regelgeving die van invloed kunnen zijn op de benodigde informatie en analyses in het dashboard. Een dashboard past zich niet automatisch aan. Het vergt energie en tijd om het te onderhouden en te verbeteren. Dit omvat het monitoren van nieuwe gegevensbronnen, het identificeren van nieuwe indicatoren die belangrijk zijn voor de besluitvorming, en het aanpassen van de visualisaties en rapportageformats om te voldoen aan de veranderende omgeving en behoeften van de gebruikers. 11. Uitleg – ‘leesinstructie’ – over een dashboard Bij ontsluiting van een dashboard is er extra inzet nodig op toelichting van de dashboard en hoe deze ‘gelezen’ moet worden. Digitale geletterdheid en vaardigheden van de doelgroep spelen hierbij een grote rol. 14/15

Datum Titel

september 2023 Dashboard als instrument voor datagedreven besluitvorming

De vaardigheden van de medewerker die het dashboard gebruikt of wellicht er dagelijks mee werkt, verdienen bijzondere aandacht. Voor het verantwoord gebruik van een dashboard is er meestal bepaalde kennis en affiniteit met het onderwerp vereist. Welke waarde hecht je aan data? Wat zie je in een bepaalde uitkomst? Is een overschrijding direct slecht? Vanuit de universitaire wereld is het volgende voorbeeld illustratief: een dashboard binnen een programma dat overeenkomsten zoekt tussen de wetenschappelijke publicaties en vermelding daarvan in de werkstukken en proefschriften van de studenten. Hoe groot mogen overeenkomsten zijn? Bij een wetsbijlage zal het percentage van overeenkomst hoger uitvallen. Wat betekent dit voor een dashboard? Het moet duidelijk zijn wat men in een dashboard ziet. Indien een dashboard voor een breed publiek opengesteld wordt, is het essentieel om de risico’s die aan het dashboard kleven, in de toelichting een plek te geven. Zorg dat de lezer in de context en het verhaal van de dashboard goed meegenomen wordt.

15/15