03 Onderzoeksrapport Algoritmen DEF.pdf

Informatiebehoeften van burgers over de inzet van algoritmes door overheden In opdracht van het consortium ‘Publieke controle op algoritmes’ deed het PON & Telos vragenlijstonderzoek om inzicht te krijgen hoe burgers geïnformeerd willen worden over het gebruik van algoritmen door overheden en welke informatie ze willen kunnen inzien.364 De vragenlijst is ingevuld door 1.059 respondenten uit een bestaand onderzoekspanel. De steekproef is representatief voor leeftijd, geslacht en opleidingsniveau. Verder is 57% van de ondervraagden woonachtig in een sterk tot zeer sterk stedelijke omgeving.365 Uit het onderzoek blijkt dat 73% van de burgers behoefte heeft aan informatie over algoritmen.366 Vooral als een algoritme direct op hen van invloed is, willen burgers er meer over weten. Informatie over waar men meer informatie kan opvragen en/of hoe men bezwaar kan maken, lijken belangrijker te worden naarmate de inzet van een algoritme het individu meer direct raakt. Er is relatief weinig behoefte aan informatie over de technische details. Dit hangt samen met het feit dat maar een klein deel van de ondervraagden aangeeft die details ook te begrijpen.

Voor de afwegingen van burgers met het oog op de bezwaarprocedure bij een algoritme werd een (online) groepsgesprek georganiseerd met vier respondenten die ook deelnamen aan het vragenlijstonderzoek.367 Deelnemers aan dit groepsgesprek willen dat overheden transparant en duidelijk zijn over de kaders waarbinnen ze het algoritme inzetten, wat de gevolgen van een algoritme kunnen zijn en waar burgers precies bezwaar tegen kunnen maken. Daarnaast willen de deelnemers dat overheden actief melden dat ze een algoritme in een bepaalde situatie hebben ingezet als ze inwoners benaderen op basis van de uitkomsten van het algoritme. Ook moet duidelijk zijn of er menselijk handelen aan

ooo Van dit consortium maken naast de gemeente Amsterdam, ook de gemeenten Den Haag en

Utrecht, de provincies Noord-Brabant, Zuid-Holland en Limburg, Politie, Rijkswaterstaat, de Unie van Waterschappen en de VNG onderdeel uit.

85

REKENKAMER AMSTERDAM te pas is gekomen bij de actie die een overheid neemt naar aanleiding van de uitkomst van een algoritme.

3 Casusonderzoek: drie algoritmen getoetst In dit hoofdstuk behandelen we deelvraag 2:

Hoe wordt het algoritme toegepast? En deelvraag 3:

In welke mate zijn de risico's op de gebieden van ethiek, sturing en verantwoording, model en data, privacy en ITbeheer in kaart gebracht en zijn toereikende beheersmaatregelen geïmplementeerd? We beantwoorden deze deelvragen als volgt. Wij hebben drie algoritmen onderzocht. Eén algoritme dat de ambtelijke organisatie ondersteunt bij het behandelen van een aanvraag voor een Bbz-uitkering (Besluit bijstandverlening zelfstandigen). En twee algoritmen die de ambtelijke organisatie moeten gaan ondersteunen bij het herkennen van mogelijke overtredingen (op het water en op de woningmarkt voor sociale huurwoningen). Alleen het algoritme voor de behandeling van aanvragen van Bbz-uitkeringen wordt al in de praktijk toegepast, de twee andere algoritmen niet. Per algoritme zijn we nagegaan of Amsterdam risico's onderkent en voldoende beheerst. Het gaat om in totaal 58 risico's rond de thema’s sturing en verantwoording, model en data (is er sprake van vooringenomenheid), privacy (bescherming van persoonsgegevens) en IT-beheer (zijn de toegangsrechten op orde). Voor alle drie de algoritmen geldt dat de ambtelijke organisatie het bestaan van bijna alle risico's heeft onderkend. Een uitzondering daarop is het risico rondom transparantie. Daarover constateren we dat de werking van de algoritmen nauwelijks door de gemeente openbaar en uit eigen beweging wordt verklaard.

In dit hoofdstuk rapporteren over het gemiddelde beeld dat het onderzoek van de drie algoritmen laat zien. Dit beeld is gebaseerd op de oordelen per algoritme, zoals deze in de bijlagen twee tot en met vier zijn opgenomen. Voor drie thema's (sturing en verantwoording, model en data, en IT-beheer) geldt dat de ambtelijke organisatie voor circa driekwart van de benoemde risico's toereikende beheersmaatregelen heeft getroffen waarmee het risico in opzet (‘in theorie') kan worden afgedekt. Voor het onderdeel privacy geldt dit in mindere mate. Daar constateren we dat twee derde van de risico's een correcte werking van het algoritme kunnen verhinderen. Als de getroffen beheersmaatregelen deels of in beperkte mate effectief zijn, geldt bij deze

86

ALGORITMEN - ONDERZOEKSRAPPORT toetsingsonderdelen een middelmatig tot hoog restrisico (het risico dat overblijft nadat de beheersmaatregelen zijn getroffen). Bij het vijfde en laatste thema (ethiek) zijn wij nagegaan in hoeverre de ambtelijke organisatie aandacht heeft voor zeven ethische principes. Bij vier van de zeven principes was deze aandacht voldoende, bij de overige drie was deze aandacht beperkt. Deze oordelen hebben wij samengevat in de onderstaande figuur (figuur 3.1). Elk vakje in het figuur is één toetsingsonderdeel.

Figuur 3.1 - Mate van toereikendheid van getroffen beheersmaatregelen

Paragraaf 3.1 bevat een beschrijving van de drie algoritmen. Daarna volgen de rode draden per thema (paragrafen 3.2 tot en met 3.6). Het hoofdstuk sluiten wij af met positieve ervaringen van en ervaren knelpunten door de ambtelijke organisatie met het toepassen van algoritmen. Dit vanuit de overweging dat deze ervaringen andere waardevolle inzichten kunnen geven bij het toepassen van nieuwe algoritmen.

3.1 Beschrijving drie onderzochte algoritmen In de volgende subparagrafen beschrijven we de drie onderzochte algoritmen.

3.1.1

Behandeling aanvraag Bbz-uitkering (Gripvol)

Aanleiding voor het algoritme Zelfstandige ondernemers die (tijdelijk) weinig inkomen hebben, kunnen bijstand voor zelfstandigen (Bbz)ppp aanvragen in de vorm een lening (bedrijfskrediet) voor hun eigen bedrijf of hun zelfstandig beroep, of in de vorm van een maandelijkse uitkering die het inkomen naar bijstandsniveau aanvult. Oordeelt het college dat het bedrijf of zelfstandig

ppp Bbz is de afkorting voor Besluit bijstandverlening zelfstandigen.

87

REKENKAMER AMSTERDAM beroep levensvatbaar is, dan beslist het college over de hoogte en looptijd van de uitkering.368 In de periode april 2022 tot en met maart 2023 zijn 3.190 Bbz-uitkeringen aangevraagd.369 Tijdens de coronacrisis ontving de gemeente duizenden aanvragen per maand voor de Tijdelijke Overbruggingsregeling Zelfstandige Ondernemers (Tozo-regeling)qqq, de periodieke Bbz-uitkering en de Bbz-lening, terwijl de gemeente in een normaal jaar voorafgaand aan de crisis circa honderd Bbz-aanvragen per maand ontving.370 Deze aanvragen werden verwerkt door de afdeling Ondersteuning ondernemers van WPI. Door de grote toename van het aantal aanvragen ontstond de behoefte aan efficiëntere methoden om aanvragen, inclusief die voor de Bbz-uitkering, te behandelen. Als een van de maatregelenrrr om grote aantallen aanvragen van Bbz-uitkeringen te kunnen behandelen, is gekozen om een bestaand algoritme in te kopen. Voor de ontwikkeling van een dergelijk eigen algoritme was op dat moment geen ambtelijke capaciteit beschikbaar.371sss Gekozen is voor de tool Gripvol van Gripvol B.V. Deze tool ondersteunt de Bbz-adviseurs van de gemeente bij het beoordelen van de vraag of het bedrijf of het zelfstandig beroep van de aanvrager levensvatbaar is.

Wat het algoritme doet – in een notendop Gripvol is een algoritme dat enerzijds werkt op basis van beslisregels afkomstig uit de landelijke Bbz-regeling om te bepalen of de aanvrager behoort tot de wettelijke doelgroep (zie kader Voorbeelden Bbz-voorwaarden).372 Anderzijds werkt het algoritme met beslisregels om een indicatie te geven over de levensvatbaarheid van de bedrijfsactiviteit van de aanvrager. Levensvatbaar betekent dat de aanvrager met zijn bedrijfsactiviteit in de toekomstttt genoeg verdient om van te leven en om aan de zakelijke verplichting te voldoen.373 Voorbeelden Bbz-voorwaarden Om in aanmerking te komen voor de Bbz-regeling moet de aanvrager bijvoorbeeld achttien jaar of ouder zijn en mag hij de pensioengerechtigde leeftijd nog niet hebben bereikt. Verder moet de aanvrager in Nederland wonen, ingeschreven staan bij de

qqq In anderhalf jaar tijd ontving de gemeente Amsterdam circa 120.000 Tozo-aanvragen. Bron:

Gemeente Amsterdam, Dashboard Tozo-samenvatting, 25 augustus 2022. rrr Daarnaast zijn ook andere maatregelen getroffen: het automatiseren van de aanvraag (voorheen betrof het een papieren formulier), de oprichting van expertiseteams en het oprichten van een back- en een frontoffice. Bron: Mail van de ambtelijke organisatie aan de Rekenkamer Amsterdam, 4 juli 2023. sss In dit onderzoek hebben wij het algoritme onderzocht dat de Bbz-adviseur ondersteunt bij het behandelen van een aanvraag voor een Bbz-uitkering. In maart 2023 constateerden we dat een Bbzuitkering via de website van de gemeente kan worden aangevraagd. Indien de aanvrager aan alle criteria voldoet, wordt de Bbz-uitkering automatisch toegekend. Ons is op 13 juni 2023 meegedeeld dat circa 3% van deze aanvragen automatisch wordt toegekend door dat algoritme. De overige 97% van de aanvragen is door Bbz-adviseurs afgehandeld. Het algoritme voor de geautomatiseerde afhandeling van de aanvraag van een Bbz-uitkering hebben we niet onderzocht. ttt Voor starters mag een Bbz uitkering maximaal drie jaar worden verleend.

88

ALGORITMEN - ONDERZOEKSRAPPORT Kamer van Koophandel, en voor zijn levensonderhoud zijn aangewezen op het inkomen uit het bedrijf. Bron: Gemeente Amsterdam, Werkinstructie Gripvol, 18 oktober 2021. Gripvol helpt de Bbz-adviseur met behulp van een set aan vragen om te beoordelen of de aanvrager tot de beoogde doelgroep behoort. Ook geeft Gripvol, op basis van stellingen en de (subjectieve) inschatting van de Bbz-adviseur, een indicatie over de geschiktheid van de ondernemer voor de ondernemingsactiviteit en een beeld van de sociale impact van de ondernemersactiviteit op de aanvrager. Tot slot geeft Gripvol een indicatie over de levensvatbaarheid van de ondernemingsactiviteit, mede op basis van de financiële prognoses en taakstellingen.374 Gripvol verwerkt deze informatie in een rapportage (Levensvatbaarheidsonderzoek in het kader van Besluit bijstandverlening zelfstandigen) en de adviseur kan deze rapportage betrekken bij het opstellen van het concept-Bbzbesluit.375 De gemeente laat aan Bbz-adviseurs de keus of zij Gripvol of onderdelen daarvan gebruiken ter onderbouwing van het Bbz-besluit. In de praktijk gebruikt een deel van de Bbz-adviseurs Gripvol niet.

Een ander deel van de adviseurs gebruikt alleen de rekenmodule waarmee een voorspelling kan worden gedaan over de toekomstige economische situatie van de onderneming of voor de actuele branche-informatie over de ondernemingsactiviteit. Gripvol is tot april 2023 maar beperkt in zijn volle omvang gebruikt (twintig keer) om de levensvatbaarheid van een ondernemersactiviteit te bepalen, aldus de ambtelijke organisatie.376 Uit gesprekken met de ambtelijke organisatie en een interne evaluatie (maart 2022) blijkt dat Gripvol de werkdruk van Bbz-adviseurs kan verminderen, de snelheid van de aanvraagverwerking kan vergroten, de doorlooptijd van de beslissingstermijn kan verkorten en dat de besluiten meer uniform worden, in de zin dat gelijke gevallen gelijk behandeld worden. Bovendien is de verwachting van de ambtelijke organisatie dat er verder bespaard kan worden op externe advieskosten, als de tool vaker wordt gebruikt.377 Ook zou het werkgeluk van de Bbz-adviseurs zijn verbeterd door het gebruik van Gripvol.378 Hoe komt het algoritme aan informatie? De Bbz-adviseur voert het overgrote deel van de informatie handmatig in het algoritme in. Deze informatie wordt grotendeels door de aanvrager aangeleverd aan de gemeente.

Het betreft onder meer financiële gegevens (inkomsten, uitgaven, vermogen en schulden) over de privésituatie en de ondernemersactiviteiten, en het ondernemersplan.379 Van de optie om de aanvrager een deel van de gegevens zelf te laten invullen, maakt de gemeente in maart 2023 nog geen gebruik.380 De Bbz-adviseur voert ook een gesprek met de aanvrager naar aanleiding van de aanvraag en de aangeleverde informatie. De verkregen aanvullende informatie wordt ook ingevoerd in Gripvol en het helpt de Bbz-adviseur om de stellingen in Gripvol te beantwoorden. Zo luidt een van de stellingen over de ondernemer: "Aanvrager is gemotiveerd om het bedrijf te exploiteren en zelfstandig in levensonderhoud

89

REKENKAMER AMSTERDAM te voorzien". De Bbz-adviseur kan bij de beantwoording kiezen uit vijf antwoorden in de range 'helemaal oneens - helemaal eens'.381 Op basis van de door de Bbz-adviseur ingevoerde branchecodeuuu haalt Gripvol bij de Kamer van Koophandel automatisch economische informatie op over de branche.382 Wat doet het algoritme met deze informatie? Na invoer van de gegevens berekent het algoritme scores over de ondernemer en het bedrijf, beoordeelt een financiële prognose of vervaardigt deze, en doet een voorspelling over de levensvatbaarheid van het bedrijf of het zelfstandig beroep van de aanvrager. Na een gesprek met de aanvrager en het aanpassen van de gegevens, bevestigt de Bbzadviseur in het algoritme dat deze de invoer en onderliggende stukken heeft beoordeeld en het onderzoek heeft uitgevoerd. Daarna kan de Bbz-adviseur ervoor kiezen om het algoritme de rapportage op te laten stellen (zie figuur 3.2).383

Figuur 3.2 - Schematische werking van het algoritme Gripvol

Bron: Rekenkamer Amsterdam.

Op basis van voorgeprogrammeerde beslisregels berekent het algoritme scores (variërend van ‘onvoldoende’, ‘matig’, ‘voldoende’ tot ‘goed’ voorzien van kleuren van rood tot groen) voor de thema's ‘ondernemer’, 'onderneming', ‘financials/betaalbaarheid’ en ‘sociale impact’. Een voorbeeld van een beslisregel bij het thema 'sociale impact' is dat een hogere leeftijd van de aanvrager leidt tot een hogere en daarmee positievere score.384 Het algoritme biedt de mogelijkheid om een door de aanvrager opgestelde prognose automatisch te vergelijken met branche- en benchmarkgegevens (inclusief 'bekende problemen' zoals Gripvol B.V. die vaak ziet terugkomen bij ondernemers in de branche). Het algoritme geeft vervolgens een overzicht van significante afwijkingen. Ook biedt het algoritme de mogelijkheid om op basis van historische financiële gegevens van het bedrijf (bijvoorbeeld netto-omzet, inkoopwaarde, bedrijfskosten en bedrijfsresultaat) en van de aanvrager (bijvoorbeeld privéopname) een geautomatiseerde prognose te maken. Daarnaast is het mogelijk dat het algoritme de prognose of het branchegemiddelde automatisch vergelijkt met een taakstelling (wat moet de aanvrager minimaal realiseren om tot een levensvatbare onderneming te komen?). Het algoritme geeft vervolgens een

uuu Dit betreft de Standaard Bedrijfsindeling (SBI-)code uit het Handelsregister.

90

ALGORITMEN - ONDERZOEKSRAPPORT overzicht van significante afwijkingen. Tot slot berekent het algoritme een levensvatbaarheidsscore. Deze score is een risico-inschatting van de vraag ‘hoe waarschijnlijk is het dat de klant een levensvatbare exploitatie weet te realiseren?’. Staat de meter in het oranje, dan is het niet waarschijnlijk dat een levensvatbare exploitatie wordt gerealiseerd. Staat de meter in het groen, dan is het zeer waarschijnlijk dat de ondernemer een levensvatbare exploitatie zal realiseren (zie figuur 3.3).385 Vanaf februari 2023 is deze grafische weergave vervangen door een kwalitatieve uitspraak over de levensvatbaarheid.vvv

Figuur 3.3 - Levensvatbaarheidsscore Gripvol

Bron: Gemeente Amsterdam, Werkinstructie Gripvol, versie 1.1, 18 oktober 2021, p. 25.

Het voorlopige rapport uit Gripvol vormt de basis voor het gesprek tussen de aanvrager en de Bbz-adviseur over de aanvraag. Gripvol biedt de mogelijkheid aan de Bbz-adviseur om de gegevens tussentijds aan te passen en eigen overwegingen toe te voegen.386 Mogelijke impact op burgers en bedrijven Het onvolledig of onjuist aanleveren van gegevens door de aanvrager aan de gemeente, het onjuist of onvolledig invoeren van de gegevens in Gripvol door de Bbz-adviseur, het selecteren van een onjuiste branchecode, of het maken van een verkeerde inschatting bij de stellingen over de onderneming of het bedrijf, zijn van invloed op de scores die Gripvol berekent. Het is daarom van belang dat de Bbz-adviseur zorgvuldig en accuraat te werk gaat en alle benodigde informatie verzamelt en verifieert (ook in het gesprek met de aanvrager). Om zo te voorkomen dat er fouten worden gemaakt en de aanvraag onterecht wordt toegekend of afgewezen. Het is uiteindelijk aan de Bbz-adviseur om de informatie van de aanvrager - eventueel met behulp van Gripvol - te beoordelen, en om te bepalen of de aanvrager in aanmerking komt voor ondersteuning onder de Bbz-regeling. Alle Bbzadviseurs volgen trainingen om de kennis en kunde over de Bbz en Gripvol te borgen en te verbeteren. De Bbz-adviseur kan de rapportage uit Gripvol toevoegen aan het besluit,

vvv De levensvatbaarheidsscore kan luiden “Op grond van de invoer is sprake van een levensvatbare

onderneming” of “Op grond van de invoer is sprake van een niet-levensvatbare onderneming”.

91

REKENKAMER AMSTERDAM maar in de praktijk is dit nog niet gedaan (stand maart 2023). In het besluit wordt ook niet verwezen naar de Bbz-rapportage uit Gripvol.387 Per aanvraag maakt de Bbz-adviseur een dossier aan in Gripvol, met een dossiernummer dat te koppelen is aan de interne dossiers bij de gemeente Amsterdam. Hoewel in Gripvol geen naw-gegevens van de aanvrager worden verwerkt, zijn deze gegevens met het dossiernummer wel te achterhalen. De gegevens die Gripvol verwerkt zijn daarom persoonsgegevens.www Het is om deze reden belangrijk dat deze persoonsgegevens zorgvuldig worden verwerkt en dat de privacy van betrokkenen wordt beschermd. Ten tijde van het rekenkameronderzoek is een concept-Data Protection Impact Assessment (DPIA) opgesteld die is voorgelegd aan de Functionaris Gegevensbescherming (FG) van de gemeente. In maart 2023 was het advies van de FG nog niet ontvangen en was de conceptDPIA nog niet vastgesteld.388 Volgens de ambtelijke organisatie verlaagt het gebruik van Gripvol de foutgevoeligheid van de verwerking van financiële gegevens (de adviseurs hoeven niet zelf te gaan rekenen met bijvoorbeeld Excel), en zorgt het ervoor dat de adviseurs alle relevante vragen doorlopen in het aanvraagproces. Bovendien geeft Gripvol actuele branche-informatie.

Het is hierdoor aannemelijk dat het gebruik van Gripvol kan leiden tot beter navolgbare, beter onderbouwde en meer transparante Bbz-besluiten.389 Besluitvorming over het algoritme Het proces van het ontstaan van een behoefte tot het overgaan tot inkoop is beperkt gedocumenteerd. De behoefte aan Gripvol ontstond tijdens de crisissituatie rondom corona, waarbij er een groot beslag werd gelegd op de ambtelijke capaciteit met het verwerken van Tozo-aanvragen.390 Ten tijde van corona heeft een werkgroep met medewerkers van de afdeling Ondersteuning ondernemers, onder begeleiding van Accenture, een advies uitgebracht over het efficiënter inrichten van het behandelproces van de Bbz-aanvragen.391 Het gebruik van een applicatie met de functionaliteiten van Gripvol werd onder andere geadviseerd. In afwijking van de reguliere meervoudige aanbestedingsprocedure werd Gripvol ingezet als pilot van juli 2021 tot en met juli 2022.xxx Er is vanwege de crisissituatie geen make-or-buy-besluit vastgelegd.392 De pilot werd als een succes gezien, zo blijkt uit een interne evaluatie (maart 2022).393 In april 2022 is de afwijkingsaanvraag van de aanbestedingsprocedure door de lead-buyer behandeld en is het contract met Gripvol voor twee jaar verlengd.394 Het college is niet betrokken geweest bij de besluitvorming over de inzet van het algoritme.

De ontwikkelfase van het algoritme Gripvol is een ‘Software as a Service’-pakket dat is ingekocht door de gemeente

www Persoonsgegevens zijn alle informatie over een geïdentificeerde of identificeerbare natuurlijke

persoon. Voor meer informatie zie de webpagina 'Wat zijn persoonsgegevens?' van de Autoriteit Persoonsgegevens. xxx De ambtelijke organisatie besloot af te wijken van de reguliere aanbestedingsprocedure omdat Gripvol op dat moment de enige aanbieder was van de software met de benodigde functionaliteit.

92

ALGORITMEN - ONDERZOEKSRAPPORT Amsterdam. Voordat Amsterdam Gripvol ging gebruiken, werd Gripvol al in andere gemeenten ingezet. Het gaat onder andere om de gemeente Emmen, Coevorden en BorgerOdoorn.395 Deze gemeenten hebben ook input gegeven voor de ontwikkeling van Gripvol. Amsterdam gebruikt Gripvol sinds juli 2021. Jaarlijks wordt de werking van Gripvol geëvalueerd door Gripvol en Amsterdam in een gezamenlijke bijeenkomst.396 Op basis van dit soort bijeenkomsten en andere tussentijdse feedback worden er verbeteringen in Gripvol doorgevoerd.

3.1.2

Detectie illegale onderhuur

Aanleiding voor het algoritme Amsterdam kampt met schaarste aan betaalbare woningen, waaronder sociale huurwoningen.397 Het college meldt dat deze schaarste leidt tot een perverse prikkel.398 Huurders zouden hun huurwoning verlaten en deze woning illegaal aanhouden om hiermee zichzelf te verrijken, aldus het college. Dit zou leiden tot verdringing op de woningmarkt waardoor de doorstroming stokt. Bovendien zouden woningen voor andere doeleinden worden gebruikt dan wonen en zouden (onder)verhuurders oneigenlijke winst maken op een woning die niet van hen is. Ook kan er sprake zijn van (financiële) uitbuiting of fraude plaatsvinden (met uitkeringen en/of toeslagen), aldus het college.399 Het college kiest er daarom voor om actief op illegale onderhuur te handhaven, samen met corporaties. Met de uitgevoerde handhavingsacties zijn in 2019 514 corporatiewoningen vrijgemaakt voor legaal gebruik; in 2021 waren dat er 372 en in 2022 waren dat 375 corporatiewoningen.400 In maart 2019 verzocht de gemeenteraad het college om de Amsterdamse woningbouwcorporaties bij te staan in hun strijd tegen fraude met corporatiewoningen.401 Het college ontwikkelde een 'aanpak woonfraude', waarbij een zelflerend algoritme (een zogenaamd machine learning-model) zou worden ontwikkeld dat ook een voorspelling zou kunnen doen over de kans op onderhuur op een adres.

Dit zelflerende algoritme is niet ontwikkeld. In mei 2020 is de ambtelijke organisatie gestart met het ontwikkelen van een algoritme met beslisregels dat een voorspelling zou kunnen doen over de kans op onderhuur op een adres waarover de gemeente een melding had ontvangen. Na de evaluatie van een testversie van het algoritme (april 2021) besloot de ambtelijke organisatie om de functie van het algoritme af te schalen. Het algoritme zal niet langer informatie geven “over de kans” op onderhuur op een adres, maar alleen die beslisregels tonen die voor het specifieke adres van toepassing zijn. Besloten werd om data op te vragen bij twee woningcorporaties om een pilot te kunnen starten. In maart 2022 werd ook de ontwikkeling van dit reactieve algoritme gestaakt.402 Wat het algoritme doet – in een notendop Het algoritme beoogt het werk van projectmedewerkers deels te automatiseren, een extra informatiebron te raadplegen (data van woningcorporaties) en de opgehaalde informatie op een gestandaardiseerde wijze te rapporten.

93

REKENKAMER AMSTERDAM Om uit te leggen wat het algoritme doet, zetten we hieronder eerst uiteen wat de huidige werkwijze is om mogelijke woonfraude te onderzoeken zonder algoritme. In de huidige werkwijze start een projectmedewerker een administratief onderzoek na ontvangst van een melding over mogelijke woonfraude bij sociale huurwoningen. Zo'n melding kan door iedereen worden gemaakt via de website van de gemeente Amsterdam (weblink). De melding belandt vervolgens in het Signalen Informatievoorziening Amsterdam (SIA-)systeem van de gemeente. Alle meldingen worden opgevolgd met een bureauonderzoek. Tijdens dit onderzoek raadpleegt de projectmedewerker handmatig verschillende registraties, vergelijkt zelf de informatie en komt zelf op basis van beslisregels, de zogenaamde 'business rules' (zie kader), tot een inschatting over mogelijke illegale onderhuur op dat specifieke adres. De projectmedewerker heeft de keuze om het onderzoek administratief af te sluiten of deze informatie zichtbaar te maken op de looplijst van de toezichthouder. De toezichthouder legt de aangetroffen situatie op het adres vast. Deze constateringen kunnen leiden tot een handhavingsbesluit van de projecthandhaver.403 Business rules Business rules (beslisregels) zijn signalen, veelal bestaand uit een aantal 'verdachte' kenmerken van een adres of melding, geformuleerd in de vorm van ja-nee-vragen.

Op basis van kennis en ervaringen in de praktijk hebben handhavingsjuristen, senior juristen, partners van woningcorporaties en partners van de dienst Basis Informatie gezamenlijk deze beslisregels opgesteld. Projecthandhavers, toezichthouders en projectmedewerkers hebben input geleverd. Voorbeelden van de beslisregels zijn: Beslisregel 16: ‘Als het aantal vierkante meters woonoppervlak per ingeschreven persoon lager is dan 15 m2’. (status: ‘klaar'); Beslisregel 17: 'Als het aantal ingeschreven personen niet in verhouding staan met het aantal kamers in de woning (meer dan 2 volwassen personen per slaapkamer of studio).’ (status: 'klaar'). Bronnen: Ambtelijke organisatie, 001 Tijdlijn maart 2019 - heden, 15 februari 2023; CPA, Illegale onderverhuur, 23 februari 2021, p. 1; Gemeente Amsterdam, DPIA Amsterdam-Ymere-Stadsgenoot, 19 januari 2023, onderdeel 4; Ambtelijke organisatie, Analyse business rules, 9 maart 2022; mails van ambtelijke organisatie aan de rekenkamer op 23 augustus en 6 september 2023. Wat is de beoogde werking van het algoritme? Nadat de melding van mogelijke woonfraude op de looplijst is geplaatst, wordt het algoritme automatisch geactiveerd. Het algoritme raadpleegt vervolgens automatisch verschillende registraties. Aanvullend op de huidige werkwijze raadpleegt het algoritme ook informatie over huurders en huurcontracten.

Die informatie is afkomstig van woningcorporaties. Meldingen die betrekking hebben op sociale huurwoningen die geen

94

ALGORITMEN - ONDERZOEKSRAPPORT eigendom zijn van woningcorporaties kunnen niet geheel worden behandeld door het algoritme. Het algoritme toetst automatisch of het adres wel of niet voldoet aan de beslisregels van de voorgeprogrammeerde verdachte kenmerken. Indien een beslisregel 'waar' is, dan zal het algoritme deze informatie automatisch weergeven bij een specifiek adres op de looplijst (voor een voorbeeld van een beslisregel zie hieronder: Wat doet het algoritme met de informatie?). Het proces daarna volgt de huidige werkwijze zonder algoritme.404 De inzet van het algoritme moet volgens de ambtelijke organisatie leiden tot het vrijmaken van meer corporatiewoningen door: 1) het sneller ophalen van informatie en het geautomatiseerd analyseren ervan (de verwachte tijdswinst is door de ambtelijke organisatie geschat op 35 minuten per adres), en 2) een systematischere en uniformere analyse van de informatie waardoor er een gewogen afweging kan worden gemaakt voor een te starten onderzoek.405 Hoe komt het algoritme aan informatie? Het algoritme raadpleegtyyy op basis van een adres op de looplijst automatisch informatie uit verschillende bronnen: de applicatie Wonen, de basisregistratie personen (BRP), de basisregistratie adressen en gebouwen (BAG/BAG+), de basisregistratie kadaster (BRK) en het handelsregister (HR).

Daarnaast raadpleegt het algoritme de door woningcorporaties aangeleverde informatie over de huurders en het huurcontract.406 Het algoritme verwerkt gegevens over de ingeschreven bewoners en alle andere personen die gerelateerd zijn aan het adres waarvan de woningcorporatie eigenaar is en waarover een melding is ontvangen (zie kader Welke gegevens verwerkt het algoritme?). Welke gegevens verwerkt het algoritme? Door de gemeente Amsterdam worden de volgende gegevens verwerkt: adres, postcode, woonplaats, locatie, bewonershistorie, historische gegevens over toezicht en handhaving voor het adres (inclusief lopende dossiers), verhurende woningcorporatie, naam ingeschreven bewoners, gegevens kinderen (naw en geboortedatum), voorletters, geslachtsnamen, geboortedatum, relationele verhouding tussen ingeschrevenen (bijvoorbeeld ouders - kind), burgerlijke staat, gehuwde gegevens, echtscheidingsdatum, overlijdensdatum, gegevens van ingeschreven onderneming (bijvoorbeeld naam, KvK-nummer, koopjaar, et cetera), landelijke code BAG, kadastrale gegevens , feitelijke gegevens van de woning (bijvoorbeeld aantal vierkante meters), aantal kamers, oppervlakte, et cetera), aantal meldingen en of deze (niet-)anoniem zijn.

Vanuit de woningcorporaties worden de volgende gegevens geleverd: naam hoofdhuurder en medehuurder(s), geboortedatum hoofdhuurder en medehuurder(s), adres, ingangsdatum huurovereenkomst en huurprijs.

yyy Het gaat in deze beschrijving om de beoogde werking van het algoritme. In de pilot zijn de BRK,

het HR en de data van de corporaties niet geraadpleegd (bron: mail van de ambtelijke organisatie aan de rekenkamer, 23 augustus 2023).

95

REKENKAMER AMSTERDAM Adres-gerelateerde gegevens betreffen: huurders, bewoners, bemiddelaars, (potentiele) overtreders en mogelijke partners, bestuurders van ingeschreven onderneming(en) op het adres en de historische bewoners van een adres (tot vijf of tien jaar terug). Bron: Gemeente Amsterdam, Concept-DPIA Amsterdam-Ymere-Stadsgenoot, 19 januari 2023, onderdeel 9. Wat doet het algoritme met deze informatie? De melding over mogelijke woonfraude op een specifiek adres is afkomstig uit de Signalen Informatievoorziening Amsterdam (SIA). Nadat de melding van mogelijke woonfraude op de looplijst is geplaatst, wordt het algoritme automatisch geactiveerd. Het algoritme toetst per beslisregel aan de hand van de verschillende registraties of deze beslisregel 'waar' is (met andere woorden: is er sprake van een verdacht kenmerk?), en zal die informatie in dat geval op de looplijst weergeven. Zijn er bijvoorbeeld drie personen ingeschreven op een adres en is de totale woonoppervlakte 35 m2, dan is de beslisregel 'waar' "als het aantal vierkante meters woonoppervlak per ingeschreven persoon lager is dan 15 m2" en zal deze worden weergegeven op de looplijst (zie figuur 3.4). 407

Figuur 3.4 - Schematische werking van het algoritme Detectie illegale onderhuur

Bron: Rekenkamer Amsterdam.

Mogelijke impact op burgers en bedrijven Het algoritme verwerkt gegevens over de ingeschreven bewoners en alle andere personen die gerelateerd zijn aan het adres waarvan de woningcorporatie eigenaar is en waarover een melding is ontvangen (zie kader Welke gegevens verwerkt het algoritme?).408 Het is daarom belangrijk dat de gegevens zorgvuldig worden verwerkt en dat de privacy van betrokkenen wordt beschermd. Hiertoe zijn meerdere 'gegevensbeschermingseffectbeoordelingen' (ook wel bekend als Data Protection Impact Assessments, kortweg DPIA's) uitgevoerd, is advies ingewonnen bij de Functionaris Gegevensbescherming van de gemeente Amsterdam en is tweemaal advies gevraagd aan en ontvangen van de Commissie Persoonsgegevens Amsterdam (CPA). De adviezen zijn bij de verdere ontwikkeling van het algoritme betrokken.409

96

ALGORITMEN - ONDERZOEKSRAPPORT Naast het gebruik van persoonsgegevens, heeft het algoritme Detectie illegale onderhuur net zoals in de huidige praktijk (zonder algoritme) een mogelijke impact op burgers die een corporatiewoning huren. Een rapportage naar aanleiding van een signaal over mogelijke woonfraude (afkomstig uit SIA) kan na een administratief onderzoek leiden tot een selectie van het adres voor een huisbezoek om vast te stellen of er sprake is van illegale onderhuur. Huisbezoeken door toezichthouders kunnen als een grote inbreuk op de persoonlijke levenssfeer worden ervaren. Sociale huurders zijn bovendien over het algemeen armer en kwetsbaarder dan andere huurders. Zij hebben bijvoorbeeld vaker een grote afstand tot de arbeidsmarkt, een licht verstandelijke beperking of psychiatrische problematiek.410 Voor deze groepen heeft een huisbezoek mogelijk extra impact. Het is vanwege de grote mogelijke impact op de betrokkenen belangrijk dat de beslisregels die hiertoe leiden zorgvuldig gescreend worden op mogelijke vormen van bias.zzz De ambtelijke organisatie heeft de beslisregels uitgebreid doorgelicht op bias door middel van kwalitatief onderzoek.

Op basis van deze exercitie zijn meerdere beslisregels (vijf) voorlopig geschrapt.411 De ambtelijke organisatie heeft nog niet op kwantitatieve wijze kunnen onderzoeken welke groepen onder- of oververtegenwoordigd zijn bij de uiteindelijke selectie van adressen waarbij een huisbezoek volgt. Hoe vaak er sprake is van vals-positieven in de selecties voor huisbezoek is niet onderzocht. Er is ook niet onderzocht hoe vaak valspositieven voorkomen bij selectie van meldingen op basis van het algoritme versus gerandomiseerde selectie van meldingen. Het is belangrijk om te melden dat het algoritme zelf geen illegale onderhuur kan constateren of geautomatiseerde boetes kan opleggen. Alleen de toezichthouders kunnen, enkel ter plaatse, constateren of er sprake is van illegale onderhuur en daarna besluiten of en welke bestuursrechtelijke sanctie wordt genomen. Er is daarom altijd sprake van menselijke tussenkomst bij het nemen van een sanctiebesluit. Maar dit biedt geen garantie dat bias wordt uitgesloten. Ten slotte is het belangrijk om te vermelden dat de nieuwe voorgestelde werkwijze (onderzoek met algoritme) afwijkt van de huidige werkwijze (onderzoek zonder algoritme).

In de nieuwe werkwijze worden namelijk alleen meldingen onderzocht over sociale huurwoningen die eigendom zijn van woningbouwcorporaties.412 In de huidige werkwijze worden sinds 2022 ook meldingen over particuliere sociale huurwoningen onderzocht. 413 Desondanks automatiseert het algoritme een deel van de huidige werkwijze. Besluitvorming over het algoritme Het proces van het ontstaan van een behoefte tot het beëindigen van de ontwikkeling van het algoritme is gedeeltelijk gedocumenteerd. In maart 2019 verzocht de raad het college

zzz Een bias is een onwenselijke systematische afwijking voor specifieke personen, groepen of

andere eenheden.

97

REKENKAMER AMSTERDAM om de Amsterdamse woningbouwcorporaties bij te staan in hun strijd tegen fraude met corporatiewoningen, naar aanleiding van het bericht dat professionele bendes betrokken zijn bij fraude met sociale huurwoningen.414 In reactie op dit verzoek schetste de wethouder in juli 2019 de Eerste contouren nieuwe aanpak woonfraude. Een datagerichte aanpak om woonfraude te voorkomen en te kunnen bestrijden maakt daar onderdeel van uit.415aaaa In oktober 2019 gaf de wethouder aan dat er zal worden onderzocht hoe een Woonfraude indicatiemodel kan worden gerealiseerd. Dit algoritme, op basis van “machine learning” (ook: het zelflerende algoritme), is bedoeld om sneller geautomatiseerde bestanden te onderzoeken en daarmee betere selecties te maken van adressen waar mogelijk fraude plaatsvindt, aldus de wethouder.416 Alternatieven voor dit algoritme zijn niet overwogen. Dit zelflerende algoritme is niet ontwikkeld door de ambtelijke organisatie, als gevolg van een gebrek aan historische data.417 De ambtelijke organisatie heeft in de periode oktober 2019 tot en met 21 april 2021 wel plannen gemaakt om een zelflerend algoritme te ontwikkelen.418 In mei 2020 is de ambtelijke organisatie gestart met het ontwikkelen van een reactief model met beslisregels.

Dit algoritme zoekt informatie op over een specifiek adres nadat een melding over mogelijke woonfraude op de looplijst is geplaatst. Vervolgens geeft het algoritme de kans op mogelijke woonfraude op dat adres weer.419 De ambtelijke organisatie heeft de eerste versie van het algoritme in april 2021 geëvalueerd. Deze testversie van het algoritme bevatte twee beslisregels, waarbij de kans op mogelijke woonfraude werd weergegeven. Het algoritme is in een pilot enkele weken getest. Bij de evaluatie is door de ambtelijke organisatie geconcludeerd dat de voorspelling ('de fraudekans') van het algoritme op basis van twee beslisregels geen representatief beeld geeft over de werkelijke kans op woonfraude.420 Ambtelijk werd besloten om de pilot te stoppen en om de data van woningcorporaties binnen te gaan halen vanuit de gedachte dat met meer data, meer relevante kenmerken kunnen worden getoetst.

Ook is door de ambtelijke organisatie besloten dat het model zich niet langer zal richten op het voorspellen van de kans op woonfraude.421 In januari 2022 besloot het college dat er een model mag worden ontwikkeld en getest, waarbij gebruik wordt gemaakt van adres- en huurdersinformatie van twee woningcorporaties (Ymere en Stadgenoot).422 In maart 2022 besloot de ambtelijke organisatie om de ontwikkeling van dat algoritme stil te leggen (lees in de volgende paragraaf waarom die beslissing is genomen).423 Het college en de raad zijn niet (schriftelijk) geïnformeerd over deze wijziging van het algoritme en het stilleggen van het ontwikkelen van het algoritme. De ambtelijke organisatie heeft de wens om op termijn een proactief algoritme te ontwikkelen.424 Los van de ontwikkeling van het reactieve algoritme heeft de ambtelijke organisatie eind 2021 onderzocht of het ook mogelijk was om een proactief algoritme te ontwikkelen. Dit

aaaa In de brief beschrijft de wethouder hoe de inzet van data kan leiden tot een betere aanpak van

woonfraude: 1) data inzetten om te komen tot betere en meer specifieke risicopatronen, 2) data inzetten om beter samen te werken in processen, en 3) data inzetten om fraude te voorkomen.

98

ALGORITMEN - ONDERZOEKSRAPPORT algoritme selecteert op basis van beslisregels zelf adressen die mogelijk onrechtmatig verhuurd worden, zonder dat de gemeente een melding van mogelijke woonfraude heeft ontvangen. In februari 2022 heeft de ambtelijke organisatie, in samenspraak met een privacyjurist, besloten om de ontwikkeling van het proactieve model stop te zetten, omdat een dergelijk model veel juridische voeten in aarde zou hebben. De verkenning proactieve werking model sigma bevat de onderbouwing voor dit standpunt (december 2021): Algemene beginselen van behoorlijk bestuur en privacywetgeving zouden het onmogelijk maken om alle adressen in Amsterdam zonder reden in onderzoek te nemen. Naast het misbruik van haar bevoegdheid en haar informatiepositie, zou de gemeente met dergelijke inzet van het model ook een risico op willekeur aanvaarden. Een inmenging van de persoonlijke levenssfeer is ongewenst, maar toegestaan als daar een redelijke aanleiding voor is. Zonder aanleiding is de inmenging een inbreuk op de persoonlijke levenssfeer. Adressen zonder aanleiding onderzoeken is onrechtmatig, onethisch en onwenselijk.

425 De ontwikkelfase van het algoritme In periode oktober 2019 tot februari 2022 richtte de ambtelijke organisatie zich op het ontwikkelen van een reactief algoritme op basis van beslisregels waarmee een voorspelling zou kunnen worden gedaan over de kans op onderhuur op een adres waarover de gemeente een melding had ontvangen.426 Vanaf februari 2022 werden de activiteiten gericht op het ontwikkelen van een eenvoudiger algoritme. Dit algoritme zou, nadat een adres op de looplijst was vermeld, met behulp van voorgeprogrammeerde beslisregels informatie weergeven over dit adres. Een maand later (maart 2022) werd besloten om ook de ontwikkeling van dit algoritme stop te zetten. Enerzijds omdat er onvoldoende (corporatie)data beschikbaar waren om het model te testen, anderzijds omdat het nog niet mogelijk was om van de Veilige Analyse Omgeving (VAO) naar een Analyse Suite, ontwikkeld in Azure Cloud (hierna: Azure) over te stappen. De oorspronkelijke gemeentelijke ontwikkelomgeving (VAO) kende beperkingen. Zo was het niet mogelijk om rechtstreeks een basisregistratie (zoals de BRP, het kadaster of het handelsregister) te raadplegen, waar er in de nieuwe Analyse Suite wel een mogelijkheid werd ontwikkeld om databronnen zoals basisregistraties veilig te kunnen raadplegen.

Daarbij wordt de nieuwe omgeving als veiliger gezien dan de oude omgeving.427 Sinds maart 2022 ligt de ontwikkeling van het algoritme stil. In februari 2023 was het mogelijk om algoritmen in de nieuwe ontwikkelomgeving te ontwikkelen en te testen. De gemeente beoogde met een uitvoeringsovereenkomst op het Convenant Zoeklicht aanvullende afspraken met de corporaties te maken over de levering van data. Die aanvullende afspraken zijn in mei 2023 nog niet gemaakt en de corporaties hebben geen data aan de gemeente geleverd. We hebben de overwegingen van de corporaties niet onderzocht. De ambtelijke organisatie heeft aangegeven dat, voordat de ontwikkeling van het algoritme weer kan worden gestart, eerst bij de ambtelijke opdrachtgever moet worden nagegaan of de gekozen oplossing nog steeds aan de behoefte voldoet. Ook moet een inschatting worden gemaakt welke beslisregels kunnen worden uitgevoerd, gegeven de beschikbare data. Met het oog op proportionaliteit en subsidiariteit

99