Eindrapportage rekenkameronderzoek Leeuwarder Digitale Agenda.pdf

Meer zijdelings, zoals in principe 10 van de LDA (p. 12). Daarin wordt aangegeven dat de gemeente zichzelf als “hoeder en borger [ziet] van publieke waarden bij de ontwikkeling van de digitale samenleving en overheid”. Echter wordt hier niet verduidelijkt hoe de gemeente deze rol wil invullen. Wel wordt er

P 13

Rekenkamer van de gemeente Leeuwarden

29 april 2022

verwezen naar de publicatie ‘Waardevol digitaliseren’ van het Rathenau Instituut dat, volgens de schrijvers van de LDA, dient als kader om deze rol in te vullen. In de LDA wordt vrijwel niets genoemd over het scheppen van randvoorwaarden waarop digitale ontwikkelingen plaatsvinden (doelstelling 1 binnen de DAG2024). Deze doelstelling heeft twee componenten: het op orde hebben van de basis ICTinfrastructuur en het zorgdragen voor een betrouwbare, transparante en toegankelijke overheid. Hoe de gemeente Leeuwarden invulling geeft aan beide componenten, valt buiten de LDA. De focus van de LDA ligt meer op het innoveren en experimenten met digitale toepassingen, dan op het onderhouden en bestendigen van de bestaande ICT-infrastructuur. Concluderend kunnen we zeggen dat de LDA is geschreven vanuit een ander perspectief dan de Digitale Agenda 2020 en de Digitale Agenda Gemeenten 2024. Het onderwerp van de stukken is hetzelfde maar ze worden op verschillende manieren belicht waardoor een ander beeld ontstaat. Tegelijk sluiten de verschillende stukken elkaar ook niet uit, en werken ze juist ook aanvullend op elkaar.

P 14

Rekenkamer van de gemeente Leeuwarden

29 april 2022

2. Uitvoering en instrumenten De tweede set van vragen heeft betrekking op de uitvoering en de instrumenten die binnen de LDA worden gehanteerd: 5. Vraag 5. Welke voortgang is gemaakt met de uitvoering van de LDA, welke projecten zijn uitgevoerd, hoe vindt de selectie van projecten plaats en (hoe) hebben de twaalf principes hier een plaats in? (Hoe en met wie) worden bij conflicterende principes afgewogen besluiten genomen? 6. Vraag 6. Hoe vindt het proces van ontwerpen, uitvoeren, evalueren en implementeren van projecten plaats en (hoe) hebben de twaalf principes hier een plaats in? 7. Vraag 7. Welke interne en externe partijen spelen een rol in de uitvoering van de LDA? 8. Vraag 8. Hoe geeft Leeuwarden invulling aan de gekozen rol van ‘slimme volger’? 9. Vraag 9. Hoe is de uitvoering van de LDA in de begroting opgenomen? Hoe is de budgettaire sturing georganiseerd? Hoe verhouden de inspanningen en kosten voor de LDA zich tot de totale kosten voor ICT en IM? Vraag 5. Omdat deze vraag meerdere subvragen bevat, beantwoorden we de deelvragen een voor een. Vraag 5a

Welke voortgang is gemaakt met de uitvoering van de LDA en welke projecten zijn uitgevoerd? Tot eind 2021 zijn er drie rondes geweest waarin experimenten zijn gefinancierd. Begin 2022 start een vierde ronde. Een overzicht van deze projecten staat in Tabel 3. Ieder jaar is zijn in elk van de thema’s experimenten uitgevoerd.

P 15

Rekenkamer van de gemeente Leeuwarden

29 april 2022

Tabel 3. Overzicht van de projecten naar thema Ronde

Slim samenwerken

Slimme leefomgeving

Slimme samenleving

1

Robotic Process Automation

Datagedreven aanpak van Meldingen Openbare Ruimte

I4Sociaal

Spelen & Bewegen

Data-gedreven energiecoach

Geautomatiseerde detectie zwerfafval

I4Sociaal

Monitoring op het water

Matchen werkzoekendenwerkgever (Matching the skills)

2

Mijn Digitale Gemeente Common Ground Gehandicapten-parkeerkaart Common Ground Berichtenbox-uitwisseling Reserveer je werkplek app

3

Digitale Burger Participatie

Virtual reality Serious Game Lean Mangement

Erfgoed en gamification Over de drempel

4

Digitaal luisteren en begrijpen

Leeuwarden van boven

Martkplaats woning verduurzaming

Digitaal spreken en begrijpen

AI smart buildings

Studio Leeuwarden

De eerste ronde is gestart na vaststelling van de LDA door B&W. De tweede ronde vond plaats tussen januari 2021 tot juli 2021. De derde ronde is gestart in juli 2021 en liep tot december 2021. De vierde ronde gaat begin 2022 van start. Voor een meer gedetailleerd overzicht van de experimenten, inclusief een korte beschrijving per experiment, verwijzen we naar Bijlage 2. Vraag 5b

Hoe vindt de selectie van projecten plaats en (hoe en met wie) worden bij conflicterende principes afgewogen besluiten genomen? De selectieprocedure van experimenten is door de tijd heen aan verandering onderhevig geweest. Naarmate de tijd vorderde, is de selectieprocedure meer gestandaardiseerd en geprofessionaliseerd geworden. Op deze manier wilde het kernteam van de LDA tot een eenduidig oordeel komen voor de selectie van experimenten en ervoor zorgen dat de juiste personen meedenken over het

P 16

Rekenkamer van de gemeente Leeuwarden

29 april 2022

voorstel. Op basis van de beschikbare informatie, kunnen we de selectieprocedure binnen de LDA onderscheiden in een aantal fasen. Eerste contact Het startpunt voor veel experimenten is een gesprek tussen degene met een idee voor een mogelijk experiment en de programmamanager van de LDA. Als sparringpartner voor indieners, helpt de programmanager om een idee te vertalen naar een factsheet waarin het experiment nader wordt toegelicht. In deze fase, die nog erg informeel van aard is, vallen er veel ideeën voor experimenten af. Het gaat dan bijvoorbeeld om mogelijke experimenten die niet innovatief genoeg zijn of enkel gericht zijn op het beter organiseren van bestaande ICT/IM-processen. Ideeën komen over het algemeen uit verschillende geledingen van de organisatie, maar ook vanuit gesprekken met externe partijen. Daarbij fungeert de programmamanager als spin in het web, door ideeën of behoeftes vanuit de ambtelijke organisatie te koppelen aan bedrijven en onderwijsinstellingen die kunnen helpen om handen en voeten te geven aan een experiment. Verschillende partijen zijn dus betrokken bij het uitkristalliseren van een idee tot een geschikt experiment. De programmamanager is verantwoordelijk voor het aanjagen van ideeën, maar staat daarin niet alleen.

Ook doeleigenaren hebben hierin een rol en dienen binnen hun verantwoordelijkheidsgebied (zoals ‘slimme leefomgeving’ of ‘slim samenwerken) te komen tot nieuwe ideeën voor mogelijke experimenten. Uit de focusgroep met medewerkers van de gemeente die niet direct betrokken waren bij de LDA, blijkt wel dat niet iedereen op de hoogte was van de manier waarop een experiment kon worden ingediend, wat het opzetten van een experiment precies inhoudt en naar wat voor experimenten het kernteam van de LDA op zoek is. En dat terwijl deze medewerkers wel aangeven tal van ideeën te hebben over mogelijke experimenten. Alleen ontbreekt het bij veel medewerkers aan inzicht in hoe ze deze ideeën kunnen omzetten in experimenten binnen de LDA. Een deelnemer aan de focusgroep: “Er wordt een ontwikkelkracht binnen de sectoren veronderstelt die er eigenlijk niet is. We hebben wel allemaal wensen en ambities, maar we weten eigenlijk niet goed hoe we dat moeten doen.” Begin 2022 is er een klantreis geformuleerd waarin wordt beschreven hoe ideeën kunnen worden omgezet in een experiment. Deze zal binnen de organisatie verspreid worden.

De deelnemers aan deze focusgroep hadden ook verwacht van het kernteam van de LDA dat zij actiever de afdelingen in de gemeente langs zouden gaan om te beoordelen op welke technologieën de gemeente extra zou moeten inzetten, om vervolgens daar experimenten aan te koppelen. Zoals één van de deelnemers van

P 17

Rekenkamer van de gemeente Leeuwarden

29 april 2022

de focusgroep het verwoordde: “We hadden verwacht dat de LDA een hefboom kon zijn om nieuwe technologieën breder te introduceren in de gemeente, juist doordat de LDA kruisbestuiving binnen de organisatie mogelijk maakt. Dat hebben we nodig om als gemeente digitaal door te ontwikkelen binnen de juiste kaders.” Indienen van factsheet Vanaf de tweede ronde experimenten binnen de LDA kan een ‘product owner’ een concreet voorstel indienen door een factsheet in te vullen. Een product owner is altijd een medewerker van de gemeente Leeuwarden. Op deze factsheet wordt informatie vermeld over de opdrachtgever, opdrachtnemers, partners, programmaonderdeel, doel en wat er precies innovatief is aan het experiment. Ook wordt een totaalbedrag voor de uitvoering van het experiment gevraagd. Tot slot is er ruimte voor opmerkingen. Een volledige lijst van onderwerpen die in het factsheet aan de orde komen staat in Bijlage 3. De meeste voorstellen beschrijven het experiment op 2 A4’tjes. De factsheet is altijd aanleiding voor verder gesprek. Vaak vinden er voorafgaand aan het indienen van de factsheet gesprekken plaats tussen (leden van) het kernteam van de LDA en de indiener. Zo worden wederzijdse verwachtingen en behoeftes duidelijk en wordt voorkomen dat medewerkers van de gemeente factsheets indienen die al bij voorbaat kansloos zijn.

Het indienen van een factsheet is bovendien geen ‘go’- of ‘no go’-moment. Factsheets kunnen na indiening aangepast worden. Deze flexibele houding vanuit het kernteam komt voort vanuit het idee dat het experimenten betreft, waarbij van tevoren moeilijk in te schatten is hoe het experiment uitgevoerd moet worden. Ook de factsheet zelf is ‘in ontwikkeling’ en stond niet vanaf het begin al vast. Zo is, na verloop van tijd, ook de regel toegevoegd dat indieners moeten aangeven welke sectormanager of directielid zich achter het experiment heeft geschaard. Door ook te vragen naar het commitment van ‘hogerop’, wordt voorkomen dat het experiment onvoldoende wordt gedragen door de leidinggevende van de indiener. Immers: de indiener besteedt tijd aan het experiment en kan in die tijd zijn of haar reguliere taken niet uitvoeren. Beoordeling o.b.v. het scoreformulier Bij de factsheet hoort ook een scoreformulier. In het scoreformulier zijn de volgende beoordelingscriteria opgenomen:

P 18

Rekenkamer van de gemeente Leeuwarden

29 april 2022

1. De mate waarin publieke waarde wordt gecreëerd door samen te werken, door van buiten naar binnen te werken en door vanuit de leefwereld (in plaats van de systeemwereld) te kijken. 2. De mate waarin het project bijdraagt aan de ontwikkeling van de organisatie en de mate waarin lenig en verbondenheid daarbij een rol spelen. 3. De mate waarin producten en diensten bijdragen aan de ontwikkeling van een slimme gemeente. Bijvoorbeeld door in te spelen op de situatie die is ontstaan door de corona pandemie. Ook het betrekken van partners wordt gezien als een bijdrage. 4. De mate waarin het project innovatief is, breed gedragen wordt en mogelijk kan dienen als katalysator voor een toekomstig bedrijf. Een volledige lijst van de scorecriteria is opgenomen in Bijlage 4. Daarin wordt ook duidelijk hoe deze criteria in de praktijk beoordeeld moeten worden. Dat maakt een eenduidige beoordeling mogelijk. Hoewel de factsheets en scoreformulieren geen één-op-één vertaling vormen van de twaalf principes uit de LDA, is er wel een duidelijk verband. Uit de interviews en focusgroepen blijkt dat met name twee beoordelingscriteria een prominente rol spelen bij het honoreren van een voorstel: publieke waarde (criterium 1) en innovativiteit (criterium 4). Het experiment moet aantoonbaar maatschappelijk waarde hebben en een innovatief karakter hebben.

Als hier geen sprake van is, dan gaat het experiment sowieso niet door. Met name vanaf de tweede ronde van experimenten, werd nadrukkelijk aandacht besteed aan de maatschappelijke meerwaarde van het experiment, waar dat in de eerste ronde een minder prominente rol speelde. De beoordeling van ieder experiment vindt plaats doordat alle leden van het kernteam van de LDA achter elk criterium een ‘+’, ‘0’, ‘+/-‘, ‘-‘ of ? plaatsen. Een ‘+’ staat daarbij voor een positief oordeel, een ‘-‘ voor een negatief oordeel. Een ‘0’ duidt op een neutraal oordeel en een ‘+/-‘ betekent dat er zowel positieve als negatieve aspecten zijn. Ook wordt op enkele plekken een vraagteken geplaatst en werd bij enkele criteria een opmerking gezet door leden van het kernteam. Als onderzoekers hebben we alleen toegang gehad tot evaluaties die uiteindelijk zijn gehonoreerd. Daarin valt op dat enkele experimenten relatief vaak een +/en/of – ontvingen en toch zijn gehonoreerd. Doordat we niet alle beoordelingen hebben kunnen inzien is niet duidelijk hoe een aantal van de niet gehonoreerde experimenten is beoordeeld.

P 19

Rekenkamer van de gemeente Leeuwarden

29 april 2022

Definitieve selectie van experimenten De definitieve selectie van experimenten is gebaseerd op de invulling van het bovenstaande scoreformulier. Het is onbekend hoeveel experimenten niet zijn gehonoreerd na indiening en om welke redenen dit is gebeurd, aangezien de onderzoekers alleen toegang hadden tot scoringsformulieren van experimenten die gehonoreerd zijn. Wel is duidelijk geworden uit de interviews en focusgroepen dat er meer voorstellen zijn ingediend dan gehonoreerd. Voor 2021 geldt dat vier leden van het kernteam van de LDA de factsheets hebben beoordeeld aan de hand van het scoreformulier. Hierbij zijn tenminste de volgende rollen vertegenwoordigd. Ten eerste de programmanager, die de achterliggende doelen van de LDA bewaakt. Ten tweede één van de drie doeleigenaren, waaronder het experiment valt. Deze doeleigenaar bepaalt of het experiment bijdraagt aan het behalen van de doelen binnen het desbetreffende toepassingsgebied. Ten derde zijn er leden van de ontwerptafel LDA betrokken die vanuit hun eigen discipline (ICT, juridisch, etc.) meekijken, risico’s signaleren en zorgdragen dat een experiment – indien succesvol – structureel ingebed kan worden na afloop16. Conflicterende principes worden binnen dit onderlinge overleg besproken en afwogen. Vraag 5c

Welke rol hebben de twaalf principes in de selectie van projecten? De twaalf principes van de LDA hebben een belangrijke rol in het selectieproces. In het overzicht in Tabel 3 wordt aangegeven hoe ieder principe zich verhoudt ten opzichte van de LDA en de experimenten die zijn geselecteerd. Tabel 3. Relatie tussen principes en projecten Principe

Rol binnen de uitvoering van de LDA

1.Rem op ‘verouderde’ systemen

Bij de experimenten die binnen de LDA worden uitgevoerd, ligt de nadruk op nieuwe systemen. Met het robotiseringsproject wordt bijvoorbeeld geprobeerd om bepaalde systemen veel efficiënter vorm te geven. Hoewel hiermee bestaande systemen in principe worden uitgebreid of doorontwikkeld, levert het tegelijkertijd een

16 Leeuwarder Digitale Agenda, Programmaplan, p. 9

P 20

Rekenkamer van de gemeente Leeuwarden

29 april 2022

grote kostenbesparing op. Verder zijn er binnen de LDA geen experimenten waarbij bestaande systemen actief worden afgebroken. 2.Prioriteit bij nieuwe informatiegerichte systemen

Dit principe wordt in de LDA waargemaakt. De beschikbare middelen worden grotendeels ingezet op de ontwikkeling en inzet van toepassingen voor (voornamelijk) intern maar ook extern gebruik. Daarnaast wordt een deel van de middelen besteed aan communicatie.

3.Personele capaciteit vrijmaken voor vernieuwing

Hoewel er vanuit de LDA het belang van innovatie wordt onderstreept, wordt er op dit moment niet 10% van de beschikbare capaciteit in het IM/ICT-domein besteed aan innovatie. Projecten die vanuit de LDA worden georganiseerd, komen vaak boven op de bestaande taaklast. Desondanks maken veel medewerkers toch tijd vrij voor de experimenten omdat ze intrinsiek gemotiveerd zijn om hieraan deel te nemen. De wens om innovatie integraal onderdeel te laten zijn van de inzet van IM/ICT is wel duidelijk aanwezig bij zowel het college als het kernteam. In de praktijk hebben leidinggevenden soms moeite om medewerkers voldoende tijd te geven om betrokken te zijn bij experimenten binnen de LDA.

4.Besparingen inzetten voor vernieuwing

Sommige experimenten hebben een besparing weten te realiseren, zoals het robotiseringsproject. Deze opbrengsten zijn echter terecht gekomen in de algemene middelen van de gemeentelijke organisatie. Het is tot nu toe nog niet gelukt om het behaalde voordeel in te zetten voor vernieuwing.

5.Conformeren aan Samen Organiseren, de +1-Gemeente en Common Ground

Besef van het belang van samenwerking met andere gemeentes is aanwezig binnen het kernteam van de LDA. Ook zijn er concrete voorbeelden van samenwerking, zoals het experiment ‘Mijn Digitale Gemeente’ en I4 Sociaal. Tegelijk blijkt in de praktijk dat samenwerking niet zonder slag of stoot komt. Een experiment in samenwerking met de gemeente Groningen met betrekking tot de gehandicaptenparkeerkaart bleek in de praktijk de nodige voeten in aarde te hebben. Het is niet door onwil, maar eerder door de complexiteit van een project dat synergie niet eenvoudig wordt gerealiseerd.

P 21

Rekenkamer van de gemeente Leeuwarden

29 april 2022

6.Vrij (her)gebruik van data

Datagedreven werken is een belangrijke leidraad voor de Leeuwarder Digitale Agenda. Niet alleen de deelname aan Data Fryslân getuigt hiervan, ook andere experimenten, zoals ‘Spelen & Bewegen’ en ‘Datagedreven aanpak van meldingen in de openbare ruimte’

7.Experimenteren met nieuwe toepassingen

De experimenten met nieuwe toepassingen in de thema’s slimme leefomgeving, slimme samenleving en slim (samen)werken vormen het hart van de Leeuwarder Digitale Agenda. Een belangrijk deel van het budget wordt besteed aan deze experimenten.

8.De maatschappelijke waardecreatie centraal

Het uitgangspunt bij de experimenten die binnen de LDA worden uitgevoerd is dat ze maatschappelijke waarde moeten hebben. Tegelijk speelt ook het innovatieve karakter van toegepaste technologieën een belangrijke rol. Bij hun keuze wegen de leden van het kernteam van de LDA zowel hun perceptie van de mogelijke maatschappelijke waarde mee als de mate waarin een experiment technologisch vernieuwend is. Het scoreformulier (Bijlage 4) dat is beschreven in vraag 5b biedt hiervoor een leidraad.

9.Leeuwarden is slimme volger

Zie het antwoord op vraag 8 voor een uitgebreide beschrijving van de manier waarop de LDA invulling geeft aan de rol van slimme volger.

10.Hoeder van publieke waarden

In de eerste ronden van de LDA was er geen sprake van een systematische ethische toetsing bij de selectie van experimenten. In 2021 is vanuit het LDA kernteam een plan van aanpak gemaakt over er moet worden omgegaan met ethische vragen rondom digitale toepassingen. In 2022 is een start gemaakt met de implementatie van dat plan. Vanaf maart 2022 is er een ethisch toetsingskader dat gebruikt kan worden in de selectiefase van experimenten. Hierdoor kunnen risico’s worden adresseert. Het is de bedoeling dat het toetsingskader ethiek in de toekomst wordt uitgebreid.

11.Samenwerking in de regio

Op verschillende manieren wordt samenwerking met andere gemeenten en overheidspartijen aangegaan. Van de gemeente Groningen is bijvoorbeeld de werkwijze van de gehandicaptenparkeerkaart overgenomen. Bij het experiment ‘Monitoring op het Water’ is samengewerkt

P 22

Rekenkamer van de gemeente Leeuwarden

29 april 2022

met de Provincie Friesland. Buiten de experimenten van de LDA om zijn er samenwerkingsrelaties met andere gemeentes (zoals Deventer en Enschede). Op regionaal niveau wordt met Data Fryslân samengewerkt. 12.Digitalisering vraagt permanent aandacht

In de beginfase van de LDA is heel duidelijk de interactie tussen gemeenteraad en gemeentelijke organisatie op poten gezet. Er zijn bijvoorbeeld verschillende sessies geweest met de raad (zie vraag 14). Na de beginfase vindt de communicatie tussen betrokkenen binnen de LDA voornamelijk binnen de experimenten plaats. Buiten de scrumtrainingen die een functie hebben binnen de experimenten, was er vanuit de LDA geen sprake van trainingen en opleidingen of organisatieontwikkelingsbijeenkomsten voor een breder publiek. Wel heeft de LDA resultaten gedeeld, bijvoorbeeld in de vorm van een podcast, een videoverslag van de Digitale Parade in december 2020 of een raportage. Deze zijn beschikbaar voor de gehele organisatie. Hoe het onderwijsbudget in de rest van de organisatie wordt belegd, is bij de onderzoekers niet bekend.

Vraag 6a.

Hoe vindt het proces van ontwerpen, uitvoeren, evalueren en implementeren van projecten plaats? Het startpunt van het experiment is – zoals aangegeven bij vraag 5b – een opdrachtbrief. Vanaf dat moment staat het voorstel op papier en kan de indiener aan de slag met het verder vormgeven van het proces om het experiment van de grond te krijgen. Daarbij wordt de indiener ondersteund door de producteigenaar (die in sommige gevallen ook de indiener is), ontwikkelteammedewerkers, een scrummaster en eventueel externe partijen17. De uitvoering van experimenten binnen de LDA wordt vormgegeven volgens de principes van agile werken. Agile werken en SCRUM Agile werken is een manier van werken waarbij wendbaarheid en flexibiliteit centraal staan. De keuze voor deze manier van werken komt voort uit het besef dat de omstandigheden waarbinnen gewerkt wordt continu veranderen. Daardoor

17 Zie ‘Leeuwarden Digitale Agenda: Programmaplan. 5.5: Rollen en verantwoordelijkheden’, p8.

P 23

Rekenkamer van de gemeente Leeuwarden

29 april 2022

kunnen andere oplossingen dan oorspronkelijk aangenomen mogelijk kansrijker zijn. Teamleden werken daarom in korte sprints. Na iedere sprint wordt gezamenlijk geëvalueerd of het project de goede kant opgaat. Deze werkwijze hangt logisch samen met de wens die binnen de LDA bestaat om lenig en energiek te werk te gaan. In het Programmaplan van de LDA (p. 2) staat het als volgt geformuleerd: ‘Het programma is net als de LDA een reis, een avontuur. Geen uitgestippeld pad in een strakke planning. We hebben een doel voor ogen en leren om flexibel mee te bewegen met de omstandigheden’. Een vorm van agile werken is SCRUM. SCRUM is een agile raamwerk dat afkomstig is uit de wereld van softwareontwikkeling, maar ook voor andersoortige toepassingen kan worden ingezet18. SCRUM omvat een reeks met vergaderingen, tools en rollen waarmee teams hun werk kunnen structureren en beheren19. In multidisciplinaire teams wordt zo gewerkt aan nieuwe producten of diensten. Binnen de LDA is ervoor gekozen om de experimenten volgens de principes van SCRUM uit te voeren. Ontwerpfase Omdat de experimenten worden ontworpen volgens het SCRUM-raamwerk, wordt er niet vooraf een gedetailleerd plan van aanpak opgesteld dat vervolgens wordt uitgerold20. Samen met een scrum master stelt de producteigenaar van het experiment een lijst op met alle taken (Product Backlog) die uitgevoerd moeten worden.

Deze taken worden opgesplitst een lijsten met taken die voor iedere sprint gedaan moeten worden (Sprint Backlog). Om inzichtelijk te maken wat de stand van zaken is met betrekking tot de taken voor de sprint, wordt gebruik gemaakt van een takenbord (Story Board). Na iedere sprint inspecteren de teamleden de resultaten die voort zijn gekomen uit de sprint, en stellen de Sprint Backlog vast voor de volgende sprint. Bij de experimenten binnen de LDA vinden er twee tussentijdse sprints en één eindsprint plaats. De scrum master speelt dus een belangrijke rol in de ontwerpfase van het experiment. De scrum master zorgt ook dat het experiment telkens her-ontworpen wordt volgens de principes van SCRUM. Deze persoon helpt het ontwikkelteam om de planning van het experiment vorm te geven en aan te passen, indien nodig. Daarbij is de scrum master verantwoordelijk voor een effectieve toepassing van de SCRUM-instrumenten21. Om het leereffect voor de organisatie te vergroten wordt

18 Zie ‘Leeuwarden Digitale Agenda’, p. 9

19 https://www.atlassian.com/nl/agile/scrum

20 Schwaber, K., & Sutherland, J. (2011). The scrum guide. Scrum Alliance, 21(19), 1. 21 Zie bijlage 6 ‘Rollen en kerntaken sleutelspelers’ in Programmaplan LDA (p. 22)

P 24

Rekenkamer van de gemeente Leeuwarden

29 april 2022

de scrummaster primair intern gezocht. Verschillende collega’s zijn in de loop van de tijd opgeleid om de rol van scrummaster te vervullen. Omdat het niet altijd lukt om intern iemand te benoemen tot scrum master is een aantal keer iemand van buiten de organisatie aangetrokken. De Iedereen in het ontwikkelteam krijgt ook een basiscursus SCRUM, zodat de principes en instrumenten correct worden toegepast. Dit bleek van grote waarde, zo blijkt uit de focusgroep met extern betrokkenen, aangezien de medewerkers van de gemeente zo snel uit de voeten konden met de SCRUM-instrumenten en de samenwerking met externe partijen – die vaak ook SCRUM gebruikten – soepel verliep. Het voordeel van deze agile werkwijze is dat er ruimte is om in te spelen op omstandigheden die veranderen. Een voorbeeld hiervan is het LDA-experiment I4 Sociaal. In eerste instantie wilde de gemeente Leeuwarden samen met de gemeente Groningen optrekken om een online portaal te ontwikkelen. Op basis van dit voornemen, is een aanvraag voor een experiment ingediend bij het kernteam van de LDA, en geaccepteerd. Later is de gemeente Groningen van koers veranderd, omdat het experiment te groot zou worden en andere gemeenten hier ook al mee bezig waren. Toen is besloten om aan te sluiten bij andere gemeenten binnen I4 Sociaal. Bijgevolg is het experiment binnen de LDA anders ingericht dan vooraf voorgesteld.

Uiteindelijk zijn er een aantal focusgroepen georganiseerd om te inventariseren wat inwoners verwachten van een online portaal. De input is vervolgens gedeeld binnen het consortium van gemeenten dat samenwerkten binnen I4 Sociaal. Het nadeel van deze werkwijze is dat wijzigingen in de koers van een experiment ertoe kan leiden dat de criteria voor acceptatie van het experiment niet meer van toepassing zijn. Daar is geen controle op, anders dan een evaluatie die achteraf wordt gedaan. Uit de interviews blijkt dat de diepgang van die evaluaties verschilt tussen de projecten. Deze evaluatie is bovendien niet heel formeel van aard en richt zich meer op de resultaten die zijn geboekt en wat daar de betekenis van zou kunnen zijn dan op de verantwoording van bijvoorbeeld doelstellingen of financiën. Daarnaast zijn er mogelijk experimenten die vereisen dat er wel planmatig gewerkt wordt. Uitvoeringsfase De uitvoeringsfase verschilt per experiment. Wel geldt voor alle experimenten een vergelijkbare overlegstructuur, waarin producteigenaar, doeleigenaar en programmanager vertegenwoordigd zijn. De producteigenaar is verantwoordelijk

P 25

Rekenkamer van de gemeente Leeuwarden

29 april 2022

voor het opleveren van het eindproduct. Hiervoor stelt de producteigenaar deadlines op, voert proceswijzigingen door en houdt contact met alle betrokkenen binnen het experiment. De doeleigenaar monitort het experiment ‘op afstand’, signaleert risico’s en houdt de producteigenaar scherp op de gestelde doelen. Daarnaast denkt de programmanager mee bij de uitvoering van het experiment en voorziet het ontwikkelteam van de juiste middelen om het experiment succesvol af te ronden. De onderlinge communicatie is flexibel ingestoken. Uit de interviews blijkt dat, zeker in de beginfase van een project, het moeilijk was voor teamleden vanuit de gemeente om voldoende tijd beschikbaar te hebben om aan het experiment te werken. Dit heeft niet zozeer te maken met de experimenten zelf als wel met de drukke agenda’s van medewerkers. Hierdoor duurt het enige tijd voordat medewerkers voldoende tijd hebben voor het experiment. In sommige gevallen, zoals het experiment ‘Over de drempel’, wordt het project met name getrokken door een externe partij. Wel is opgemerkt tijdens de focusgroep met intern betrokkenen dat medewerkers meer tijd vrijmaken naarmate het project vordert. Zoals één van de deelnemers van een focusgroep zei: “Als de kogel eenmaal door de kerk is, vegen ze hun agenda wel leeg”.

Wel vraagt dit vroegtijdige en duidelijke afstemming met de leidinggevenden van deze medewerkers, zodat ook zij weten waar ze aan toe zijn. De agile werkwijze wordt door alle betrokkenen als een (zeer) waardevolle ervaring gezien. Mensen hebben geleerd om kort cyclisch en multidisciplinair te werken in teamverband, wat ertoe heeft geleid dat ze ook anders naar hun eigen werk en de processen van de gemeente zijn gaan aankijken. Verbetermogelijkheden worden duidelijk als medewerkers op innovatieve wijze aan een project werken. Uit de gesprekken met intern betrokkenen blijkt dit één van de belangrijkste leerpunten te zijn geweest. Evaluatiefase Gedurende de uitvoeringsfase worden er – volgens de uitgangspunten van SCRUM – twee tussentijdse sprint reviews ingelast. Op deze momenten wordt het gemaakte (deel)product aan het kernteam van de LDA gepresenteerd. Deze momenten zijn expliciet niet bedoeld als controlemoment, maar als leermoment: “Wij hebben geleerd dat het erg moeilijk is om buiten de waan van de dag te treden. Dat je mensen heel duidelijk moet instrueren wat er van hen verwacht wordt. Dat we ook expliciet moeten vertellen dat we niet van ze verwachten dat hun experiment een ’10 met een griffel’ wordt, maar dat we ze de ruimte geven om zich te ontwikkelen. De eerste sprint review start ongeveer twee maanden na de start van het project.

Op dit moment presenteren de ontwikkelteams de tussentijdse resultaten en komt

P 26

Rekenkamer van de gemeente Leeuwarden

29 april 2022

het voorgenomen projectdoel ter sprake. Zo weten de betrokkenen vanuit het kernteam van de LDA of het experiment op koers ligt, of het team vastloopt op bepaalde onderdelen en welke ondersteuning ze verder nodig hebben. De tweede sprint review heeft een vergelijkbaar karakter en wordt twee maanden na de eerste sprint review ingepland. In beide reviews wordt niet expliciet stilgestaan bij de twaalf principes van de LDA, maar meer bij de experiment-specifieke doelen die zijn gesteld, zoals verwoord in de factsheet. Hoe deze sprint reviews zijn vormgegeven, is in de loop van de jaren bijgesteld. Zo werd de reviews in de eerdere rondes georganiseerd met alle personen die op dat moment bezig waren met een experiment binnen de LDA. Maar, zoals een intern betrokkene zei tijdens een focusgroep: “Dan ben je eindeloos aan het luisteren en word je daar op het laatst helemaal murw van”. De opzet van de sprint reviews is vervolgens aangepast door ontwikkelteams aan elkaar te koppelen, zodat ze elkaars verhaal konden aanhoren en elkaar van feedback konden voorzien. Gedurende deze tussentijdse momenten van monitoring en bijsturing, is de producteigenaar verantwoordelijk voor de terugkoppeling van de behaalde resultaten.

Op deze momenten is ook de doeleigenaar aanwezig om te horen hoe de experimenten binnen het eigen toepassingsgebied tot dusver zijn verlopen en kunnen zij aangeven waar bijsturing mogelijk gewenst is22. In de praktijk zien we dat de doeleigenaren met name aanwezig zijn bij de sprint reviews om de voortgang te monitoren maar op andere momenten niet veel contact hebben met de teams die de experimenten draaien. Wel is er veelvuldig contact tussen de producteigenaren en de programmamanager, ook los van de sprint reviews. De experimentfase wordt afgesloten met een eindpresentatie. Dit is dus het derde evaluatiemoment binnen het experiment. Tijdens de eindpresentatie vertellen de betrokken deelnemers over wat het experiment heeft opgeleverd. Daarnaast wordt ook gevraagd naar wat zij zelf hebben geleerd en hoe ze dit traject hebben ervaren. De eindpresentatie wordt dus bewust aangepakt als een moment om te werken aan de persoonlijke ontwikkeling van medewerkers. Overdracht Als het experiment is afgerond, kan het een vervolg krijgen in de bestaande gemeentelijke organisatie, als dit mogelijk en wenselijk is. Er zijn geen criteria vastgesteld op basis waarvan een experiment een vervolg krijgt. Wel is er een zogenaamde ‘bruidschat’ beschikbaar, die kan worden toegekend aan een

22 Programmaplan, p. 21

P 27

Rekenkamer van de gemeente Leeuwarden

29 april 2022

afgerond experiment om deze te bestendigen binnen de organisatie. Uiteindelijk is de doeleigenaar verantwoordelijk voor de mogelijke structurele inbedding van het experiment in de organisatie. In 2021 heeft het robotiseringsexperiment (RPA) €150.000,- ontvangen om geïmplementeerd te worden binnen de lijnorganisaties. Dit is vooralsnog het enige experiment dat een bruidsschat heeft ontvangen. Ook is er geen registratie van welke experimenten zonder bruidsschat zijn geïntegreerd in de bestaande organisatie. Vraag 6b.

Welke rol hebben de twaalf principes in het proces van ontwerpen, uitvoeren, evalueren en implementeren van projecten? Waar de twaalf principes een substantiële rol spelen bij de selectie (en daarmee ook het ontwerp) van de experimenten, spelen ze geen duidelijke rol in de uitvoering en evaluatie van de experimenten. Voor de afronding van een experiment wordt aan deelnemers gevraagd het experiment te evalueren tijdens de eindpresentatie. Het doel van een dergelijke evaluatie is niet alleen om te achterhalen wat de directe opbrengsten zijn. Ook de meer generieke lessen die zijn geleerd (bijvoorbeeld ten aanzien van ethiek of toekomstige mogelijkheden), kunnen bij een evaluatie aan de orde komen. Eén of meer principes zouden daarbij dus goed een rol kunnen spelen, maar dat hoeft niet bij ieder experiment zo te zijn. Er is echter geen formele procedure om de experimenten te evalueren. Volgens een de geïnterviewden verschilt de aard en kwaliteit van de evaluaties van experiment tot experiment bovendien sterk. Het kan gaan van een open gesprek tot een (kort) verslag. De evaluaties worden ook niet systematisch vastgelegd. Als onderzoekers hebben we in ieder geval geen voorbeelden van dergelijke evaluaties ontvangen. Wel is er uit de 1e en 2e ronde een document opgesteld waarin een overzicht wordt gegeven van de geleerde lessen.

Concluderend stellen we vast dat de twaalf principes niet systematisch in de uitvoering en evaluatie van de experimenten aan de orde komen. Dat sluit echter niet uit dat de principes wel een rol kunnen spelen in de evaluatie van een experiment. Wel spelen de principes een rol in het selecteren van experimenten. Voor de implementatiefase – oftewel de fase waarin het experiment structureel P 28

Rekenkamer van de gemeente Leeuwarden

29 april 2022

wordt ingebed in de organisatie – is het onbekend of de twaalf principes hierin een rol spelen. Of hier andere principes dan wel uitgangspunten worden gehanteerd, is tevens onbekend. Vraag 7.

Welke interne en externe partijen spelen een rol in de uitvoering van de LDA? De tabel in Bijlage 2 geeft een overzicht van de interne en externe partijen die direct betrokken zijn bij de experimenten van de LDA. Daarnaast zijn er allerlei personen die intern betrokken zijn bij de LDA, maar niet bij een specifiek experiment. Een overzicht van deze personen wordt gegeven in Figuur 3. Deze personen zijn onder te verdelen in leden van het kernteam (dat deels overlapt met leden van de programma-ondersteuning), doeleigenaren die verenigd zijn in de programma-sturing) en het team met inhoudelijk experts. Rol van het kernteam Het kernteam heeft, naast het begeleiden van de experimenten, een meer generieke rol. Niet alleen is het kernteam nauw betrokken bij de selectie van experimenten, ook bij andere fases wordt er veel overlegd tussen het team dat het experiment uitvoert en het kernteam van de LDA. Het kernteam bestaat uit de programmamanager, programmaondersteuners en de expert rondom publieke waarde en ethiek.

Figuur 3. Organisatie van het kernteam (ronde 3).

P 29

Rekenkamer van de gemeente Leeuwarden

29 april 2022

Vraag 8.

Hoe geeft Leeuwarden invulling aan de gekozen rol van ‘slimme volger’? De positionering van de gemeente Leeuwarden als ‘slimme volger’ is een besluit dat mede door input vanuit de raad is genomen. Dit blijkt uit de verslaglegging van het rondetafelgesprek met raadsleden op 3 oktober 2018 en de terugkoppelsessie met raad op 21 oktober 2018. Het is dus een bewuste strategie geweest om bij andere gemeenten én andere overheidsorganisaties te kijken wat werkt, en hen te volgen in de experimenten die zij succesvol hebben uitgevoerd23. De rol van slimme volger krijgt op twee manieren invulling binnen de LDA. In de eerste plaats kiest het kernteam van de LDA ervoor om, anders dan bijvoorbeeld een aantal grote gemeenten, niet zelf producten of diensten volledig from scratch te ontwikkelen. Centraal in de keuze voor experimenten staat de toepassing van technologieën die nog niet eerder binnen de gemeente zijn ingezet. Dit is bijvoorbeeld terug te zien in de experimenten ‘Geautomatiseerde detectie zwerfafval’ en ‘Monitoring op het water’, waarbij bestaande technologieën worden toegepast binnen de context van de gemeente Leeuwarden. In de tweede plaats krijgt de rol van ‘slimme volger’ invulling door de samenwerking op te zoeken met externe partijen, zoals de provincie, andere gemeenten en bedrijven.

Bijvoorbeeld bij de experimenten ‘Gehandicaptenkaart’ (met de gemeente Groningen) en ‘Over de Drempel’ (samen met het Hacklab). De kennis van andere organisaties wordt ingeschakeld om sneller en beter te komen tot een toepassing die aansluit op de context van de gemeente Leeuwarden. Wel moet hierbij opgemerkt worden dat dit beeld van de gemeente als ‘slimme volger’ in de selectie van experimenten, niet wordt gedeeld door medewerkers die niet direct betrokken zijn geweest bij de LDA. Op sommige van hen komt het over alsof de gemeente met de experimenten juist voorop wil lopen door vernieuwende ideeën te selecteren. Zoals een deelnemer van de focusgroep het verwoordt: “Vaak komt het op mij over in gesprekken met mensen van de LDA, dat de experimenten écht vernieuwend moeten zijn. Terwijl het er bij mij om gaat dat ik de taken die ik vanuit mijn sector heb, goed kan doen. Daarvoor hoeft ik niet altijd heel vernieuwend te innoveren.”

23 Zie presentatie (min. 27-29): https://leeuwarden.notubiz.nl/vergadering/572491

P 30

Rekenkamer van de gemeente Leeuwarden

29 april 2022

Concluderend kunnen we zeggen dat de er een zeker mate van spanning zit tussen de wens om slimme volger te zijn en de wens om innovatief te zijn. Tegelijk hoeven de twee elkaar niet uit te sluiten door ervoor te kiezen om bestaande toepassingen in een innovatieve context te plaatsen. Ook hoeft innovatie niet per definitie langs de lijn van ICT plaats te vinden. Vraag 9.

Hoe is de uitvoering van de LDA in de begroting opgenomen? Hoe is de budgettaire sturing georganiseerd? Hoe verhouden de inspanningen en kosten voor de LDA zich tot de totale kosten voor ICT en IM? De LDA is gefinancierd met structurele en incidentele budgetten. Pas na de mid term review van de LDA, zijn de werkzaamheden binnen de LDA structureel geborgd in een financieel kader. In de begroting valt de LDA onder het programma Overhead. In de Jaarstukken wordt ook tekstueel verantwoording af gelegd over de LDA. Vanuit de documentatie die we hebben ontvangen was het lastig om de financiële inrichting van de LDA te achterhalen. Door meerdere keren navraag te doen hebben we inzicht kunnen krijgen in de begroting en realisatie in 2020 (op hoofdlijnen), en 2021 in iets meer detail. Een samenvatting van de gegevens die we hebben ontvangen voor het jaar 2021 is in de drie onderstaande taartdiagrammen gevisualiseerd. De begroting van de LDA was in 2021 €968.000. Dit budget bestaat uit een restant van de financiële middelen uit 2020 van €448.000, een structureel budget voor 2021 van €400.000 en een incidenteel budget voor 2021 van €120.000. Hoe dit budget zich verhoudt tot het totale budget voor Informatiemanagement en ICT is niet duidelijk geworden. In een slide van een presentatie die tijdens de Digitale Parade op 9 december 2020 is getoond wordt een percentage van 4% genoemd.

Of dat percentage betrekking heeft op het totale bedrag voor de LDA of bijvoorbeeld alleen op de structurele bijdrage, hebben wij niet kunnen achterhalen. In de jaarbegroting van de gemeente Leeuwarden zijn kosten voor ICT toegerekend aan verschillende domeinen (p. 45). Hierdoor is het onmogelijk gebleken om te achterhalen welk percentage wordt besteed aan informatiemanagement en ICT in relatie tot de LDA.

P 31

Rekenkamer van de gemeente Leeuwarden

Totale ICT budget

Informatiemanagement en ICT…

LDA 4%

€ 35.000; Communica…

Begroting LDA (totaal)

Begroting per thema

€ 210.000; Data Fryslân

€ 148.000; Slim Samen Werken

€ 467.000; Experimenten

€ 48.500; Overige € 57.500; Scrum

29 april 2022

€ 150.000; Overdracht

€ 154.000; Slimme Leefomgeving

€ 165.000; Slim Samen Leven

In het middelste taartdiagram staat hoe de begroting van de LDA voor 2021 is verdeeld over verschillende posten. Het gros van het budget wordt besteed aan de experimenten die binnen de LDA worden uitgevoerd. Dit beslaat ongeveer de helft van het begrote budget. Een andere belangrijke post wordt gevormd door Data Fryslân met een jaarlijkse bijdrage van €210.000. De derde grote post – vermeld als overdracht – heeft betrekking op de mogelijkheid om een succesvol experiment over te dragen aan de lijnorganisatie. In 2021 is het volledige bedrag voor de overdracht gebruikt voor het robotiseringsproject. De overige posten hebben betrekking op communicatie, training om in de experimenten agile te werken met scrum. Ook is er een post voor overige en onvoorziene kosten. In het meest rechter taartdiagram staat hoe de kosten voor de experimenten (€467.000) zijn verdeeld over de drie verschillende thema’s. In de begroting zien we dat de gelden, conform de LDA, gelijkelijk zijn verdeeld over de drie thema’s. Als we op projectniveau naar de financiën kijken, vallen de nodige inconsistenties op. Ten eerste komen experimenten die in het overzicht van experimenten staan (zie Bijlage 2) niet terug in de begroting. Denk aan experimenten als ‘Reserveer je werkplek app’ en ‘Geautomatiseerde detectie zwerfafval’.

Andersom worden er experimenten in de begroting genoemd die niet terugkomen in het overzicht van experimenten, zoals ‘Toepassing 3D’, ‘Digitaal samenwerken’, ‘Traineeship (t.b.v. Common Ground)’, ‘Ondersteuning RPA 2020’, ‘Hosting Valtimo-cloudplatform bij Ritense’, ‘On-premise ontwikkelomgeving o.b.v. Otomi’ en ‘In-huis ontwikkelomgeving o.b.v. Open Shift’. Een aantal posten is dus niet direct gekoppeld aan een experiment maar bedoeld als ‘leereffecten rond nieuwe technologie’24. Hoe de keuze voor deze posten tot stand is gekomen is niet duidelijk. Ten tweede valt op dat de bedragen voor bepaalde experimenten niet overeenkomen van overzicht tot overzicht. Zo staan projecten zoals ‘Mijn Digitale

24 Uit Memo Ambtelijke reactie op het conceptrapport van bevindingen rekenkameronderzoek LDA van 13 april 2022.

P 32

Rekenkamer van de gemeente Leeuwarden

29 april 2022

Gemeente’, ‘Common Ground Gehandicaptenparkeerkaart’ en ‘Common Ground Berichtenbox-uitwisseling’ voor andere bedragen in de begroting dan in het overzicht. Ook staat ‘Datagedraven werken’ in het ene overzicht voor €237.500 in de boeken, terwijl in de begroting (vermoedelijk) een uitsplitsing wordt gemaakt naar ‘DataFryslân’ (€210.000), ‘Volwassenheidsmeting datagedreven werken’ (€10.000) en ‘Realisatie 'datafabriek' (€17.500). Uit de beschikbare documentatie is bovendien niet duidelijk geworden welke werkzaamheden voor de verschillende onderdelen zijn verricht. Als laatste merken we op dat de uitgaven voor de experimenten binnen de LDA fors lager zijn dan begroot. Met name op het thema ‘Slimme Leefomgeving’ is in 2021 weinig gerealiseerd. In de interviews wordt de coronapandemie genoemd als verklarende factor. Sommige projecten hebben door de pandemie vertraging opgelopen. Voor verschillende projecten zijn daarom reserveringen gemaakt voor het komende jaar. Ook zijn kosten voor ondersteuning (nog) niet in rekening gebracht. Niet duidelijk is wat hiervoor de verklaring is.

Begroting versus realisatie LDA (totaal)

Begroting versus realisatie per thema

€ 500.000

€ 200.000 € 175.000

€ 400.000

€ 150.000 € 125.000

€ 300.000

€ 100.000 € 200.000

€ 75.000 € 50.000

€ 100.000

€ 25.000

€0

€0 Experimenten

Overdracht

Scrum Begrot ing

Overige

Communicatie Data Fryslân

Realisat ie

Slimme Leefomgeving

Slim Samen Leven

Begrot ing

Slim Samen Werken

Realisat ie

Op basis van het bovenstaande concluderen wij dat de financiële en projectadministratie van de LDA op verschillende aspecten tekortschiet. Een gedetailleerde, systematische en formele verantwoording van de werkzaamheden binnen de LDA, alsook de kosten die daarmee gemoeid zijn, ontbreekt. Hierdoor is het vanuit financieel oogpunt niet mogelijk om uitspraken te doen over de manier waarop de budgettaire sturing is georganiseerd. Uit de interviews komt naar voren dat het kernteam zich de afgelopen jaren terughoudend heeft opgesteld als het gaat om het uitgeven van geld aan experimenten. Er wordt steeds kritisch gekeken of voor bepaalde ideeën het budget van de LDA kan worden aangesproken. Als alternatieve bronnen kunnen worden aangeboord, wordt daar gebruik van gemaakt. Een en ander heeft de afgelopen jaren geleid tot een onderbesteding van het beschikbare budget. Daarbij moet wordt vermeld dat ook de pandemie hierin mogelijk een rol heeft gespeeld.

P 33

Rekenkamer van de gemeente Leeuwarden

29 april 2022

3. Resultaten De derde set van vragen heeft betrekking op de resultaten die met de LDA zijn geboekt:    

Vraag 10. Op welke wijze vindt monitoring en bijsturing plaats en hebben de twaalf principes een plaats in de monitoring? Vraag 11. In welke mate worden de ambities en doelen gerealiseerd en is er (al) sprake van de beoogde maatschappelijke waarde creatie? Vraag 12. Is het budget toereikend? Vraag 13. Hoe bewerkstelligt de LDA de transformatie van de overheid, in het bijzonder de betrokkenheid van de burger? En welke kansen worden voorzien voor participatie in de nabije toekomst?

Vraag 10.

Op welke wijze vindt monitoring en bijsturing plaats en hebben de twaalf principes een plaats in de monitoring? Vanuit het kernteam van de LDA is de programmamanager verantwoordelijk voor het monitoren van de voortgang van de LDA25. De programmanager zorgt er ook voor dat er een gepaste balans is in het soort experimenten die worden gekozen (zoals de verdeling over de toepassingsgebieden) en stemt de resultaten van de experimenten af met de doeleigenaren om deze uiteindelijk te rapporteren aan de bestuurlijk en ambtelijk opdrachtgever. Ook legt de programmamanager van het kernteam verantwoording af aan de bestuurlijke en ambtelijk opdrachtgever. Experimenten worden met name getoetst op de twaalf principes tijdens de selectiefase (zie ook vraag 6b). Hier geldt wel dat niet ieder principe een duidelijke rol heeft gespeeld in de selectiefase (zie ook vraag 5c). Na de selectiefase spelen de principes bovendien een minimale rol bij de monitoring van de voortgang. Deze principes spelen meer “in de achterhoofden van het kernteam van de LDA”, zoals één van de leden van het kernteam het noemt, in plaats van dat ze telkens worden benoemd en dat er op een geformaliseerde wijze op wordt gemonitord.

25 Programmaplan, p. 16.

P 34

Rekenkamer van de gemeente Leeuwarden

29 april 2022

Voor zover bekend, is de LDA eenmaal in zijn geheel geëvalueerd door leden van het kernteam van de LDA, en wel in december 202026. Toen is de LDA geëvalueerd op basis van een aantal onderdelen, waaronder de interne en externe bekendheid met de LDA, de aanpak, handhaving van principes en de monitoring en besturing van het programma. Het betreft een summiere evaluatie, waarin met name de procesmatige kant van de LDA tegen het licht wordt gehouden, minder de (tussentijdse) resultaten ervan. De input voor evaluatie komt vanuit het kernteam en – zoals in het evaluatieverslag staat – de “teams die onder de LDA varen”. Of daarmee ook alle doeleigenaren en producteigenaren zijn betrokken bij de evaluatie is onbekend, net als datgene wat uit deze teams is gekomen. Wel wordt er in de evaluatie van de LDA expliciet aandacht gegeven aan de wijze waarop de twaalf principes zijn toegepast en worden knelpunten en verbeterpunten openlijk besproken om zo hieruit lering te trekken. Een aantal aandachtspunten die zijn opgenomen in het evaluatieverslag zijn ook opgepakt door het kernteam. Zo wordt gewerkt aan een ethisch toetsingskader, is er een informatieve raadsbijeenkomst over data-ethiek georganiseerd en wordt sinds kort het kernteam extra ondersteund door een communicatieadviseur. Of andere aandachtspunten zijn geadresseerd, is onduidelijk of onbekend.

Wie verantwoordelijk is gesteld voor het oppakken van de aandachtspunten, wordt niet beschreven in het evaluatieverslag. Vraag 11.

In welke mate worden de ambities en doelen gerealiseerd en is er (al) sprake van de beoogde maatschappelijke waarde creatie? Het effect van de experimenten in termen van maatschappelijke waarde wordt tot dusver beschreven als ‘speldenprikjes’. Het zijn eerste, bescheiden stappen die de gemeente heeft gezet om via nieuwe digitale toepassingen tegemoet te komen aan bepaalde maatschappelijke behoeftes. Het directe effect op maatschappelijke waardcreatie van veel experimenten is echter moeilijk aantoonbaar, aangezien het effect niet consequent wordt gemeten op vooraf gestelde doelen. Van de experimenten waar het directe effect beter in beeld is, is dit tot dusver relatief bescheiden, maar niettemin waardevol. Denk aan het RPA-experiment waardoor de TOZO-aanvragen veel sneller konden worden verwerkt. Ondanks het bescheiden directe effect, betekent dit niet dat er geen potentie zit in de

26 Zie ‘Evaluatie Leeuwarder Digitale Agenda – Kernteam. December 2020’

P 35

Rekenkamer van de gemeente Leeuwarden

29 april 2022

experimenten, maar dat het tijd kost om deze toepassingen volledig tot wasdom te brengen. Wat door meerdere betrokkenen van de LDA wordt benadrukt, zijn de indirecte effecten die de LDA heeft. Ten eerste worden medewerkers gestimuleerd om te innoveren, iets uit te proberen en daarvan te leren. Zoals een lid van het kernteam LDA het beschrijft: “Als een experiment mislukt, dan heb je als persoon die dat experiment gedaan heeft ook iets geleerd. Je hebt geleerd van wat het is om te mislukken, en dat dat niet erg is”. Door de projecten als ‘experiment’ te benoemen, ontstaat er ruimte om fouten te maken, wat juist doorgaans moeilijk is binnen een politieke organisatie. Ten tweede leren medewerkers tijdens deze experimenten om met een andere, ruimere blik te kijken naar hun eigen werkzaamheden en de mogelijkheden die digitalisering biedt. Dit signaal wordt ook duidelijk gegeven door zowel leden van het kernteam van de LDA als intern betrokkenen. Ten derde heeft multidisciplinair werken bij experimenten als belangrijke bijvangst dat medewerkers uit verschillende afdelingen elkaar beter weten te vinden. De LDA ‘ontschot’. Zoals een doeleigenaar aangeeft: “Wat je ook ziet, is dat ik, mede door de LDA, veel dingen met die mensen doe buiten de LDA om. We vinden elkaar makkelijker”.

Of de LDA daarmee de ambities en doelen heeft gerealiseerd die vooraf zijn opgesteld, is moeilijk te bepalen. Zoals in vraag 1 is aangegeven, heeft de LDA als doel om meer ‘publieke waarde’ te realiseren, en zijn er daarnaast enkele specifieke doelstellingen per toepassingsgebied. De specifieke doelstellingen zijn dermate ongespecificeerd geformuleerd dat het zeer moeilijk is om op eenduidige wijze vast te stellen of de doelstellingen daadwerkelijk zijn behaald. Denk bijvoorbeeld aan doelstellingen als het aantrekkelijker maken van het economisch klimaat (slimme omgeving) en ICT inzetten om ‘het leven’ in onze samenleving prettiger te maken (slim (samen)werken). Op basis van de eerdergenoemde indirecte effecten van de LDA, kan wel worden verondersteld dat enkele kwalitatieve doelstellingen min of meer zijn behaald. Zoals de doelstellingen om medewerkers ervaring op te laten doen in een ‘snelkookpan’ (slim samenwerken) en medewerkers toerusten voor de digitale toekomst (slim (samen)werken). Maar ook hier is voorzichtigheid op zijn plaats, want de doelstellingen zijn niet scherp geformuleerd. Wat wordt bijvoorbeeld bedoeld met ervaring opdoen met een ‘snelkookpan’? Wanneer is iemand toegerust voor de digitale toekomst? En om hoeveel mensen gaat het? Het is echter te gemakkelijk om de behaalde resultaten slechts als bijvangst te zien.

P 36

Rekenkamer van de gemeente Leeuwarden

29 april 2022

Leden van het kernteam en deelnemers aan de focusgroepen geven steeds opnieuw aan waardevolle lessen te hebben geleerd. Deze lessen zijn voor verschillende mensen verschillend van aard en omvang. Om te bepalen of (en welke) indirecte zijn behaald had het geloond om deze scherper en concreter te formuleren in de beginfase van de LDA. Vraag 12.

Is het budget toereikend? Uit de interviews blijkt dat bij de besteding van gelden geredeneerd wordt vanuit de beschikbaarheid van fondsen: “Naast de bijdrage aan DataFryslân verdelen we het geld over de drie pijlers en de mogelijkheid om succesvolle experimenten een bruidsschat mee te geven”. Hieruit kan worden afgeleid dat vanuit de beschikbare gelden invulling wordt gegeven aan de bestedingen. Op basis van die aanpak is het budget per definitie toereikend. Of het budget echter toereikend was om de ambities en doelstellingen van de LDA te realiseren – zoals beschreven in Vraag 1 – kan binnen de scope van dit onderzoek niet worden bepaald. Tegelijkertijd worden niet alle ideeën vertaald naar een factsheet en niet alle ingediende factsheets worden goedgekeurd. Niet alle ideeën kunnen immers uitgevoerd worden, mogelijk omdat het budget dan niet toereikend is. Of dit daadwerkelijk een overweging is geweest in het afwijzen van ideeën, is onduidelijk maar lijkt onwaarschijnlijk. De uitgaven voor experimenten binnen de LDA zijn immers fors lager uitgevallen dan begroot, zo bleek uit het antwoord van Vraag 9. Krapte in het budget lijkt daarom geen reden te zijn geweest om bepaalde ideeën voor experimenten niet uit te voeren, of voor bestaande experimenten geen extra budget te geven als dit nodig en wenselijk werd geacht.

Overigens geven verschillende geïnterviewden aan dat het goed is dat het budget voor de LDA gescheiden is van het reguliere budget voor Informatiemanagement en ICT. Een van de geïnterviewden zegt: “Er is regelmatig ergens een financieel knelpunt in de bestaande IM en ICT situatie. Security normen gaan omhoog, een project is ernstig vertraagd - noem maar op. Voor je het weet wordt het ene budget aangewend om een ander (kritiek) probleem op te lossen. Daarmee zou je het risico lopen om niet te kunnen innoveren”. Voor geen van de experimenten is een gedetailleerde begroting gemaakt waarin wordt aangeven welke kosten voor mensen (of uren) en middelen nodig zijn om bepaalde doelen te realiseren. Voor elk van de experimenten is alleen een totaalbedrag gegeven. Hoe deze bedragen tot stand zijn gekomen, is voor veel

P 37

Rekenkamer van de gemeente Leeuwarden

29 april 2022

experimenten onvoldoende duidelijk. Sommige betrokkenen bij LDA noemen dat dit totaalbedrag meer een grove dan een precies onderbouwde inschatting was. Dit gegeven maakt het extra moeilijk om achteraf te bepalen of het begrote budget per experiment toereikend is geweest voor de gestelde doelen. Wel blijkt uit de financiële gegevens die zijn ontvangen over de experimenten dat niet alle beschikbare (en toegekende) gelden ook daadwerkelijk zijn besteed (zie het antwoord op Vraag 9 voor een toelichting). Dit lijkt erop te wijzen dat het budget van de LDA toereikend is geweest om uitvoering te geven aan de ideeën die geschikt werden geacht voor een experiment binnen de LDA. Vraag 13.

Hoe bewerkstelligt de LDA de transformatie van de overheid, in het bijzonder de betrokkenheid van de burger? En welke kansen worden voorzien voor participatie in de nabije toekomst? Het startpunt voor het antwoord op de vraag hoe de LDA de transformatie van de overheid bewerkstelligt, vinden we in een citaat van een van de geïnterviewden uit het kernteam van de LDA: “Ik denk dat de hele maatschappij, en dus ook de overheid, die digitale transitie zal moeten gaan meemaken onder invloed van alle ontwikkelingen die er zijn op het gebied van technologie en data. Daardoor moet je jezelf opnieuw uitvinden. Dat is fundamenteel. Het biedt een fantastische kans om de meerwaarde van de gemeente nog eens goed neer te zetten en aanzienlijk te vergroten”. Het gaat, volgens deze geïnterviewde, om de relatie tussen technische ontwikkelingen en maatschappelijke relevantie. Deze relatie tussen technologie en maatschappij krijgt (bottom-up) vorm doordat de LDA investeert in experimenten. Voor elk experiment wordt gezocht naar een goede afstemming tussen maatschappelijke relevantie en nieuwe digitale technologieën. Daarbij vormt de mate waarin de technologie vernieuwend is in een bepaalde context, de leidende factor. Ook moet de voorgestelde oplossing passen binnen een maatschappelijk vraagstuk.

Dit wordt als volgt verwoord in de beoordelingscriteria voor experimenten (zie Bijlage 1): ‘Met de Leeuwarder Digitale Agenda koppelen wij onze maatschappelijke opgaves aan digitalisering. En willen wij digitale producten maken waar onze samenleving wat aan heeft’. Dit wordt in het beoordelingsformulier geconcretiseerd door te kijken in hoeverre burgers betrokken zijn bij het experiment, door ‘van buiten naar binnen’ te werken en door te redeneren vanuit de leefwereld van de samenleving en minder vanuit de (eigen) systeemwereld.

P 38

Rekenkamer van de gemeente Leeuwarden

29 april 2022

De wijze waarop de betrokkenheid van de burger wordt vormgegeven, verschilt per experiment. Bij sommige experimenten wordt de doelgroep al actief betrokken bij de uitvoering van het experiment. Zoals bij ‘Over de Drempel’, waarbij met jongeren van het Hack-lab van de MKB Cybercampus in Leeuwarder een digitale ontmoetingsplek wordt gebouwd. Door samen met de doelgroep dit experiment uit te voeren, wordt een doorgaans lastig te bereiken groep betrokken bij iets dat ook voor henzelf van waarde kan zijn. Bij andere experimenten worden burgers als ‘klant’ gedefinieerd en worden pas betrokken als – figuurlijk gezegd – het product op tafel ligt. Een voorbeeld is het experiment ‘Spelen en bewegen’. De gemeente heeft een groot aantal speelobjecten in beheer. Binnen een van de experimenten is een (digitale) kaart ontwikkeld, waar alle speelobjecten met aanvullende informatie op zijn weergeven. Een van de geïnterviewden zegt daarover: “Daarmee ontsluit je niet alleen informatie aan relevante gemeente ambtenaren, maar ook aan burgers, zodat iedereen op hetzelfde informatieniveau zit. Op die manier kunnen mensen ook meebeslissen. De data die wij hebben, wordt op een nette manier ontsloten. De feedback van de buurt kan daar ook in worden verwerkt”.

Uit dit citaat blijkt dat het doel is om zelf zo goed mogelijk geïnformeerd te zijn, om vervolgens die informatie ook beschikbaar te stellen aan inwoners. De wens om vanuit het traditionele IM/ICT werkveld ook collega's uit de afdelingen van de organisatie, regionale partners en uiteindelijk ook burgers te betrekken bestaat wel. Zo zegt een van de geïnterviewden: “Ik zou het heel mooi vinden als we bij iedere opgave, en los van techniek, samen met die inwoner en verschillende disciplines in een team aan een oplossing werken. Dat is het droombeeld dat ik zelf heb”. Op welke manier dat droombeeld doorheen de experimenten kan worden gerealiseerd, is op dit moment nog onvoldoende duidelijk. Wat wel duidelijk is, is dat het kernteam van de LDA wel stapsgewijs naar meer betrokkenheid van burgers werkt. Vaak is dit ook pas mogelijk in een later stadium van een

P 39

Rekenkamer van de gemeente Leeuwarden

29 april 2022

experiment. Een voorbeeld van een dergelijke stap kan worden gevonden in het I4Sociaal project dat in het kader wordt toegelicht. Voorbeeld: I4Sociaal I4Sociaal is een samenwerking van zes gemeenten binnen de vereniging Dimpact. Hierin werkt de gemeente Leeuwarden samen met de gemeenten Deventer, Enschede, Groningen, Zwolle en Zaanstad aan een online informatieportaal voor het sociaal domein. Met de oplossing willen de gemeenten inwoners en professionals helpen, zodat de informatievoorziening effectiever, efficiënter en naar grote tevredenheid van iedereen wordt. I4Sociaal staat voor een nieuwe, innovatieve manier van communiceren en informeren binnen het sociaal domein. De vier belangrijkste uitgangspunten zijn1: 1.

2. 3.

4.

Persoonlijk: De informatie en dienstverlening die de inwoner krijgt is relevant en passend bij de situatie waarin hij of zij verkeert. De inwoner ervaart de communicatie als persoonlijk, empathisch en eerlijk. Zelfstandig: De inwoner wordt gemotiveerd om zelf dingen te ondernemen en op te lossen. De inwoner voelt zich trots en zelfstandig. Vrij(blijvend): De inwoner heeft de regie. Maakt zijn eigen keuzes. En wordt proactief geholpen en ondersteund met (vrijblijvende) suggesties. De inwoner krijgt het gevoel dingen te mogen, niet te moeten. Verbindend: De inwoner kan naast coaches ook ‘gelijken’ vinden met wie hij of zij ervaringen kan delen. Zo voelt de inwoner zich niet alleen in zijn situatie.