Bijlage 2 - Evaluatieprotocol projecten met digitale technologie en data.docx

Versie 1.1

Projecten met dataverzameling in de openbare ruimte Protocol voor evaluatie 1 Waar gaat dit protocol over? Het protocol is van toepassing voor opgaven, projecten, experimenten en pilots waarbij sprake is van dataverzameling in de openbare ruimte en waarvoor geldt dat: - Waarden als privacy, transparantie en bescherming van verzamelde gegevens mogelijk onder druk staan, en/of - Het project of de resultaten daarvan ingrijpen in de persoonlijke levenssfeer van burgers. Voor de leesbaarheid worden in het protocol deze ‘opgaven, projecten, experimenten en pilots’ verder aangeduid als ‘projecten’. Het gaat om projecten van de gemeente of projecten van derden waar de gemeente aan bijdraagt1. Het protocol schrijft voor dat projecten moeten worden geëvalueerd, welke elementen hierbij aan de orde moeten komen en wat er met de resultaten moet gebeuren. Daarnaast zijn de verantwoordelijkheden aangegeven. Het protocol is niet van toepassing op cameraprojecten voor openbare orde en veiligheid. In het beleid is voor deze projecten structureel een tweejaarlijkse evaluatie opgenomen. Deze evaluatie wordt deels door de afdeling Onderzoek en Statistiek en deels door de directie Openbare Orde en Veiligheid gedaan.

2 Waarom evalueren? Het uitvoeren van evaluaties is nodig om het college en de raad te informeren en voor het afleggen van verantwoording over lopende en afgeronde projecten. Evaluaties geven de raad, het college en de gemeentelijke organisatie meer grip. Dit ondersteunt verantwoorde en doelmatige inzet van digitale technologie en data. Tussentijdse evaluaties geven inzichten die kunnen leiden tot bijstelling van de projectkoers en aanvullende maatregelen. In het uiterste geval kan een tussenevaluatie resulteren in een besluit om het project te stoppen. Uitkomsten van evaluaties zijn ook vaak wijze lessen voor de toekomst: de gemeente kan leren van successen én van gemaakte fouten.

3 Wat verstaan we onder evalueren? Het evaluatieprotocol maakt onderscheid tussen doelevaluatie, financiële evaluatie, een kwaliteitstoets en procesevaluatie.

1 Bij deze projecten is de organisatie die verantwoordelijk is voor het project ook verantwoordelijk voor

de uitvoering van evaluatie. Welke verantwoordelijkheid de gemeente hierbij heeft hangt af van de inhoud van het project en de afgesproken rolverdeling. De gemeente dringt er in ieder geval bij externe partijen aan op evaluatie conform dit protocol.

Versie 1.1

Doelevaluatie Dit gaat om de vraag of en in welke mate het project het vooraf gestelde doel heeft bereikt. Om dit goed te kunnen doen moet niet alleen het doel aan het begin van het project zijn vastgesteld, maar ook de wijze waarop doelrealisatie gemeten gaat worden. Kwaliteitstoets Hier gaat het om de vraag of het project en de projectresultaten voldoen aan de kwaliteitscriteria van de organisatie. Hiervoor hanteert de gemeente QA-acceptatiecriteria. Hierin staan de kwaliteitseisen met betrekking tot ethiek (morele waarden), privacy, informatiebeveiliging, informatiebeheer, openbaarheid en archivering. De QA-acceptatiecriteria zijn blijvend in ontwikkeling. Transparantie, burgerbetrokkenheid, digitale toegankelijkheid en duurzaamheid worden aan deze lijst toegevoegd. Procesevaluatie Dit gaat erom of het project op de juiste wijze is uitgevoerd. Wat in de aanpak was succesvol en wat zou beter kunnen. Financiële evaluatie Bij dit onderdeel van de evaluatie gaat het om de vraag of de beschikbaar gestelde middelen en de bestedingen met elkaar in de pas lopen en verklaringen te vinden als dit niet zo is.

4 Verantwoordelijkheden en verantwoordingslijnen Eindverantwoordelijkheid De ambtelijk opdrachtgevers/directies zijn verantwoordelijk voor het toepassen van het protocol op de projecten die onder hun verantwoordelijkheid vallen. De opdrachtgever van het project geeft opdracht voor de evaluatie. De opdrachtgever is eindverantwoordelijk voor de uitvoering, besluitvorming en het nemen van de maatregelen naar aanleiding van de evaluatie. De opdrachtgever vraagt afhankelijk van de inhoud en complexiteit bij privacy- en ethische vraagstukken advies aan bij de Commissie Persoonsgegevens Amsterdam en schakelt eventueel externe partijen in. Bestuurlijk is de wethouder ICT en Digitale Stad vanuit de centrale stelselverantwoordelijkheid verantwoordelijk voor het opstellen van dit protocol. De decentrale verantwoordelijkheid, van alle portefeuillehouders, omvat het daadwerkelijk toepassen van het protocol op opgaven, projecten en bestaande processen en het voldoen aan de geldende kwaliteitseisen binnen de eigen portefeuille. Toezicht De CIO ziet vanuit zijn stelselverantwoordelijkheid centraal toe op naleving van dit protocol. Vanuit hun toezichthoudende rol zien de FG, CISO, Informatiecommissaris en Gemeentearchivaris via de evaluaties centraal toe op naleving van de respectievelijke kwaliteitseisen.

Bestuurlijk ziet de wethouder ICT en Digitale Stad vanuit zijn centrale stelselverantwoordelijkheid toe op naleving van dit protocol en de kwaliteitseisen.

Versie 1.1

Verantwoording De evaluatie is de basis voor verantwoording over het project, zowel ambtelijk als bestuurlijk. De opdrachtgever informeert de inhoudelijk verantwoordelijk vakwethouder over het project. De vakwethouder legt indien nodig verantwoording af over het project aan de gemeenteraad. Vanuit de stelselverantwoordelijkheid informeert de directeur D&I de CIO en de CIO informeert de wethouder ICT en Digitale Stad. Om de raad en burgers te informeren over lopende projecten met betrekking tot dataverzameling en andere technologische toepassingen, zal er driemaandelijks een geactualiseerd overzicht van deze projecten op openresearch.amsterdam worden geplaatst. De informatie uit de evaluaties wordt hierbij gebruikt.

5 Wanneer evalueren? Projecten moeten op cruciale beslismomenten, zoals go-no go en go-life, en aan het einde worden geëvalueerd. Bij de start van het project wordt vastgesteld op welke momenten en hoe de evaluatie plaats moet vinden.

6 Betrekken van verschillende perspectieven Perspectieven binnen de gemeente De gemeentelijke organisatie voorziet in een aantal evaluatieve invalshoeken zoals doeleffectiviteit, architectuur, privacy, ethiek, informatiebeveiliging, informatiebeheer, openbaarheid, archivering, communicatie en financiën. Indien een externe leverancier betrokken is in het project kan ook deze bij de evaluatie betrokken worden. Afhankelijk van de inhoud en complexiteit van de privacy- en ethische vraagstukken dient advies gevraagd te worden aan de Commissie Persoonsgegevens Amsterdam. Perspectieven van buiten de gemeente Bij projecten die ingrijpen in het leven van burgers is vaak een breder perspectief gewenst. Het is dan raadzaam om op cruciale beslismomenten externe partijen te vragen om bij te dragen aan de evaluatie of de evaluatie in zijn geheel uit te voeren. Denk aan burgers, belangengroepen, kennisinstituten, juristen en filosofen en andere deskundigen. Welke partijen uit te nodigen en wat van deze partijen te vragen hangt af van de aard en de complexiteit van het project en onderliggende vraagstukken. Ook bij projecten van groot belang kan het nuttig zijn om externe expertise in te schakelen. Denk hierbij aan kennisinstituten, consultancybedrijven en medeoverheden met soortgelijke problematiek. Een mogelijkheid is ook het laten uitvoeren van een externe audit.

7 Wat evalueren? 7.1 Doelevaluatie Dit gaat om de vraag of en in welke mate het project het vooraf gestelde doel heeft bereikt.

Versie 1.1 Om dit goed te kunnen doen moet niet alleen het doel aan het begin van het project zijn vastgesteld, maar ook de wijze waarop doelrealisatie gemeten gaat worden. Het gaat bij tussentijdse doelevaluatie om vragen als: - Is het project op de juiste weg? - Is het doel nog steeds haalbaar? - Is er voldoende voortgang? - Proportionaliteit: is de gekozen inzet van technologie en data passend bij het doel? - Subsidiariteit: zijn er wellicht andere, efficiëntere, minder ingrijpende manieren om het doel te bereiken? - Zijn er aanvullende acties of andere correcties in het project nodig? Aan het eind van het project gaat doelevaluatie naast proportionaliteit en subsidiariteit van de gekozen oplossingen ook om vragen als: - Heeft het project de vooraf gestelde doelen behaald? - Welke maatregelen zijn nodig om de doelen alsnog te halen of verder te optimaliseren? - Wat is nodig om doelrealisatie te bestendigen? - Is voorzien in het beheer van de producten van het project en de middelen hiervoor?

7.2 Kwaliteitstoets Bij de kwaliteitstoets gaat het om de vraag of het project en de projectresultaten voldoen aan de kwaliteitscriteria van de organisatie. Hiervoor hanteert de gemeente Quality Assurance acceptatiecriteria (hierna: QA-acceptatiecriteria) met daarin de aspecten ethiek en mensenrechten, privacy, informatiebeveiliging, informatiebeheer, openbaarheid en archivering. De QA-acceptatiecriteria zijn in ontwikkeling. Transparantie, burgerbetrokkenheid, digitale toegankelijkheid en duurzaamheid worden binnenkort aan deze lijst toegevoegd. Voor al deze kwaliteitseisen geldt dat aan het begin van het project aan de hand van de QAacceptatiecriteria wordt vastgesteld welke kwaliteitseisen er gelden en welke maatregelen daarvoor nodig zijn. De specialisten van de vakgroepen Privacy, Informatiebeveiliging, informatiebeheer en openbaarheid begeleiden de collega’s die de QA-acceptatiecriteria moeten doorlopen. Dit geldt ook voor de tools/templates die eventueel per criteria moeten worden ingevuld.

Ethiek en mensenrechten Vastgesteld moet worden of het project de waarden en ethische dillema’s in beeld heeft, expliciet heeft afgewogen en of hierover besluitvorming is geweest. De Ethische Bijsluiter is hiervoor het instrument. Het gaat in de evaluatie om vragen als: - Is er buiten de doelstelling ook rekening gehouden met de rechten, belangen en wensen van betrokkenen, ook degenen die geen of niet direct baat hebben bij het project? - Welke morele waardenafwegingen zijn er gemaakt? - Is er advies gevraagd aan de Commissie Persoonsgegevens en is dit opgevolgd? - Is er aan de juiste tafels expliciete besluitvorming geweest over de morele waardenafwegingen? - Welke aanvullende maatregelen zijn er nodig?

Versie 1.1

Als er in het project sprake is van inzet van algoritmen dan moet bij de evaluatie worden vastgesteld of: - De risico’s in kaart zijn gebracht. - Op basis van de risico’s en het beheerskader2 de juiste stappen zijn gevolgd om deze te beheersen, onder andere het uitvoeren van een DPIA, Ethische bijsluiter, IAMA en/of biasanalyse. - Bij inkoop de juiste inkoopvoorwaarden zijn gehanteerd.

Transparantie In de evaluatie moet worden vastgesteld of het project en de resultaten daarvan voldoende transparant zijn voor burgers en andere betrokkenen. Het gaat daarbij om vragen als:  Is de buitenwereld voldoende en begrijpelijk geïnformeerd over het project en de mogelijke gevolgen voor burgers en organisaties?  Indien van toepassing: zijn de morele waardenafwegingen inzichtelijk voor burgers, raadsleden en andere belanghebbenden?  In het geval van gebruik van persoonsgegevens: zijn deze gepubliceerd in het verwerkingsregister en is er een privacyverklaring opgesteld en gepubliceerd?  In het geval van gebruik van algoritmen: zijn deze gepubliceerd in het algoritmeregister en is deze informatie correct, toereikend en begrijpelijk genoeg?  Zijn de gebruikte sensoren conform de meldingsplicht voor sensoren3 gepubliceerd in het sensorenregister en is deze informatie correct, toereikend en begrijpelijk genoeg? Burgerbetrokkenheid Projecten waarvan de resultaten direct of indirect ingrijpen in de persoonlijke levenssfeer van burgers moeten ervoor zorgen dat betreffende burgers voldoende geïnformeerd zijn en in de gelegenheid zijn om mee te denken en/of te doen. In de evaluatie moet worden onderzocht of burgers voldoende betrokken zijn bij het project. Privacy In de evaluatie moet worden vastgesteld of de resultaten van het project voldoen aan de eisen van de AVG.

De QA-acceptatiecriteria gelden hiervoor als leidraad. Informatiebeveiliging In de evaluatie moet worden vastgesteld of de resultaten van het project voldoen aan de eisen van de BIO. De QA-acceptatiecriteria gelden hiervoor als leidraad. Informatiebeheer, openbaarheid en archivering In de evaluatie moet worden vastgesteld of de resultaten van het project voldoen aan de eisen van de WOO en de Archiefwet. De QA-acceptatiecriteria gelden hiervoor als leidraad.

2 Het beheerskader en de inkoopvoorwaarden voor algoritmen worden aangescherpt. Dit is onderdeel

van het Plan van Aanpak Algoritmen dat is opgesteld naar aanleiding van het onderzoek van de Rekenkamer. 3 Sensoren die door het bevoegd gezag gebruikt worden voor de handhaving van de openbare orde of opsporing van strafbare feiten zijn uitgezonderd van de meldingsplicht.

Versie 1.1

Toegankelijkheid De websites en apps van de gemeente Amsterdam moeten voldoen aan de hoogste kwaliteitsnorm van het Besluit Digitale Toegankelijkheid Overheid. Als het project een website of app oplevert moet worden vastgesteld of deze aan deze eis voldoet. Het gaat om vragen als: - Is er voor elke gerealiseerde website en app een toegankelijkheidsverklaring afgegeven bij Logius/Digitoegankelijk? - Wat is de status van de toegankelijkheidsverklaring? - Als de website of app niet de hoogste toegankelijkheidsstatus (A) heeft: welke maatregelen worden genomen om naar status A te gaan? - Is voorzien in een jaarlijkse update van de toegankelijkheidsverklaring? Duurzaamheid Digitale technologieën moeten in zichzelf duurzaam zijn en dragen bij voorkeur bij aan een duurzamer samenleving. Het gaat bij de evaluatie om vragen als: - Wordt er gebruik gemaakt van energie-intensieve technologie? - Weegt de duurzaamheidsimpact op tegen de toegevoegde waarde van het gebruik van deze technologie? - Zijn er alternatieven overwogen die duurzamer zijn? - Welke maatregelen zijn er nog mogelijk op dit gebied? - Draagt het project bij aan een duurzamer opererende gemeente? 7.3 Procesevaluatie Dit deel van de evaluatie gaat om de vraag of de aanpak van het project succesvol was en wat beter zou kunnen.

Vragen die bij dit onderdeel van de evaluatie zijn onder meer: - Zijn de juiste partijen bij het project betrokken? - Hoe is de samenwerking verlopen? - Welke knelpunten waren er? - Heeft op de juiste momenten besluitvorming plaatsgevonden? - Was de informatie toereikend voor deze besluitvorming? - Zijn de juiste partijen betrokken bij de besluitvorming? - Is de vastgelegde documentatie van het project toereikend voor verantwoording? - Welke maatregelen zijn nodig?

7.4 Financiële evaluatie Hier gaat het om de vraag of de beschikbaar gestelde middelen en de gemaakte kosten met elkaar in de pas lopen en verklaringen te vinden als dit niet zo is. Vragen die hierbij spelen zijn onder andere: - Welke middelen zijn er bij de voorbereiding van het project beschikbaar gesteld? - Welke kosten zijn er gemaakt? - Wat is de kostenprognose voor het vervolg van het project? - Wat is de verklaring van een eventuele significante onder- of overschrijding? - Wegen bij een eventuele significante overschrijding de (geprognotiseerde) kosten nog op tegen de toegevoegde waarde van het project?