2. 2024 10 01 Voorloping voortbrengingsproces generatieve AI - 0.95.pdf

VOORTBRENGINGSPROCES GENERATIEVE AI Van idee naar generatieve AI toepassing

V0.95- 30 JULI 2024

Inhoudsopgave 1. Introductie voortbrengingsproces generatieve AI

3-5

2. Het voortbrengingsproces - van idee naar generatieve AI product

5-7

3. Toezicht en toetsing

19-21

4. Bijlagen

22-24

1. INTRODUCTIE VOORTBRENGINGS PROCES GENERATIEVE AI Doel, aanpak en scope

Introductie voortbrengingsproces generatieve AI Dit document beschrijft het voortbrengingsproces om van een idee naar een generatieve AI gedreven product te komen. Dit idee kan vanuit alle plekken in de organisatie geïnitieerd worden, in afstemming met de I-lead en B-lead. Het proces bestaat uit verschillende fasen, elk met gedefinieerde activiteiten, verantwoordelijke en go/no-go criteria. Het combineert de gefaseerde methode vanuit de algoritme levenscyclus van gemeente Amsterdam met de iteratieve, incrementele Agile werkwijze. Met dit gestandaardiseerde proces kan de organisatie efficiënt en uniform te werk gaan met de nieuwe techniek generatieve AI en tegelijkertijd veiligheid en kwaliteit waarborgen. Om ervoor te zorgen dat het proces in lijn is met bestaande interne beleidsdocumenten en richtlijnen, wordt in de verschillende fases verwezen naar relevante documenten die al binnen de organisatie van kracht zijn. Daarnaast zal dit document in de toekomst vallen onder de nog te ontwikkelen AI-brede governance en daarbij aansluiten. Het proces dekt ideeën voor generatieve AI producten, zowel intern te ontwikkelen als af te nemen van externe partijen. Beheer van dit document en proces valt, tot het AI opgave team opgericht is, onder de innnovatiemanager. Dit proces wordt voorgelegd ter akkoord aan de Stedelijke Werkgroep AI.

Bij onduidelijkheden over het doorlopen van het proces kan contact opgenomen worden met de Kwartiermaker AI.

4

Positionering generatieve AI Generatieve AI is een geavanceerde tak van Kunstmatige Intelligentie (AI), waarbij Kunstmatige Intelligentie een subset is binnen algoritmes. Vanuit de gemeente Amsterdam is een officiële definitie geformuleerd voor een algoritme, die hieronder genoemd wordt. Voor Kunstmatige Intelligentie en Generatieve AI is nog geen officiële definitie vastgesteld vanuit het I-domein, dus worden hier voorlopige definities uit de AI Act en vanuit BZK gebruikt om generatieve AI te kunnen positioneren.

Algoritme

Kunstmatige Intelligentie (AI)

Generatieve AI

Een algoritme is een set van regels en instructies die een computer geautomatiseerd volgt bij het maken van berekeningen om een probleem op te lossen of een vraag te beantwoorden. Bron: Het Algoritmeregister / Algemene Rekenkamer (zie ook Quality Assurance Acceptatie Criteria)

Een AI-systeem is een machine-gebaseerd systeem ontworpen om te opereren op verschillende niveaus van autonomie en dat na implementatie aanpassingsvermogen kan vertonen en dat, voor expliciete of impliciete doelstellingen, afleidt, van de invoer die het ontvangt, hoe het resultaten kan genereren zoals voorspellingen, inhoud, aanbevelingen of beslissingen die fysieke of virtuele omgevingen kunnen beïnvloeden. Bron: AI Verordening v12.7.2024

Generatieve AI is een vorm van AI waarbij complexe algoritmes worden ingezet om nieuwe content te genereren zoals tekst, afbeeldingen, computercode of video’s. Chatbot ChatGPT vormt hiervan de bekendste exponent. Bron: Overheidsbrede visie Generatieve Al

5

2. VAN IDEE NAAR GENERATIEVE AI PRODUCT Met per fase de bijbehorende activiteiten, verantwoordelijke, resultaten, relevante documenten en go / no-go criteria

De zes fases van het voortbrengingsproces generatieve AI We hebben een funnel-model ontwikkeld voor dit voortbrengingsproces, gebaseerd op de levenscyclus voor algoritmes van het algoritmeteam van de gemeente Amsterdam. Deze funnel is aangepast, verdiept en toegesneden op generatieve AI, en dient als visuele leidraad door de verschillende fasen. De verdiepte fases zijn uitgewerkt in deze sectie, waarbij elke fase wordt beschreven aan de hand van activiteiten, rollen, documenten en resultaten. Elke fase bevat één of meerdere toezicht en toetsing momenten op basis waarvan go/no-go beslissingen genomen worden. Voor informatie over rollen en verantwoordelijkheden binnen OWW, zie Bijlage A. Het voortbrengingsproces combineert de gefaseerde methode vanuit de AI levenscyclus van gemeente Amsterdam met de iteratieve agile werkwijze in fase 4. Dat betekent dat men activiteiten binnen fases opnieuw kan doorlopen of terug kan vallen naar eerdere activiteiten.

Fase 2: Idee evaluatie op basis van afwegingskader Een idee wordt geëvalueerd door de projectleider om te bepalen of deze geschikt is voor ontwikkeling door deze te analyseren op basis van het generatieve AI afwegingskader.

Fase 1. Ideevorming Het idee voor een generatieve AI product kan vanuit alle plekken in de organisatie geïnitieerd worden. In deze fase wordt akkoord gevraagd om het idee te evalueren en een projectleider aangesteld.

Fase 3: Proces inrichten De voorbereidende fase voor ontwikkeling van de toepassing. Hieronder valt het projectplan, een ontwerp, een ontwikkel team oprichten en de eerste stappen rondom toetsing en toezicht doorlopen.

1

2

Fase 5. Integratie, monitoring en onderhoud 5a. Integratie: Verzorgen van de communicatie, trainingen en instructies voor ingebruikname 5b. Monitoring en onderhoud: Na ingebruikname vindt continue monitoring en evaluatie plaats en daaruitvolgend onderhoud indien nodig. Dit is bedoeld om het product te laten voldoen aan kwaliteitseisen en doelmatigheid, maar ook om privacy en ethiek gerelateerde problemen die ontstaan na ingebruikname te signaleren en te mitigeren.

Fase 4: Toepassing wordt ontwikkeld en/of ingekocht Hierbij definiëren we de substappen: 4a. Inkoop generatieve AI toepassing 4b. Proof of Concept 4c. Prototype 4d. Minimum Viable Product 4e. Pilot 4f. Implementatie

3

4

5

6

Fase 6. Ontmanteling Indien aan vastgestelde condities voldaan wordt om het product buiten gebruik te stellen, vindt in deze fase ontmanteling of overstap op alternatieven plaats op basis van een vooraf bepaalde strategie 7

Verdieping fase 1 “Idee vorming”

IDEE AANDRAGEN Rol: Iedereen Dien je idee voor een generatieve AI toepassing in bij je directie. Binnen een directie kan iedereen een verzoek indienen om een generatieve AI idee te ontwikkelen of in te kopen. Het format hiervoor is vrij. Je kunt eventueel gebruik maken van de ‘verkenning’ uit het afwegingskader (zie kolom ‘documenten’).

GO/NO-GO OORDEEL OPDRACHTGEVER Rol: Opdrachtgever De opdrachtgever beoordeelt het idee op basis van het Afwegingskader Generatieve AI. De directie waar het idee is ontsproten (opdrachtgever) geeft een go/no-go oordeel om te starten met fase 2 (invulling van het afwegingskader generatieve AI) en wijst hiervoor een projectleider aan.

Contact: Opdrachtgever

DOCUMENTEN VRIJ FORMAT, OF GEBRUIK ‘VERKENNING’ UIT AFWEGINGSKADER GENERATIEVE AI

DOCUMENTEN AFWEGINGSKADER GENERATIEVE AI

Verdieping fase 2 “Idee evaluatie op basis van afwegingskader”

INVULLEN AFWEGINGSKADER Rol: Projectleider Vul de verkenningsfase van het Afwegingskader Generatieve AI in en beoordeel of het project potentie heeft. Check bij de Kwartiermaker AI of er niet al een zelfde idee wordt ontwikkeld.

Contact: Kwartiermaker AI

DOCUMENTEN AFWEGINGSKADER GENERATIEVE AI

GENERIEKE VOORZIENINGEN EN TECHNISCHE HAALBAARHEIDS- EN WAARDECHECK Rol: Projectleider We werken toe naar generieke voorzieningen voor generatieve AI. Nieuwe initiatieven moeten daarom getoetst worden op hun aansluiting bij deze voorzieningen. Hoe te werk gaan? 1. Neem contact op met je i-lead om na te gaan of het initiatief geprioriteerd is/kan worden qua capaciteit en tijd. 2. Laat de i-lead contact opnemen met de i-lead generieke voorzieningen om het initiatief daar te laten prioriteren. 3. Als je prioriteit hebt gekregen na afstemming, neem dan contact op met team AIDA om een kickoff in te plannen. Aan de hand van deze kick-off wordt bepaald of het initiatief binnen al bestaande generieke voorzieningen valt of dat het de basis vormt voor een nieuwe generieke voorziening. Ook worden de technische haalbaarheid en de waarde voor de Amsterdammer getoetst.

PLANNEN KICK-OFF MET INHOUDELIJKE EXPERTS

TOETSING ETHISCHE BIJSLUITER

Rol: Projectleider Plan met de Kwartiermaker AI een informerende kick-off in met de inhoudelijke experts voor de verschillende dimensies van het Afwegingskader, om met dit advies de Opdrachtbrief zo volledig en accuraat mogelijk in te vullen. Leg de uitkomsten van het Afwegingskader en de input van de inhoudelijke experts vast in de Generatieve AI Afwegingskader – Opdrachtbrief template, en deel deze met de expertisegroep AI voor advies.

Rol: Projectleider Plan een Ethische Bijsluiter Sessie in met de Digitale Rechten en Ethiek Officer (DREO). Tijdens deze sessie worden mogelijke ethische kwesties rondom het generatieve AI product in kaart gebracht. Met deze input kan de dimensie ‘waardenafweging’ in het Afwegingskader worden afgerond.

Contact: i-lead, i-lead generieke voorzieningen, Team AIDA

Contact: Kwartiermaker AI, inhoudelijke experts

Contact: Digitale Rechten en Ethiek Officer (DREO)

DOCUMENTEN

DOCUMENTEN ETHISCHE BIJSLUITER

AFWEGINGSKADER GENERATIEVE AI TEMPLATE OPDRACHTBRIEF GENERATIEVE AI

BINDEND OORDEEL DIRECTIE I-DOMEIN Rol: Directie i-domein De directie i-domein beoordeelt de Opdrachtbrief en neemt een bindend besluit over het starten van de ontwikkeling. Na goedkeuring van de directie, zorgt de opdrachtgever voor resources en budget om de ontwikkeling te starten. Dit besluit wordt in fase 3 genomen.

Contact: Opdrachtgever

DOCUMENTEN AFWEGINGSKADER GENERATIEVE AI

Verdieping fase 3 “Proces Inrichten” TOEZICHT & TOETSING Contact: Kwartiermaker AI • Plan sessie met inhoudelijke QAA-experts in. Contact: Information Security Officer (ISO) • Vul samen de BIO QuickScan in Contact: Privacy Officer • Vul samen de Privacy QuickScan in • Bespreek privacy vereisten voor dataontsluiting • Indien persoonsgegevens: start tijdig een DPIA (of gebruik dummy data) • Stem af over de vorm/timing van onafhankelijke validatie en aanvullend advies (FG/intern/extern) Overige contactpersonen QAA: • Architectuur, Informatiebeheer

VEREISTEN PLANNING PROJECTVOORSTEL • Een overzicht van vereiste toezicht- en toetsingsmaatregelen (zie ballon toezicht & toetsing links), inclusief actiehouder en afrondingsmoment (pilot/live-gang eindproduct). Denk hierbij aan de verplichte vereisten voor generatieve AI, zoals een Impact Assessment Mensenrechten en Algoritmes (IAMA). • De akkoorden van de opdrachtgever voor de start van de pilot (fase 4e) en voor de livegang van het product in fase 5.

RISICO ANALYSE VRAGEN (RAV) BEANTWOORDEN Rol: Projectleider Beantwoord de Risico Analyse Vragen (RAV) samen met het Algoritme Team. De Risico Analyse Vragen maakt een ‘shortlist’ van de maatregelen in ‘taken en verantwoordelijkheden’. Zie Bijlage C: “Eisen per risico classificatie voor algoritmen” voor de eisen per risico classificatie.

QAA INVULLEN Rol: Projectleider Creëer een overzicht van de benodigde toezicht en toetsing aan de hand van de vragen uit de Quality Assurance acceptatiecriteria (QAA). Plan met de Kwartiermaker AI een sessie in om de inhoudelijke experts van de QAA te raadplegen. Dit zijn experts op het gebied van Architectuur, Informatiebeheer, Informatiebeveiliging en Privacy. Houd er rekening mee dat sommige QAA-vereisten eerder moeten worden opgevolgd dan andere en daarom expliciet in het Voortbrengingsproces worden vermeld (zie bovenstaande toezicht & toetsing).

PROJECTVOORSTEL OPSTELLEN Rol: Projectleider Stel een projectvoorstel op inclusief planning (zie epic template). Deze bevat ten minste de vereisten die bovenin zijn weergegeven. Vraag de opdrachtgever om de benodigde capaciteit, middelen, budget en teamleden. Betrek relevante expertise in het ontwikkelproces en gebruik de epic template om in lijn met OWW een projectvoorstel te doen.

Contact: Algoritme Team

Contact: Kwartiermaker AI, QAA-experts

Contact: Opdrachtgever

DOCUMENTEN RISICO ANALYSE VRAGEN, TAKEN EN VERANTWOORDELIJKHEDEN

DOCUMENTEN QAA, BIO QUICKSCAN, PRIVACY QUICKSCAN, DPIA

DOCUMENTEN EPIC TEMPLATE

GO/NO-GO GEVEN Rol: Opdrachtgever De opdrachtgever geeft een go / no-go oordeel op de aanvraag van capaciteit, middelen, budget en teamleden. Er wordt een team opgesteld.

Verdieping fase 3 “Proces Inrichten” TOEZICHT & TOETSING Uit de vereisten onder toezicht & toetsing van de QAA (zie vorige slide) moet blijken welke privacy vereisten moeten zijn afgerond voordat de data mag worden ontsloten.

FUNCTIONEEL ONTWERP OPSTELLEN Rol: Projectleider Stel een functioneel ontwerp op van de generatieve AI toepassing gericht op de gebruiker: benodigde functionaliteiten, data, gewenste output, menselijke controles op de output, en acceptatiecriteria. Geef hierin expliciet aan of inkoop van externe partijen nodig is.

REGISTRATIE ALGORITMEREGISTER Rol: Projectleider Registreer in geval van een hoogrisico AI toepassing (dit blijkt uit de Risico Analyse Vragen op de vorige slide) het idee voor de toepassing in het algoritme register voor transparantie richting de burger. Neem hiervoor contact op met het algoritme team.

Contact: Ontwikkelteam, Opdrachtgever, Inhoudelijke experts

Contact: Algoritme Team

DOCUMENTEN RICHTLIJNEN KUNSTMATIGE INTELLIGENTIE GEBRUIKEN

DOCUMENTEN ALGORITMEREGISTER

DATAONTSLUITING Rol: Ontwikkelteam Het ontwikkelteam vraagt de data eigenaar om toegang tot de benodigde data voor de toepassing en/of het trainen/finetunen van de generatieve AI modellen (bijv. vakgroep datamanagement) en maakt afspraken rondom data levering met betrekking tot de periodiciteit, de bronnen en de format. Hierbij geldt: • Garandeer data minimalisatie en ontsluit alleen wat nodig is. • Pseudonimiseer de data indien mogelijk. • Controleer of de data kwaliteit voldoende is.

Contact: Vakgroep Datamanagement, Privacy Officer

GO/NO-GO COMPLIANCE VEREISTEN Rol: Directie i-domein De directie i-domein beoordeelt aan de hand van de compliance vereisten zoals vastgelegd in de QAA en de geïdentificeerde risico’s of de casus door kan naar fase 4.

In het geval van inkoop, als er in overleg met inkoop na het doorlopen van de inkoopvoorwaarden (zie volgende slide) risico’s worden geïdentificeerd, kunnen deze, in combinatie met de risico’s voortvloeiend uit de compliance vereisten, in één beoordeling aan de directie i-domein worden voorgelegd.

Contact: Opdrachtgever, Projectleider

Verdieping fase 3 “Proces Inrichten” - inkoop INKOOPVOORWAARDEN • Gemeentelijke Inkoopvoorwaarden Bij IT (GIBIT) + aanvullingen vanuit de Gemeente Amsterdam In het geval van algoritmische toepassingen: • Contract aanvullingen voor Algoritmische toepassingen.

INKOOPVOORWAARDEN OPSTELLEN Rol: Opdrachtgever De opdrachtgever stelt de benodigde inkoopvoorwaarden op. Voor inkoop van ICT producten/diensten gelden de Gemeentelijke Inkoopvoorwaarden Bij IT (GIBIT) vanuit de VNG, met aanvullende voorwaarden voor Amsterdam. Bij inkoop van algoritmische toepassingen die burgers, bezoekers van de gemeente of bedrijven in de gemeente gevestigd kunnen treffen, gelden aanvullende contractbepalingen waar de leverancier aan moet voldoen. Dit zijn de “contractaanvullingen voor algoritmische toepassingen” en deze zijn zo opgesteld dat ze aan de GIBIT kunnen worden toegevoegd. In fase 4a worden de inkoopvoorwaarden afgerond en ondertekend. Contact: Inkoop, Algoritme Team (voor vragen over de contractaanvullingen)

DOCUMENTEN GIBIT EN CONTRACT AANVULLINGEN VOOR ALGORITMISCHE TOEPASSINGEN

GO/NO-GO INKOOP GEVEN Rol: Directie i-domein Indien de inkoper risico’s identificeert na het doorlopen van de inkoopvoorwaarden, dienen deze ter beoordeling te worden voorgelegd aan de directie i-domein om te bepalen of de inkoop kan worden voortgezet. In de Weekstart AI zal worden bepaald of de beslissing hierover ook langs het DT, de CPA en/of de wethouder gaat.

Contact: Opdrachtgever, Projectleider

De beschrijving en volgordelijkheid van de ontwikkelingsstappen uit in fase 4 van het voortbrengingsproces De stappen in fase 4 “Toepassing wordt ontwikkeld en/of ingekocht” sluiten aan bij de Agile werkwijze. Dit betekent dat de ontwikkeling van de toepassing incrementeel en iteratief verloopt, waarbij keuzes gedurende de ontwikkeling worden gemaakt op basis van empirische resultaten. De Proof of Concept en Prototype stappen zijn niet vereist, maar kunnen helpen om de technische haalbaarheid en de relevantie voor de gebruiker vroegtijdig te testen. 4b. Proof of Concept In deze fase worden het probleem en de oplossing verder uitgediept en een ontwerp gemaakt om de haalbaarheid en potentie verder te onderzoeken. Het idee wordt getest en resultaten worden verzameld in een document om de haalbaarheid te presenteren.

▪ Proof of Concept (PoC)

Het prototype wordt ontwikkeld om op kleine schaal te tonen hoe het product gaat functioneren en er uit gaat zien. Dit helpt om issues vroegtijdig in het ontwikkelingsproces te ontdekken en aan te pakken.

▪ Prototype

4f. Implementatie

4d. Minimum Viable Product (MVP)

4c. Prototype

In deze fase wordt het eindproduct ontwikkeld volgens ontwikkel standaarden voor robuustheid, betrouwbaarheid en schaalbaarheid. Het wordt geïntegreerd in de infrastructuur en werkwijze van de gemeente Amsterdam, wat zowel technische werkzaamheden als documentatie en interne en/of externe communicatie vereist.

Een MVP is een vereenvoudigde versie van je generatieve AI-product met alleen de essentiële functies om te voldoen aan de gebruikersbehoefte. Dit dient als startpunt voor het ophalen van gebruikers feedback en verdere ontwikkeling.

▪ Minimum Viable Product

▪ Pilot

▪ Implementatie

4e. Pilot

Inkoop generatieve AI toepassing 4a. Inkoop Generatieve AI toepassing Bij aanschaf van een externe toepassing wordt de inkoop gedaan volgens de GIBIT en de Contractbepalingen in aanvulling op de GIBIT voor het rechtvaardig gebruik van Algoritmische toepassingen. Het kan per casus verschillen welke fase start na afronding van de inkoop.

Tijdens de pilot wordt de MVP kleinschalig geïmplementeerd om gebruikersfeedback te verzamelen. Dit helpt om de prestaties te evalueren en eventuele problemen te identificeren die moeten worden aangepakt voor ingebruikname.

13

Verdieping fase 4 “toepassing wordt ontwikkeld en/of ingekocht” Stap 4a – 4d 4A. INKOPEN VAN DE TOEPASSING Rol: Projectleider In het geval van inkoop: Laat de opgestelde inkoopvoorwaardes uit fase 3 tekenen door de leverancier. De inkoop afronden en de toepassing beschikbaar krijgen.

Contact: Leverancier DOCUMENTEN IN FASE 3 OPGESTELDE GIBIT EN CONTRACT AANVULLINGEN VOOR ALGORITMISCHE TOEPASSINGEN

4B. PROOF OF CONCEPT (POC) Rol: Ontwikkelteam Toetst de haalbaarheid van het idee. Om de haalbaarheid van het idee verder aan te tonen wordt onderzoek gedaan naar de technische implementatie mogelijkheden en wordt een test uitgevoerd om aan te tonen of het idee technisch uitvoerbaar is.

4C. PROTOTYPE

4D. MINIMUM VIABLE PRODUCT

Rol: Ontwikkelteam, UX designer Ontwikkelt een kleinschalige versie van het product om te tonen hoe het eruit ziet en werkt. Dit wordt geverifieerd met de gebruiker of een vertegenwoordiger van de gebruikersbehoefte.

Rol: Ontwikkelteam Ontwikkelt een eerste versie van het generatieve AI-product met de essentiële functies, houdt codeerstandaarden aan om robuustheid en betrouwbaarheid te borgen, en zorgt voor versiebeheer en gescheiden ontwikkel- en productieomgevingen.

Contact: Gebruiker of vertegenwoordiger van de gebruikersbehoefte

Een solution architect wordt aangehaakt voor privacy en security by design. Indien er wordt gewerkt op Azure, wordt het Privacy Control Framework, het Security Control Framework en het Modern Service Management Framework toegepast, waarbij duidelijk wordt aangegeven welke acties gedaan moeten worden voor de MVP en welke voor het eindproduct. Contact: Solution Architect, Cloud Competence Center DOCUMENTEN VERSIEBEHEER EN PACKAGEMANAGEMENT BEST PRACTICES, CODING GUIDELINES AI TEAM AZURE SPECIFIEKE FRAMEWORKS: PRIVACY CONTROL FRAMEWORK, SECURITY CONTROL FRAMEWORK, MODERN SERVICE MANAGEMENT FRAMEWORK

4D. GO/NO-GO MVP GEVEN Rol: Directie i-domein De directie i-domein beoordeelt aan de hand van de MVP of het product klaar is voor de pilot fase. In de Weekstart AI zal worden bepaald of de beslissing hierover ook langs het DT, de CPA en/of de wethouder gaat.

Contact: Projectleider

Verdieping fase 4 “toepassing wordt ontwikkeld en/of ingekocht” Stap 4e – de pilot TOEZICHT & TOETSING Contact: Privacy Officer Indien een DPIA nodig is, bespreek dan met de Privacy Officer of deze voldoende is voor de pilot en of er nog wijzigingen nodig zijn voor het eindproduct. Stem ook de afronding van de registratie in het Verwerkingsregister af. Contact: Digitale Rechten en Ethiek Officer (DREO) Plan een evaluatie moment met de DREO om te bepalen of de ingevulde Ethische bijsluiter geüpdatet moet worden en of de IAMA voor de pilot of live-gang afgerond moet worden. Contact: Information Security Officer (ISO) Vul de BIO QuickScan aan met nieuwe kennis en plan een evaluatie moment met de ISO om te bepalen of er additionele maatregelen genomen moeten worden en wanneer; vóór de pilot of vóór live-gang.

PILOTPLAN OPSTELLEN Rol: Projectleider, Ontwikkelteam, Pilot team In de pilot fase wordt de MVP kleinschalig geïmplementeerd voor een gelimiteerd aantal gebruikers om het te evalueren. • Voer de vereiste toetsing uit (zie volgende ballon) • Stel een pilot plan op (gebruik hiervoor het Afwegingskader ter inspiratie) • Bepaal de rollen en verantwoordelijkheden Contact: Vakportefeuillehouder, Adviseur bestuurszaken DOCUMENTEN NOG TE ONTWIKKELEN: PILOT PLAN TEMPLATE, ROLLEN EN VERANTWOORDELIJKHEDEN GEDURENDE DE PILOT

GO/NO-GO PILOT

TOEZICHT EN TOETSING VOOR PILOT UITVOEREN Rol: Projectleider Bepaal samen met de inhoudelijke experts of de vereiste toezicht en toetsing die afgerond moet zijn voor de pilot (zoals vastgesteld in fase 3) bijgesteld moet worden. Plan hiervoor evaluatiemomenten met de benodigde contactpersonen in (zie toezicht & toetsing).

Rol: Projectleider Vraag de opdrachtgevende directie om een go/no-go voor de pilot op basis van het pilot plan en de voltooide toetsing. Zij bepalen ook of de vakportefeuillehouder een bestuurlijk besluit moet nemen of alleen geïnformeerd wordt.

Contact: zie toezicht & toetsing

Contact: Opdrachtgevende directie

DOCUMENTEN IAMA, ETHISCHE BIJSLUITER, BIO QUICKSCAN, DPIA, EN VERWERKINGSREGISTER

PILOT UITVOEREN EN EVALUEREN Rol: Projectleider • Implementatie pilot • Uitvoeren pilot • Evalueren pilot

GO/NO-GO EVALUATIE PILOT Rol: Directie i-domein Op basis van de resultaten van de pilot wordt bepaald welke toevoegingen op de MVP worden gedaan om naar een eindproduct te gaan in fase 4f ‘Implementatie’.

Contact: Gebruikers

Contact: Opdrachtgevende directie

Verdieping fase 4 “toepassing wordt ontwikkeld en/of ingekocht” Stap 4f – implementatie

EINDPRODUCT ONTWIKKELEN

OPENSTAANDE ACTIES AFRONDEN

Rol: Ontwikkelteam Ontwikkelt het eindproduct op basis van pilotresultaten en feedback. Van belang hierbij is dat dit gebeurt met behoud van codeerstandaarden voor robuustheid en betrouwbaarheid.

Rol: Ontwikkelteam Voert openstaande acties uit voor privacy en security by design. Dit gebeurt volgens het Privacy Control Framework en het Security Control Framework.

Contact: Projectleider

Contact: Projectleider, Solution architect, Security , ethiek en privacy experts

DOCUMENTEN VERSIEBEHEER EN PACKAGEMANAGEMENT BEST PRACTICES, CODING GUIDELINES AI TEAM

DOCUMENTEN PRIVACY CONTROL FRAMEWORK, SECURITY CONTROL FRAMEWORK

DATA ARCHIEVERINGS-PROCES INRICHTEN Rol: Ontwikkelteam Richt een data archiveringsproces in met bewaartermijnen conform de archiefwet.

BEHEER OVERDRAGEN Rol: Ontwikkelteam Draagt het beheer over indien het ontwikkelteam dit niet kan oppakken. De overdracht wordt ondersteund met goede documentatie.

Contact: Projectleider, Beheerteam

Verdieping fase 4 “toepassing wordt ontwikkeld en/of ingekocht” Stap 4f – implementatie

TOEZICHT & TOETSING Contact: Information Security Officer (ISO) Alle vereiste maatregelen geformuleerd vanuit de BIO Quickscan moeten zijn opgevolgd en gevalideerd met de ISO. Contact: Privacy Officer De DPIA voor het eindproduct is voltooid, eventueel dezelfde als voor de pilot (in afstemming met Privacy Officer), en het advies van de Commissie Persoonsgegevens is opgevolgd; comply or explain. Contact: Algoritme team De generatieve AI-toepassing is geregistreerd in het algoritme register en bij hoog risico extern gevalideerd.

IMPLEMENTATIE MONITORING Rol: Ontwikkelteam Richt een proces in om de prestaties van de generatieve AI toepassing te monitoren: • Stelt de condities vast waaronder de toepassing te updaten of ontmantelen. • Implementeert error loggen en beleg het monitoren en oplossen van eventuele errors. • Implementeert monitoring op maatregelen op QAA vanuit Fully in Control en op basis van ethische standaarden. • Implementeert monitoring van security vereisten, privacy standaarden, gebruikerstevredenheid, en functies van de toepassing. Contact: Projectleider, Solution architect, Security, ethiek en privacy experts

DOCUMENTEN CODING GUIDELINES AI TEAM SECURITY: BIO QUICKSCAN, SECURITY CONTROL FRAMEWORK

ETHIEK: PRIVACY:

FAIRNESS HANDBOOK DPIA, PRIVACY CONTROL FRAMEWORK

Contact: Digitale Rechten en Ethiek Officer (DREO) De IAMA is volledig ingevuld, tenzij eerder met de DREO afgesproken dat dit niet nodig was voor de pilot. In de volgende activiteit wordt deze toetsing meegenomen in het go/no-go oordeel voor live-gang van de toepassing.

TOEZICHT EN TOETSING VOOR LIVEGANG UITVOEREN Rol: Projectleider Zorg ervoor dat bovenstaande toezicht & toetsing voor live-gang van het product is afgerond. Alle vereisten vanuit de Quality Assurance Acceptatie criteria en de Risico Analyse Vragen, voor zover nog niet uitgevoerd in eerdere fases, zijn bepaald en uitgevoerd; comply or explain.

Rol: Directie i-domein • Controleert de technische kwaliteitscontrole en -borging, naleving van technische kwaliteitsvereisten en toets op de verplichte documentatie van het generatieve AI product voordat het in gebruik wordt genomen. • Plant ruim van te voren een presentatie om het akkoord bij de directie op te halen. • De opdrachtgever geeft middels een ambtelijk besluit aan of het product kan live gaan, op basis van de pilotresultaten, verbeteringen en voltooide toetsing. • Indien bepaald door de opdrachtgever wordt ook een bestuurlijk besluit genomen door de vakportefeuillehouder.

Contact: zie toezicht & toetsing

Contact: Opdrachtgever, Vakportefeuillehouder

DOCUMENTEN RISICO ANALYSE VRAGEN QUALITY ASSURANCE ACCEPTATIECRITERIA ALGORITME REGISTER

GO/NO-GO LIVEGANG

Verdieping fase 5 “Integratie, Monitoring en Onderhoud”

GO/NO-GO ONTMANTELING EN/OF AANPASSING VAN DE TOEPASSING Rol: Ontwikkelteam Past de toepassing aan of zet de ontmanteling/archivering in gang bij overschrijding van bepaalde kwaliteitseisen.

GEBRUIKERS INSTRUEREN

EXTERNE EN INTERNE COMMUNICATIE VERZORGEN

MONITORING UITVOEREN

ONDERHOUD UITVOEREN

Rol: Ontwikkelteam • Stelt gebruikersinstructies op. • Traint eindgebruikers, zodat zij de applicatie kunnen gebruiken, de beperkingen kennen en de uitkomst kunnen interpreteren. Resultaten Gebruikersinstructie en trainingsmateriaal, inclusief trainingsvereisten voor alle medewerkers en/of specifieke medewerkers die toegang krijgen tot de applicatie.

Rol: Projectleider Deel en voer woordvoering of digitale communicatie om de Amsterdammers en/of de organisatie te informeren over de generatieve AI toepassing.

Rol: Ontwikkelteam Draait periodieke, handmatige of geautomatiseerde controles op basis van de prestatiecriteria en tests die zijn ontwikkeld in fase 4, en controleer de resultaten.

Rol: Ontwikkelteam • Monitort Error logs. • Lost eventueel ontstaande errors op. Deze oplossingen worden gelogd middels een versiebeheer systeem.

Resultaten Externe of interne communicatie in de vorm van bijvoorbeeld Persbericht, intranet publicatie en informeren van de gemeenteraad.

Resultaten Monitoring resultaten worden weggeschreven naar een log register.

Resultaten Error logs worden weggeschreven naar een register. Door gebruik van versiebeheer worden de oplossingen van eventuele errors geregistreerd met datum, uitvoerende medewerker, inhoud van de wijziging en rationale.

Resultaten Indien de kwaliteitseisen worden overschreden wordt deze informatie weggeschreven naar een log register. Indien de toepassing wordt aangepast om de prestatie te verbeteren, wordt dit geregistreerd in het versiebeheer systeem.

Contact: Communicatie

Contact: Communicatie

Contact: Beheer team

Contact: Beheer team

Contact: Beheer team

DOCUMENTEN

DOCUMENTEN

COMMUNICATIE COMPAS (BTB)

COMMUNICATIE COMPAS (BTB)

Verdieping fase 6 “Ontmanteling en Archivering” ACTIVITEITEN

RACI ROLLEN

•

Garandeer geen overschrijding van bewaartermijnen na ontmanteling

•

Archiveer de versie van de code (middels versiebeheersysteem zoals Git)

• • •

Gebruikers Organisatie Amsterdammer

•

Zorg dat gebruikersrechten en ontwikkelrechten worden ingetrokken

•

Update toezicht en toetsing om aan te geven dat de toepassing is ontmanteld

DOCUMENTEN

RESULTATEN

DATA ARCHIVERING

CODE ARCHIVERING

COMMUNICATIE

PLACEHOLDER

RECHTEN ONTTREKKEN

TOEZICHT EN TOETSING

19

3. TOEZICHT EN TOETSING Er zijn verschillende toezicht en toetsingsmomenten gedurende het voortbrengingsproces, met hun eigen afrondingsmoment, condities voor afronding en eindbeslisser. Voor de overzichtelijkheid geven wij die in deze sectie in één tabel weer.

Toezicht en toetsing gedurende het voortbrengingsproces De verschillende toezicht en toetsingsmomenten die mogelijk van toepassing zijn op de generatieve AI toepassing en gedurende het voortbrengingsproces doorgelopen moeten worden, in kaart gebracht om duidelijkheid te brengen over de condities voor en het moment van afronding. Naam Afwegingskader voor generatieve AI

Afrondingsmoment Normaliter voor de start van fase 3 ‘proces inrichten’, maar voor het concept team de start van fase 4e ‘pilot’.

Algoritmes – Risico Analyse Vragen (RAV). 1. Zie slide 24 voor meer details 2.

Invullen: voor fase 4e ‘pilot’. Acties afronden: voor fase 5 ‘Integratie, monitoring en onderhoud’.

Eindverantwoordelijke I-domein directie

Expertisegroep AI

Projectleider

Algoritmeteam

Quality Assurance Acceptatiecriteria (QAA)

1. 2.

Invullen bij start fase 3 ‘Proces inrichten’. Projectleider Alle vereisten afronden voor fase 5 ‘Integratie, monitoring en onderhoud’, tenzij anders aangegeven.

Ethische bijsluiter

1. 2.

Voor zover mogelijk invullen tijdens fase 2a ‘Idee evaluatie op basis van afwegingskader’. Evaluatie met DREO voor fase 4e ‘pilot’.

Digitale Rechten en Ethiek Officer (DREO)

1. 2. 3.

Zo snel mogelijk starten indien vereist vanuit de Privacy QuickScan, vanwege de lange afrondingsduur. Uitvoeren voor dataontsluiting (tenzij dummy data wordt gebruikt). Evaluatiemoment met Privacy Officer voor fase 4e ‘pilot’.

Privacy Officer

1. 2. 3.

Voor zover mogelijk invullen gedurende fase 3e ‘proces inrichten’. Updaten voor fase 4e ‘pilot’. Afronden voor live-gang in fase 4f ‘implementatie’.

Information Security Officer (ISO)

1. 2. 1.

Voor fase 4e ‘pilot’ voor de pilot. Voor fase 5 ‘Integratie, monitoring en onderhoud’ voor het eindproduct. Vaststellen noodzaak in fase 3 ‘Proces inrichten’ in overleg met de Privacy Officer en in welke vorm een onafhankelijk validatie vereist is (in overleg met de Privacy Officer en Security Officer), en wanneer. Idealiter voor fase 4e ‘pilot’, uiterlijk voor fase 5 ‘Integratie, monitoring en onderhoud’. Evaluatiemoment met DREO voor fase 4e ‘pilot’. Uiterlijk afronden voor fase 5 ‘Integratie, monitoring en onderhoud’.

DPIA (onderdeel van de QAA)

BIO Quickscan (onderdeel van de QAA)

Bias analyse (onderdeel van de RAV)

Advies CPA en onafhankelijk advies

IAMA

2. 1. 2.

1. Algoritme register (onderdeel van de QAA) 2. 3.

Opgeven van het ontwerp in fase 3 ‘Proces inrichten’ Updaten voor fase 4e ‘pilot’. Afronden voor fase 5 ‘Integratie, monitoring en onderhoud’ afgerond.

Commissie persoonsgegevens (CPA)

Functionaris Gegevensbescherming en/of Autoriteit Persoonsgegevens

Privacy Officer, Security Officer

DREO Algoritme team

Gelijk aan het afrondingsmoment van de DPIA

Privacy Officer

Controle conformiteit Archiefwet voor de bewaringsstrategie

1. 2.

Gemeentearchivaris (GA)

KIIA

Inhoudelijke experts

DREO

Verwerkingenregister

Voor fase 4e ‘pilot’ voor de pilot Voor fase 5 ‘Integratie, monitoring en onderhoud’ voor het eindproduct

Betrokken partijen

Algoritme team

HvA bij hoog risico

Vakgroep Informatiebeheer 21

Voorstel vervangen of vervallende toetsing De ontwikkelaars hebben aangegeven dat de hoeveelheid toezicht en toetsing die vanuit de Gemeente Amsterdam wordt verwacht bij de ontwikkeling van een toepassing erg groot is en overlap heeft met elkaar. De volgende toetsing kan naar ons inzicht vanwege overlap met andere toetsing worden vervangen of vervallen voor de scope van generatieve AI gedreven toepassing. Het is zaak om dit nog af te stemmen met de inhoudelijke experts. Naam

Algoritmes – Afwegingskad er

• • • •

Rationale voor voorstel vervallen/vervangen van de toetsing

Akkoord inhoudelijke experts

Het voorstel voor vervangen is gericht op het vervangen van het afwegingskader algoritmes, maar om de Risico Analyse Vragen stand te houden voor generatieve AI. Het doeleinde van het afwegingskader wordt al gedekt door het nieuwe afwegingskader voor generatieve AI, namelijk de afweging maken om door te gaan met een idee. Het afwegingskader generatieve AI (AGAI) en het afwegingskader algoritmes (AA) onderzoeken vergelijkbare thema’s: “Voordelen Amsterdammers” in het AA overlapt met “Waarde voor de Amsterdammer” in het AGAI “Voordelen gemeente” in het AA overlapt met “Waarde voor de organisatie” in het AGAI “Goed Digitaal Openbaar Bestuur” overlapt met de dimensie “Ethiek” in het AGAI “Overige afwegingen” overlapt met de dimensie “Technologie” en “Waarde voor de organisatie”

Inhoudelijk: Team algoritmes – Ivo Schutz en Daan Manojlovic Procesmatig: DS&I – Lisette Kalshoven

Akkoord directie

22

4. BIJLAGEN

Bijlage A: Rollen en verantwoordelijkheden De categorisatie van de rollen in opdrachtgever, opdrachtnemer en stakeholders zijn gebaseerd op de levenscyclus voor algoritmes, een door het algoritme team van de gemeente Amsterdam ontwikkelde procesbeschrijving. In dit overzicht hebben we de rollen en hun verantwoordelijkheden aangepast om aan te sluiten op het voortbrengingsproces generatieve AI. Bij een aantal rollen hebben we aangegeven door wie deze rol vervuld wordt als Opgavegericht en Wendbaar Werken (OWW) wordt gehanteerd.

Directies i-domein Beslissen op verschillende momenten in het Voortbrengingsproces of dit wordt voortgezet of stopgezet. Lijndirecteuren (OWW: Epic Owner) Bij OWW is de Epic Owner proceseigenaar en daarmee eindverantwoordelijk voor de uitvoering van maatregelen die voortkomen uit het Voortbrengingsproces. Vakportefeuillehouder De vakportefeuillehouder (of het college van Burgemeester en Wethouders en/of de burgemeester) wordt geraadpleegd bij hoog-risico AI-toepassingen (volgens de EU AI Act) en dient akkoord te geven voor live-gang in fase 5: ‘Integratie, monitoring en onderhoud’.

Bij OWW wordt het werk toegekend aan de Opgavetrein. De rollen komen niet één op één overeen.

OPDRACHTGEVER

OPDRACHTNEMER

STAKEHOLDERS

Projectleider (OWW: I-lead, B-lead en Product Owner) De gedelegeerde eigenaar van het idee voor een generatieve AI product. Bij OWW wordt deze rol verdeeld over de I-lead, B-lead en Product owner. • De I-lead en B-lead bepalen (in samenwerking met de Product Owners) welke Features op de backlog komen. • De Product Owner stuurt een Realisatieteam aan.

Ontwikkelteam (OWW: Realisatieteams) Bij OWW wordt deze rol vervuld door Realisatieteams binnen een stedelijke Opgave. Dit zijn de teams die de modellen, backend, frontend of infrastructuur ontwikkelen. Beheerteam In principe beheert het ontwikkelteam (Realisatieteam) de toepassing na de ontwikkeling, tenzij anders overeengekomen met de opdrachtgever.

Inhoudelijke experts (OWW: Shared Services Team (SST)) Het SST is een multidisciplinair team bestaande uit experts, o.a. op het gebied van: Juridische zaken, Security, Privacy, Informatiebeheer, Informatieachitectuur, Functioneel beheer, Leveranciersmanagement, Digitale rechten en ethiek, en AI. • Het SST is betrokken bij de beoordeling van hoog-risico AI-toepassingen in overeenstemming met de AI Act. • De komende tijd wordt uitgedacht hoe om te gaan met expertise die niet binnen het SST vertegenwoordigd is. Expertisegroep AI Team van specialisten dat de ontwikkeling en implementatie van generatieve AI faciliteert en stimuleert. Zij adviseren de directeuren van het iDomein in hun besluiten over de continuering van het voortbrengingsproces. AI governance team Het AI governance team wordt momenteel vorm gegeven en zal verantwoordelijk zijn voor het beheer van o.a. het voortbrengingsproces en afwegingskader generatieve AI. Voor vragen over AI governance kun je bij dit team terecht.

24

Bijlage B: Eisen per risico classificatie voor algoritmen (CONCEPT*)

√ Ja

√ Ja

Toetsen algoritme door onafhankelijke (FG / CPA / interneof externe audit / …)

Overig

CE markering

… verwijzing naar algoritmeregister in communicatie richting burger

Vastleggen

… in verwerkingsregister

… in algoritmeregister (incl. privacyverklaring)

DPIA

Privacy QuickScan

Bias Analyse

IAMA

Ethische Bijsluiter

Toestemming voor gebruik van College B&W

Publiceren

Gebruiken contractvoorwaarde n algoritmen

Social scoring

Analyseren mensenrechten Analyseren privacyrechten

Technische documentatie (o.a. databeheer, logging, etc.)

baar risico

Verkrijgen

Informatie over algoritme (intern)

Onaanvaard-

Toegestaan om te gebruiken?

Voorbeeld algoritme

Op basis van de risico classificatie (onaanvaardbaar / hoog / beperkt / minimaal of geen) die komt uit de Algoritmen – Risico Analyse Vragen die wordt uitgevoerd in fase 3 ‘Proces inrichten’, gelden verschillende eisen qua toezicht en toetsing die in deze tabel worden weergegeven.

√ Ja

√ Ja

Niet van toepassing

Nee

√ Ja,

Hoog risico

Selectie

uitgebreid

maken van

beschreven.

meest

√ Ja

√ Ja

√ Ja

√ Ja

√ Ja

√ Ja

√ Ja

Inclusief

geschikte

openbaar

sollicitanten

maken

√ Ja, mits √ Ja

algoritme betrokken

√ Ja, mits AI oplossing

bij besluit

broncode

√ Ja, tenzij

√ Ja, mits

uit Privacy Beperkt risico

Chatbot

√ Ja

Nee

Nee

√ Ja

√ Ja

√ Ja

QuickScan

√ Ja, beknopt

blijkt dat

beschreven

algoritme √ Ja

verwerking

√ Ja

Nee

Nee

Nee

* Dit is een concept versie die nog zal veranderen.

Nee

Nee

Nee

√ Ja

Nee

√ Ja

Nee

besluit

niet nodig is

risico

√ Ja

bij een

een DPIA

Minimaal of geen Salaris-

betrokken

Nee

Nee

Nee

√ Ja

Nee

Nee

Nee

Nee 25