2024 03 14 Voorlopig afwegingskader generatieve AI - v0.93.pdf
Tekst van het document
14 MAART 2024
Generatieve AI – Afwegingskader Een afwegingskader dat ondersteunt bij het evalueren, prioriteren en goedkeuren van de doorontwikkeling van ideeën voor producten die generatieve AI gebruiken
Versie 0.93
Afwegingskader introductie Dit document bevat een afwegingskader dat ondersteunt bij het evalueren, prioriteren en goedkeuren van de doorontwikkeling van ideeën voor producten die generatieve AI gebruiken. Dit afwegingskader ondersteunt bij het maken van een geïnformeerde beslissing over het al dan niet ontwikkelen en de prioritering van de ontwikkeling van productideeën met generatieve AI (‘ideeën’). Het gaat hierbij zowel om ideeën voor de aanschaf en gebruik van externe generatieve AI producten als ideeën voor de interne ontwikkeling van generatieve AI producten. Om de ideeën op een gestructureerde en volledige wijze te evalueren, maakt dit afwegingskader voor het toetsen van de ideeën gebruik van vijf dimensies: • Waardenafweging • Duurzaamheid • Technologie • Data en model • Juridisch & privacy De invulling van deze dimensies maakt zo veel mogelijk gebruik van bestaande kaders binnen de gemeente Amsterdam en eventuele externe richtlijnen. Het afwegingskader voor generatieve AI wordt uitgevoerd in fase 2 van het voortbrengingsproces voor generatieve AI: •
In fase 1 (voorafgaand aan het afwegingskader) wijst de lijndirectie die het idee verder wil gaan onderzoeken een projectleider aan en geeft goedkeuring te starten met fase 2.
•
In fase 2 vult de projectleider het afwegingskader in. Het DT i-domein geeft vervolgens goedkeuring om te mogen starten met de ontwikkeling van de casus. Het is aan de lijndirectie om resources en budget vrij te maken en te besluiten daadwerkelijk over te gaan tot ontwikkeling. Dit proces staat beschreven op slide 3.
•
In fase 3 (volgend op het afwegingskader) wordt de ontwikkeling voorbereid, hierbij worden o.a. de quality assurance acceptatiecriteria doorlopen en een ontwikkel team opgericht.
Uiteindelijk zal het afwegingskader de Gemeente Amsterdam helpen om beter geïnformeerde beslissingen te nemen over de ontwikkeling van generatieve AI-producten, wat leidt tot betere inzet van middelen in combinatie met nuttige casussen voor zowel de organisatie als de Amsterdammer. Dit document is vastgesteld op <datum> door het DT i-domein en is in beheer van DS&I. Meer informatie met betrekking tot de vereisten voor algoritmen kun je vinden op het intranet van Amsterdam (link).
Instructies bij het invullen van het afwegingskader Onderstaande instructies helpen bij het invullen van het afwegingskader. De vastlegging van het afwegingskader gebeurt met behulp van een Opdrachtbrief. Hiervoor is een template beschikbaar. Dit afwegingskader kan gebruikt wordt voor extern in te kopen generatieve AI producten, intern te ontwikkelen generatieve AI ideeën, en combinaties hiervan. Er kunnen producten worden ingekocht van gevestigde partijen waarvan reeds andere producten zijn ingekocht, maar het kan ook om kleinere onbekende partijen gaan waarvan producten worden ingekocht. •
Dit afwegingskader is een middel en geen doel. Het is bedoeld om in kaart te brengen waarom we dit willen, welke waarde de casus moet opleveren, en of dit aansluit op de organisaties behoefte. Mogelijk is voor jouw specifieke casus niet elke dimensie, norm of vraag relevant. Mocht dit het geval zijn, bepaal dan naar eigen inzicht wat niet relevant is en leg dat als onderdeel van het afgeronde afwegingskader voor aan de AI expertisegroep. Zij zullen dit beoordelen en meenemen in hun advies aan het DT i-domein in lijn met het proces beschreven op slide 3.
•
Houd rekening met de ketenverantwoordelijkheid. Dat wil zeggen, ook het onderliggende foundation model bij een generatieve AI toepassing wordt meegenomen in de afweging.
Intern te ontwikkelen generatieve AI producten: Het afwegingskader wordt uitgevoerd in fase 2 van het voortbrengingsproces voor generatieve AI ideeën, en volgt op de toewijzing van een projectleider door de lijndirectie die het idee verder wil gaan onderzoeken. Bij de beoordeling van het afwegingskader is het belangrijk onderstaande mee te nemen:
•
Op het moment van invullen van het afwegingskader zijn nog niet alle details van het gewenste generatieve AI product bekend, omdat de ontwikkeling nog niet gestart is. De vragen in dit afwegingskader sluiten hier waar mogelijk op aan, bijvoorbeeld door te vragen naar verwachtingen.
•
Het doel van het afwegingskader is in dit geval te bepalen of gestart kan worden met de ontwikkeling van het generatieve AI idee. Beantwoord de vragen (en bijvoorbeeld de ethische bijsluiter) in dit afwegingskader met dit doel in het achterhoofd. Het doel is niet om te beoordelen of gestart kan worden met een generatieve AI pilot of het naar productie brengen van een generatieve AI product, dit zal in een latere fase binnen het voortbrengingsproces generatieve AI worden beoordeeld.
Extern in te kopen generatieve AI producten: Voor extern in te kopen generatieve AI ideeën, waarbij geen ontwikkeling plaats vindt, wordt vaak direct overgegaan op een generatieve AI pilot. Bij de beoordeling van het afwegingskader is het belangrijk onderstaande mee te nemen: •
Op het moment van invullen van het afwegingskader zijn de meeste details van het gewenste generatieve AI product bekend. Sommige vragen in dit afwegingskader zul je echter niet kunnen beantwoorden omdat de leverancier hierover bijvoorbeeld geen gegevens verstrekt. Geef dit duidelijk aan bij de beoordeling en beoordeel zelf of dit een probleem vormt.
•
Het doel van het afwegingskader is te bepalen of we dit generatieve AI product willen inkopen en (waarschijnlijk) of gestart kan worden met een generatieve AI pilot. Beantwoord de vragen (en bijvoorbeeld de ethische bijsluiter) in dit afwegingskader met dit doel in het achterhoofd.
Afwegingsproces Het afwegingskader valt in fase 2 (idee evaluatie) van het voortbrengingsproces voor generatieve AI en bestaat uit de drie stappen zoals hieronder weergegeven. Na een go in stap 3 van het afwegingskader kan worden overgegaan op fase 3 (proces inrichten), waarin de voorbereiding op de ontwikkeling plaatsvindt, bestaande uit o.a. het opstellen van een projectplan en ontwerp, en het inrichten van een ontwikkelteam. Fase 2 (Idee evaluatie) in het voortbrengingsproces voor generatieve AI
1 Verkenning en normenkader 1a Verkenning
1b Normenkader
De trekker van het idee voor een generatieve AI product (‘projectleider’) geeft een korte beschrijving van het idee en toetst het aan de hand van een aantal harde voorwaarden. Indien niet wordt voldaan aan één van deze voorwaarden, dan is de kans groot dat dit idee niet past binnen de gemeente en op een later moment zal worden afgewezen.
De projectleider vult de vijf dimensies die in het normenkader uiteengezet zijn waar mogelijk zelf in en haalt aanvullende informatie op bij belanghebbenden en onderwerpsexperts om het idee volledig in kaart te brengen. Deze input zal worden gebruikt om de potentiële waarde en haalbaarheid van het idee te bepalen.
De projectleider kan indien nodig informatie ophalen bij onderwerpsexperts om de vragen te beantwoorden. De projectleider bepaalt zelf aan de hand van de verkenning of het idee doorgezet wordt naar stap 1b.
Waar mogelijk wordt hierbij gebruik gemaakt van bestaande kaders binnen de gemeente Amsterdam en eventuele externe richtlijnen.
2 Potentiescreening en prioritering De projectleider stelt voor elke dimensie een score van 1 tot 5 vast. Dit vormt de basis voor het vaststellen van de wenselijkheid en haalbaarheid van de casus. Verder brengt de projectleider de kosten en/of (tijds)besparingen in kaart, en zet deze af tegen de wenselijkheid en haalbaarheid. De projectleider legt de uitkomsten van het afwegingskader vast middels het template Generatieve AI Afwegingskader – Opdrachtbrief template (“Opdrachtbrief”), en deelt deze met de AI expertisegroep ter advies.
3 Centrale go/no go De generatieve AI expertisegroep van de Gemeente Amsterdam zal de casus centraal evalueren aan de hand van de Opdrachtbrief en een advies formuleren over de verdere ontwikkeling van deze casus. Op basis van dit advies zal het DT idomein tijdens het periodieke overleg een go/no go beslissing nemen over of gestart mag worden met de verdere ontwikkeling van de casus, en een beslissing nemen over of dit wel/niet aan de wethouder moet worden voorgelegd. Het is vervolgens aan de lijndirectie om resources en budget vrij te maken en te besluiten daadwerkelijk over te gaan tot ontwikkeling.
Introductie van vijf dimensies Het afwegingskader omvat vijf dimensies zoals hieronder weergegeven. In de verkenning en het normenkader zal dit verder worden toegespitst op voor Amsterdam specifieke overwegingen.
1
2
3
4
5
Waardenafweging
Duurzaamheid
Technologie
Data en model
Juridisch en privacy
Ethische afwegingen aan de hand van de TADA waarden van de gemeente, zodat de generatieve AI eerlijk en transparant wordt ingezet.
De (verborgen) kosten en effecten van generatieve AI op het milieu en onze omgeving afwegen tegen de toegevoegde waarde van het gebruik van generatieve AI.
Overwegingen met betrekking tot de benodigde infrastructuur, security en infrastructuur (o.a. schaalbaarheid en integratie) voor de generatieve AI toepassing.
De beschikbaarheid, representativiteit, kwaliteit, en risico’s van de data waarop de generatieve AI toepassing wordt toegepast, en de juistheid van gebruikte modellen en methodieken.
Juridische risico’s zullen toenemen naarmate AI- en privacy rechtelijke kaders verder ontwikkelen.
De dimensie waardenafweging wordt in kaart gebracht aan de hand van onderstaande norm:
De dimensie wordt in kaart gebracht aan de hand van onderstaande normen:
De dimensie wordt in kaart gebracht aan de hand van onderstaande normen:
De dimensie wordt in kaart gebracht aan de hand van onderstaande normen:
De dimensie wordt in kaart gebracht aan de hand van onderstaande normen:
1.
1. Duurzaamheidsimpact van het trainingsproces
1. Architectuur
1. Beschikbaarheid
1. Impact Europese AI Act
2. Infrastructuur
2. Herleidbaarheid
2. Intellectueel Eigendom implicaties
2.
Waarde voor de organisatie, waarde voor de Amsterdammer en de TADA waarden
Leermoment voor de organisatie
2. Duurzaamheidsimpact van het gebruik
3. Kwaliteit
3. Impact van de Algemene Verordening Gegevensbescherming (‘AVG’) 4. Aansluiting bij inkoopvoorwaarden gemeente Amsterdam
Gemeente Amsterdam - Generatieve AI
4
Stap 1a – Verkenning Het afwegingskader bestaat uit vijf dimensies zoals hieronder weergegeven. Aan de hand van de verkenning licht de projectleider het idee kort toe door middel van een aantal vragen. Vervolgens beantwoordt de projectleider een lijst met harde voorwaarden. Indien één of meer harde voorwaarden met ‘nee’ worden beantwoordt, dan is er een grote kans dat dit idee niet past binnen de gemeente Amsterdam en op een later moment zal worden afgewezen door het DT i-domein. De projectleider beslist of de casus wordt voortgezet en gestart wordt met stap 1b. Casus omschrijving Onderstaande casusomschrijving geeft een overzicht aan de betrokkenen wat de casus inhoudt en waar deze voor gebruikt gaat worden.
Dimensie
• 1. Waardenafweging
1. Wat is de naam van dit idee/casus 2. Wie is de projectleider (uitvoerend) en wie is opdrachtgever (eindverantwoordelijke) van dit idee 3. Licht uw voorstel voor het gebruik/de inzet van de casus toe met een korte beschrijving, en beschrijf de voordelen van deze casus.
4. Voor welk doeleinde biedt de casus een oplossing? Ondersteunt de casus bij een bedrijfsmatige taak of een uit te voeren wettelijke taak van de gemeente (zo ja, welke)?
2. Duurzaamheid 3. Technologie
4. Data en model
6. Beschrijf kort de doelgroep (wie door deze toepassing wordt geraakt, bijv. specifieke medewerkers of klanten).
8. Welke alternatieven zijn er en waarom zijn die minder passend of bruikbaar? Gemeente Amsterdam - Generatieve AI
• •
5. Beschrijf kort de doelgebruikers (bijv. specifieke medewerkers of klanten).
7. Betreft het een intern te ontwikkelen toepassing, vendor toepassing of open source toepassing (of een combinatie)?
Verkenning - harde voorwaarden (vragen dienen met ‘ja’ beantwoordt te kunnen worden)
5. Juridisch en privacy
Heeft de casus een meerwaarde voor de Amsterdammer en/of organisatie, die in verhouding staat tot de benodigde resources en kosten? Is de casus voorgelegd aan de innovatiemanager, en is gezamenlijk geconcludeerd dat de casus voldoende uniek is (i.e., geen / beperkte overlap met bestaande casussen op de backlog)? Zijn er geen doelgroepen die disproportioneel benadeeld worden door de casus?
•
Weegt de toegevoegde waarde voor de Amsterdammer en/of organisatie op tegen de duurzaamheidsimpact van de casus?
•
Is de infrastructuur beschikbaar of beschikbaar te krijgen binnen de gemeente Amsterdam?
• •
Is er een beschrijving van de benodigde input data en is deze data beschikbaar? Is er een afweging gemaakt of een simpeler, beter uitlegbaar, transparanter en/of minder risicovol alternatief hetzelfde doel kan behalen (bijvoorbeeld zonder generatieve AI of überhaupt zonder algoritme)?
•
Is de casus toegestaan onder de aankomende Europese AI Act. Casussen met de één van de volgende kenmerken zijn niet toegestaan: (1) het probeert kenmerken van specifieke kwetsbare groepen uit te nutten, (2) het is een social credit-achtig systeem, (3) het gebruikt biometrische identificatie? Verboden AI-toepassingen vindt u in Titel II, Artikel 5 van de AI-verordening van de Europese Commissie Er wordt geen gebruik gemaakt van een niet-gecontracteerde generatieve AI-toepassingen zoals ChatGPT *, Bard en Midjourney? Deze voldoen over het algemeen niet aantoonbaar aan de geldende privacy- en auteursrechtelijke wetgeving, zodoende is het gebruik hiervan in beginsel niet toegestaan, in die gevallen waarin het risico bestaat dat wetgeving wordt overtreden, tenzij de aanbieder en gebruiker aantoonbaar voldoen aan de geldende wet- en regelgeving.
•
* Aanbieders van generatieve AI toepassingen hebben vaak gecontracteerde en niet-gecontracteerde vormen. Als voorbeeld, ChatGPT is
een niet-gecontracteerde vorm van de OpenAI modellen, terwijl Azure OpenAI een gecontracteerde vorm is van de OpenAI modellen is.
5
Stap 1b – Waardenafweging (1/2) In deze dimensie wordt gekeken naar de waarde van de casus voor de Amsterdammer, de gemeentelijke organisatie en overige waarden zoals de publieke waarden.
1
Waardenafweging
Tijdens de waardeafweging worden naar verschillende publieke waardes gekeken aan de hand van de Ethische Bijsluiter. Daarnaast wordt in kaart gebracht of er sprake is van een leermoment voor de organisatie. Wie te betrekken: Informatie wordt opgehaald door middel van een ethische bijsluiter sessie onder begeleiding van de Digitale Rechten en Ethiek officer (zie richtlijnen op deze pagina).
Norm: Waarde voor de organisatie, waarde voor de Amsterdammer en de TADA waarden. De gemeente Amsterdam vindt het belangrijk om in een vroeg stadium goed na te denken over verschillende waarden (zoals waarde voor de Amsterdammer, de organisatie, TADAwaarden) en deze tegen elkaar af te wegen, om tot een geïnformeerde beslissing te komen over de wenselijkheid van de Generatieve AI-toepassing en de blinde vlekken naar boven te halen.
•
Is het nodig nog een keer met elkaar bijeen te komen om de ethische bijsluiter te updaten voorafgaand aan de pilot en / of voorafgaand aan productie?
•
•
Zijn er specifieke risico’s geïdentificeerd die opgepakt moeten worden voor de pilot en / of voor productie, en zo ja, wat zijn deze acties en wie pakt deze op?
Relevante links:
Algemene meerwaarde Amsterdammer: •
Hoeveel Amsterdammers verwacht je dat voordeel zullen hebben van deze casus?
•
Hoe verwacht je dat de dienstverlening, ervaring of levenskwaliteit van de burger wordt verbeterd?
Richtlijnen Ethische Bijsluiter sessie De waarde voor de organisatie, waarde voor de Amsterdammer en de TADA waarden wordt bepaald aan de hand van de ethische bijsluiter. Tijdens de ethische bijsluiter sessie zal extra aandacht worden besteed aan specifieke vragen met betrekking tot de waarde voor de organisatie en waarde voor de Amsterdammer. Lees de instructies op de TamTam pagina ter voorbereiding.
•
Zo ja, dan moet overwogen worden hoe de belangen van die burgers worden meegenomen in het project. Kunnen negatieve gevolgen bijvoorbeeld (deels) gemitigeerd worden en zo ja hoe?
•
Zo ja, hoe wordt transparantie van de manier waarop dit de Amsterdammer raakt gewaarborgd?
•
Wat zijn de verwachte effecten zijn voor de werknemers die met de casus zullen moeten gaan werken? Hebben zij de juiste vaardigheden om dit te kunnen doen en/of kunnen die vaardigheden worden bijgebracht?
•
Neemt de totale hoeveelheid werk naar verwachting toeof af, en kunnen hierdoor bepaalde banen komen te vervallen of erbij komen? Is dit wenselijk?
•
Is er een verwacht positief of negatief effect op de kwaliteit van interne processen en/of werkproducten, bijvoorbeeld doordat grotere hoeveelheden data kunnen worden verwerkt die relevant zijn voor de uit te voeren taak?
Algemeen:
Gemeente Amsterdam - Generatieve AI
•
Effect op de baan en het werkplezier van werknemers:
Is het verantwoord te starten met de ontwikkeling van de generatieve AI casus?
Tada-waarden - Innovatie (amsterdam.nl)
Verwacht je dat er sprake is van positieve of negatieve gevolgen voor (groepen) Amsterdammers?
Vragen:
•
Poster Ethische Bijsluiter.pdf - Tamtam (amsterdam.nl)
Effecten op groepen Amsterdammers:
Wie is betrokken? De ethische bijsluiter sessie vraag je aan via het intake formulier en wordt begeleid door een ethiek officer. Het is belangrijk dat elke deelnemer iets wezenlijks kan bijdragen aan de workshop. Nodig geen mensen uit om beleefd te zijn. Deelnemers doen mee omdat hun kennis in het project belangrijk is. De projectleider zal in ieder geval deel nemen aan de sessie.
De conclusie van de ethische bijsluiter dient positief te zijn. De projectleider moet in ieder geval de onderstaande vragen beantwoorden, die grotendeels tijdens de Ethische Bijsluiter sessie aan bod komen:
Wordt er een negatieve of positieve impact op het werkplezier van de medewerker verwacht? (bijv. doordat bepaalde taken geautomatiseerd worden)
6
Stap 1b – Waardenafweging (2/2) In deze dimensie wordt gekeken naar de waarde van de casus voor de Amsterdammer, de gemeentelijke organisatie en overige waarden zoals de publieke waarden.
1
Waardenafweging
Norm: Leermoment voor de organisatie. Er wordt in kaart gebracht in welke mate er de kans wordt geboden te experimenteren met een nieuwe technologie of proces, en in hoeverre dit waarde toevoegt voor de organisatie.
Voorbeelden: Er kan binnen het team geëxperimenteerd worden met een nieuwe technologie. De technologie kan op lange termijn mogelijk ook voor andere doeleinden worden ingezet en voegt op die manier waarde toe aan de organisatie. Vraag:
Gemeente Amsterdam - Generatieve AI
•
Is er sprake van een leermoment voor de werknemers en/of organisatie door deze casus te gaan ontwikkelen, bijvoorbeeld door het experimenteren met een nieuwe technologie of proces?
•
Is de gebruikte technologie mogelijk bruikbaar op andere plekken in de organisatie?
7
Stap 1b – Duurzaamheid In stap 1b van de normbepaling wordt aan de hand van een tweetal normen gekeken wat de duurzaamheid implicaties zijn van de casus.
2 Duurzaamheid
Er wordt vastgesteld in welke mate de (verborgen) kosten en effecten van de casus (en het gebruik van generatieve AI in het algemeen) op het milieu en onze omgeving afwegen tegen de toegevoegde waarde van het gebruik van generatieve AI.
Wie te betrekken: Eventueel kan deze dimensie als onderdeel van de Ethische Bijsluiter discussie worden besproken.
Norm: Duurzaamheidsimpact van het trainingsproces.
Norm: Duurzaamheidsimpact van het gebruik.
Het trainingsproces van generatieve AI modellen is energie-intensief, en in de beslissing over het gebruik van een generatieve AI toepassing dient rekening gehouden te worden met de duurzaamheidsimpact die hiermee gepaard gaat.
Digitale technologieën moeten duurzaam zijn en de groene transitie ondersteunen. Mensen moeten informatie krijgen over de milieueffecten en het energieverbruik van hun apparaten. We ondersteunen het gebruik van oude apparaten actief.
Voorbeelden:
Voorbeelden:
De training van GPT-3 vereiste het equivalent van ongeveer 121 huishoudens in de VS per jaar en creëerde het equivalent van 110 Amerikaanse auto’s in een jaar (bron).
Het gebruik van de generatieve AI oplossing draait op een server, waardoor het ook eenvoudig te gebruiken is op een oudere laptop. De energie consumptie van het GPT model is echter wel hoog.
Vragen:
Vragen:
•
Hoeveel additionele energie wordt met het trainingsproces verbruikt (bijvoorbeeld omdat het nodig is nieuwe modellen te trainen of bestaande te finetunen)?
•
Welke generatieve AI modellen zijn overwogen? Zijn er duurzamere alternatieven die geen gebruik maken van generatieve AI, die een vergelijkbaar resultaat kunnen geven? Of kan bijvoorbeeld met een oudere versie (GPT 3.5) een vergelijkbaar resultaat worden behaald als met een nieuwere versie (GPT 4.0)?
•
Hoeveel energie kost het om het model en/of een server te laten draaien? Zijn er duurzamere alternatieven die geen gebruik maken van generatieve AI, die een vergelijkbaar resultaat kunnen geven? Of kan bijvoorbeeld met een oudere versie (GPT 3.5) een vergelijkbaar resultaat worden behaald als met een nieuwere versie (GPT 4.0)?
•
Werkt het model ook op een laptop van 8 jaar oud (of ouder)?
Relevante links:
llm-comparison-nl.pdf (amsterdam-ai-team.github.io)
Gemeente Amsterdam - Generatieve AI
8
Stap 1b – Technologie In stap 1b van de normbepaling wordt aan de hand van een tweetal normen de relevante aspecten rondom technologie in kaart gebracht.
3 Technologie
In aansluiting op de thema’s en doelstellingen vanuit het coalitieakkoord 2022-2026 onderzoeken we hier de schaalbaarheid, openheid, veiligheid, integratie en betrouwbaarheid onder de normen architectuur, security en infrastructuur.
Wie te betrekken: De vragen kunnen beantwoord worden door verschillende inhoudelijke experts, zoals het analyse service team voor de infrastructuur, de Security Officer voor security en de solution architect of de architectuur board voor de architectuur gerelateerde vragen.
Gemeente Amsterdam - Generatieve AI
Norm: Architectuur
Norm: Infrastructuur
Architectuur dekt de inrichting van het technische landschap. Om hier sturing aan te geven, zijn verschillende standaarden, thema’s en principes vastgesteld die het IT landschap van de toekomst beschrijven van de gemeente Amsterdam. In lijn hiermee onderzoeken we onder deze norm de toepassing op basis van potentiële schaalbaarheid, integratie, openheid en toegankelijkheid.
Dit onderdeel omvat de prestatie, betrouwbaarheid, het beheer en de continuïteit van de benodigde infrastructuur. Hiervoor wordt bijvoorbeeld gekeken naar monitoring opties, capaciteit en kennis voor ontwikkeling en onderhoud.
Voorbeelden:
De toepassing krijgt mettertijd meer en meer gebruikers. Het moet gemakkelijk zijn om extra capaciteit toe te voegen aan de infrastructuur en om nieuwe gebruikers en systemen te ondersteunen.
Voorbeelden: Voor gebruik van de toepassing is de organisatie afhankelijk van externe applicaties en kan daardoor de reproduceerbaarheid, het prestatieniveau en de continuïteit ervan niet garanderen.
Vraag: •
Is er naar verwachting voldoende capaciteit en kennis om de toepassing te ontwikkelen en operationeel te houden?
•
Is de organisatie voor het gebruik van de toepassing afhankelijk van derden?
•
Welke generatieve AI modellen zijn nodig voor de toepassing en welke aanbieder wordt hiervoor geselecteerd?
•
Welke applicaties zijn nodig voor de ontwikkeling en voor het operationeel houden?
Vragen: •
Kunnen voor dit idee open standaarden, open data en open source technologieën gebruikt om samenwerking, kennisdeling en transparantie te vergemakkelijken?
•
Welke eisen zijn er aan de schaalbaarheid van de toepassing? Wat is de verwachting qua gebruik en data volume? Is de verwachting dat deze na livegang gelijk blijft of juist groeit of afneemt?
•
Kun je aanhaken op de bestaande architectuur of platform?
Relevante links: •
IT landschap van de toekomst
•
Cloud Architectuur Principes
Relevante links:
•
IT landschap van de toekomst
9
Stap 1b – Data en model In stap 1b van de normbepaling wordt aan de hand van een drietal normen de relevante aspecten rondom data in kaart gebracht.
4 Data en model
Norm: Beschikbaarheid.
Norm: Herleidbaarheid
Norm: Model
In hoeverre de casusdata toegankelijk is op basis van de beschikbaarheid binnen de organisatie, het gemak waarmee deze opgehaald kan worden en de kwaliteit en aanwezigheid van documentatie.
De mate waarin de herkomst, selecties en bewerkingen die hebben plaatsgevonden op de casusdata expliciet zijn vastgelegd.
Vanuit deze norm wordt onderzocht of de benodigde modellen voorhanden zijn en er ervaring is met deze modellen, of dat deze onbekend zijn, er weinig is gedocumenteerd en nog training of finetuning vereist is.
Voorbeelden: De beschikbaarheid, representativiteit, kwaliteit, en risico’s van de data waarop de generatieve AI toepassing wordt toegepast en van de modellen waar de toepassing op draait. We onderscheiden drie soorten data: 1. Input/output data: in- en uitgaande informatie van de toepassing gedurende gebruik 2. Trainingsdata: data gebruikt om het model te trainen dat wij voorgetraind afnemen 3. Casusdata: casus specifieke data om een voorgetraind model te finetunen of aan te vullen Wie te betrekken: Vragen met betrekking tot data management en beschikbaarheid kunnen het best aan de Data Office gesteld worden. Voor de generatieve AI model keuze kan contact worden gelegd met het AI team.
Gemeente Amsterdam - Generatieve AI
Er zijn beperkingen op de casusdata die nodig is voor de toepassing ten aanzien van de rechten op de data.
Vragen: •
Welke casusdata worden gebruikt in het kader van de toepassing?
•
Is de benodigde casusdata voor de casus beschikbaar op het centrale Dataplatform of bij het Dataloket, of moeten deze verzameld worden (en zo ja, is dit haalbaar en wenselijk)?
•
•
Hoe wordt de casusdata geleverd en verzameld? Of welke afspraken zijn er gemaakt over de levering en verzameling van de data?
Voorbeelden: De organisatie is voor de data afhankelijk van derden en daardoor is deze niet traceerbaar en herleidbaar. Vragen: •
Is duidelijk hoe de integriteit van de casusdata te waarborgen en te controleren is, alsmede wie hiervoor verantwoordelijk is?
•
Heeft de casusdata een herleidbare afkomst?
•
In hoeverre kan de output van de toepassing worden teruggedraaid of gecorrigeerd?
Voorbeelden: Voor het idee van de generatieve AI toepassing wordt verwacht dat gpt 3.5 nodig is. Deze is beschikbaar op de Azure omgeving van de organisatie. Voor de functionaliteiten van de toepassing is geen aanvullende finetuning nodig van het model.
Vragen: •
Welk generatieve AI model wordt gebruikt voor dit product (zie ook de richtlijn gegeven in de Verkenning)?
•
Is dit model beschikbaar binnen de gemeente of is het noodzakelijk deze aan te schaffen? (zie ook norm ‘inkoopvoorwaarden’ in de dimensie ‘juridisch en privacy’)
•
Is er ervaring met dit model binnen de gemeente? En is er mogelijk sprake van issues rond accuraatheid, openheid, copy-right, of ethiek rond dataverzameling (zie ook llmcomparison)?
•
Is er voldoende gedocumenteerde informatie beschikbaar over dit model; over de (kwaliteit van de) trainingsdata, ontwikkelmethode en leverancier?
•
Is het nodig om het generatieve AI model te trainen of finetunen? (zie ook de dimensie ‘duurzaamheid’) Zo ja:
Is er metadata beschikbaar?
Relevante links: •
Data platform analyse services link/link
•
Data Office
•
Hoeveel rekenkracht is nodig en is dit wenselijk?
Relevante links:
•
llm-comparison-nl.pdf (amsterdam-ai-team.github.io)
10
Stap 1b – Juridisch en privacy (1/2) In stap 1b van de normbepaling wordt aan de hand van een viertal normen gekeken wat de juridische en privacy implicaties zijn van de casus.
5 Juridisch en privacy
Er wordt vastgesteld in welke mate er juridische en privacy risico’s en/of uitdagingen zijn bij het ontwikkelen van de casus. We refereren naar twee soorten data: 1. Input/output data: in- en uitgaande informatie van de toepassing gedurende gebruik 2. Casusdata: casus specifieke data om een voorgetraind model te finetunen of aan te vullen Wie te betrekken: Informatie kan worden opgehaald bij de Juridisch Expert en/of de Privacy Officer voor het beantwoorden van deze vragen.
Norm: Impact van Europese AI Act
Norm: Intellectueel Eigendom implicaties
Norm: Inkoopvoorwaarden
Er wordt in kaart gebracht welke vereisten er vanuit de aankomende Europese AI Act. De Europese AI Act stelt bepaalde vereisten aan AI modellen afhankelijk van de categorie waarin deze valt. De categorieën zijn (1) onacceptabel risico, (2) hoog risico, (3) beperkt risico, (4) minimaal risico.
Er dient aannemelijk te worden gemaakt dat er geen sprake is van schending van het intellectueel eigendom door de casus. Daarnaast dient aannemelijk te worden gemaakt dat interne data van de gemeente Amsterdam niet voor hertraining doeleinden wordt gebruikt.
Indien gebruik gemaakt wordt van externe software dient voldaan te worden aan de inkoopvoorwaarden van de gemeente Amsterdam, inclusief de specifieke contractvoorwaarden voor algoritmen.
Voorbeelden:
Voorbeelden:
Deze modellen vallen onder ‘onacceptabel risico’ en zijn verboden: AI modellen gebruikt voor cognitieve gedragsmanipulatie van mensen of specifieke kwetsbare groepen, social scoring of biometrische identificatiesystemen in real-time of op afstand.
Bij het gebruik van de openbare ChatGPT versie worden (indien dit niet is uitgevinkt) prompts van de gebruiker gebruikt voor hertrainen van het GPT model van OpenAI.
Een vendor van een Large Language Model l is niet bereid akkoord te gaan met de contractvoorwaarden voor algoritmen vanuit de gemeente Amsterdam. Om die reden wordt gekozen voor een alternatief large language model.
Onder ‘hoog-risico’ vallen alle modellen zoals beschreven in Annex III van de EU AI Act.
Voor ‘beperkt risico’ modellen zijn de vereisten dat de gebruikers erop moet worden gewezen wanneer zij interactie hebben met AI. Vragen: •
•
Is dit in een ‘hoog risico’ casus, en passen bijbehorende risico’s binnen de waardes van Amsterdam? In dit geval zal ook een onafhankelijke toets (conformity assessment) moeten worden uitgevoerd voordat het model in gebruik wordt genomen.
Vragen: •
•
Kan aannemelijk worden gemaakt dat er geen sprake is van schending van het intellectueel eigendom door de casus? Kan aannemelijk worden gemaakt dat interne data van de gemeente Amsterdam niet voor hertraining doeleinden wordt gebruikt?
Voorbeelden:
Vragen: •
Is het generatieve AI model al eerder aangeschaft waarbij voldaan is aan de inkoopvoorwaarden?
•
Zo ja, kan de bestaande licentie worden hergebruikt of moet deze worden gewijzigd en/of hernieuwd?
Relevante links: Contractvoorwaarden voor algoritmen - Intranet Amsterdam Maatschappelijke doelen en inkoopbeleid - Gemeente Amsterdam
Is dit een ‘beperkt risico’ casus, en is nagedacht over hoe invulling gegeven zal worden aan de transparantievereisten van de Europese AI Act?
Relevante links: Europese AI Act (nieuwe versie wordt verwacht) Gemeente Amsterdam - Generatieve AI
11
Stap 1b – Juridisch en privacy (2/2) In stap 1b van de normbepaling wordt aan de hand van een viertal normen gekeken wat de juridische en privacy implicaties zijn van de casus.
5 Juridisch en privacy
Norm: Impact van de Algemene Verordening Gegevensbescherming (‘AVG’) en/of Wet Politiegegevens (‘WPG’).
•
Over welke type mensen worden persoonsgegevens verwerkt (inclusief medewerkers gemeente Amsterdam), en zijn ze aan te merken als kwetsbaar? (bijvoorbeeld kinderen, statushouders, mensen met een lichamelijke of geestelijke beperking) Worden deze mensen al geïnformeerd over dat we hun persoonsgegevens verwerken d.m.v. bijvoorbeeld een privacyverklaring?
•
Vallen de persoonsgegevens in de categorie bijzondere persoonsgegevens (zoals religie, gezondheid, seksueel leven), strafrechtelijke persoonsgegevens of het nationaal identificatienummer (Zie artikel 9, 10 en 87 AVG en corresponderende artikelen uAVG) Zou je de type persoonsgegevens als gevoelig beschouwen (zoals financiële gegevens of locatiegegevens?)
•
Is er een grondslag/rechtsgrond voor het verwerken van deze persoonsgegevens? (zie artikel 6 lid 1 AVG) Zo ja welke, wanneer ‘taak van algemeen belang en openbaar gezag’, in welke wettelijke regeling is die taak verankerd?
•
Is er noodzaak voor het verwerken van deze persoonsgegevens om het doel te bereiken, of kan het doel ook met minder/geen persoonsgegevens bereikt worden?
Indien gebruik wordt gemaakt van persoonsgegevens, dan dient rekening gehouden te worden met de principes vanuit de AVG en UAVG, en is een DPIA waarschijnlijk noodzakelijk. Voorbeelden: De casusdata bevat persoonlijke identificeerbare informatie (PII), zoals bijvoorbeeld iemands geslacht, leeftijd of naam. Vraag: Een aantal vragen vanuit de Privacy Quickscan dient ingevuld te worden en goedgekeurd door een Privacy Officer. Het gaat specifiek om de volgende vragen: •
Worden er (direct of indirect herleidbare) persoonsgegevens verwerkt in de trainingsdata, het gebruikte model, de inputprompts of als uitkomst van de prompts? (zie artikel 4.1 AVG) NB: indien sprake is van anonieme/geanonimiseerde, geaggregeerde en synthetische gegevens, bespreek dit dan met een Privacy Officer.
Wanneer er geen persoonsgegevens verwerkt worden, hoeven de vervolgvragen niet beantwoord te worden.
Relevante links: AVG Privacy Quickscan
Gemeente Amsterdam - Generatieve AI
12
Stap 2 – Potentiescreening en prioritering (1/2) De projectleider stelt voor elke dimensie een score van 1 tot 5 vast. Dit vormt de basis voor het vaststellen van de wenselij kheid en haalbaarheid van de casus. Verder brengt de projectleider de kosten en/of (tijds)besparingen in kaart, en zet deze af tegen de wenselijkheid en haalbaarheid. De projectleider legt de uitkomsten van het afwegingskader vast middels het template Generatieve AI Afwegingskader –Opdrachtbrief template (“Opdrachtbrief”), en deelt deze met de AI expertisegroep ter advies.
Verticale As: Wenselijkheid Wenselijkheid, zowel vanuit maatschappelijk, organisatorisch als duurzaamheidsoogpunt
Waardenafweging
Duurzaamheid
In kaart brengen van kosten en/of (tijds)besparingen
1: negatief advies vanuit de Ethische Bijsluiter. De toegevoegde waarde weegt niet op tegen de bezwaren, en de bezwaren kunnen niet voldoende gemitigeerd weggenomen worden. 5: positief advies vanuit de Ethische Bijsluiter. Er is veel toegevoegde waarde en behoefte hieraan binnen de organisatie. De bezwaren zijn beperkt en/of kunnen gedurende de ontwikkeling waarschijnlijk geadresseerd worden.
•
Welke investering verwacht je dat er nodig is (kosten en tijd) om het idee te ontwikkelen tot een generatieve AI product?
•
Verwacht je dat er incidentiele of structurele kosten en/of tijdsbesparingen zijn door deze toepassing (kwantificeer indien mogelijk)?
1: er is een grote duurzaamheidsimpact en er is niet voldoende nagedacht over alternatieven. 5: de duurzaamheidsimpact is in kaart gebracht en waar mogelijk geminimaliseerd.
•
In welke mate is er sprake van een langetermijninvestering in een casus of technologie die mogelijk later breder ingezet kan worden voor andere toepassingen?
•
Is dit een goede besteding van publiek geld? Willen we dit geld van de Amsterdammer hieraan uitgeven?
Horizontale As: Haalbaarheid Haalbaarheid, zowel complexiteit (tech, data, model) als compliancy (juridisch/privacy) Technologie
1: het idee is technologisch complex uit te voeren, bijv. doordat niet kan worden aangesloten op bestaande architectuur en er onvoldoende capaciteit en kennis is om de toepassing te ontwikkelen en operationeel te houden. 5: het idee is technologisch eenvoudig te implementeren in de bestaande architectuur en infrastructuur.
Data en model
1: grote uitdagingen rond data en model, bijv. doordat de benodigde data niet beschikbaar of herleidbaar is en er afhankelijkheid is van een generatieve AI model waar nog veel over onbekend is. 5: de benodigde data is eenvoudig beschikbaar en herleidbaar en er is al (positieve) ervaring binnen de gemeente met het benodigde generatieve AI model.
Juridisch en privacy
1: juridische / privacy uitdagingen leiden tot onzekerheid of vertraging, bijv. als er sprake is van een hoog risico casus met grote bezwaren rond intellectueel eigendom, inkoopvoorwaarden en/of AVG. 5: beperkte uitdagingen rond intellectueel eigendom, inkoopvoorwaarden en/of AVG.
Gemeente Amsterdam - Generatieve AI
13
Stap 2 – Potentiescreening en prioritering (2/2) Aan de hand van onderstaande matrix, eventuele showstoppers, en de verwachte kosten en/of (tijds)besparingen, wordt een initieel advies geformuleerd in de Opdrachtbrief.
W e nse lijkhe id
5
De positionering in de wenselijkheid-haalbaarheidsmatrix wordt vastgesteld
II. Mogelijk later
I. Prioriteiten
Deze casussen worden enkel opgepakt indien Amsterdam de toegevoegde waarde vindt opwegen tegen de investering (Go / No Go)
Deze casussen zouden de hoogste prioriteit moeten krijgen zolang dit past binnen de beschikbare capaciteit en budget (Go)
III. Geen prioriteit
IV. Snelle winsten
Deze casussen worden niet door
Deze casussen worden enkel opgepakt
ontwikkeld (No Go)
indien Amsterdam de toegevoegde waarde vindt opwegen tegen de investering (Go / No Go)
Eventuele showstoppers worden in kaart gebracht
3
1 1
3
Haal baarhe i d
Gemeente Amsterdam - Generatieve AI
5
Er wordt vastgesteld of de kosten en/of (tijds)besparingen opwegen tegen de meerwaarde
Op basis van bovenstaande elementen wordt een conclusie gevormd die wordt voorgelegd ter goedkeuring
14
Stap 3 – Centrale go/no go De generatieve AI expertisegroep van de Gemeente Amsterdam zal de casus centraal evalueren en een go/no go advies formuleren voor het DT idomein over de verdere ontwikkeling van deze casus. Deze groep van experts kan de resultaten zoals vastgelegd in de Opdrachtbrief gebruiken om de casus te beoordelen.
Gemeente Amsterdam - Generatieve AI
15
Hoe nu verder? Na een go in stap 3 van het afwegingskader kan worden overgegaan op fase 3 (proces inrichten), waarin de voorbereiding op de ontwikkeling plaatsvindt, bestaande uit o.a. het opstellen van een projectplan en ontwerp, en het inrichten van een ontwikkelteam. De vervolgstappen zijn in detail uitgewerkt in het voortbrengingsproces voor generatieve AI.
Ideevorming Idee evaluatie
Voortbrengingsproces generatieve AI
Ontmanteling
Integratie, monitoring en onderhoud
Gemeente Amsterdam - Generatieve AI
Toepassing wordt z ontwikkeld en/of ingekocht
Fase 3: Proces inrichten De voorbereidende fase voor ontwikkeling van de toepassing. Hieronder vallen de volgende activiteiten: • In kaart brengen van vereiste toezicht en toetsing (Quality Assurance) • Opstellen van een projectvoorstel • Go / No-go vanuit de opdrachtgever op het projectvoorstel, en toewijziging capaciteit en middelen • Opstellen van een functioneel ontwerp • Ontsluiten van de benodigde data • Opstellen van de inkoopvoorwaarden
16
Versie geschiedenis en goedkeuringen Hieronder worden de document versies en goedkeuringen bijgehouden
Document versies Versie 0.9 0.91
Datum 14 februari 2024 1 maart 2024
0.92
6 maart 2024
0.93
14 maart 2024
Verandering Concept versie document Concept versie. Dimensies waarde voor de Amsterdammer / organisatie en ethiek zijn samengevoegd. Concept versie om in te dienen bij DT i-domein. Hierin zijn de kosten en/of (tijds)besparingen uit de waardenafweging gehaald en opgenomen in de prioritering. Concept versie, waarbij een aantal feedbackpunten is verwerkt vanuit de weekstart.
Goedkeuringen Versie 1.0
Datum xxx
Comité DT i-domein
Goedkeuring xxx