Bijlage 4 bij brief van de minister.pdf
Tekst van het document
2.2
Statusafhandeling bevindingen en wensen In bijgevoegde figuur is de status aangegeven van de afhandeling van de meldingen onderverdeeld naar bevindingen, wensen en vraag. Een beknopte duiding van onderstaande figuur: Van de totaal 259 bevindingen zijn er 34 afgehandeld, 40 hebben de status hertesten. 40 meldingen hebben de status wacht op release Daarmee zijn (bijna) afgehandeld in totaal 114 meldingen. Verder hebben 7 meldingen de status in TBO-funnel (in beoordelingsproces door Tactische Beheer Organisatie DSO-LV). Doorgezet naar behandelteam betreft 110 bevindingen. 28 bevindingen hebben de status wacht op melder, reactie ontvangen en vervallen. Daarmee zijn 145 meldingen nog in behandeling.
Pagina 24 van 56
Rapportage Indringend Ketentesten Fase 4 | juni 2023
Figuur 4. Bevindingen en wensen per status Zie Bijlage 5 voor een grotere weergave van deze figuur en de bijbehorende gegevens.
2.3
Meldingen per prioriteit In onderstaande 3 figuren is aangegeven welke prioriteit is toegekend aan de meldingen. De gegeven prioritering heeft de volgende betekenis: • •
•
•
Prioriteit 1: Een onderdeel van de gehele keten werkt niet, waardoor de dienstverlening naar alle gezagen (of een specifieke groep) niet werkt. Prioriteit 2: Alle onderdelen van de gehele keten werken, maar één, of een kleine groep gezagen ondervindt een belemmerende/blokkerende verstoring ten aanzien van de functionaliteit. Prioriteit 3: Er is een bevinding geconstateerd, maar de gebruiker kan functioneel wel verder (er is bijvoorbeeld een workaround beschikbaar, of een stap kan worden overgeslagen) Prioriteit 4: Er is geen belemmerende bevinding geconstateerd en de testuitvoering kan vervolgd worden.
Tijdens IKT-4 is 1 bevinding geclassificeerd met prioriteit 1. ‘Zoeken van locaties’ (in het Omgevingsloket) functioneerde 1,5 dag niet, vanwege een tijdelijke storing in een externe service (PDOK). In onderstaande drie figuren worden de bevindingen en wensen weergegeven: • • •
Voor het DSO-LV Bevindingen lokale software-leveranciers Wensen lokale software-leveranciers
Een beknopte duiding van onderstaande drie figuren: • •
•
De prioriteit 1-bevinding (niet beschikbaar zijn van een (locatie-)service in het Omgevingsloket) was binnen 1,5 dag opgelost De meeste bevindingen betreffen (niet urgente) prioriteit 3-bevindingen. Voor DSO-LV is het overgrote deel daarvan: 'afgehandeld', 'klaar voor release' of 'in proces van hertesten' Vanuit het IKT-project is er scherp zicht op de behandeling van DSO-LVmeldingen, omdat dit loopt via de centrale Tactische Beheer Organisatie. Minder scherp zicht is er op de behandeling van meldingen door de lokale bevoegde gezagen / lokale software-leveranciers. Dit loopt formeel via de lokale bevoegde gezagen. Hier wordt dan ook volstaan met alleen de vermelding van de prioriteiten van de meldingen voor lokale software-leveranciers. Pagina 25 van 56
Rapportage Indringend Ketentesten Fase 4 | juni 2023
Figuur 5. Bevindingen en wensen ten aanzien van DSO-LV Zie Bijlage 5 voor een grotere weergave van deze figuur en de bijbehorende gegevens.
Figuur 6. Bevindingen voor lokale software-leveranciers per prioriteit Zie Bijlage 5 voor een grotere weergave van deze figuur en de bijbehorende gegevens.
Figuur 7. Wensen voor lokale software-leveranciers per prioriteit Zie Bijlage 5 voor een grotere weergave van deze figuur en de bijbehorende gegevens.
Aantal Wensen voor lokale leveranciers per prioriteit
7
IKTLeverancier Prioriteit 4
Pagina 26 van 56
Rapportage Indringend Ketentesten Fase 4 | juni 2023
2.4
Bevindingen per processtap In onderstaande figuur zijn voor IKT-4 de bevindingen aangegeven per processtap, de zogenaamde 'capabiliteit' uit de minimale functionele set. Een beknopte duiding van onderstaande 2 figuren: • •
•
De meeste testbevindingen zijn gedaan bij de DSO-viewers (stap 04b) en bij het doorlopen en afhandelen van de vergunning-aanvraag (stappen 08b en 09b) Inzoomend op de prioriteiten, dan worden bij genoemde processtappen vooral bevindingen met een niet urgente prioriteit (3) geregistreerd. Dit is te verklaren doordat er relatief veel 'kleinere' bevindingen en wensen gedaan zijn op deze processtappen, mede ook doordat de bevindingen van de MKB-toets hierin meetellen. Geconstateerd kan ook worden dat in de planprocessen weliswaar minder bevindingen zijn geregistreerd, maar dat hieraan vaak wel een hogere prioriteit is toegekend, zoals de processtap 'valideren plan' (prioriteit 2). Dit is begrijpelijk, omdat dit mogelijke 'serieuze showstoppers' kunnen zijn in een planproces van een bevoegd gezag.
Figuur 8. Bevindingen per processtap Zie Bijlage 5 voor een grotere weergave van deze figuur en de bijbehorende gegevens.
Figuur 9. Prioriteiten per processtap Zie Bijlage 5 voor een grotere weergave van deze figuur en de bijbehorende gegevens.
Pagina 27 van 56
Rapportage Indringend Ketentesten Fase 4 | juni 2023
3
Trendanalyse geheel IKT (Fasen 1 tot en met 4)
In dit hoofdstuk wordt een overzicht gegeven van de meldingen binnen de gehele looptijd van IKT (totaal 24 testweken). Voor de gehele looptijd van IKT gaat het om in totaal 1432 meldingen: • • •
1025 bevindingen 406 wensen 1 vraag
Omwille van de leesbaarheid zijn alle opgenomen figuren en de bijbehorende gegevens in dit hoofdstuk, met een grotere weergave opgenomen in Bijlage 6. 3.1
Aantallen meldingen per IKT-testweek onderverdeeld naar soort melding In onderstaand figuur staat per testweek het aantal meldingen opgesplitst naar bevinding, wens en vraag. Met uitzondering van testweek 5 en 6 is het aantal geconstateerde bevindingen vrij stabiel. Een beknopte duiding van onderstaande figuur: •
•
Er is sprake van een licht dalende lijn in het aantal bevindingen. Dat deze niet sterker daalt laat zich als volgt verklaren. Er wordt risico-gestuurd getest en elke IKT-fase wordt gefocussed op andere onderdelen en mogelijke risico's in het DSO als geheel. In fase 1 en 2 lag de focus bij de afzonderlijke (3) ketens. In fasen 3 en 4 is meer complexiteit 'opgezocht' door nadrukkelijk te kijken naar (interbestuurlijke) samenwerking. Ook wordt in elke IKT-Fase weer gekeken welke nieuw beschikbare functionaliteit (centraal en decentraal, maar ook de TAM) meegenomen kunnen worden in het IKT-testen. Door bewust deze complexiteit en risico's te blijven opzoeken wordt verklaard dat het aantal testbevindingen gedurende de IKT-uitvoering niet harder daalt. De 3 'pieken' laten zich als volgt verklaren. In testweken 5 en 6 is vooral de planketen indringender getest. In testweek 18 is de MKB-toets door het IKT-team gefaciliteerd. Dit leverde relatieve veel bevindingen en wensen op met een lagere prioriteit. Over de MKB-toets is inhoudelijk separaat gerapporteerd door het programma Aan de slag met de Omgevingswet.
Figuur 10. Aantallen meldingen per IKT-testweek onderverdeeld naar soort melding Zie Bijlage 6 voor een grotere weergave van deze figuur en de bijbehorende gegevens.
Pagina 28 van 56
Rapportage Indringend Ketentesten Fase 4 | juni 2023
3.2
Aantal meldingen in relatie tot aantal deelnemers Het aantal geplande en daadwerkelijk deelnemende bevoegd gezagen is in onderstaande tabel weergegeven. Een beknopte duiding van onderstaand figuur: •
•
In het aantal deelnemende bevoegd gezagen aan de IKT-testweken is geen duidelijk dalende of stijgende trend te onderkennen. Deze bestaan per koepel uit bevoegde gezagen die al vele testweken hebben meegedaan en andere bevoegde gezagen die korter deelnemen. Geconstateerd wordt dat niet altijd het aantal geplande gezagen ook allemaal deelnemen aan de feitelijke uitvoering in een testweek. Dit heeft vaak te maken organisatorische of technische redenen aan de kant van het bevoegd gezag.
Figuur 11. Aantal meldingen in relatie tot aantal deelnemers Zie Bijlage 6 voor een grotere weergave van deze figuur en de bijbehorende gegevens.
3.3
Verdeling bevindingen naar prioriteiten In onderstaande tabel zijn de bevindingen gedurende IKT-fase 1, 2, 3 en 4 weergegeven naar prioriteit. Een beknopte duiding van onderstaande figuur: • • • •
Er is een lichte daling van het totale aantal bevindingen Zeer incidenteel is sprake van een prioriteit 1 bevinding Er is een dalende trend in prioriteit 2 bevindingen Samenvattend zou kunnen worden gesteld voor de gehele IKT-uitvoering tot nu toe: er worden minder bevindingen geconstateerd (ondanks het feit dat de IKTtestcasuistiek steeds verder in complexiteit toeneemt) en en de bevindingen die aangetroffen worden zijn 'minder ernstig'
Pagina 29 van 56
Rapportage Indringend Ketentesten Fase 4 | juni 2023
Figuur 12. Verdeling prioriteiten Zie Bijlage 6 voor een grotere weergave van deze figuur en de bijbehorende gegevens.
Pagina 30 van 56
Rapportage Indringend Ketentesten Fase 4 | juni 2023
4
Verbetermaatregelen in IKT-4
4.1
IKT-registratie, -tooling, en rapportages De adviezen van AcICT en Axini hebben voor een belangrijk deel betrekking op uitbouw van de bestaande IKT-tooling en –rapportages. Gedurende IKT-3 is hier al een start mee gemaakt en gedurende IKT-4 zijn concrete verbeteringen door het testteam beproefd in een zogenaamde 'proeftuin verbeteringen IKT'. Concreet zijn de volgende acties uitgevoerd: 1. Analyse van het IKT-werkproces en waar mogelijk doorvoeren van verbeteringen 2. Registratietooling inzetten voor het gehele IKT-werkproces 3. Uitbouw van de IKT-rapportages 4. Proefdraaien met deze aanpassingen gedurende de laatste testweek van IKT-4 Analyse van het werkproces leverde niet zozeer inhoudelijke verbeteringen op, als wel de wijze van registreren en daarover rapporteren. Daar is in de IKT-proeftuin dan ook de nadruk op gelegd. Door het inzetten van de registratietooling over het gehele werkproces is een relatie te leggen tussen: plan van aanpak voor een IKTfase, testplan per testweek, specifieke afspraken per koepel, uitwerking van de testuitvoering per deelnemend bevoegd gezag, koppeling aan de minimale functionele set (de testnorm) en koppeling aan de bevindingenregistratie. Er is een aantal standaardrapportages benoemd die ook al (deels) gemaakt worden bij de huidige IKT-werkwijze. Hierbij gaat het om de volgende standaardrapportages: • • • •
Testresultaten van een IKT-testweek Rapportage van een IKT-fase Plan van Aanpak voor een komende IKT-fase Dekking IKT
En daarnaast gaat het om een aantal rapportages die alleen relevant zijn binnen het IKT-project: • •
Testplan voor een komende IKT-testweek Voortgang testuitvoering van een lopende testweek
Gedurende de laatste testweek (24) van IKT-4 is succesvol proefgedraaid met deze aangepaste tooling en rapportages. Vanaf de start van IKT-5 worden deze verbeteringen in productie genomen. Met ingang van rapportage IKT-5 zullen deze aanpassingen zichtbaar zijn in de rapportages. 4.2
Dekking IKT Binnen het IKT-project wordt getest met koplopers van bevoegd gezagen en softwareleveranciers. Toch kan op basis van andere – binnen het programma Aan de slag met de Omgevingswet beschikbare overzichten – een uitspraak worden gedaan hoe alle andere bevoegd gezagen (anders dan de IKT-deelnemers) ‘geraakt worden’ door de uitgevoerde IKT-testen. Immers, een softwareleverancier bedient niet alleen het aan IKT deelnemende bevoegd gezag met haar oplossing, maar ook een groot aantal andere bevoegd gezagen met dezelfde oplossing. In de uitgevoerde analyse is gekeken welke unieke combinaties van softwareleveranciers er zijn voor de drie ketens (plan, toepasbare regels en VTH) en welke functionaliteiten van de minimale functionele set in het kader van IKT geraakt zijn door deze unieke combinatie. Doordat bij het programma Aan de slag met de Pagina 31 van 56
Rapportage Indringend Ketentesten Fase 4 | juni 2023
Omgevingswet bekend is op welke bevoegde gezagen deze unieke combinatie ook van toepassing is, kan dus iets gezegd worden over de (indirecte) dekking van IKT voor álle bevoegde gezagen. Binnen IKT noemen we dit de IKT-dekking. Bij het 'raken' van de minimale functionele set wordt daarbij ook verbijzonderd naar juridische instrumenten en mutatievormen. De eerste analyses die zijn uitgevoerd gedurende IKT-4 geven een goed inzicht in deze landelijke IKT-dekking. Gekeken is naar alle bevoegd gezagen die aangesloten zijn op de pre-productie-omgeving. Deze worden bediend door in totaal 99 unieke leverancierscombinaties (Plan-TR-VTH). Zo bedienen de 'bovenste' 10 van deze leverancierscombinaties daarbij meer dan 50% van alle bevoegde gezagen. Vanuit het oogpunt van risico-gestuurd testen zijn de 'bovenste' leverancierscombinaties dus het meest relevant om in IKT mee te nemen. Daarmee is focussen op de grote leverancierscombinaties één van de onderscheidende factoren voor gewenste IKT-deelname. Andere factoren zijn bijvoorbeeld: de releaseplanning van de leverancier (zie daarvoor ook de 'basischecks' op de website van programma Aan de slag met de Omgevingswet) en de implementatievoorbereidingen bij het bevoegd gezag zelf.
Parallel aan bovenstaande zal in IKT-5 ook onderzocht worden of bij de IKTregistratie (en daarmee ook in de rapportage) er een verdere 'objectivering van de gebruikte content' kan plaatsvinden. Immers, als een functionaliteit in de keten werkt met simpele content, betekent dit niet automatisch dat complexe content ook probleemloos werkt in de keten. IKT werkt in toenemende mate met complexe content. Om ook echt appels met appels te kunnen vergelijken is het verstandig de classificatie van de content in het test- en registratieproces van IKT verder te 'objectiveren'. Eerste resultaten hiervan worden verwacht na IKT-5.
Pagina 32 van 56
Rapportage Indringend Ketentesten Fase 4 | juni 2023
BIJLAGE 1 De DSO keten in 11 stappen
Figuur 1. Procesplaat DSO-keten in 11 stappen
Pagina 33 van 56
Rapportage Indringend Ketentesten Fase 4 | juni 2023
BIJLAGE 2 Minimale functionele set en IKT-4
In onderstaande tabel wordt aangegeven welke functionaliteiten uit 'de minimale functionele set' onderdeel zijn van de uitgevoerde testen in IKT-4. Ook is aangegeven welke functionaliteiten onderdeel waren van de testen vóór IKT-4 (IKT 1-2-3) en welke functionaliteiten beoogd zijn te testen ná IKT-4. SCOPE IKT
VNG
Processtap
Niet binnen IKT
Wel binnen IKT
0
Inhoudelijke juridische test TAM
TAM in relatie tot de keten
1
1
1
1
1
2
Uitgebreide test van de bruidsschat
UvW
Rijk
voor IKT-4
X 1
IPO
1.2 kunnen opstellen en wijzigen omgevingsinstrument in relatie tot de (plan)keten
Applicatiebrede functionele test plansoftware – onderdeel stadia omgevingsinstrumenten
1.3 kunnen omgaan met levenscyclus/stadia van omgevingsinstrumenten in relatie tot de (plan)keten
Applicatiebrede functionele test plansoftware – onderdeel werkproces
1.4 kunnen ondersteunen bij het werkproces in relatie tot de (plan)keten
Applicatiebrede functionele test plansoftware – onderdeel raadplegen
1.5 kunnen raadplegen van omgevingsinstrumenten (nu geldend en concepten) in relatie tot de (plan)keten
Applicatiebrede functionele test plansoftware – onderdeel samenwerken
1.6 kunnen samenwerken met andere organisaties
Applicatiebrede functionele test plansoftware – onderdeel validaties
2.1 kunnen valideren van omgevingsdocumenten in relatie tot de (plan)keten
IPO
UvW
Rijk
tijdens IKT-4
X
X
X
X
X
X
X
X
Pagina 34 van 56
X
X
X
X
X
X
X
X
X
X
X
X
UvW
Rijk
X
X
X
IPO
na IKT-4
X
X
VNG
X
1.1 kunnen starten met de definitieve versie van de bruidsschat in relatie tot de (plan)keten
Applicatiebrede functionele test plansoftware – onderdeel opstellen en wijzigen
VNG
X
X
X
X
X
X
X
X
X
X
X
X
X
X
X
X
X
X
X
X
X
X
X
X
X
X
X
X
X
X
X
X
X
Rapportage Indringend Ketentesten Fase 4 | juni 2023
SCOPE IKT
VNG
Processtap
Niet binnen IKT
Wel binnen IKT
3
Applicatiebrede functionele test plansoftware – onderdeel publicatie
3.1 kunnen publiceren van omgevingsinstrument in relatie tot de (plan)keten: diverse omgevingsinstrumenten, verschillende varianten
4
4
4
5
5
6
7
8
8
8
IPO
UvW
Rijk
voor IKT-4
VNG
IPO
UvW
Rijk
tijdens IKT-4
VNG
IPO
UvW
Rijk
X
na IKT-4
X
X
X
X
X
X
X
X
X
X
X
X
X
X
X
X
X
X
X
X
X
X
X
X
X
X
X
X
X
X
X
X
X
X
X
X
X
Brede functionele test van LVBB-viewer, non functionals (onder andere performance), gebruiksvriendelijkheid, acceptatie-test
4a. bekijken omgevingsdocument (LVBB) in relatie tot de (plan)keten
Brede functionele test van DSO-LVviewer, non functionals (onder andere performance), gebruiksvriendelijkheid, acceptatie-test.
4b. bekijken omgevingsdocument (DSO-LV-viewer) in relatie tot de (plan)keten
Brede functionele test van Viewer Documenten op de kaart (VDK), non functionals (onder andere performance), gebruiksvriendelijkheid, acceptatie-test.
4c. bekijken omgevingsdocument in VDK in relatie tot de (plan)keten
Applicatiebrede functionele test van toepasbare-regelsoftware
5.1 kunnen opstellen en beheren van toepasbare regels in relatie tot de keten
X
X
X
X
X
X
X
X
X
Applicatiebrede functionele test van toepasbare-regelsoftware
5.2 kunnen genereren van toepasbare regels in STTR-formaat in relatie tot de keten
X
X
X
X
X
X
X
X
X
Applicatiebrede functionele test van toepasbare-regelsoftware
6.1 kunnen opstellen en beheren van toepasbare regels in relatie tot de keten
X
X
X
X
X
X
X
X
X
Applicatiebrede functionele test van toepasbare-regelsoftware
7. publiceren toepasbare regels X
X
X
X
X
X
X
X
X
Brede functionele test van Omgevingsloket – check, nonfunctionals (onder andere performance), gebruiksvriendelijkheid, acceptatietest
8a. Vergunningcheck in relatie tot de VTH-software X
X
X
X
X
X
X
X
X
Brede functionele test van Omgevingsloket – aanvraag, non functionals (onder andere performance), gebruiksvriendelijkheid, acceptatietest
8b. aanvraag in relatie tot de VTHsoftware (meerdere paden) X
X
X
X
X
X
X
X
X
X
?
X
BOPA in relatie tot de keten
X
Pagina 35 van 56
X
X
X
X
X
Rapportage Indringend Ketentesten Fase 4 | juni 2023
SCOPE IKT
VNG
Processtap
Niet binnen IKT
Wel binnen IKT
9
Applicatiebrede functionele test van VTH-software
9a. ontvangen en behandelen aanvraag/melding in relatie tot aanvraag
9 10
11
IPO
UvW
Rijk
voor IKT-4
X
X
VNG
IPO
UvW
Rijk
tijdens IKT-4
X
X
X
X
VNG
IPO
UvW
Rijk
X
X
X
X
X
X
na IKT-4
X
9b. terugkoppeling initiatiefnemer
X X
X
Brede functionele test behandeldiensten, acceptatietest
10. aanvraag naar andere behandeldienst
X
X
X
X
X
X
X
X
X
X
X
Brede functionele test Samenwerkfunctionaliteit, acceptatietest
11. samenwerken aan aanvraag met partners
X
X
X
X
X
X
X
X
X
X
X
Pagina 36 van 56
Rapportage Indringend Ketentesten Fase 4 | juni 2023
BIJLAGE 3 Maatregelen naar aanleiding van adviezen AcICT
In onderstaande tabel wordt de status en implementatie in IKT-4 weergegeven van de maatregelen naar aanleiding van de door AcICT gegeven adviezen. Passage advies AcICT
Nr.
Maatregel
Actiehouder
Status en implementatie in IKT-4
M1
QA – inhuur van externe QA-deskundigheid
QA-DSO
Externe testdeskundige Axini is ingehuurd vanaf medio oktober 2022. Axini adviseert het DSO-programma over Quality assurance (QA) en daarmee ook het IKT-project.
M2
Uitbreiding testteam (IKT)
Project IKT
Per begin 2023 is het huidige centrale IKT-testteam uitgebreid met drie extra functionele testers en een business-scenariospecialist. Ook de testteams bij de koepels zijn verder versterkt.
M3
Versterken regierol (IKT) – inzet fulltimeprojectleider IKT
Project IKT
Projectmanager IKT is fulltime inzetbaar tot minimaal inwerkingtreding. Aansturing van het centrale testteam wordt vormgegeven samen met de testmanager en de projectleider uitvoering IKT (testcoördinator)
M4
Rapport testpiramide – inzicht leveren in en voor de keten welke testen er op welk niveau hebben plaatsgevonden.
QA-DSO
Rapport testpiramide is opgeleverd door Axini.
M5
Risico's IWT – op systematische en grondige wijze risico's verbonden aan IWT in beeld brengen.
QA-DSO
Risico's IWT zijn systematisch in beeld gebracht. Via het risicomanagement-proces wordt de voortgang gemonitord. Waar risico's gemitigeerd kunnen worden door IKT-testcasuïstiek, wordt dit opgenomen in de werkvoorraad van IKT.
M6
Advies aanvullende maatregelen – Scope is de testaanpak van de hele keten voor opvolgende testperiodes.
Project IKT
Implementatie van aanvullende maatregelen is een permanent proces. Een van de maatregelen is het in beeld brengen van de testdekking in relatie tot de IKT-testuitvoering. Hier is in IKT-4 vorm aan gegeven door een analyse van de (indirecte) dekking van alle bevoegde gezagen door het IKT-testen. De definitieve analyseresultaten zullen in IKT-5 worden gerapporteerd. Zie ook hoofdstuk 4 van dit rapport.
M7
Complexe praktijkcasuïstiek (IKT) – In IKT wordt in toenemende mate met realistische complexe casuïstiek gewerkt die meerdere business-scenario's en risico's afdekt.
Project IKT
Het proces wat al zichtbaar was in IKT-3, is in IKT-4 krachtig doorgezet. Testcasuïstiek waarbij in een test betrokken worden: meerdere ketens, met meerdere bevoegd gezagen en meer realistische (complexe) content. Ook uitbreiding naar meer betrokken softwareleveranciers.
M8
Strategie ketentesten (IKT) – Een reeds gevormde expertgroep expliciteert de strategie in de testaanpak om te komen tot de juiste testgevallen en maakt inzichtelijk in hoeverre het IKT dit voldoende afdekt.
Project IKT
Relevant is hier het thans in voorbereiding zijnde Master-testplan voor het gehele DSO. Van dit plan vormt het 'IKT-testen' een onderdeel.
(22/12/2022) 1. Vorm het bestaande IKT-projectteam om tot een professioneel, centraal ketentestteam.
1.1. Voer met dit team de testen uit op basis van een fout- en voortgangsanalyse vanuit een gedegen uitgewerkt testontwerp.
Pagina 37 van 56
Rapportage Indringend Ketentesten Fase 4 | juni 2023
Passage advies AcICT
Nr.
Maatregel
Actiehouder
Status en implementatie in IKT-4
M9
Testcombinaties over de hele keten (IKT) – Verschillende combinaties gaan intensief en voor langere periode samenwerken om langere tijd aan het IKT bij te dragen met op elkaar afgestemde casuïstiek.
Project IKT
Zie M7
(22/12/2022) 1.1. Haak waar nodig met name de expertise van bevoegd gezagen, onderzoekbureaus en decentrale softwareleveranciers aan. 1.2. Zorg dat de scope van het testontwerp de gehele keten van DSOLV tot en met de decentrale software omvat, zowel functioneel als niet-functioneel.
Zie ook M7, M8, M9 en M11 M10
Unhappy flows (IKT) – In IKT wordt expliciet getest met unhappy flows.
Project IKT
In IKT-3 is al een aantal unhappy flows getest. Dit is doorgezet in IKT-4.
1.3. Werk de nietfunctionele keteneisen en ketennormen uit in een ontwerp en voer op basis daarvan ketenbrede testen uit.
M11
Niet-functionele aspecten – Uitvoeren van een analyse of niet-functionele aspecten voldoende zijn afgedekt door maatregelen lager in de testpiramide en voor welke nietfunctionele aspecten aanvullende maatregelen nodig zijn op ketenniveau.
QA-DSO
Zie M4
1.4. Regisseer met dit centrale team tevens het door de bevoegd gezagen uitgevoerde oefenen en (acceptatie)testen.
M12
Verrijken IKT-data met gegevens 'uit het land'
QA-DSO
Naast het testen door IKT met bevoegd gezagen wordt er in het land veel geoefend en getest. Vanaf IKT-4 is nadrukkelijker aansluiting gezocht bij het oefenen en testen in het land. Belangrijk is hierbij dat ook dan gewerkt zal worden volgens de IKT-werkprocessen en kwaliteitsstandaarden.
M13
Aanvullend testen bij bevoegd gezagen
Project IKT
Zie M12
M14a
Functionele testomgeving (IKT) – Inventariseren wat er nog ontbreekt aan de bestaande productie-testomgeving om te kunnen ketentesten.
Project IKT
Voor het IKT-project is het werken met de pre-productieomgeving (oefenomgeving) als testomgeving werkbaar. Hierdoor kan gewerkt worden met realistische content en software die gelijk is aan de productieomgeving.
M14b
Leveranciersomgeving – Uitvoeren van een analyse bij leveranciers om vast te stellen of gebruik van de huidige testeilanden voldoende kan zijn voor deze (pre-IWT) periode.
QA DSO
Een analyse is uitgevoerd ten aanzien van de werkbaarheid van de huidige testomgeving (is de pre-productieomgeving, inclusief de zogenaamde test-eilanden). Deze analyse geeft aan dat de huidige situatie voor leveranciers voor IKT-testen werkbaar is. Wel loopt er een onderzoek naar een separate leveranciers-testomgeving.
M15a
Reproduceerbaarheid – Testgevallen zijn gedocumenteerd en testdata worden in het testgeval vastgelegd om de functionele reproduceerbaarheid te vergroten.
Project IKT
Testgevallen zijn gedocumenteerd en testdata worden in het testgeval beschreven om de functionele reproduceerbaarheid te vergroten.
M15b
Reproduceerbaarheid – Project IKT zal aanvullend adviseren welke testen op welke wijze herhaald kunnen worden.
QA DSO
Nader onderzoek heeft uitgewezen dat de (functionele) reproduceerbaarheid van IKT-testgevallen voldoende is geborgd is in de wijze van vastleggen en documenteren.
2. Zorg dat dit team kan beschikken over een separate en integrale testomgeving met daarop centraal configuratiemanagement, ook na inwerkingtreding. Die omgeving moet overeenkomen met de productieomgeving, inclusief representatieve testdata. Tevens biedt deze omgeving de basis voor het testen van de hiervoor genoemde kwaliteitsattributen waarbij ook de decentrale software betrokken wordt.
Pagina 38 van 56
Rapportage Indringend Ketentesten Fase 4 | juni 2023
Passage advies AcICT
Nr.
Maatregel
Actiehouder
Status en implementatie in IKT-4
M16
Geconsolideerde rapportage IWT (in samenwerking met IKT) – Inzichten in de risico's op basis van de testbevindingen, worden geconsolideerd in een rapportage die inzicht geeft op de vraag of we verantwoord in werking kunnen gaan.
QA-DSO
Tijdens IKT-4 zijn verbeteringen doorgevoerd in het proces van IKT -registratie, -tooling, en -rapportages. Zie hiervoor hoofdstuk 4 van dit rapport.
M17
Trendanalyses – Uitvoeren van analyse op bevindingen om vast te stellen wat de trend is in hoeveelheid en aard van de fouten.
QA-DSO
Zie ook M6 en M16
(22/12/2022) 3. Richt een integrale bevindingenregistratie in voor het eigen maatwerk van DSO-LV en voer op basis hiervan fout- en voortgangsanalyses uit. Deze analyses kunnen een indicatie geven van het aantal latente fouten en van de tijd die nog nodig is om het gewenste kwaliteitsniveau te behalen.
Pagina 39 van 56
Rapportage Indringend Ketentesten Fase 4 | juni 2023
BIJLAGE 4 Deelnemende organisaties IKT-4
In onderstaande tabellen worden de deelnemende organisatie weergegeven van IKT-4, waarbij per bevoegd gezag ook het type IKT-test is vermeld. Gemeenten
Type testen
1
Apeldoorn
Plan-keten
2
Beekdaelen
Plan-keten
3
Bodegraven-Reeuwijk
Plan-keten, DSO-keten
4
Deventer
Plan-keten, DSO-keten
5
Dijk en Waard, provincie
Interbestuurlijke plan-keten
Noord Holland
Waterschappen
Type testen
1
Hoogheemraadschap Stichtse Rijnlanden
Plan-keten, DSO-keten
2
Hoogheemraadschap Hollands Noorderkwartier
Plan-keten, DSO-keten
3
Waterschap Limburg
Plan-keten, DSO-keten, VTH-keten
4
Waterschap Rijn & IJssel
Plan-keten, DSO-keten, VTH-keten
6
Eindhoven
Plan-keten
5
Waterschap Hunze en Aa's
Plan-keten, DSO-keten, VTH keten
7
Leidschendam-Voorburg
Plan-keten
6
Waterschap Amstel Gooi & Vecht
Plan-keten, DSO-keten
8
Purmerend
Plan-keten
7
Waterschap Rivierenland
Plan-keten, DSO-keten, VTH-keten
9
Putten, OD Noord Veluwe
VTH-keten, VTH- samenwerking
10
Rijssen-Holten
Plan-keten
8
Waterschap Vallei en Veluwe
VTH-keten
11
Roosendaal
Plan-keten
12
Schiedam
Plan-keten
13
Utrecht, RUD
DSO-keten, VTH-keten, VTH-samenwerking
14
Veenendaal
Plan-keten, DSO-keten
Provincies
Type testen
1
Drenthe
Planketen
2
Gelderland
Planketen
3
Noord-Holland
Planketen, VTH-keten
4
Overijssel
Planketen, VTH-keten, VTH-Samenwerking
5
Utrecht
Planketen
Rijkspartijen
Type testen
1
Rijkswaterstaat
VTH-keten, VTH-samenwerking interbestuurlijk
2
Rijksdienst voor Ondernemend Nederland VTH-keten, VTH-samenwerking interbestuurlijk
3
ProRail
VTH-keten, VTH-samenwerking
4
Service Team Rijk
Plan-keten (niet in IKT-verband, wel vermeldenswaardig)
Overige organisaties • Softwareleveranciers • Omgevingsdiensten
Pagina 40 van 56
Rapportage Indringend Ketentesten Fase 4 | juni 2023
BIJLAGE 5 Figuren en tabellen bij hoofdstuk 2
Figuur 2. Totaal aantal meldingen onderverdeeld naar bevinding of wens
Totaal aantal meldingen onderverdeeld naar bevinding of wens Soort melding
Aantal van issuetype
Bevinding
259
Wens
98
Eindtotaal
357
Pagina 41 van 56
Rapportage Indringend Ketentesten Fase 4 | juni 2023
Figuur 3. Aantallen bevindingen en wensen per koepelorganisatie
Aantallen bevindingen en wensen per koepelorganisatie (Koepel)organisatie
Bevinding
Wens
Totaal
Bedrijfsleven (mkb)
36
43
79
Bevoegd gezag – Gemeente
84
7
91
Bevoegd gezag – Provincie
71
19
90
Bevoegd gezag – Waterschap
42
16
58
Bevoegd gezag – Rijk
18
10
28
DSO-organisaties – IKT
8
3
11
259
98
357
Eindtotaal
Pagina 42 van 56
Rapportage Indringend Ketentesten Fase 4 | juni 2023
Figuur 4. Bevindingen en wensen per status
Status
Toelichting
Wacht op release
De oplossing die de bevinding c.q. wens verhelpt staat op de voorraadlijst van één van de oplosteams om gemaakt te worden of is al gemaakt. Moet nog wel formeel gereleased worden.
Te beoordelen testmanager
De bevinding c.q. wens dient nog beoordeeld te worden door de testmanager.
In TBO-Funnel
De oplossing die de bevinding c.q. wens verhelpt staat klaar om beoordeeld te worden of en hoe deze meegenomen zal worden in een release.
Vervallen (test-issue)
Betreft een testmelding voor alleen intern gebruik.
Wacht op Melder
De bevinding c.q. wens wacht in het proces omdat er aanvullende informatie van de melder nodig is voor een adequate beoordeling.
Vervallen
Tijdens de beoordeling van de melding is vastgesteld dat de melding geen volwaardige bevinding c.q. wens is, of mogelijk dubbel is opgevoerd en komt daarmee te vervallen
Reactie ontvangen
Er is een reactie ontvangen m.b.t. een bevinding c.q. wens voor een verdere beoordeling.
Hertesten
Er is een wijziging in het DSO (andere content, nieuw opgeleverde software of een antwoord met instructie e.d.) waarbij de melder gevraagd wordt om de bevinding c.q. wens opnieuw te testen. Afhankelijk van de uitkomst van deze hertest wordt de bevinding c.q. wens in het proces verder verwerkt.
Doorgezet naar Behandelteam
De bevinding c.q. wens is doorgezet naar een behandelteam van DSO-LV, een lokale softwareleverancier of de DSO-LV Business Analisten.
Pagina 43 van 56
Rapportage Indringend Ketentesten Fase 4 | juni 2023
Afgehandeld
De bevinding doet zich niet meer voor door geactualiseerde software, gewijzigde content, infrastructurele aanpassingen of doordat de melder instructie heeft gekregen over het juiste gebruik van de functionaliteit. Ook is het is mogelijk dat de bevinding c.q. wens is afgewezen en er geen verandering wordt doorgevoerd.
Bevindingen en wensen per status Soort melding
Afgehandeld
Doorgezet naar Behandelteam
Hertesten
In TBO-Funnel
Wacht op Melder
Wacht op release
Eindtotaal
Bevinding
34
110
40
7
28
40
259
Wens
18
72
2
4
1
1
98
Eindtotaal
52
182
42
11
29
41
357
Pagina 44 van 56
Rapportage Indringend Ketentesten Fase 4 | juni 2023
Figuur 5. Bevindingen en wensen ten aanzien van DSO-LV
Bevindingen en wensen ten aanzien van DSO-LV Soort melding
Prioriteit 4
Prioriteit 3
Prioriteit 2
Prioriteit 1
Eindtotaal
Bevinding
13
118
9
1
141
Afgehandeld
1
19
1
1
22
Doorgezet naar Behandelteam
6
15
2
23
Hertesten
1
32
3
36
Wacht op Melder
2
10
2
14
Wacht op release
3
35
1
39
Wens
4
1
5
Doorgezet naar Behandelteam
3
1
4
Hertesten
1
Eindtotaal
17
In TBO-Funnel
7
7
1 119 Pagina 45 van 56
9
1
146
Rapportage Indringend Ketentesten Fase 4 | juni 2023
Figuur 6. Bevindingen voor lokale software-leveranciers per prioriteit
Bevindingen IKT-leveranciers per prioriteit
Aantal
Prioriteit 2
16
Prioriteit 3
69
Prioriteit 4
3
Eindtotaal
88
Pagina 46 van 56
Rapportage Indringend Ketentesten Fase 4 | juni 2023
Figuur 7. Wensen voor lokale software-leveranciers per prioriteit
Wensen IKT-leveranciers per prioriteit
Aantal
Prioriteit 4
7
Eindtotaal
7
Pagina 47 van 56
Rapportage Indringend Ketentesten Fase 4 | juni 2023
Figuur 8. Bevindingen per processtap
Bevindingen per processtap DSO-processtap Niet toegekend aan processtap
Bedrijfsleven (mkb)
Gemeente
Provincie
Waterschap
Rijk
DSO-organisaties – IKT
1
Eindtotaal 1
00. Maken en wijzigen omgevingsinstrument
1
1
01 – Downloaden en wijzigen plan
4
3
7
02 – Valideren plan
14
1
15
03 – Publiceren wijziging
5
8
04a – Bekijken plan via Overheid.nl
6
8
21
39
04b – Bekijken plan via DSO-LV viewer
1
06 – Verifiëren toepasbare regels
1
2
1
14 14
2
4
2
07 – Publiceren toepasbare regels
3
1
1
3
13
08a – Doorlopen check
8
2
08b – Doorlopen aanvraag
21
5
9
5
2
5
1
14
10
09a – Ontvangen en behandelen aanvraag 09b – Terugkoppeling initiatiefnemer
1
3
11 – Samenwerken aan aanvraag
43 30
1
10 – Aanvraag naar Behandeldienst OD
67
1
1
4
16
12
5
Niet van toepassing op processtap
5
1
1
1
3
11
Eindtotaal
36
84
42
18
8
259
71 Pagina 48 van 56
33
Rapportage Indringend Ketentesten Fase 4 | juni 2023
Figuur 9. Prioriteit per processtap
DSO Processtap
Prioriteit 1
Prioriteit 2
Prioriteit 3
Niet toegekend aan processtap
1
00. maken en wijzigen omgevingsinstrument
1
Prioriteit 4
Eindtotaal 1
1
2
01 - Downloaden en wijzigen plan
3
4
02 - Valideren plan
5
9
1
15
03 - Publiceren wijziging
7
5
2
14
04a - Bekijken plan via Overheid.nl 04b - Bekijken plan via DSO-LV Viewer
7
14 1
06 - Verifiëren toepasbare regels
2
56
1
14 8
67
2
3
07 - Publiceren toepasbare regels
1
1
08a - Doorlopen check
12
1
13
08b - Doorlopen aanvraag
3
32
8
43
09a - Ontvangen en behandelen aanvraag
1
28
1
30
09b - Terugkoppeling initiatiefnemer
1
1
10 - Aanvraag naar Behandeldienst OD
4
4
11 - Samenwerken aan aanvraag
4
26
Niet van toepassing op processtap
1
10
27
206
Eindtotaal
1
Pagina 49 van 56
3
33 11
25
259
Rapportage Indringend Ketentesten Fase 4 | juni 2023
BIJLAGE 6 Figuren en tabellen bij hoofdstuk 3
Figuur 10. Aantallen meldingen per IKT-testweek onderverdeeld naar soort melding
Pagina 50 van 56
Rapportage Indringend Ketentesten Fase 4 | juni 2023
Aantallen meldingen per IKT-testweek onderverdeeld naar soort melding IKT-testfase en week
Wens
Eindtotaal
141
70
211
0
6
1
7
1
36
14
50
2
33
16
49
3
44
26
70
IKT-fase 1
Bevinding
Vraag
4
22
13
35
IKT-fase 2
339
155
494
5
77
47
124
6
66
49
115
7
43
18
61
8
51
7
58
9
52
23
75
10
50
IKT-fase 3
286
11 12 13
11
61
83
370
48
25
73
43
6
49
28
9
37
14
38
7
45
15
37
24
62
16
34
9
43
1
1
17
58
3
61
IKT-fase 4
259
98
357
18
51
45
96
19
27
4
31
20
40
8
48
21
35
10
45
22
43
16
59
23
27
13
40
24
36
2
38
406
1432
Eindtotaal
1025
1
Pagina 51 van 56
Rapportage Indringend Ketentesten Fase 4 | juni 2023
Figuur 11. Aantal meldingen in relatie tot aantal deelnemers
Pagina 52 van 56
Rapportage Indringend Ketentesten Fase 4 | juni 2023
Aantal meldingen in relatie tot aantal deelnemers IKT-testfase en week IKT-fase 1
Aantal meldingen
Gepland aantal bevoegd gezagen
Daadwerkelijk aantal deelnemende bevoegd gezagen
211
0
7
1
2
1
50
4
3
2
49
5
4
3
70
8
8
4
35
5
5
IKT-fase 2
494
5
124
14
16
6
115
12
12
7
61
10
7
8
58
15
8
9
75
16
12
10
61
17
18
IKT-fase 3
370
11
73
17
16
12
49
25
17
13
37
23
16
14
45
12
10
15
62
32
27
16
43
20
13
17
61
20
20
IKT-fase 4
357
18
96
7
5
19
31
10
9
20
48
13
10
21
45
17
16
22
59
20
20
23
40
14
12
24
38
21
17
Eindtotaal
1432
Pagina 53 van 56
Rapportage Indringend Ketentesten Fase 4 | juni 2023
Figuur 12. Verdeling prioriteiten
Pagina 54 van 56
Rapportage Indringend Ketentesten Fase 4 | juni 2023
Verdeling prioriteiten IKT-testfase en week
(nog) niet toegekend
Prioriteit 1
Prioriteit 2
Prioriteit 3
Prioriteit 4
Eindtotaal
IKT-fase 1
2
43
71
25
141
0
1
1
4
6
17
14
5
36
11
15
7
33
10
27
6
44
5
14
3
22
1 2 3
1
4 IKT-fase 2
83
236
15
339
5
18
48
11
77
6
18
45
3
66
1
43
7
3
2
1
38
8
3
2
49
51
9
28
24
52
10
16
32
IKT-fase 3
2
114
167
11
18
30
12
18
25
13
10
17
14
15
23
15
14
22
16
18
16
17
21
34
3
58
27
206
25
259
6
39
6
51
3
18
5
27
20
5
29
6
40
21
1
31
3
35
41
2
43
IKT-fase 4
1
18 19
1
22
50 5
286 48 43
1
28 38
1
37 34
23
2
25
24
10
23
3
36
267
680
70
1025
Eindtotaal
3
5
Pagina 55 van 56
27