1.2 A New Vision - Visie op hercertificering Jeugdbescherming Noord (geanonimiseerd)

In audits en kwaliteitscontroles zie je vaak dat bij een onbekende foutkans, wordt uitgegaan van een conservatief scenario, en dat steekproeven van grofweg enkele honderd of meer dossiers worden getrokken bij populaties van enkele honderden tot duizenden dossiers; exact berekenen gebeurt normaal met statistische formules en tabellen. Tegenwoordig kan ChatGPT en dergelijke AI systemen de taak volledig overnemen mits men de juiste vraag weet te stellen. Hier is toch wel professioneel statistisch kennis voor nodig. Een steekproef mag best heel klein zijn. Maar hoe kleiner, hoe minder men komt te weten over de populatie. Een rekenvoorbeeld en uitwerking daarvan. Laat ik bij wijze van voorbeeld uitgaan van een populatie van 950 clientendossiers die de GI behandelt in een bepaalde periode en een aselecte steekproef, zonder teruglegging, van 11 clientendossiers,. Het aantal 11 is vermeld op bladzijde 7 van het rapport van het Keurmerkinstituut. De populatieomvang staat echter niet in het rapport; het getal 950 is een raming gebaseerd op het rapport “Stand van zaken herstelplan Jeugdbescherming Noord”, 10 september 2025. Daar wordt gesproken over een totaal van 944 “maatregelen (jeugdreclassering en ots)”. Het rapport is overigens voornamelijk toegespitst op aantallen werknemers. Je schat dan een percentage in met een zeer grote onzekerheidsmarge.

In de praktijk zou men voor een representatief beeld meestal een substantieel groter aantal kiezen, afhankelijk van de eisen aan betrouwbaarheid en nauwkeurigheid. Wat is acceptabel? Stel een onderzoek vindt 4 tekortkomingen in 11 dossiers. In de steekproef zijn 4 van de 11 dossiers niet goed: dat is ongeveer 4/11 ↑ 36%. Dus de (puntschatting) op basis van deze steekproef is dat er in een totale populatie van 950 dossiers heel grofweg 350 dossiers niet zullen voldoen. Belangrijk: Dit is geen zekerheid maar een schatting met aanzienlijke onzekerheid omdat de steekproef heel klein is, en bovendien is de methodiek van selectie niet vermeld. Ik berekende een zogenaamde betrouwbaarheidsinterval. Het resultaat is dat met een zekerheid van 95%, het foutpercentage tussen 11.05% en 69.05% ligt. In ronde getallen dus, tussen 10% en 70%. Deze constatering veronderstelt wel een aselecte steekproef; de eenvoudigste manier om representativiteit te garanderen.

Leiden University, Mathematical Institute, P.O. Box 9512, 2300 RA Leiden, The Netherlands Einsteinweg 55, 2333 CA Leiden - Tel.: +31-(0)71-5277111