Bijlage 6 AEF Rapport-herijking-gemeentefonds-sociaal-domein

Dit is een term die vooral in de context van verdeelmodellen gebruikt wordt; in de statistiek is de term ‘determinatiecoëfficiënt’ gebruikelijk. Het is een maat die aangeeft welk deel van de variabiliteit verklaard wordt door een statistisch model. 39

GB261

98

De AIC wordt groter of kleiner als je een maatstaf toevoegt. Als de AIC fors kleiner wordt, heeft een maatstaf veel toegevoegde waarde. Als hij groter wordt, moet je de maatstaf niet meer toevoegen. Daar tussenin zit een grijs gebied. We bepalen in de begeleidingscommissies en stuurgroep wat dit betekent voor het al of niet opnemen van deze maatstaven. Deze afweging wordt gemaakt aan de hand van het beoordelingskader.

Hoe gaat het model om met maatstaven die erg op elkaar lijken? Als twee maatstaven erg op elkaar lijken, kan het voorkomen dat beide maatstaven worden toegevoegd, maar op een manier dat ze elkaar gedeeltelijk opheffen: één maatstaf met een negatief gewicht, en een andere maatstaf met een extra groot positief gewicht. Een dergelijke uitkomst is niet plausibel, en het is onwaarschijnlijk dat het resulterende model de dynamiek van de kosten op een goede manier weergeeft. Daarom is het van belang dat er goed gekeken wordt naar de plausibiliteit van het model. Dit doen we samen met de begeleidingscommissies en de stuurgroep.

H.2 Zoektocht naar het beste model Het doel is om het beste model te vinden. Hieronder beschrijven we wat voor stappen daarvoor nodig zijn naast de regressieanalyse.

Is het model dat uit de regressie komt het beste model? Het model dat uit de regressie komt, is het best passende model. Dat is echter niet hetzelfde als het beste model. In het beoordelingskader zijn 22 criteria opgenomen. De mate van passendheid is slechts één van deze criteria (kostenoriëntatie). Voor het beste model zijn echter alle criteria van belang.

Hoe kunnen we rekening houden met de andere criteria in het beoordelingskader? Het criterium van kostenoriëntatie kan kwantitatief uitgedrukt worden in de verklaringsgraad. Ook een deel van de andere criteria kan kwantitatief getoetst worden. Voor de meeste criteria geldt echter dat de duiding en weging ervan kwalitatief is. Zo is het mogelijk dat een maatstaf slecht uitlegbaar is of niet samenhangt met de dynamiek van de kosten. Naar aanleiding van de andere criteria kan gekozen worden voor een handmatige bijstelling van de regressie. In dat geval wordt met een regressieanalyse gezocht naar het best passende model binnen de gestelde randvoorwaarden.

Wat voor handmatige bijstellingen zijn er mogelijk? Er zijn verschillende handmatige bijstellingen mogelijk binnen een regressieanalyse. - Het is mogelijk om een maatstaf verplicht in het model op te nemen, als hier goede inhoudelijke redenen voor zijn. - Het gewicht van een maatstaf kan gemaximeerd worden, bijvoorbeeld omdat het wegens prikkelwerking of uitlegbaarheid niet wenselijk is dat het gewicht te hoog wordt. Het gewicht kan ook op nul gesteld worden, wat betekent dat de maatstaf niet opgenomen wordt in het model. - Er kunnen maatstaven gecombineerd worden, bijvoorbeeld omdat dit plausibeler is of omdat verschillende gewichten van bepaalde maatstaven tot een negatieve prikkel zouden kunnen leiden (bijvoorbeeld: loonkostensubsidie en bijstand).

GB261

99

Op voorhand is niet duidelijk wat een dergelijke bijstelling betekent voor hoe goed het model is. Op de kwalitatieve onderdelen van het beoordelingskader kan deze inschatting wel gemaakt worden, maar de kwantitatieve aspecten, zoals de mate van passendheid, moeten via een berekening in beeld gebracht worden. Daarom bespreken we in de begeleidingscommissies en de stuurgroep welke varianten voor een volgende bijeenkomst uitgewerkt moeten worden. Na deze uitwerking kunnen de varianten op alle criteria in het beoordelingskader met elkaar vergeleken worden, en kunnen eventueel nieuwe varianten geformuleerd worden. Dit is dus een iteratief proces waar we drie bijeenkomsten (oktober, november, december) voor ingepland hebben.

Wat betekent een handmatige bijstelling voor de validiteit van de regressie? Bij een handmatige bijstelling wordt nog steeds een regressie uitgevoerd, alleen wordt deze uitgevoerd binnen de gestelde randvoorwaarden. Dit geeft weliswaar niet het best passende model, maar mogelijk wel een beter model ten opzicht van het beoordelingskader. Wiskundig gezien is er niets op tegen om een regressie binnen randvoorwaarden uit te voeren, zolang er beargumenteerd wordt waarom varianten uitgewerkt worden.

Hoe beoordelen we handmatige bijstellingen? Handmatige bijstellingen worden beoordeeld door het resultaat te vergelijken met het basismodel zonder handmatige bijstellingen. We maken van alle relevante criteria uit het beoordelingskader inzichtelijk hoe de verschillende varianten erop scoren. Op die manier kunnen de varianten op alle aspecten met elkaar vergeleken worden, en kunnen de voor- en nadelen op een goede manier tegen elkaar afgewogen worden.

Hoe bepalen we het beste model? Het beste model is de variant die op de gecombineerde criteria van het beoordelingskader het beste scoort. Daarbij zullen bepaalde criteria afhankelijk van het perspectief meer of minder belangrijk worden gevonden. De weging moet dus in gesprek plaatsvinden, waarbij het van belang is dat alle perspectieven op een gebalanceerde manier vertegenwoordigd worden.

Hoe valideren we de modellen? We hebben drie manieren om de modellen te valideren: - We onderzoeken of de modellen in andere jaren ook goed werken. - Om te beoordelen of we teveel maatstaven hebben toegevoegd, toetsen we wat er gebeurt als we de steekproef kleiner maken. Als dat heel andere uitkomsten oplevert, is het model waarschijnlijk niet geldig voor gemeenten buiten de steekproef. - Tot slot controleren we of de steekproef niet te bepalend is geweest in de regressie door het model te vergelijken met de Iv3-gegevens. In de praktijk blijkt dat het resultaat van deze validatie sterk beïnvloed wordt door enkele uitschieters. De stuurgroep heeft daarom besloten dat deze alleen ‘door de oogharen’ bezien moet worden.

Wat doen we met uitschieters? Statistisch gezien zullen in ieder model uitschieters zitten: niet alles is immers te verklaren met objectieve factoren. Specifiek voor het gemeentefonds geldt dat gemeenten beleidsvrijheid hebben, en dat verschillende keuzes tot verschillende kostenniveaus kunnen leiden. Tot slot kunnen gemeenten door een toevalligheid afwijken. Ook twee gemeenten met dezelfde kenmerken en dezelfde beleidskeuzes zullen niet elk jaar dezelfde kosten hebben,

GB261

100