Onderzoeksrapport_UvT_-_Vertrouwensexperiment_Oss.pdf

Dit is voor een valide en zuivere meting van de uitkomsten van het RCT experiment noodzakelijk. De wijze van gegevensverzameling is getoetst aan de AVG privacy regels en aan de ethische procedures voor ‘informed consent’ welke gelden voor wetenschappelijk onderzoek. De persoonsgegevens (NAW) zijn door de gemeente geanonimiseerd met behulp van een anoniem identificatienummer waarbij alleen de gemeente en het CBS toegang tot de persoonsgegevens hebben. Daartoe is een bewerkingsovereenkomst met de gemeente gesloten. De procesevaluatie is erop gericht na te gaan hoe de projectleider(s) en consulenten/ (werk)coaches als professional het proces van implementatie van het experiment in de gemeente percipiëren en waarderen, en welke meer -of minderwaarde de consulenten/coaches ervaren van de andere bejegening van de cliënt voor de uitoefening van hun taken in de nieuwe aanpak. Daartoe zijn er regelmatig focusgroep gesprekken gehouden met de projectleider en de coaches. In totaal zijn er 4 focusgroep gesprekken gehouden. Het eerste gesprek vond plaats op 6 december 2017 nadat het experiment enkele maanden van start was

19

gegaan en het eerste gesprek met de cliënt is gehouden. Het tweede gesprek heeft op 3 oktober 2018 plaatsgevonden, het derde gesprek volgde op 12 juni 2019 en het vierde gesprek op 30 oktober 2019. Ten tweede vulde de coach aan het begin van het experiment, na 1 jaar en na 2 jaar een online vragenlijst in over de afspraken en bevindingen van de coaching gesprekken. Tezamen met het eerste focusgroep gesprek vormt dit de nulmeting van het procesevaluatiedeel. Ten slotte hebben de consulenten aan het einde van het experiment (november 2019) een afsluitende vragenlijst ingevuld over hun eigen ervaringen gedurende het experiment. Door het uitvoeren van deze procesevaluatie kan inzicht worden verkregen in de effectiviteit van de interventie, maar ook de mate waarin ineffectiviteit is terug te voeren tot een ‘theory failure’ (beleidstheorie) of een ‘implementation failure’ (uitvoering). In de volgende paragrafen zal de dataverzameling van zowel de product- als procesevaluatie worden toegelicht. 2.5 Dataverzameling product- en procesevaluatie 2.5.1 Productevaluatie: vragenlijsten De vragenlijsten bevatten vragen over de onderwerpen gezondheid en welbevinden, zelfredzaamheid, zoek- en sollicitatiegedrag, ervaren keuzemogelijkheden (capabilities), sociale participatie, sociaal vertrouwen, vertrouwen in overheid en financiële situatie en armoede.

Wanneer deelnemers uitstromen, bijvoorbeeld naar werk, blijven ze deelnemer en worden ze gevraagd de vragenlijsten in te vullen. In de praktijk blijkt dat ze zich dan sneller afmelden. Het gevolg hiervan is dat de respons afneemt naarmate het experiment vordert. Het doel van de eerste vragenlijst (de zogenaamde nulmeting) was om de situatie van de cliënt vast te stellen aan het begin van het experiment. Het invullen ervan gebeurde tijdens of direct na het eerste gesprek met de deelnemer aan het experiment. De tweede en derde vragenlijst (ook wel eerste en tweede vervolgmeting) zijn 1 jaar en 2 jaar na de start van de begeleiding verstuurd. Omdat er tot 1 juli 2018 nieuwe deelnemers zijn ingestroomd in het experiment, gebeurde het versturen van de vervolgvragenlijsten in tranches. Hierbij werden in drie tranches de deelnemers in volgorde van aanmelding geselecteerd voor invulling van de tweede en derde vragenlijst. Er is gekozen voor twee vervolgvragenlijsten om effecten over de tijd heen in beeld te kunnen brengen. Deelnemers in de referentiegroep zijn niet benaderd voor een vragenlijst. De deelname aan het experiment is zoals eerder opgemerkt vrijwillig, men mag te allen tijde het experiment weer verlaten maar er wordt wel van een deelnemer verwacht dat deze meedoet aan het onderzoek en de vragenlijsten zorgvuldig invult.

Daarover zijn afspraken gemaakt met de deelnemer, hoewel het in de praktijk soms moeilijk is gebleken om een deelnemer aan deze afspraak te houden. Invulling deelnemer vragenlijst (productevaluatie) Een persoonlijke benadering bleek uitermate belangrijk om deelnemers te stimuleren de online vragenlijst voor de nulmeting in te vullen. Zoals hiervoor toegelicht heeft dat veel energie gevraagd. Het vraagt overredingskracht en uitleg van de consulent om de cliënt te overtuigen de vragenlijst volledig in te vullen. Vanaf de start van het experiment op 1 oktober 2017 jl. hebben de deelnemers aan het experiment de online vragenlijst ingevuld. De bereidheid bij de deelnemers om de tweede en vooral ook de derde vragenlijst in te vullen bleek sterk te zijn afgenomen na de nulmeting ondanks een intensieve campagne gericht op invulling door de deelnemer opgezet door de gemeente Oss. Veel vragen gaan over werk zoeken en vinden hetgeen voor de mensen die na 2 jaar nog geen werk hebben gevonden ondanks de

20

andere bejegening en begeleiding geen haalbare kaart is waardoor de motivatie om de tweede en derde vragenlijst in te vullen veel geringer bleek. De gemeente Oss heeft met het oog op het belang voor het onderzoek van een goede invulling alles op alles gezet om mensen te overreden de vragenlijst in te vullen. Dat heeft uiteindelijk geresulteerd in een respons van ruim 62% voor de beide laatste deelnemersvragenlijsten tegenover 85% voor meting 1. Uiteindelijk is een respons bereikt van bijna 70% hetgeen bij deze als ‘moeilijk bereikbare’ onderzoeksgroep bekend staande groep als ‘zeer goed’ mag worden bestempeld zeker indien in beschouwing wordt genomen dat 58% van de deelnemers na 2 jaar om vele redenen is uitgestroomd uit de bijstand vanwege verhuizing, herzien recht op uitkering, overgang naar andere uitkeringen maar ook door het vinden van werk. In totaal heeft 31% in de periode van 2 jaar werk gevonden (inclusief uitstroom naar zelfstandigheid) en heeft 27% van de deelnemers de uitkering beëindigd om andere redenen. De 627 door hen “online” ingevulde vragenlijsten5 zijn door de onderzoekers nader geanalyseerd. Voordat we de resultaten verder bespreken wordt hieronder inzicht geven in de bereikte aantallen ingevulde vragenlijsten per treatment groep.

Procesevaluatie: consulenten vragenlijsten Ten behoeve van de procesevaluatie zijn er ook periodiek vragenlijsten ingevuld door de consulenten die de deelnemers in begeleiding hebben. Voor elke deelnemer die de consulent in begeleiding heeft, vult een consulent een vragenlijst in. Net als bij de deelnemersvragenlijsten zijn deze consulent vragenlijsten drie keer afgenomen: aan het begin, na 1 jaar en na 2 jaar begeleiding (maar wel in volgorde van aanmelding van een deelnemer). In deze vragenlijsten zijn vragen gesteld over het proces van begeleiding, zoals de doelen die zijn ingezet in overleg met de deelnemer, de activiteiten die zijn ondernomen en de trajecten die zijn aangevraagd, de motivatie van de deelnemer voor de begeleiding door de consulent, een inschatting van de consulent over de kansen op de arbeidsmarkt van de deelnemer en de leereffecten van het experiment voor zowel de consulent als de deelnemer. Wanneer een deelnemer uitstroomt, bijvoorbeeld vanwege het vinden van betaald werk of vanwege verhuizing, dan is bij ontbreken van contact het lastig voor de consulent om de vragenlijst in te vullen.

Tabel 2.5.1: Aantallen ingevulde vragenlijsten voor de deelnemers en consulenten, Oss, 2017-2019 Deelnemers Consulenten Groepen CV1 CV2 CV3 Totaal PCEV1 PCEV2 PCEV3 Totaal Eigen Regie 89 80 64 233 Intensieve Begeleiding 89 70 67 226 Standaardgroep 75 41 49 165 Totaal (N=301) 253 191 180 624 Bruto response % 84% 63% 60% 69% Noot: CV=Clientvragenlijsten; PCEV=Procesevaluatievragenlijsten Bron: Gegevens vragenlijsten, Tilburg University, 1 oktober 2019

98 101 88 287 95,3%

98 101 100 299 99,3%

97 101 105 303 100%

293 303 293 889 98%

5 De meeste deelnemers hebben de vragenlijst online ingevuld. De deelnemers kregen een door de Universiteit gemaakte

persoonlijke weblink opgestuurd waarmee zij de vragenlijst in de thuissituatie online konden invullen. Alleen wanneer de deelnemer de voorkeur gaf aan invulling tijdens of na een gesprek met de consulent bij de gemeente werd die mogelijkheid gefaciliteerd. Sommigen hebben een schriftelijke vragenlijst ingevuld die vervolgens door de onderzoekers zelf online is ingevuld.

21

In nagenoeg alle gevallen zijn desondanks de consulenten in staat gebleken de vragenlijst in te vullen. Dit is een uitstekend resultaat en te danken aan de proactieve houding en inzet van de consulenten en de projectleiders. Dit is consciëntieus door hen gedaan. In totaal zijn 889 vragenlijsten ingevuld, hetgeen een respons percentage betekent van 98%. In Tabel 2.5.1 wordt een overzicht gegeven van de bereikte aantallen ingevulde vragenlijsten voor de nulmeting en de procesevaluatie alsmede het response percentage. 2.5.2 Administratieve BUS data Zoals opgemerkt zullen in het voorjaar van 2020 de gegevens geupload worden naar het CBS om ook vergelijkingen met andere gemeenten mogelijk te maken. In deze rapportage maken we gebruik van de gemeentelijke BUS bestanden om bijvoorbeeld de, voorover deze aanwezig zijn, uitstroomkansen naar werk te bepalen maar ook om te corrigeren voor compositieverschillen tussen de treatment groepen voor zover deze aanwezig zijn. Deze bestanden bevatten informatie over demografische kenmerken van de bijstandspopulatie, de reden van beëindiging van de uitkering vanwege uitstroom uit de uitkering, de arbeidsgeschiedenis, de loonwaarde, het aantal en type contactmomenten en de ondernomen reintegratieactiviteiten afkomstig uit de registratiesystemen van de gemeente Oss.

Daarnaast worden de data geupload naar het Centraal Bureau voor de Statistiek (CBS) om deze te verrijken met gegevens over werk (loopbaan) en inkomen, uitkeringen en andere achtergrondkenmerken.6 Hierdoor is het mogelijk om de loopbanen van de deelnemers te reconstrueren en ook gedeeltelijke uitstroom naar flexibele banen, (kleine) deeltijdbanen en vaste banen te onderzoeken. Door het gebruik van CBS-data zijn de gegevens tussen de experimenten met de Participatiewet bovendien beter vergelijkbaar.

3 Resultaten product -en procesevaluatie 3.1

Productevaluatie en uitkomstmaten

In de productevaluatie gaat het niet alleen om de uitkomstmaat uitstroom naar betaald werk maar ook om de verbetering van de gezondheid, het welbevinden, het zelfvertrouwen, de keuzemogelijkheden, de sociale participatie en de zelfredzaamheid van de cliënt. Eerst bespreken we de resultaten van de analyse van de uitkomstmaat volledige uitstroom naar betaald werk. Hieronder verstaan we dat bijstandsgerechtigden vanwege uitstroom naar betaald werk volledig onafhankelijk worden van de uitkering. Bij een loon ter hoogte van het minimumloon betekent dit dat men minimaal 27 uur gaat werken (70% van 38-40 uur) aangezien de uitkering voor een alleenstaande 70% bedraagt van het volwassen minimumloon.

6 In alle gebruikte databestanden werden persoonsgegevens bij voorbaat door middel van een sleutel vervangen door een

betekenisloos administratienummer (pseudonimiseren). Middels dit nummer kunnen databestanden uit verschillende bronnen en over de tijd heen aan elkaar worden gekoppeld. Omdat geen persoon toegang heeft tot zowel de databestanden als de sleutel, is informatie niet naar deelnemers herleidbaar.

22

Deeltijdse uitstroom en uitstroom naar tijdelijk werk Er zijn in de BUS data uitsluitend gegevens beschikbaar over volledige uitstroom uit de uitkering maar niet over deeltijduitstroom of over uitstroom naar tijdelijk werk. De gemeenten beschikken over uitkeringsgegevens van mensen in de bijstand op grond waarvan een goede inschatting gemaakt zou kunnen worden van de aantallen mensen die deeltijds in plaats van voltijds uitstromen en voor hoeveel uren. Deze info kon niet worden gebruikt. In plaats daarvan zullen we in de definitieve rapportage gebruik maken van de gegevens in de CBS microdatabestanden. De data van Oss zullen daartoe worden geupload naar de CBS omgeving. De tweede en derde cliëntvragenlijst bevatten wel enige informatie van de deelnemer over zijn of haar situatie op het moment van invulling van de vragenlijst (zie Tabel 3.1.1). Deze geeft evenwel geen betrouwbaar beeld van de uitstroom naar deeltijd -of tijdelijk werk. Van de deelnemers is 1 en 2 jaar na de start bekend is of ze een voltijdse, deeltijdse of tijdelijke baan hebben of dat ze andere activiteiten hebben ondernomen zoals vrijwilligerswerk of een opleiding of studie. De respons in de tweede en derde cliëntvragenlijst bedroeg evenwel slechts 60% waardoor geen volledig beeld mogelijk is. Tabel 3.1.1: Type sociale participatie activiteiten in vervolgmeting 1 en 2, Oss Type activiteit

CV-Meting 2 N= % 21 11%

CV-Meting 3 N= % 24 14%

Voltijdse baan Deeltijdse baan, uitzendwerk, enkele 38 20% 33 19% uren werk Zelfstandige 2 1% 8 5% Werkstage, proefplaatsing, overig 8 4% 7 4% werk (voorbereiding werk) Opleiding, cursus of studie 7 4% 4 2% Gedeeltelijke/volledige ao-uitkering 6 3% 8 5% Sociale werkvoorziening 11 6% 10 6% Vrijwilligerswerk/mantelzorg 21 11% 10 6% Bijstand 71 38% 63 36% Verhuisd 3 2% 5 3% Ziek, overig 0 0% 5 3% Totaal N= 188 100% 177 100% Bron: Vragenlijsten eerste en tweede vervolgmeting deelnemers, TiU, 2019 Uit de gegevens in tabel 3.1.1 blijkt dat in de tweede en derde meting respectievelijk 25% tot 35% volledig is uitgestroomd (14+5+6) als werknemer (inclusief sociale werkvoorziening) of als zelfstandige, 4% werkt in een proefplaatsing of stage en 20% respectievelijk 19% werkt een aantal uren per week in een kleine baan, een uitzendbaan of een deeltijdbaan. Dat betekent dat ongeveer 1 op de drie à vier deelnemers naar eigen zeggen volledig aan het werk is gegaan in de tweejarige experimenteer periode. Daarnaast werkt een op de vijf in een kleine deeltijdbaan. De gunstige arbeidsmarktsituatie in combinatie met de inspanningen van de gemeente om het experiment goed uit te voeren zullen hier zeker debet aan zijn. Voor ongeveer 80% van degenen die werk vinden is dit een deeltijdse baan of uitzendwerk. Het aandeel

23

mensen dat vrijwilligerswerk verricht is respectievelijk 11% en 6% in meting 2 en 3. Voor degenen die werk hebben gevonden is gevraagd wat voor soort werk of contract dat was. Tabel 3. 1.2 laat zien dat in meting 2 en 3 een op de vier à vijf deelnemers die werk heeft gevonden een vast contract heeft gekregen (22-25%). Ongeveer 80% van degenen die werk hebben gevonden komen derhalve in tijdelijk banen terecht en slechts 7% gaat als zelfstandige aan de slag. Een op de vijf vindt een uitzendbaan (17%). In de analyses op de CBS data ten behoeve van de definitieve rapportage zal op basis van de inkomensinformatie in de CBS bestanden worden onderzocht in hoeverre er verschillen zijn in deeltijduitstroom en uitstroom naar flex tussen de twee treatmentgroepen en de standaardgroep en referentiegroep. Dat is met de beschikbare BUS-data vooralsnog niet mogelijk. Tabel 3.1.2: Type contract in meting 1 en 2, Oss Type contract CV-Meting 1 Type contract indien werk N= Vast contract (onbepaalde tijd) 14 Tijdelijke werk (contract voor bepaalde tijd) 27 Oproepkracht 4 Uitzendkracht 8 Zelfstandige/vrij beroep 2 N= 55 Bron: Vragenlijst eerste vervolgmeting deelnemers, TiU, 2019 3.1.1

% 25,5% 49% 7,3% 14,5% 3,6% 100%

CV-Meting 2 N= 13 31 0 10 4 58

% 22,4% 53,4% 0 17,2% 6,9% 100%

Resultaten: volledige uitstroom naar werk per treatmentgroep

Op basis van de BUS-gegevens is een analyse verricht op voltijdse (minimaal 27 uur) uitstroom naar werk en daarmee uitstroom uit de bijstand. Dit is gebeurd op basis van de registratie in de BUS van de reden van beëindiging van de uitkering. In hoeverre deze registratie een betrouwbare bron is om volledige uitstroom naar werk te achterhalen, is niet onderzocht. We nemen vooralsnog aan dat de administratie van de gemeente betrouwbare informatie verschaft over uitstroom uit de uitkering. Mensen waarvan de uitkering is beëindigd vanwege ziekte of arbeidsongeschiktheid zijn evenwel ook opgenomen in deze variabele waardoor een volledig zuivere meting van de uitstroom naar betaald werk niet goed mogelijk was en de uitstroompercentages licht zijn overschat. Vergelijking van de BUS-cijfers met de administratie van volledige uitstroom die door het Vertrouwensexperiment in Oss zelf is bijgehouden laat evenwel zien dat er slechts kleine verschillen zijn tussen beide registraties in de uitstroom naar betaald werk7. Peildatum en mutaties in de BUS-registratie De peildatum van uitstroom is 1 oktober 2019. Alle beëindigingen van de bijstandsuitkering volgens de Participatiewet vanwege uitstroom naar ziekte arbeidsongeschiktheid of werk tot 1 oktober 2019 zijn in 7 De cijfers van de gemeente zelf registreren een uitstroom van 99 voor de deelnemers exclusief afmeldingen terwijl wij op

basis van de BUS-data per 1 oktober 2019 een uitstroom naar werk registreren van 96 voor alle deelnemers exclusief afmeldingen en 106 inclusief afmeldingen.

24

de analyses verwerkt. Dat betekent dat de observatie van de uitstroom naar werk een periode van twee jaar omvat. Hiervoor is gebruik gemaakt van de BUS-informatie ultimo oktober 2019 en in het bijzonder de datum van beëindiging van de uitkering welke op dat moment in de administratie is verwerkt. Gemeenten passen evenwel mutaties toe op de administratie tot 3 maanden na de eerste registratie. Dit heeft te maken met het herzien van het recht op uitkering, overgang naar andere typen bijstandsregelingen (bijvoorbeeld van alleenstaande naar samenwoning), en verandering in onder andere de persoonlijke inkomens -en vermogenssituatie van de bijstandsgerechtigde. De hier gebruikte data zijn dus voorlopige data van de gemeente Oss. Volledige uitstroom naar werk In de Tabellen 3.1.3 en 3.1.4 presenteren we de cijfers over de bereikte uitstroompercentages naar werk voor elk van de treatmentgroepen, de standaardgroep en de referentiegroep. Hierbij is nog niet gecorrigeerd voor compositieverschillen, ofwel verschillen in samenstelling tussen de treatment groepen. Eerder zagen we al dat kortere duren zijn oververtegenwoordigd en langere duren ondervertegenwoordigd. Dit vertekent de uitkomsten aangezien de kans op uitstroom sterk samenhangt met de duur van de uitkering. Daardoor zullen de uitstroompercentages hoger zijn dan wanneer er geen vertekening naar duur was opgetreden.

Uit de regressieanalyse die we later presenteren zal blijken dat deze vertekening niet erg groot is. In Figuur 1 geven we de uitstroomkans weer voor de doelpopulatie dat zijn dus alle mensen die voldoen aan de toelatingscriteria, op 1 oktober 2017 een lopende uitkering hadden of tussen 1 oktober 2017 en 1 juli 2018 in de PW uitkering instroomden. Hiertoe behoren dus ook de 345 deelnemers aan het experiment inclusief de afmelder. Hier zien we een sterke en tot aan 5 jaar een bijna lineaire daling van de uitstroomkans naar werk bij volledige uitstroom uit de uitkering. Na 3-5 jaar neemt de kans op uitstroom nog sterker af. De gemiddelde duur in de uitkering bedraagt ongeveer 6 jaar in Oss. 0.4 0.35 0.3 0.25 0.2 0.15 0.1 0.05 0 Korter dan 1 jaar

1-3 jaar

3-5 jaar

5 jaar of langer

Figuur 3.1.1. Uitstroomkans naar werk naar duur uitkering 2017-2019, Oss, N=1835 In Tabel 3.1.3 en 3.1.4 worden de ongecorrigeerde uitstroompercentages per treatmentgroep gegeven. Daarbij geeft tabel 3.1.3 de informatie inclusief de 44 afmelders terwijl tabel 3.1.4 de uitstroom weergeeft voor het netto aantal deelnemers exclusief afmeldingen. De resultaten gepresenteerd in Tabel 3.1.3 en 3.1.4 laten kleine effecten zien voor de vergelijking met de standaardgroep maar onverwacht grote effecten in vergelijking met de referentiegroep. Zoals gezegd zijn deze laatste cijfers vertekend naar duur en nationaliteit en moet daarvoor gecorrigeerd worden. Wel zien we dat (op basis van Tabel 3.1.3): 25

•

•

De uitstroompercentages zijn gestegen vergeleken met eerdere cijfers (18% voor de totale populatie tussen 2017 en 2019 vergeleken met 15% in de periode 2015-2017). Hieraan is naar verwachting de gunstige arbeidsmarktsituatie mede debet; De ongecorrigeerde uitstroompercentages voor de deelnemers hoog zijn, namelijk 28% inclusief standaardgroep en zelfs 32% exclusief standaardgroep tegenover 15% voor de referentiegroep;

Tabel 3.1.3. Volledige uitstroom naar werk tussen 1 oktober 2017 en 1 oktober 2019 inclusief afmelders Groepen

Zittend bestand

Nieuwe instroom

Totaal

Treatments incl. afm.

N

%

N

%

N

%

Eigen regie

58

34.5%

56

39.3%

111

34.0%

Intensieve begeleiding

63

22.2%

61

37.7%

114

29.0%

Standaard groep

64

25.0%

51

35.3%

117

30.0%

Referentie groep

1360

14.0%

143

19.6%

1502

15.0%

Totaal

1545

16.0%

300

29.3%

1846

18.0%

185

27.0%

157

36.0%

342

28%

Deelname per groep Deelnemers

Noot: Zittend bestand (lopende uitkering per 1-10-2017); Nieuwe instroom tussen 1-10-2017 en 1-07-2018

Bron: BUS data gemeente Oss (uitstroom naar werk); Administratie VEX-Oss (deelnemers)

Tabel 3.1.4. Volledige uitstroom naar betaald werk tussen 1 oktober 2017 en 1 oktober 2019, exclusief afmelders Groepen

Zittend bestand

Nieuwe instroom

Totaal

Treatments excl. afm.

N

%

N

%

N

%

Eigen regie

50

38.0%

48

38.0%

98

38.0%

Intensieve begeleiding

51

20.0%

49

39.0%

100

29.0%

Standaardgroep

52

23.0%

49

37.0%

101

30.0%

Ref groep

1359

14.0%

143

19.6%

1502

15.0%

Totaal

1502

15.0%

299

29.3%

1801

18.0%

153

27.0%

146

38.0%

299

32.0%

Deelnemers Deelnemers

Noot: Zittend bestand (lopende uitkering per 1-10-2017); Nieuwe instroom tussen 1-10-2017 en 1-07-2018 Bron: BUS data gemeente Oss (uitstroom naar werk); Administratie VEX-Oss (deelnemers)

• •

De uitstroomkansen voor de nieuwe instromers (tussen 1 oktober 2017 en 1 juli 2018) aanmerkelijk groter zijn dan voor de mensen in het zittende bestand; De verschillen tussen de drie treatments kleiner zijn dan verwacht en betrekkelijk gering zijn;

26

• •

Het verschil met de standaardgroep klein is en bij de groep intensieve begeleiding voor het zittende bestand negatief; Het verschil met de referentiegroep daarentegen positief en erg groot is, 31% bij de twee treatments en 15% voor de referentiegroep (verschil is 16%).

In Figuur 3.1.2 geven we de resultaten weer voor de verschillende groepen uit tabel 3.1.4 waarin de afmelder niet zijn meegenomen. De resultaten wijken niet veel af van die in Tabel 3.1.3. 45.0% 40.0% 35.0%

38.0%

30.0%

39.0%

37.0% 30.0%

29.0%

25.0%

ZB

23.0%

20.0%

20.0%

19.6%

15.0%

14.0%

10.0%

15.0%

NI Tot

5.0% 0.0% Eigen regie

Intensieve begel

Standaardgroep

Refgroep

Figuur 3.1.2. Uitstroom naar betaald werk voor zittend bestand en nieuwe instroom naar treatmentgroep en referentiegroep, Oss, 2017-2019 Noot: ZB=zittend bestand; NI=nieuwe instroom Bron: Gegevens BUS en Vertrouwensexperiment Oss; bewerking door TiU/Tranzo

De grijze lijn geeft het gemiddelde weer over alle groepen. De uitstroomkansen voor de groep nieuwe instromers zijn voor alle groepen hoger dan voor mensen in het zittende bestand. Vergelijken we de treatments dan zien we dat de ontheffingsgroep (eigen regie) een hogere uitstroom heeft gerealiseerd dan de intensieve begeleidingsgroep bij het zittende bestand. Dit is verrassend omdat we hadden verwacht dat intensieve begeleiding beter tot zijn recht zou komen bij het zittende bestand en dat eigen regie beter tot zijn recht zou komen bij de nieuwe instromers met betere perspectieven op de arbeidsmarkt. Verder valt op dat de standaardgroep met de reguliere aanpak dezelfde uitstroom heeft gerealiseerd als de intensieve begeleidingsgroep. Alle groepen inclusief de standaardgroep realiseren een hogere uitstroom dan het geval is in de referentiegroep die evenals de standaardgroep de reguliere treatment heeft gekregen. De standaard treatment is kennelijk niet goed vergelijkbaar geweest met de standaard treatment van de mensen in de referentiegroep. Dit zou kunnen wijzen op het zogenaamde “Hawthorne” effect dat de standaard treatment onder invloed van het experiment en het onderzoek meer is gaan lijken op de aanpak in de andere treatments. Zoals gezegd zijn de uitstroomcijfers geflatteerd door de oververtegenwoordiging van korte duren.

Hieronder bespreken we de methode en de uitkomsten daarvan die is gebruikt om daarvoor te corrigeren.

27

Modelmatige schatting van de uitstroomkans Om te corrigeren voor compositieverschillen tussen de groepen ook wat duur betreft hebben de onderzoekers bij de analyse van voltijdse uitstroom naar betaald werk gebruik gemaakt van een analysemodel dat zoveel mogelijk vergelijkbaar is gemaakt met het model dat in het landelijk overleg van onderzoekers is overeengekomen. Dat LOEP-model zal later worden gebruikt voor de analyses op de CBSdata. Het LOEP-model is afgestemd op de beschikbare informatie in de CBS-data, niet alleen de BUS-data waarvan het CBS ook gebruik maakt, maar ook andere registratiedata die het CBS gebruikt. In het model dat wij gebruiken voor Oss zijn zoveel mogelijk dezelfde variabelen gebruikt als in het LOEP-model met dezelfde categoriseringen. Bij bepaalde variabelen bleek dat moeilijk te realiseren zoals bij opleiding aangezien de gemeenten hoogst behaalde opleiding bijvoorbeeld op een eigen manier registreren welke niet volledig vergelijkbaar is met die van het CBS op basis van andere bronnen. Hierna presenteren wij de uitkomsten van het model. Eerst worden in Tabel 3.15 de gebruikte variabelen weergegeven. Tabel 3.1.5. Aantal, gemiddelde en standaardafwijking gebruikte variabelen in het analysemodel volledige uitstroom naar werk, Oss, 2017-2019 Naam model variabele uitstrwerk

Omschrijving

Frequentie (N=) 1845

Gemiddelde

Standaardafwijking

0.178

0.383

1848

1.371

0.853

1848

4.351

5.699

duuruitk_t0

Reden van uitstroom (werk, ziekte, arbeidsongeschiktheid) Onderzoeksgroep (treatments, standaardgroep, referentiegroep) Duur uitkering PW bij start experiment 1)

nkeeruitk_t0

Aantal keer uitkering voor start experiment

1836

1.549

1.596

lft_t0

Leeftijd bij start

1848

43

13.69

geslacht_t0

Geslacht (vrouw=1; man=0)

1848

0.51

0.5

buitlnat_t0

Nationaliteit (Nederlands of buitenlands)

1848

0.17

0.376

leefv_t0

Leefvorm (alleenstaande, alleenstaande ouder, samenwonend) Huisvesting (eigenaar, huurder, inwonend, overig) Zittend bestand of nieuwe instroom 1)

1848

1.997

0.571

1768

1.37

0.785

1848

0.831

0.376

ovexgroep4

huisv_t0 nizb_t0

Noot: 1) De helft van de mensen in de treatmentgroepen komt uit het zittende bestand (dus heeft een lopende uitkering per 1 oktober 2017) maar in de referentiegroep is dit percentage groter; 90% daarvan heeft een lopende uitkering per 1 oktober 2017. De variabele nkeeruitk_t0 was niet significant en is weggelaten uit het model. Bron: BUS-data gemeente Oss, 2017-2019

De afhankelijke variabele is voltijdse uitstroom naar betaald werk. De onafhankelijke variabelen zijn gemeten in beginsel een maand voor de start van iedere deelnemer aan het experiment tenzij voor die maand geen informatie in de BUS-data beschikbaar was. Dan is de dichtstbijzijnde maand genomen

28

waarvoor wel informatie beschikbaar was. De gemiddelde duur bedraagt bij aanvang van het experiment meer dan 4 jaar (6 jaar minus 2 jaar duur experiment). Resultaten Tabel 3.1.6 geeft de resultaten van de logistische regressie weer. Het model verklaart 15% van de variantie (pseudo R2) en is significant. Het model corrigeert zoals gezegd voor duurverschillen tussen de groepen maar ook voor andere compositieverschilen die te maken hebben met geslacht, leeftijd, nationaliteit, duur uitkering en dergelijke. We hebben tevens een model geschat voor de vergelijking tussen de drie groepen en dus niet met de referentiegroep en dan blijkt dat dit andere model significant is maar geen significante of betekenisvolle verschillen laat zien tussen de treatment groepen en de standaardgroep op deze uitkomstmaat. Tabel 3.1.6. Resultaten logistische regressie: geschatte uitstroomkansen naar treatment groep, inclusief en exclusief afmeldingen, plus treatment-effecten in procentpunten Totaal

Inclusief afmeldingen

Exclusief afmeldingen

Treatment Eigen regie Intensieve begeleiding Standaardgroep

N= 111 114

P-werk 34.2% 28.9%

N= 98 100

P-werk 34.2% 30.4%

117

29.9%

101

30.0%

Referentie groep

1426

14.4%

1426

14.4%

Treatments

225

32.6%

197

31.5%

Deelnemers

342

31.6%

298

32.3%

N=1768 Pseudo R2=0.147 Wald chi2(22) Prob > chi2 Contrast-analyse ER-IB ER-SG

Effect t.o.v. controle groep P-werk 4.20% n.s. -1.00% n.s

Effect t.o.v. referentie groep P-werk 19.80%*** 14.50%***

Ref. -15.50%** n.a. 1.73%

15.50%** Ref. 18.17% 17.23%

0.147 191.6 0.000 n.s. n.s

Noot: Logit model met controlevariabelen leeftijd, nationaliteit, geslacht, duur uitkering bij start, leefvorm bij start, huisvesting bij start. ER=eigen regie; IB=Intensieve begeleiding; SG=Standaard/controlegroep. Bron: Bewerking BUS data, Tilburg University, 2019.

Tabel 3.1.6 geeft de geschatte uitstroomkansen en de verschillen of effecten weer in deze kansen ten opzichte van de standaardgroep en de referentiegroep, in procentpunten. Het verschil van 1,7% tussen de beide treatments en de standaardgroep is niet significant en statistisch dus nul. De laatste kolom geeft de effecten weer van de twee treatments ten opzichte van de referentiegroep. Het verschil van 15%

29

tussen standaardgroep en referentiegroep is wel significant of betekenisvol en positief ten gunste van de standaardgroep. Opvallend is dat ten opzichte van de ruwe data het effect van de treatments in procentpunten niet is afgenomen (17%), dus ondanks de correctie voor de compositieverschillen waaronder de duur. Contrasten Voor het uitgebreidere model met referentiegroep hebben we na schating van het logistische regressiemodel een contrast analyse uitgevoerd op de variabele treatment en de interactie tussen treatment en nieuwe instroom versus zittend bestand om te bezien of er significante of betekenisvolle verschillen tussen de drie treatments zijn. Deze blijken er niet te zijn. Er is dus geen verschil gevonden tussen de intensieve begeleidingsgroep en de eigen regiegroep wat betreft uitstroom naar werk. 3.1.2

De invloed van duur nader onderzocht: matching modellen

De vraag stelt zich nochtans of het model in staat is om op correcte wijze te corrigeren voor de verschillen in duren. Het effect van duur in het model met de referentiegroep als vergelijkingsgroep was sterk negatief en significant op 95% niveau. Korte en lange duren waren over -en ondervertegenwoordigd maar duren van 1 tot 3 jaar waren goed vertegenwoordigd in de treatment groepen. Indien we de geschatte kansen nu vergelijken naar duur en treatmentgroep (Fig. 3.1.3) dan blijven de verschillen tussen de treatment groepen maar ook van de standaardgroep met de referentiegroep overeind ook voor de duren van 1-3 jaar.

Intensieve begeleiding Eigen regiegroep Standaardgroep Referentie groep 0

0.05 >3 jaar

0.1

0.15

1-3 jaar

0.2

0.25

0.3

0.35

0.4

0.45

Duur < 1 jaar

Fig. 3.1.3: Geschatte uitstroomkansen naar voltijds werk naar duur en treatment groep Rol van consulent Kennelijk speelt de duur minder een rol dan andere factoren die het verschil kunnen verklaren. Een van die factoren is wellicht de consulent zelf. Het eerdere logit model maar met de standaardgroep als vergelijkingsgroep en consulent nummer als verklarende variabele verklaart de verschillen in uitstroomkansen naar werk tussen de groepen twee keer zo goed als hetzelfde model zonder consulent nummer (13% in plaats van 7%). Van belang is mogelijk ook dat de consulenten in het experiment hebben gekozen voor deelname aan het experiment. Ze zijn om praktische redenen - hoewel het RCT design stricto 30

senso dat veronderstelt - niet aselect geselecteerd waardoor de motivatie voor het experiment een rol kan hebben gespeeld. Bovendien zijn de consulenten veelal ‘dedicated’ geweest aan een bepaalde treatment groep. Zelf zeggen ze dat ze binnen de gemeentelijke organisatie gezien werden als een soort ‘elitegroep’. Wellicht zijn ze daardoor extra gemotiveerd aan de slag gegaan. Die extra motivatie kan wellicht deels ook de effecten verklaren. Matching: correctie voor compositieverschillen Ten tweede is er een ‘matching’ methode gebruikt om de verschillen tussen de groepen op het spoor te komen. Indien de populatie van deelnemers door (zelf)selectie niet representatief is op bepaalde aspecten, in dit geval duur en buitenlandse nationaliteit, dan kan in de data gezocht worden naar andere mensen die zoveel mogelijk lijken op de deelnemers maar die de treatment niet hebben gehad. We hebben deze methode gebruikt om de resultaten bij de deelnemers te vergelijken met een gematchte groep van mensen die qua duur en andere kenmerken op de deelnemers lijken. Op deze manier corrigeer je voor verschillen in waargenomen kenmerken zoals duur en nationaliteit. We hebben ‘een-op-een’ matching toegepast, dus voor iedere deelnemer is één andere persoon gezocht in de referentiegroep die op de deelnemer lijkt.

Indien meer personen vergelijkbaar zijn wordt degene gekozen die het meest lijkt op de deelnemer. Dat wordt de ‘dichtstbijzijnde buur’ (‘nearest neighbour’) genoemd8. Voor de matching zijn zoveel mogelijk dezelfde variabelen gebruikt als in het regressiemodel. In beide methoden (nearest neighbour matching en propensity score matching) werd een betere matching bereikt met het weglaten van de variabele die aangeeft of men tot het zittende bestand of nieuwe instroom behoort en het kwadraat van de leeftijd. Ook leverde een andere opleidingsvariabele (met vier niveaus) betere ‘matching’ resultaten op. De vier niveaus zijn laag, midden, hoog en geen opleiding of opleiding onbekend9. In het geval van de wegingsmethode leverde een indeling in drie duurklassen en vijf leeftijdsklassen betere ‘matching’ resultaten op. De beide methoden laten toe om het effect van de interventie bij de treated zuiver vast te stellen (ATT-average treatment effect van de treated) maar ook het gemiddelde effect van de treatment voor de gehele populatie van deelnemers en niet-deelnemers. Voor de niet-deelnemers wordt dan op basis van hun kenmerken berekend wat het effect zou zijn geweest als zij ook de treatment hadden ondergaan (ATE-average treatment effect).

Tot slot is het mogelijk om het effect te bepalen voor degenen die geen interventie hebben gehad ervan uitgaande dat zij die wel zouden hebben gehad (ATU -average treatment effect van de untreated). In onderzoek wordt veelal de ATT en ATE gebruikt om het effect van een interventie te meten. De ATT en ATE geven dan het verschil in geschatte uitstroomkans weer tussen de beide treatmentgroepen en de controlegroep. Omdat we geen verschil vonden van de twee treatmentgroepen met de standaardgroep wordt vooral ingegaan op de analyses gepresenteerd met de referentiegroep als vergelijkingsgroep10. We hebben de ‘matching’ 8 De matching (zoeken en bepalen van vergelijkbare mensen) kan op basis van een wegingsfunctie van de verklarende variabelen

(bijvoorbeeld middels nearest neighbour matching) of op basis van zogenaamde ‘propensity scores’ (de kans op treatment bepaald met behulp van een logit of probit model met verklarende variabelen) van de covariaten. Beide methoden zijn toegepast met vergelijkbare resultaten. 9 Laag staat voor enkele klassen lager onderwijs of lager onderwijs; midden staat voor (voorbereidend) middelbaar algemeen vormend en beroepsonderwijs, hoog staat voor hoger beroeps -en wetenschappelijk onderwijs. 10 De modellen zijn ook geschat met de standaardgroep als vergelijkingsgroep maar de resultaten bevestigen de uitkomsten van de logistische regressies; er werden geen significante verschillen gevonden tussen beide treatmentgroepen en de standaardgroep.

31

modellen geschat. Ten eerste wordt bevestigd dat de effecten niet significant zijn voor de vergelijking met de standaardgroep maar wel significant in vergelijking met de referentiegroep. Vergelijken we de twee treatments met de referentiegroep dan bedraagt de ATT 9.2%, en de ATE 9.4% in de wegingsmethode. In de ‘propensity score’ matching methode bedraagt de ATT 12.4% en de ATE 13.3%. Dat betekent dat er een 9% tot 13% hogere kans bij de treatmentgroepen is om volledig uit te stromen in vergelijking met de referentiegroep. Dat is een stuk lager dan we vonden bij de logit regressie resultaten (18%) maar niettemin een substantieel effect. De correctie voor compositieverschillen heeft zoals verwacht ertoe geleid dat het effect nu kleiner is. De resultaten van de analyse worden in Tabel 3.1.7 weergegeven. Voordat we deze presenteren laten we zien dat het model inderdaad in staat is geweest om te corrigeren voor verschillen in duur. In Fig. 3.1.4 (links nn-matching; rechts ps-matching) staan in beide plots links de feitelijke uitstroomkansen naar werk en rechts de gecorrigeerde uitstroomkansen voor de controlegroep (referentiegroep hier) en de beide treatments dus na matching.

PS-matching logit model

Wegingsmethode (nn-matching)

Waargenomen

Na matching

0

.2

Proporties (dichtheid)

1 .5 0

Proporties (dichtheid)

Na matching

.4

Waargenomen

1

1.5

2

2.5

3

1

1.5

2

2.5

3

0

Referentiegroep (controle)

10

20

30

40

0

10

20

30

40

Duur uitkering in jaren

Duur uitkering in 3 klassen

referentiegroep (controle)

treated

treated

Fig. 3.1.4 Verschillen tussen controlegroep en treatments naar duur uitkering en matchingmethode De feitelijke kansverdeling in Fig. 3.1.4 laat zien dat korte duren zijn oververtegenwoordigd en langere duren sterk ondervertegenwoordigd in de beide treatment groepen. Na matching zijn de uitstroomkansen van beide treatments naar duur nu voor 99% hetzelfde (variantie ratio) en het verschil in variantie ligt dicht bij 011. Nochtans moet worden opgemerkt dat de referentiegroep in tegenstelling tot de standaardgroep niet is gerandomiseerd waardoor we niet zeker weten of de gevonden resultaten causaal geduid kunnen worden. 11 In de technische bijlage van het later te verschijnen definitieve rapport zullen de resultaten in meer detail worden

gepresenteerd.

32

Tabel 3.1.7 geeft de effecten weer voor de twee treatment groepen in vergelijking met de referentiegroep en de standaardgroep. Aangezien we eerder vonden dat er geen verschillen zijn tussen de groepen presenteren we de effecten voor beide groepen tezamen. Bevestigd wordt in deze cijfers dat in vergelijking met de standaardgroep de effecten van de beide treatments op de uitstroomkans niet significant of betekenisvol zijn en daardoor statistisch nul. In vergelijking met de referentiegroep zijn ze echter -ook na correctie op basis van matching- betekenisvol maar iets kleiner. Tabel 3.1.7. Resultaten matching modellen uitstroomkans werk (voltijds)

Verschil t.o.v. referentiegroep Treatments (eigen regie, intensieve begeleiding) Deelnemers (incl. standaardgroep) Verschil t.o.v. standaardgroep Treatments (eigen regie, intensieve begeleiding) Model variabelen

Wegingsmodel (NN-matching)1) ATT ATE

PS-matching ATT

ATE

9.4%***

9.20%***

12.40%***

13.30%***

N=1651

11.6%***

12.80%***

13.40%***

11.30%***

N=1768

-2.10%

1.40%

7.6%%

4.40%

N=342

x

x

x

x

Duur uitkering op t0

Duur uitkering t0 in 3 klassen (<1 jr.; 1-3jr;>3jr)

x

N=

x

Leeftijd op t0 Leeftijd t0 in klassen (10-jaars)

x

x

Geslacht (man, vrouw) Buitenlandse nationaliteit (Nederlands, buitenlands) Leefvorm ( alleenstaand, samenwonend, overig) Huisvesting (eigenaar, huurder, inwonend)

x

x

x

x

x

x

x

x

x

x

x

x

x

x

x

x

Interactie duur en leeftijd

x

x

Interactie leeftijd en nationaliteit

x

x

Bias (duur uitkering en nationaliteit) x x Noot 1: 1) In het model voor de ‘nearest neighbourhood’ matching methode is een correctie opgenomen voor bias (vertekening) op duur uitkering en nationaliteit. Beide methoden zijn geschat met Stata 15.1. Noot 2: ***p<0,01; **p<0,05; *p<0,10, getest op basis van een nearest neighbour matching model versus een propensity score matching logit model (N=1768)

33

3.1.3

Conclusie uitstroom naar werk

Samenvattend, suggereren de resultaten op de uitkomstmaat van volledige uitstroom naar betaald werk dat er geen betekenisvolle verschillen zijn tussen de drie treatmentgroepen en dat het effect van elk van de treatments ten opzichte van de standaardgroep nul is. Vergelijken we de gerealiseerde uitstroomkansen van alle drie groepen met de groep van niet-deelnemers dan zijn de verschillen echter substantieel. Gemiddeld genomen zijn de ruwe of waargenomen uitstroomkansen voor de beide treatmentgroepen 18% en voor de drie groepen tezamen 17% hoger dan voor de groep van nietdeelnemers. Dat is een fors verschil. De aangemelde deelnemers zijn aselect toegewezen aan de verschillende treatments maar door zelfselectie kan de groep van deelnemers qua samenstelling afwijken van de populatie waaruit ze is getrokken. Dat blijkt ook het geval te zijn. Vooral naar duur uitkering en nationaliteit zijn er verschillen tussen de deelnemers en de doelpopulatie ontstaan waarvoor gecorrigeerd moet worden. Om dat te doen is gebruik gemaakt van twee matching methoden een matching wegingsmethode en een model matching methode. Met beide methoden bleek het mogelijk voldoende geschikte matches te vinden voor de deelnemers onder de niet-deelnemers (100%).

Op basis daarvan berekenden we dat er een gemiddeld treatment effect van 9 tot 13% bestaat voor de beide treatment groepen tezamen op basis van de beide matching methoden. De standaard treatment is in het proces van experimenteren mogelijk erg gaan lijken op de beide andere treatments. De uitstroompercentages zijn in ieder geval hoger dan in de referentiegroep en vergelijkbaar met de scores van de treatment groepen. De wijze van ondersteuning door de consulent lijkt van groot belang. Indien we voor de 342 deelnemers waarvoor we betrouwbare informatie hebben (inclusief dus de afmelders) een model schatten om de verschillen tussen de groepen te verklaren in uitstroomkansen dan blijkt dat meer dan 50% van de verklaarde verschillen (13%) te zijn verklaard door de persoon van de consulent. 3.1.4 Welbevinden, gezondheid, keuzevrijheid, sociale participatie, zelfredzaamheid, vertrouwen en financiële situatie (armoede) In de drie vragenlijsten voor de deelnemers (cv-nulmeting, cv-vervolgmeting1 en cv-vervolgmeting 2) zijn vragen gesteld die beogen het experiment te evalueren op de uitkomstmaten die niet direct gerelateerd zijn aan betaald werk zoals welbevinden, subjectieve gezondheid (fysieke en mentale gezondheid), sociale participatie, sociaal en institutioneel vertrouwen, zelfredzaamheid, keuzemogelijkheden, financiële situatie, materiële deprivatie en armoede.

In overleg met de andere onderzoekers in LOEP zijn uit een mogelijke lijst van indicatoren waarover informatie in de vragenlijsten beschikbaar was, er negen tot 10 geselecteerd die als leidraad zullen dienen bij de rapportage van de AMvB experimenten. Dat zijn welbevinden, subjectieve gezondheid, sociale participatie, ervaren keuzemogelijkheden (capabilities), zoekintensiteit, zelfredzaamheid, vertrouwen in de ander en in instituties, financiële stress en armoede en/of deprivatie. Deze zullen ook in dit rapport worden gepresenteerd. In de beide tussenrapportages voor Oss is over een aantal indicatoren reeds verslag gedaan maar is nog geen informatie gegeven over de vergelijking naar de treatmentgroepen. Deze indicatoren passeren achtereenvolgens de revue hier.

34

Analysemethode We hebben nu voor elk van deze indicatoren een regressiemodel (OLS) geschat waarmee we de kans op de uitkomst bepalen waarbij we controleren voor compositieverschillen mogelijk veroorzaakt door verschillen in duur uitkering bij de start, leeftijd, geslacht en nationaliteit tussen de treatments. Daarvoor gebruiken we de BUS informatie over leeftijd, geslacht, opleiding, nationaliteit, leefvorm, huisvesting, duur uitkering bij de start en, aantal keer in uitkering en of men behoort tot het zittende bestand op 1 oktober 2017 of tot de nieuwe instroom die na 1 oktober 2017 is ingestroomd. De BUS opleidingsinformatie is aangevuld met de informatie in de vragenlijst over hoogst behaalde opleiding. De modelmatig gecorrigeerde of geschatte cijfers zullen we hierna presenteren en dus niet de feitelijk waargenomen cijfers. Het effect van de correctie is overigens erg klein omdat door de randomisering er weinig verschillen zijn tussen de drie groepen. In de rapportage van de analyse, wordt gebruik gemaakt van een beschrijvende tabel waarin de gemiddelde gecorrigeerde scores voor de treatment groepen op een uitkomstvariabele worden getoond per meting en in totaal. Deze gemiddelden zijn geschat op basis van de OLS regressieanalyse. Een nadere uitleg over hoe de tabellen gelezen moeten worden staat in paragraaf 3.2.3.

Of een effect betekenisvol is of niet en met welke mate van betrouwbaarheid wordt aangegeven met sterretjes; drie sterretjes staat voor 99% betrouwbaarheid twee sterretjes voor 95% en een sterretje voor 90% betrouwbaarheid. Er zijn steeds twee modellen geschat een zonder interactieeffect en een met interactieeffecten tussen treatment en meting (zie Bijlage A voor de regressieresultaten). De effecten in de randtotalen geven op basis van het model zonder interacties de effecten weer van verschillen over de tijd (rijtotalen onder) of van verschillen tussen elk van beide treatments en de standaardgroep gemiddeld over de tijd (kolomtotalen rechts). We zijn met name hierin geinteresseerd (zie ook Tabel A1.1 in Bijlage A). De sterretjes bij de scores in de andere cellen geven op basis van de schattingen in het interactiemodel weer in hoeverre er een betekenisvol effect is van de treatment ten opzichte van de standaardgroep in de nulmeting bovenop het effect dus dat er was aan het begin van het experiment (zie Tabel A1.2 in Bijlage A). Aangezien aan het begin de treatment de meeste effecten nul zijn (zoals ook vastgesteld) geven deze veelal de volledige treatment effecten weer. In het model zijn maast de treatment variabele controlevariabelen opgenomen maar tevens een variabele die de persoon van de consulent weergeeft.

Gezondheid en welbevinden In de vragenlijsten zijn vragen gesteld die te maken hebben met de gezondheid -en welzijnsbeleving van de deelnemer. Het welbevinden van de deelnemer wordt gepeild aan de hand van vragen over de tevredenheid met het leven (schaal van 0 tot 10), de mate waarin men het leven betekenisvol of zinvol acht (schaal van 0 tot 10) en de mate waarin men zich gelukkig voelt (op een schaal van 1 tot 5)12. In Fig. 3.1.5 presenteren we de waargenomen (WB-links) en voor compositieverschillen gecorrigeerde scores (Pwb-rechts) op welbevinden (het gemiddelde van tevredenheid, geluk en betekenisvol leven). De waargenomen en gecorrigeerde scores op welbevinden wijken nauwelijks af hetgeen laat zien dat compositieverschillen dankzij de randomisering (aselecte toewijzing aan de groepen) betrekkelijk weinig 12 Deze drie vragen zijn vervolgens gebruikt om een gemiddelde score te berekenen van welbevinden waarbij de schaal van

geluk eerst omgecodeerd werd naar 0 tot 10.

35

invloed hebben. In de nulmeting zijn de feitelijke scores op welbevinden nagenoeg gelijk om vervolgens toe te nemen in de metingen daarna. In de nulmeting is er dus nog geen verschil tussen de groepen hetgeen erop duidt dat er geen zelfselectie op welbevinden heeft plaatsgevonden voor het experiment. De zwarte lijn geeft de ontwikkeling in de tijd weer voor de drie groepen tezamen. 8.0

8.0

7.5

7.5

7.0

7.0

6.5

6.5

6.0

6.0

5.5

5.5

5.0

5.0

4.5

4.5 4.0

4.0 Nulmeting

Meting 2

Nulmeting

Meting3

Meting 2

Meting3

ER WB

ER WB

ER Pwb

IB Pwb

SG WB

WB-totaal

SG Pwb

Pwb-totaal

Fig. 3.1.5: Waargenomen en gecorrigeerd nivo van welbevinden (geschatte kans) in de drie metingen Noot: WB=Welbevinden; Pwb=Geschatte kans op welbevinden; ER=Eigen Regie; SG=Standaard groep; IB=Intensieve begeleiding Bron: Cliëntvragenlijsten, nulmeting, meting2 en 3

Figuur 3.1.5 doet vermoeden dat er een afname is met name bij de groep intensieve begeleiding ten opzichte van de andere twee treatments althans vanaf meting 2. Tussen nulmeting en meting 2 is nog sprake van een lichte stijging. De OLS regressieanalyse (zie tabel 3.1.8.) geeft hierover uitkomst. Ten eerste laat die analyse zien dat over de tijd er een significante of betekenisvolle toename is van welbevinden (zie de onderste rij met de rijtotalen). Kennelijk hebben alle treatments een positieve invloed gehad op het welbevinden van de deelnemer. Verschillen in welbevinden tussen deelnemers worden daarnaast voor een deel verklaard door de treatment maar we vinden geen betekenisvolle verschillen tussen de treatments voor de verandering in welbevinden over de tijd (zie de kolomtotalen over alle drie metingen tezamen). Met andere woorden, in alle treatments neemt het welbevinden toe over de tijd gezien, maar niet meer of minder in de ene of de andere treatment. Dus ook niet in vergelijking met de standaardgroep hetgeen wel een van de belangrijkste hypotheses was. Dat is te meer opvallend omdat op grond van de literatuurstudie voorafgaand aan het onderzoek betekenisvolle effecten verwacht werden. Heeft dit te maken met de uitvoering van de treatment of met de treatment zelf? Het welbevinden in de standaardgroep blijkt betekenisvol toe te nemen vanaf meting 2.

De regressieanalyse toont voorts aan dat het welbevinden betekenisvol afneemt bij de intensieve begeleidingsgroep althans na meting 2 na aanvankelijk nog een lichte stijging door te maken. Vermoedelijk heeft dit te maken met het feit dat aan het einde van de tweejarige periode de moeilijkst te ondersteunen groep met de grootste afstand tot de 36

arbeidsmarkt over is gebleven. Als dit zo is dan is het dus een selectie effect en geen treatment effect. Dat het welbevinden betekenisvol toeneemt bij de standaardgroep is inderdaad opvallend en doet de vraag rijzen of de treatment hetzelfde is gebleven of is veranderd gedurende de experimentele periode. In het eerste geval zouden de welbevinden scores hetzelfde zijn gebleven als aan het begin van het experiment tenzij andere factoren zoals de economische situatie of de arbeidsmarktsituatie die in deze 2 jaar zijn verbeterd ook geleid hebben tot een stijging van het niveau van welbevinden. Helaas ontbreken cijfers over welbevinden bij de referentiegroep om dit te kunnen testen. Wel geven de cijfers over welbevinden en geluk in Nederland voor de onderkant van de inkomensverdeling geen reden om een stijging te verwachten. Het SCP constateert zelfs in een recente publicatie dat de subjectieve levenssatisfactie score van mensen met een score van 6 of lager in de afgelopen jaren (hetgeen bij bijstandsgerechtigden het geval is) is afgenomen in plaats van gestegen ondanks de gunstige economische situatie (zie Wennekers e.a. 2019.). Naar deze bevinding is verder onderzoek nodig.

Lage welbevinden scores bij bijstandsgerechtigden Tot slot valt op dat het niveau van welbevinden relatief laag is onder de deelnemers met een score van 5,5 tot 6; de gemiddelde score in Nederland is net onder 8 voor tevredenheid en geluk. Ook de verschillen tussen de deelnemers in de scores zijn relatief klein. De onderzochte groep van bijstandsgerechtigden scoort ruim twee punten lager dan gemiddeld in Nederland (zie SCP ) hetgeen als een groot verschil kan worden gekenschetst. Eerder is geconstateerd dat de respons op de vragenlijsten is afgenomen na de nulmeting van 85% naar 60%. Dit heeft vermoedelijk te maken met een geringere motivatie om de vragenlijsten nog in te vullen na uitstroom uit de bijstand. Dit kan het beeld enigszins hebben gekleurd. Invloed consulent op welbevinden We hebben zoals gezegd ook een variabele in het model opgenomen die de ondersteuning door de consulent indiceert. Voegen we deze variabele toe aan het model dan stijgt de verklaarde variantie met 45% van 9,5% naar 17%. Verschillen in de ondersteuning door de consulent hebben dus invloed op het welbevinden van de deelnemer en verklaren voor een deel ook verschillen tussen de deelnemers in de verschillende treatments.

Tabel 3.1.8: Gemiddelde scores welbevinden gecorrigeerd voor compositieverschillen tussen treatmentgroepen (0-10)1;2, 2017-2019 Nulmeting N Meting 2 N Meting 3 N Totaal N= Eigen regie 5,8 88 6,4 80 6,3 64 6,2 232 Intensieve begeleiding Standaardgroep Totaal

5,6

89

5,7

69

5,4**

66

5,6

224

5,7 5,7

74 251

6,3** 6,1***

40 189

6,4*** 6,0**

48 178

6,0 5,9***

162 618

Noot1: ***p<0,01; **p<0,05; *p<0,10, getest op basis van OLS regressie analyse (N=618); Model met treatment, cliëntvragenlijstmeting, consulentnummer en de controle variabelen. Noot2: Pseudo R2=0.17; Bijdrage verklaarde variantie door consulent=45% Bron: Vragenlijsten nulmeting en vervolgmetingen productevaluatie Vertrouwensexperiment Oss, Tilburg University, 2020.

37

De consulent doet er dus toe. De invloed van de treatments op welbevinden veranderen evenwel niet (behalve bij subjectieve gezondheid) indien we de consulentvariabele toevoegen aan het model. Dat betekent dat als we een treatment effect vinden dat dat een echt treatment effect is en geen effect van de persoon van de consulent. Subjectieve gezondheid Een tweede indicator die we gebruikt hebben is een gemiddelde van subjectieve gezondheid en mentale gezondheid. De indicator combineert de algemene vraag over subjectieve gezondheid (Wat vindt u van uw gezondheid?, met als antwoord categorieën: uitstekend, zeer goed, goed, matig, slecht) met enkele vragen over mentale gezondheid. In totaal zijn er vier vragen gesteld over de mentale gezondheid: de mate waarin men zich kalm en rustig voelt, zich somber voelt en neerslachtig, zich droevig voelt, zich erg nerveus voelt en zich gelukkig voelt. De positief gestelde items zijn omgecodeerd zodat alle items in dezelfde (negatieve) richting wijzen. Voor ‘de mate van’ is gebruik gemaakt van een Likert schaal (altijd, vaak, soms, bijna nooit, nooit). Hiervan is een 10-puntsschaal geconstrueerd van 0-10 voor ‘slechte’ mentale gezondheid die vervolgens weer is omgezet naar een positieve tien-puntsschaal van mentale gezondheid.

Kans op subjectieve gezondheid (mentaal, fysiek) 7.0 6.5 6.0 5.5 5.0 4.5 4.0 3.5 3.0 Nulmeting

Meting 2 ER

IB

Meting3 SG

Fig. 3.1.6. Mate van fysieke en mentale gezondheid naar treatment en meting Uit de figuur wordt duidelijk dat de gezondheidssituatie van de deelnemers te wensen overlaat. De gemiddelde score ligt rond de 5 dus krijgt een onvoldoende indien we het niveau als een rapportcijfer voor de gezondheid opvatten. De groepen gaan over de tijd iets meer uit elkaar lopen wat gezondheid betreft. De standaardgroep zit wat niveau van gezondheid betreft tussen de intensieve begeleidingsgroep (laagste score) en de eigen regie groep (hoogste score) in. Bij aanvang scoort opvallenderwijze de intensieve begeleidingsgroep iets maar wel significant slechter op gezondheid vergeleken met de beide andere groepen (zie Tabel A1.2 in Bijlage A). Over alle metingen gezien blijft dat effect significant negatief 38

(zie totaal kolom). Het kan duiden op selectiviteit in de afmeldingen: het aantal afmeldingen uit het zittende bestand was in deze groep relatief groot. Het kan ook te maken hebben met item non-response in de vragenlijsten. Het verschil is weliswaar significant maar wordt insignificant in een model zonder consulentnummer. De gezondheid blijft vervolgens gelijk bij de intensieve begeleidingsgroep maar stijgt ietsje bij de beide andere groepen. Deze stijging is niet betekenisvol. De subjectieve gezondheid is dus gemiddeld genomen over de tijd gelijk gebleven bij de treatment groepen in vergelijking met de standaardgroep. De veronderstelling was dat de beide treatments ten opzichte van de standaardgroep een positieve bijdrage aan ervaren gezondheid zouden kunnen leveren. In Tabel 3.1.9 presenteren we de resultaten. Op een na zijn alle verschillen in de tijd en tussen groepen wat de subjectieve gezondheid betreft niet betekenisvol. Deze hypothese wordt dus niet bevestigd. Kennelijk zijn om de gezondheid te bevorderen andere instrumenten nodig. Uit de literatuur bleek dat intensieve begeleiding en coaching middels “Individual Placement Support” en “Employment Support”, dat zijn maatgerichte programma’s voor mensen met fysieke of mentale gezondheidsproblemen en specifiek gericht op hun bijzondere problematiek, soelaas kan bieden om hen naar werk te begeleiden.

Deze specifieke programma’s zijn evenwel in dit experiment niet toegepast. Tabel 3.1.9. Gemiddelde scores subjectieve gezondheid (mentaal, fysiek) gecorrigeerd voor compositieverschillen tussen treatmentgroepen, 2017-2019 Nulmeting N Meting 2 N Meting 3 N Totaal N= Eigen regie 4,7 88 4,9 80 5,2 64 4,9 232 Intensieve begeleiding Standaardgroep Totaal

4,5***

89

4,6

69

4,5

66

4,5**

224

4,7 4,6

74 251

4,9 4,8

40 189

4,9 4,9

48 178

4,8 4,7

162 618

Noot1: ***p<0,01; **p<0,05; *p<0,10, getest op basis van OLS regressie analyse (N=618); Model met treatment, cliëntvragenlijstmeting, consulentnummer en de controle variabelen. Noot2: Pseudo R2=0.162; Bijdrage verklaarde variantie door consulent=41% Bron: Vragenlijsten nulmeting en vervolgmetingen productevaluatie Vertrouwensexperiment Oss, Tilburg University, 2020.

Keuzevrijheid Voor veel mensen is keuzevrijheid een belangrijk goed. De Nobelprijswinnaar Stiglitz heeft in zijn boek “De prijs van ongelijkheid” (2010) de zere vinger gelegd op het probleem van de gebrekkige ‘opportunities’ die mensen aan de onderkant van de inkomensverdeling in Amerika ervaren en hebben; met andere woorden er zijn voor veel mensen weinig kansen en mogelijkheden om de eigen situatie te verbeteren en de dingen te doen die men voor het eigen leven belangrijk vindt. In zijn visie is dat slecht voor het welbevinden van de mensen zelf maar ook voor de economie. Sen (1985) benadrukt dat mensen de kansen of mogelijkheden (keuzeopties) moeten hebben of krijgen om de dingen te doen in het leven die men belangrijk vindt. Het gaat zowel bij Sen als bij Stiglitz niet om gelijkheid van uitkomsten maar om gelijkheid van kansen en mogelijkheden. Om die te bieden is een ongelijke behandeling soms nodig om die gelijke startposities te kunnen realiseren terwijl in beleid veelal het gelijkheidsbeginsel leidend is. Ook de toegang tot de arbeidsmarkt voor mensen met beperkingen belemmert. Het experiment biedt de 39

mogelijkheid om die kansen en mogelijkheden voor mensen aan de onderkant te bieden (maatwerk) of in ieder geval hen te leren die kansen zelf te scheppen en voor zover aanwezig te grijpen. Er is in het experiment meer vrijheid voor de consulent om aan de vraag van de deelnemer voor ondersteuning te voldoen of zelf met nieuwe oplossingen of instrumenten te komen niet allen in het domein van de P-wet voorzieningen maar ook in het bredere sociale domein, zo ook in Oss. Er zijn ook minder verplichtingen voor de deelnemers van beide treatments in het experiment of beter gezegd er wordt op een andere manier met verplichtingen omgegaan waardoor de betrokkenen meer keuzevrijheid ervaart en heeft. In de vragenlijst is aan het aspect keuzevrijheid aandacht besteed doordat vragen zijn gesteld over de dingen die men belangrijk vindt in het leven en die men op de een of andere manier wel of niet kan doen omdat men daar de mogelijkheden wel of niet voor heeft (keuzemogelijkheden). Het zijn 7 vragen gebaseerd op Sen’s capability benadering (1985) die beogen inzicht te krijgen in de keuzevrijheid ofwel in de mate waarin mensen de mogelijkheden hebben om de doelen die men stelt voor het eigen leven en die men belangrijk en waardevol vindt ook daadwerkelijk in het werk of anderszins te realiseren.

De lijst zou een inzicht moeten geven in de keuzemogelijkheden en beperkingen die mensen ervaren in het leven in de bijstand. In de vragenlijst zijn zeven items voorgelegd aan de deelnemers. Ten eerste wordt gevraagd of ze deze items belangrijk vinden en ten tweede of ze de mogelijkheden hebben om dit te kunnen doen in hun eigen situatie. De zeven items zijn: • Meebeslissen over belangrijke dingen in werk en leven • Goede contacten met anderen hebben • Eigen doelen stellen • Een voldoende inkomen hebben • Iets waardevols bij te dragen aan het leven van anderen • Om te kunnen leren en nieuwe dingen te doen (kennis en vaardigheden ontwikkelen en gebruiken) • Om iets waardevols bij te dragen aan het leven van anderen. Gevraagd wordt op een vijfpunts Likert schaal naar de mate waarin men dit belangrijk vindt en in de eigen situatie ook kan doen: helemaal niet, niet, soms wel, soms niet, vaak of altijd. Capability indicator In overleg met de andere onderzoekers in LOEP is een soort capability indicator ontwikkel die aangeeft in welke mate mensen in staat zijn dingen die men belangrijk vindt te realiseren. Daarbij zijn twee varianten onderscheiden. De eerste variant berekent een score op basis van uitsluitend de items die men vaak of altijd belangrijk vindt. Items die men niet of minder belangrijk vindt worden niet meegenomen en krijgen een gewicht 0.