Onderzoeksrapport_UvT_-_Vertrouwensexperiment_Oss.pdf

De tweede variant weegt de score op de mate dat men deze zeven dingen kan doen met de mate waarin ze belangrijk worden geacht. Daardoor worden alle items meegenomen in de score, ook items die men minder belangrijk vindt. Deze laatste krijgen dan wel een lager gewicht. De antwoord categorieën (helemaal niet tot altijd) worden omgezet in een score van 0 tot 10. Vervolgens wordt een somscore bepaald van alle items gewogen met de mate van belangrijkheid (score 1=helemaal niet tot 5=altijd). De laatste score wordt gedeeld door 5 om gewichten te krijgen variërend van 0,2 tot 1. Deze tweede variant wordt hier gebruikt.

40

In Fig. 3.1.7 worden de resultaten weergegeven. In vergelijking met de standaardgroep liggen de geschatte scores voor beide treatments tot aan meting 3 iets hoger, met name bij de eigen regiegroep. 6.0 5.5 5.0 4.5 4.0 3.5 3.0 2.5 2.0 Nulmeting

Meting 2

Eigen regie (zel

Meting 3

Totaal

Intensieve begeleiding

Onderzoeksgroep

Fig. 3.1.7. Gecorrigeerde keuzemogelijkheden naar treatment en meting Daarna nemen de ervaren keuzemogelijkheden de intensieve begeleidingsgroep af en bij de standaardgroep weer toe. Opvallend is opnieuw deze terugval na meting 2 bij de treatment intensieve begeleiding. Dit kan mogelijk verklaard worden doordat mensen met de kleinste afstand tot de arbeidsmarkt zijn uitgestroomd en de vragenlijst niet invullen. Of dat bij deze groep meer het geval is dan bij de anderen is getoetst. In tabel 3.1.10 worden de resultaten van de regressieanalyse weergegeven. De verschillen tussen de treatments blijken bij toetsing niet significant te zijn. Ook over de tijd zijn de verschillen tussen de groepen niet significant. Tabel 3.1.10. Gemiddelde scores keuzemogelijkheden (0-10) gecorrigeerd voor compositieverschillen tussen treatmentgroepen, 2017-2019 Nulmeting Meting 2 N Meting 3 N Totaal N= Eigen regie 3.8 88 4.0 80 4.1 64 3.8 232 Intensieve begeleiding Standaardgroep Totaal

3.8 4.0 3.9

89 251

3.9 3.5 3.9

69 40 189

1

3.5 3.7 3.8

66 48 178

3.8 4.0 3.9

224 162 618

Noot : ***p<0,01; **p<0,05; *p<0,10, getest op basis van OLS regressie analyse (N=618); Model met treatment, cliëntvragenlijstmeting, consulentnummer en de controle variabelen. Noot2: Pseudo R2=0.097; Bijdrage verklaarde variantie door consulent=34%. Bron: Vragenlijsten nulmeting en vervolgmetingen productevaluatie Vertrouwensexperiment Oss, Tilburg University, 2020

41

Het niveau van keuzemogelijkheden is gemiddeld bij alle treatmentgroepen laag te noemen met een gemiddeld niveau van 4 op een schaal van 0 tot 10. Qua keuzemogelijkheden scoren de deelnemende bijstandsgerechtigden dus een ruime onvoldoende. Nadere analyse laat zien dat vooral op het ontbreken van mogelijkheden om de kennis en vaardigheden te gebruiken en een voldoende inkomen te hebben bij deze bijstandsgroepen laag wordt gescoord. Om te toetsen of de veronderstelling juist is dat selectieve respons de daling na meting 2 bij de intensieve begeleidingsgroep verklaart hebben we een interactie tussen uitstroom naar werk en de treatments als verklarende variabele toegevoegd. Dan blijkt dat deze een positief en significant effect heeft op de ervaren keuzemogelijkheden maar alleen bij de eigen regiegroep. De veronderstelling dat deelnemers vanwege de treatments in vergelijking met de standaardgroep ook meer keuzemogelijkheden ervaren wordt dus niet bevestigd. Vooral bij de eigen regiegroep zien we een stijging ten opzichte van de standaardgroep maar ook deze is niet betekenisvol. Sociale participatie De bevordering van sociale participatie is voor veel gemeenten een belangrijk doel van het experiment.

Zelfs indien de uitstroom naar betaald werk niet haalbaar is voor de deelnemer vanwege zijn of haar problemen en beperkingen, kunnen het experiment en de treatments er wel toe bijdragen dat de sociale participatie van de betrokkenen wordt gestimuleerd. Uit de literatuur over geluk en welbevinden is bekend dat sociale participatie van belang is om verschillen in geluk tussen mensen en veranderingen in geluk van mensen te kunnen verklaren (zie Wenneker e.a., 2019; Headey et al. 2010) In de vragenlijsten zijn daartoe vragen gesteld over de mate waarin men zich opgenomen voelt in de samenleving dus de perceptie van sociale integratie in de samenleving. Daarnaast zijn vragen gesteld over de sociale participatie, dat is het aantal uren per week dat men besteed aan vrijwilligerswerk en mantelzorg, en er zijn vragen gesteld over het sociale netwerk door te vragen naar het aantal keer per maand dat men contact heeft met buurtgenoten, kennissen en vrienden en familie. Deze vragen zijn nu gebruikt om twee sociale participatie indicatoren te construeren.

• Perceptie sociale integratie: De eerste gaat uit van de beleving van de bijstandsgerechtigde deelnemer over de mate waarin hij of zij zich welkom en opgenomen voelt in de samenleving; • Sociale participatie: De tweede baseert zich op de uren besteed aan vrijwilligerswerk en mantelzorg (maatstaf voor sociale participatie) en het aantal keren dat men per maand contact heeft met anderen (buren, kennissen-vrienden, familie ofwel het sociale netwerk). De scores voor de uren besteed aan vrijwilligerswerk/mantelzorg en sociale participatie/netwerk zijn ieder voor zich eerst omgecodeerd naar een schaal van 1 tot 10 en vervolgens is het gemiddelde over beide indicatoren berekend13. De gemeente acht de bevordering van de sociale participatie een belangrijk doel van het experiment. Voor een belangrijk deel van de cliënten is dit ook het hoogst bereikbare doel vanwege de grote afstand tot de

13 De verdeling van uren besteed aan vrijwilligerswerk en mantelzorg was erg scheef verdeeld. Veel mensen scoorden 0 (geen

vrijwilligerswerk) terwijl anderen ofwel minder dan 10 uur per week eraan besteedden ofwel veel meer. We hebben de verdeling van de scores omgezet naar een verdeling in 10 gelijke groepen en het gemiddelde voor elke groep vervolgens toegerekend. Op deze manier werd een schaal van 0 tot 10 verkregen. Voor het aantal contacten hebbe we somscores bepaald over de drie typen van contacten en vervolgens genormaliseerd ([x-min(x)/max(x)-min(x)]*10) van 0 tot 10.

42

arbeidsmarkt als gevolg van gezondheidsproblemen of een lage opleiding. Meer dan 70% heeft geen startkwalificatie en 60% heeft fysieke of mentale gezondheidsproblemen zoals uit de eerste tussenrapportage bleek (zie Muffels et al. 2018). Kijken we nu naar de beleving van sociale integratie en hoe deze zich ontwikkeld heeft tijdens het experiment (Fig. 3.1.8 links) dan zien we tussen meting 1 en 2 dat deze licht is gestegen voor de eigen regiegroep en de standaardgroep en constant is gebleven voor de intensieve begeleidingsgroep. Na meting 2 neemt de ervaren sociale integratie echter sterk af bij deze groep. De verschillen over de tijd en tussen de afzonderlijke treatmentgroepen en de standaardgroep zijn evenwel niet significant. Daarom presenteren we hieronder alleen de regressieresultaten voor sociale participatie.

Perceptie Sociale Integratie

Sociale Participatie/Netwerk 7.0 6.5 6.0 5.5 5.0 4.5 4.0 3.5 3.0 2.5 2.0

7.0 6.5 6.0 5.5 5.0 4.5 4.0 3.5 3.0 2.5 2.0 Nulmeting

Meting 2

Nulmeting

Meting 3

Meting 2

Meting 3

Eigen regie

Eigen regie Intensieve begeleiding Onderzoeksgroep

Intensieve begeleiding Onderzoeksgroep

Fig. 3.1.8. Gecorrigeerde indicator perceptie sociale integratie (links) en participatie sociale netwerken (rechts) naar treatment en meting In de figuur (rechts) over sociale participatie zien we evenwel een betekenisvolle stijging van sociale participatie bij alle groepen van meting 1 naar meting 3. Opvallend is dat ook bij de standaardgroep sprake is van een stijging; we vinden hier een treatment effect in meting 3. Na meting 1 valt het niveau van sociale participatie bij de beide treatment groepen wat terug (met name bij eigen regiegroep) maar blijft hoger dan het basisniveau terwijl deze terugval er niet is bij de standaardgroep. Indien de standaard treatment inderdaad hetzelfde is gebleven, hetgeen in de opzet van het experiment de intentie was, is er een andere verklaring nodig voor deze stijging. Het gevonden treatment effect duidt er echter op dat de standaard treatment is veranderd over tijd. In Tabel 3.1.11 worden de regressieresultaten voor sociale participatie weergegeven. Voor sociale participatie vinden we een positief treatment effect voor de standaardgroep in meting 3 (zie Tabel A1.1 in Bijlage A) en de intensieve begeleidingsgroep in meting 1 en over alle metingen heen (kolom totaal). Dit laatste is opvallend omdat het niveau van sociale participatie bij aanvang van het experiment significant lager was in de intensieve begeleidingsgroep (selectieeffect).

Tot slot vinden we een positief treatment effect voor eigen regie in de kolom totaal.

43

Tabel 3.1.11. Gemiddelde scores sociale participatie (0-10) gecorrigeerd voor compositieverschillen tussen treatmentgroepen, 2017-2019 Nulmeting N Meting 2 N Meting 3 N Totaal N= Eigen regie 4,3 88 5,3 81 4,6 64 232 4,7* Intensieve begeleiding Standaardgroep Totaal

3,9** 4,0 4,1

89 74 251

5,0 4,7 5,1***

69 40 190

4,7 4,8** 4,7**

66 48 178

4,5** 4,4 4,6***

224 162 618

1

Noot : ***p<0,01; **p<0,05; *p<0,10, getest op basis van OLS regressie analyse (N=618); Model met treatment, cliëntvragenlijstmeting, consulentnummer en de controle variabelen. Noot2: Pseudo R2=0.17; Bijdrage verklaarde variantie door consulent=12% Bron: Vragenlijsten nulmeting en vervolgmetingen productevaluatie Vertrouwensexperiment Oss, Tilburg University, 2020

Zelfredzaamheid De treatments zijn in belangrijke mate gestoeld op het idee dat het bevorderen van de zelfredzaamheid van de deelnemers uiteindelijk een belangrijk middel is om sociale participatie te verbeteren. De training die door Roland Blonk is aangeboden is gebaseerd op de theorie van gepland gedrag van Fishbein & Ajzèn (2010). In de training van de consulenten is door Blonk (2019) een zoekgedrag model gebruikt welke gebaseerd is op die theorie en die als basis diende voor de zogenaamde ‘skills’ methodiek waarin coaches/consulenten vaardigheden leren om de zelfredzaamheid van de deelnemers te bevorderen. Dat had niet alleen betrekking op de ‘eigen regie’ treatment maar ook op de ‘intensieve begeleiding’ treatment hoewel de wijze van coaching in deze laatste treatment anders, wellicht wat ‘meer sturend’ is als in de eerste. Maar ook in de eigen regie treatment wordt de deelnemer aangesproken op zijn of haar activiteiten en gedrag. In de vragenlijst is aan de mate van zelfredzaamheid daarom ook aandacht besteed. Er wordt onder andere gevraagd aan de deelnemer of men zichzelf zelfredzaam acht in verband met het zoeken en vinden van werk bijvoorbeeld. De lijst van capabilities eerder behandeld geeft ook inzicht in de belemmeringen en kansen om zelfredzaam te zijn, dat wil zeggen de dingen te kunnen doen die men belangrijk vindt voor het eigen leven.

Wat zelfredzaamheid betreft op het gebied van werk zijn in de vragenlijst een viertal vragen gesteld daarover. Dat zijn: • Ik kan betaald werk vinden als ik er echt moeite voor doe • Ik denk dat ik in de toekomst betaald werk zal vinden • Ik denk dat ik bij sollicitaties een goede indruk kan maken • Ik denk dat ik een baan kan vinden die past bij mijn opleiding en ervaring. De antwoordcategorieën vormen een 5-punts Likert schaal van ‘geheel mee oneens’ tot ‘geheel mee eens’. Deze vier items zijn vervolgens omgezet in een schaal van 0 (geheel oneens) tot 10 (geheel eens) en er is een gemiddelde bepaald over de vier items. Dat noemen we de indicator zelfredzaamheid. Vervolgens is het standaard regressiemodel gedraaid om de voor verschillen in samenstelling gecorrigeerde kansen op zelfredzaamheid voor elk van de groepen te bepalen. In Figuur 3.1.9 worden de resultaten in beeld gebracht.

44

Zelfredzaamheid 7.0 6.5 6.0 5.5 5.0 4.5 4.0 3.5 3.0 Nulmeting Eigen regie

Meting 2 Intensieve begeleiding

Meting 3 Onderzoeksgroep

Fig. 3.1.9. Gecorrigeerde indicator zelfredzaamheid bij zoeken naar en vinden van werk naar treatment en meting De zelfredzaamheid neemt in het eerste jaar over alle treatments tezamen significant toe om na meting 2 betekenisvol te dalen onder het basisniveau. Eerder vermoedden we dat selectie vanwege uitstroom naar werk mogelijk een rol heeft gespeeld. Voor de beide treatment groepen ligt het niveau van zelfredzaamheid steeds hoger dan voor de standaardgroep waarvoor het niveau over de gehele periode van 2 jaar daalt. Het verschil tussen beide treatment groepen in vergelijking met de standaardgroep is evenwel niet significant zo blijkt uit de regressieanalyse (zie Tabel 3.1.12). Het is niet significant tussen de groepen maar wel significant en positief in de tijd in het eerste jaar evenals significant negatief in het tweede jaar. Zoals gezegd kan selectie in meting 3 de resultaten hebben beïnvloed aangezien op dat moment de groep met de kleinste kansen op werk is overgebleven en de mensen die zijn uitgestroomd de vragenlijst niet hebben ingevuld. Voegen we uitstroom naar werk toe aan de regressie dan is het effect positief en significant op 99% niveau. Causaal gezien leidt zelfredzaamheid tot uitstroom en niet andersom hetgeen betekent dat de meest zelfredzame deelnemers het eerst uitstromen.

In interactie met de treatments is het effect uitsluitend significant bij de eigen regie groep waarin zelfredzaamheid het uitgangspunt van de treatment is. De meest zelfredzame mensen stromen dus het eerst uit maar in vergelijking met de standaardgroep vooral bij de eigen regiegroep. Er is dus geen zelfstandig effect van treatment op zelfredzaamheid maar alle treatments leiden wel tot toename van zelfredzaamheid althans in het eerste jaar. In jaar 2 is er wellicht door selectie een negatief treatment effect. Tabel 3.1.12 geeft het gemiddelde van de geschatte kansen per treatment en meting en de significantieniveaus.

45

Tabel 3.1.12 Gemiddelde scores zelfredzaamheid (0-10) gecorrigeerd voor compositieverschillen tussen treatmentgroepen, 2017-2019 Nulmeting N Meting 2 N Meting 3 N Totaal N= Eigen regie 5.9 88 6.3 81 5.4 64 5.9 233 Intensieve begeleiding Standaardgroep Totaal

5.6 5.5 5.7

89 74 251

5.9 5.4 5.9*

69 40 190

4.9 4.9 5.1**

66 48 178

5.5 5.3 5.6***

224 162 619

Noot1: ***p<0,01; **p<0,05; *p<0,10, getest op basis van OLS regressie analyse N=618); Model met treatment, cliëntvragenlijstmeting, consulentnummer en de controle variabelen. Noot2: Pseudo R2=0.28; Bijdrage verklaarde variantie door consulent=12% Bron: Vragenlijsten nulmeting en vervolgmetingen productevaluatie Vertrouwensexperiment Oss, Tilburg University, 2020

Vertrouwen Het experiment is vertrouwensexperiment genoemd omdat het vertrekt vanuit het idee dat het opbouwen van een vertrouwensrelatie met de deelnemer uiteindelijk effectiever kan zijn om het gewenste doel te bereiken, namelijk bevordering van sociale participatie, dan de standaardaanpak met een strenge toepassing van de verplichtingen en bij niet nakoming sanctionering van de uitkering. De toetsing van rechtmatigheid blijft intact maar de toetsing aan de andere (informatie, sollicitatie, tegenprestatie) verplichtingen wordt op een meer relaxte manier vormgegeven in nauwe afstemming en overleg met de deelnemer. Het is zeker geen ‘loslaten’ maar leren de eigen verantwoordelijkheid te nemen en zelfredzaam te zijn met het aanpakken van de problemen die men heeft en ervaart. Uit de experimentele economische literatuur weten we bijvoorbeeld dat het geven van vertrouwen leidt tot wederkerigheid, tot extra inspanning en verbeterde motivatie en productiviteit in reactie op het gestelde vertrouwen (Frey & Jegen 2001; Bohnet et al., 2001). Uit de psychologische motivatietheorie weten we dat extrinsieke motivatie ten koste kan gaan van de intrinsieke motivatie en dat sturing op intrinsieke motivatie beter kan werken().Vandaar ook de inbouw van de training van de consulenten om hen vaardigheden te leren die hen helpen mensen te ondersteunen in zelfredzaamheid.

Oss is als niet-AMvB gemeente niet gemachtigd ruimere vrijlatingsbepalingen voor extra verdiensten dan in de wet staat toe te staan. Dat is voorbehouden aan de artikel 83 gemeenten. Daardoor is er geen treatment die het aspect belonen in plaats van straffen kan toetsen op zijn werkbaarheid. Er vindt wel beloning plaats maar dan in de vorm van intensieve begeleiding en maatwerk, een luisterend oor en aandacht. Doordat de caseload van de consulent verlaagd is van 125 naar 75 tot 90, is er meer tijd voor de begeleiding van de deelnemer. Er is tijd om een ‘relatie’ en of persoonlijke band met de deelnemer op te bouwen omdat er meer tijd voor contact is en meer coaching op basis van vertrouwen. Het wantrouwen onder de deelnemers ten opzichte van de gemeente is groot zo hebben alle consulenten ervaren. Om daar verandering in te brengen kost tijd (zie verslag Focusgroep gesprekken hierna). Vertrouwen komt te voet en gaat te paard. Dus het vertrouwen is ook weer snel weg indien het vertrouwen wordt geschaad; dat geldt overigens voor beide partijen. Over dit aspect van vertrouwen hebben we vragen gesteld in de vragenlijst. Ten eerste betreft dat een vraag over vertrouwen in de instituties. De vraag luidde in welke mate men vertrouwen had in: 46

• • • •

De landelijke overheid (regering, parlement) De gemeente De afdeling werk en inkomen van de gemeente De eigen consulent/werkcoach.

De antwoord categorieën vormde een vier-puntsschaal van ‘helemaal geen vertrouwen’, ‘niet zo veel vertrouwen’ ‘een beetje vertrouwen’ tot ‘veel vertrouwen’. Deze is omgezet naar een 0-10 schaal. Daarnaast is gevraagd naar het vertrouwen dat men in andere mensen heeft. Dat wordt in de literatuur aangeduid als sociaal vertrouwen. Het wordt gezien als een vorm van sociaal kapitaal, mensen met veel vertrouwen hebben veelal een rijk sociaal netwerk dat hen ook helpt om vooruit te komen in het leven. Sociaal vertrouwen of vertrouwen in andere mensen is gemeten met een vraag die afkomstig is uit het “European Social Survey” of men vindt dat de meeste mensen te vertrouwen zijn of dat men niet voorzichtig genoeg kan zijn op een schaal van 0 (geen vertrouwen) tot 10 (volledig vertrouwen). In Fig. 3.1.10 wordt de ontwikkeling in vertrouwen volgens de twee maatstaven per treatment groep weergegeven. Opvallend is dat het vertrouwen in de instituties significant is afgenomen maar het vertrouwen in anderen significant is toegenomen tussen de nulmeting en meting 2. Na het eerste jaar neemt het sociaal vertrouwen weer af maar het blijft wel op een hoger niveau. Zowel de afname (meting 2 en 3) bij institutioneel als de toename bij sociaal (vanaf meting 2) is significant. Het niveau van sociaal vertrouwen is lager dan het niveau van institutioneel vertrouwen zeker aan het begin.

We vinden bij de intensieve begeleidingsgroep een significant lager niveau van sociaal vertrouwen vergeleken met de standaardgroep welke reeds bij de start van het experiment bestaat en blijft bestaan daarna. We zagen eerder al dat er in deze groep enige selectivitiet is opgetreden.

Vertrouwen in instituties

Sociaal vertrouwen

7.0 6.5 6.0

7.0 6.0

5.5 5.0 4.5 4.0 3.5

5.0 4.0 3.0

3.0 Nulmeting

Meting 2

Nulmeting

Meting 3

Eigen regie Intensieve begeleiding Onderzoeksgroep

Meting 2

Eigen regie (zel

Meting 3

Intensieve begel

Onderzoeksgroep

Fig. 3.1.10 Gecorrigeerde indicatoren vertrouwen in instituties en sociaal vertrouwen naar treatment en meting

47

Totaal

In Tabel 3.1.13 worden de cijfers voor zowel institutioneel en sociaal vertrouwen in tabelvorm weergegeven.De significante effecten zijn vooral te vinden in de randtotalen welke verschillen over de tijd en tussen intensieve begeleiding en standaard treatment (negatief effect) laten zien. Tabel 3.1.13 Gemiddelde scores institutioneel en sociaal vertrouwen (0-10) gecorrigeerd voor compositieverschillen tussen treatmentgroepen, 2017-2019 Institutioneel vertrouwen Sociaal vertrouwen Nulmt Mt2 Mt 3 Tot. Nulmt Mt 2 Mt3 Totaal N= Eigen regie 6.5 5.7 6.0 6.1 5.0 5.4 5.7 5.32 233 Intensieve begeleiding Standaardgroep Totaal

6.2 6.1 6.3

5.8 5.4 5.7***

5.5 5.2 5.6***

5.9 5.7 5.9

4.7*** 4.9 4.9

4.8 5.2 5.2

5.5 4.97*** 6.0 5.31 5.7*** 5.19

224 162 619

Noot1: ***p<0,01; **p<0,05; *p<0,10, getest op basis van OLS regressie analyse N=618); Model met treatment, cliëntvragenlijstmeting, consulentnummer en de controle variabelen. Noot2: Pseudo R2: Trust=0.11; Strust=0.20. Bijdrage verklaarde variantie door consulent Itrust=20%; Strust=40% Bron: Vragenlijsten nulmeting en vervolgmetingen productevaluatie Vertrouwensexperiment Oss, Tilburg University, 2020

We vinden voor zowel institutioneel als sociaal vertrouwen geen causale treatment effecten in de vergelijking met de standaardgroep behalve een selectie effect bij sociaal vertrouwen bij de groep intensieve begeleiding. De veranderingen bij de standaardgroep (daling institutioneel vertrouwen en stijging sociaal vertrouwen) wijzen niet op een treatment effect maar zijn wellicht het gevolg van andere ontwikkelingen aangezien de daling en stijging ook bij de andere groepen voorkomt. Financiële situatie en armoede In de niet-AMvB gemeenten is het niet wettelijk mogelijk om een vrijlatingsgroep in te richten waarbij mensen een extra deel van hun verdiensten mogen behouden. Dat is voorbehouden aan de gemeenten die zijn erkend als experimenteer gemeente. Verwacht mag worden dat voor deze groepen in deze gemeenten de financiële situatie wordt verbeterd en dat dit effecten heeft op de ervaren stress die een slechte financiële situatie en armoede met zich meebrengt. Nochtans kunnen er ook in Oss als niet-AMvB gemeente effecten zijn van een andere bejegening en aanpak bijvoorbeeld doordat meer mensen voltijds werk vinden en volledig onafhankelijk worden van een uitkering of dat schuldproblemen worden aangepakt of dat mensen gestimuleerd worden om hun huishoudboekje beter bij te houden.

Een van de veronderstellingen die we op grond van de psychologische literatuur naar voren hebben gebracht is dat door ervaren financiële stress mensen cognitief en motivationeel daar zo mee bezig zijn dat er mentaal geen ruimte is voor activiteiten die de eigen situatie op iets langere termijn zouden kunnen verbeteren zoals zoeken naar werk, het volgen van een opleiding, het inschakelen van het sociale netwerk en dergelijke.

48

Inkomensarmoede In overleg met de LOEP onderzoekers zijn drie maatstaven gebruikt om de financiële situatie en de armoedesituatie in beeld te brengen. De eerste is een maatstaf welke veel is gebruikt in onderzoek naar de inkomenssituatie van huishoudens in Nederland. Daarbij wordt direct gevraagd naar de financiële situatie van het huishouden waarin men leeft. De vraag luidt als volgt: Wat is op dit moment de financiële situatie van uw huishouden? De antwoordcategorieën zijn: • Ik maak schulden • Ik gebruik mijn spaarmiddelen om van te leven • Ik kan precies rondkomen • Ik houd een beetje geld over • Ik houd genoeg over om te sparen • Ik weet het niet • Ik wil dit niet zeggen In de vraag wordt tevens vermeld wat het begrip rondkomen inhoudt. Rondkomen is net genoeg geld hebben om de absoluut minimaal noodzakelijke kosten van levensonderhoud te kunnen betalen. De eerste twee items zijn nu gebruikt om een persoon inkomensarm te noemen. Er zijn in de literatuur veel armoedemaatstaven ontwikkeld en ook verschillende inkomensarmoede maatstaven. De bijstandsgrens is zo’n grens die het SCP bijvoorbeeld hanteert naast een aantal andere. Een daarvan is het “niet-veel-maar-toereikend budget” dat ongeveer op het niveau van de bijstand van een alleenstaande ligt. We verwijzen naar de armoederapporten van het SCP die regelmatig verschijnen (Hoff e.a., 2019).

Ook het CBS publiceert cijfers over armoede. Het SCP heeft berekend dat in 2014 ongeveer 45% van de mensen in de bijstand onder de “niet-veel-maar-toereikend” budgetgrens leven. Reente cijfers laten zien dat dit gedaald is naar 25-35% in 2019. De maatstaf voor armoede op basis van de vraag naar de financiële situatie noemen we inkomensarmoede en geeft het percentage deelnemers dat niet kan rondkomen met het huishoudinkomen en ofwel de spaarmiddelen aanspreekt om rond te kunnen komen ofwel schulden moet maken. Deprivatiearmoede De tweede maatstaf die we hebben gebruikt noemen we deprivatiearmoede en is gebaseerd op twee vragen waarin gevraagd wordt bij elk van de 14 items of men deze absoluut noodzakelijk vindt om te hebben of te kunnen doen en of men voldoende geld heeft om het te kunnen kopen of te kunnen doen. De lijst van 14 items is een selectie uit een lijst van 21 items die ook is bevraagd in onderzoek van de Europese Commissie, EU-SILC genaamd. We hebben er de 14 voor de Nederlandse samenleving relevante items uit geselecteerd. Dat zijn de volgende. • 1 keer per dag groenten en fruit • 1 maaltijd per dag met vlees kip of vis • Twee paar schoenen • Laptop of desktop computer • Vrijetijdsactiviteiten buiten het gezin • Vieren van bijzondere gebeurtenissen • Jaarlijks 1 week op vakantie gaan in het buitenland

49

• • • • • • •

Vervangen van beschadigde meubels Vervangen van huishoudelijke apparaten Kleding vervangen 1 keer per maand uit eten gaan Regelmatig deelnemen aan vrijetijdsactiviteiten Toegang tot internet Gebruik kunnen maken van openbaar vervoer

Vervolgens is het aantal items berekend dat men noodzakelijk vindt maar niet heeft. Voor de maatstaf van deprivatiearmoede zijn er vervolgens vijf essentiële items geselecteerd: 1x per dag groenten en fruit; 1 maaltijd per dag met vlees, kip of vis; vervangen beschadigde meubels; vervangen van huishoudelijke apparaten en versleten kleding vervangen. Indien iemand elk van deze items noodzakelijk vindt maar er minstens drie van deze vijf items mist beschouwen we deze persoon als arm. We noemen iemand dan deprivatiearm. Inkomensarmoede: schulden maken, spaarmiddelen aanspreken 40.0%

70%

35.0%

60%

30.0%

50%

25.0%

40%

20.0%

30%

15.0%

20%

10.0%

10%

5.0%

0%

Deprivatie armoede: 3 van 5 noozakelijke primaire levensbehoeften niet kunnen veroorloven

Nulmeting

0.0% Nulmeting

Meting 2

Meting 2

Meting 3

Meting 3 Eigen regie Intensieve begeleiding Onderzoeksgroep

Eigen regie Intensieve begeleiding Onderzoeksgroep

Fig. 3.1.11 Gecorrigeerde indicatoren voor financiële stress en deprivatiearmoede Treatment effecten We vinden geen significante effecten aan het begin, in de tijd of tussen groepen hoewel de scores tussen eigen regie en de standaardgroep in procentpunten voor zowel deprivatie als inkomensarmoede bij de start 8 tot 12% verschillen. Het ontbreken van een significant effect bij de start duidt erop dat geen zelfselectie heeft plaatsgevonden. Het slechte nieuws van deze cijfers is dat een flink deel van de bijstandsgerechtigden in inkomens -of deprivatiearmoede leeft. Naast 25 tot 35% inkomensarmoede leeft zo’n 40 tot 50% in deprivatiearmoede. Zeker ook dit laatste cijfer is verontrustend. De treatments in Oss hebben hier weinig invloed op kunnen uitoefenen mede omdat er geen inkomensvrijlatingsgroep kon worden ingericht. De daling kan het gevolg zijn van de gunstige economische situatie maar het kan ook zijn dat de hoge uitstroom naar werk (30%) in Oss hier debet aan is geweest. Echter, zoals we eerder

50

constateerden is deze uitstroomwinst niet beperkt tot de beide experimentgroepen maar realiseerde ook de standaardgroep gunstige uitstroomcijfers die meer dan 10% boven de uitstroomcijfers van de referentiegroep van niet-deelnemers uitstak. Voegen we uitstroom naar werk toe aan het model dan is er een significant negatief effect op deprivatiearmoede bij alle treatment groepen plus de standaardgroep. Opvallend is nog wel dat de beide maatstaven iets heel anders lijken te meten. De standaardgroep heeft de laagste inkomensarmoede maar de hoogste deprivatiearmoede en omgekeerd de eigen regiegroep de laagste deprivatiearmoede maar de hoogste inkomensarmoede. De correlatie tussen beide is erg laag (0,07) hetgeen bevestigt dat ze iets anders meten. De inkomensarmoede meet vooral de perceptie van de eigen situatie en uit de armoedeliteratuur weten we dat mensen zich aanpassen en leren leven met het inkomen of de dingen die men heeft. De inkomensarmoede blijkt minder bij deelnemers die langer dan 3 jaar in de bijstand leven dan bij deelnemers die er nog maar kort in zitten terwijl de deprivatiearmoede juist toeneemt bij langere verblijfsduren. Tabel 3.1.14 Gemiddelde scores inkomensarmoede en deprivatiearmoede (0-10) gecorrigeerd voor compositieverschillen tussen treatmentgroepen, 2017-2019 Nulmt

Deprivatiearmoede Mt2 Mt 3 Tot.

Inkomensarmoede Nulmt Mt 2

Mt3

Totaal

N=

Eigen regie

45.4%

31.4%

40.7%

39.3%

37.4%

29.5%

27.9%

33.5%

232

Intensieve begeleiding Standaaard

47.8%

42.9%

43.0%

44.9%

32.6%

24.8%

25.1%

25.8%

224

51.6% 53.4% 43.5% 49.7% 29.8% 20.3% 21.1% 25.1% 162 Totaal 48.1% 40.2% 42.3% 44.0% 33.5% 25.8% 25.1% 28.7% 618 1 Noot : ***p<0,01; **p<0,05; *p<0,10, getest op basis van OLS regressie analyse N=618); Model met treatment, cliëntvragenlijstmeting, consulentnummer en de controle variabelen. Noot2: Pseudo R2: Ink armoede 0,10; Depriv.=0.07. Bijdrage verklaarde variantie door consulent 26%;23% Bron: Vragenlijsten nulmeting en vervolgmetingen productevaluatie Vertrouwensexperiment Oss, Tilburg University, 2020

Samenvatting en conclusies: treatment effecten In Tabel A1.1 in bijlage A presenteren we een overzicht van de gevonden treatment effecten ten opzichte van de standaardgroep en de effecten van de beide metingen voor alle drie groepen ten opzichte van de nulmeting op de niet-werk gerelateerde uitkomstmaten (ontwikkeling in de tijd). De meeste treatment effecten zijn niet significant. De meeste hypothesen worden daarom niet bevestigd met uitzondering van de hypotheses ten aanzien van sociale participatie. Daar vinden we positieve treatment effecten voor eigen regie en intensieve begeleiding vergeleken met de standaardgroep. De effecten zijn betrekkelijk groot zo blijkt uit tabel A1.1. Dat er geen treatmenteffect gevonden wordt bij welbevinden kan ook te maken hebben met verandering van de standaard treatment. Bij de uitkomstmaat van welbevinden vinden we immers een positief significant treatment effect over de tijd gezien bij de standaardgroep (zie Tabel A1.2 in Bijlage A). Indien de standaard treatment niet was veranderd zou het vinden van een dergelijk effect onwaarschijnlijk zijn geweest. Met andere woorden, indien de standaard treatment inderdaad is veranderd, is geen zuivere vergelijking met de treatment groepen meer mogelijk. Dan zullen

51

we een vergelijking moeten maken met een vergelijkingsgroep die niet beïnvloed is door het experiment. Op dit moment is zo’n alternatieve vergelijkingsgroep niet beschikbaar. Effecten over tijd We vinden overigens wel positieve en significante effecten over tijd in verband met welbevinden maar dan voor alle groepen. Of dit het gevolg is van het experiment, dus een treatment effect, is vooralsnog causaal niet vast te stellen zonder zo’n vergelijkingsgroep. Het is wel opvallend omdat er geen evidentie is dat welbevinden bij bijstandsgerechtigden zou zijn toegenomen in de afgelopen twee jaar, integendeel cijfers van het SCP suggereren dat voor mensen met een levenssatisfactiescore van 6 of lager (waaartoe ook de bijstandsgerechtigden behoren) de score de afgelopen jaren is verslechterd. Het is dus aannemelijk om te veronderstellen dat we hier te maken hebben met een ‘Hawthorne’ effect bij de standaardgroep maar zeker weten doen we het niet en vraagt nader onderzoek. Dat de treatment van de standaardgroep is veranderd zou ook afgeleid kunnen worden uit het feit dat we positieve en significante effecten in de tijd vinden bij de standaardgroep in geval van sociale participatie (vrijwilligerswerk, sociaal netwerk). Voor sociale participatie blijven de treatment effecten overigens wel overeind.

Negatieve treatment effecten We vinden ook twee negatieve effecten in geval van subjectieve gezondheid en sociaal vertrouwen; bij beiden betreft dit de intensieve begeleidingsgroep in vergelijking met de standaardgroep. We vermoeden dat enige zelfselectie heeft plaatsgevonden bij de afmeldingen (zittend bestand) of dat er itemnonrespons is in de vragenlijst maar dit vraagt nader onderzoek. Veel mensen in deze treatment hebben ook ten opzichte van de andere groepen bij de start van het experiment een lage score op subjectieve gezondheid en sociaal vertrouwen. De treatment heeft daar in de jaren daarna weinig aan kunnen veranderen. Kortom... Enkele van onze verwachtingen worden bevestigd anderen worden weerlegd op basis van deze cijfers. Met uitzondering van twee uitkomstmaten (subjectieve gezondheid en vertrouwen in de instituties) worden alle uitkomsten in de tijd gezien beter. We vinden geen causaal verband met de treatments met uitzondering van sociale participatie. Nader onderzoek moet uitwijzen of onderliggend deze stijging niet toch een treatment effect is dat niet zichtbaar wordt omdat de standaard treatment gedurende het experiment is gaan lijken op de andere treatments. We vinden ook verschillen tussen eigen regie en intensieve begeleiding.

Veelal zijn de scores van eigen regie beter maar hier speelt mogelijk het selectieeffect bij intensieve begeleiding bij de aanmeldingen een rol. Het gevonden positieve treatment effect op sociale participatie is zeker niet onbelangrijk aangezien dit een van de belangrijkste doelen was die de gemeente zich bij aanvang stelde. Eerder constateerden we al dat er positieve effecten zijn op uitstroom naar werk en bij deze uitkomstmaat konden we controleren voor het ‘Hawthorne’ effect. Daar vonden we sterke aanwijzingen voor zo’n effect, maar wel een die het onderzoek heeft bemoeilijkt bij de niet-werk gerelateerde uitkomstmaten. Hierna bespreken we de uitkomsten van de procesevaluatie en analyseren we het uitvoeringsproces zelf aan de hand van de vragenlijsten gesteld aan de consulent. 52

3.2 Procesevaluatie: vragenlijsten voor consulenten De procesevaluatievragenlijsten, zijn de vragenlijsten die door de betreffende consulent zijn ingevuld voor de deelnemers die deze consulent in begeleiding heeft. Een consulent heeft dus voor al zijn of haar deelnemers in beginsel drie keer de vragenlijst ingevuld tenzij de deelnemer vanwege verhuizing of afmelding is uitgestroomd. Deze vragenlijst is zoals eerder aangegeven in totaal drie keer ingevuld: de nulmeting, de eerste vervolgmeting (meting 2) en de tweede vervolgmeting (meting 3). De resultaten van deze vragenlijsten geven inzicht in het proces van begeleiding vanuit het perspectief van de consulent. Er wordt een beeld geschetst van de ontwikkeling die de deelnemer heeft doorgemaakt volgens de consulent en in hoeverre er sprake was van een effectieve begeleiding en of er zich leereffecten hebben voorgedaan voor zowel deelnemer als consulent. 3.2.1 Gehanteerde uitkomstmaten Om een inzicht te krijgen in het proces van begeleiding en de ontwikkeling van de deelnemer door de ogen van de consulent, wordt er naar de volgende aspecten gekeken: -

-

-

Hoe beoordeelden de consulenten de motivatie van de deelnemers voor de treatment en de te behalen doelen en hoe veranderde dit over de tijd? Hoe beoordeelden de consulenten de deelnemer ten aanzien van een viertal aspecten van de begeleiding: of de deelnemer realistische eisen stelt ten aanzien van de (hoogst bereikbare) doelen; het zelf in actie komen, het zelf doelen stellen en het verwachte effect van de treatment gedurende het experiment. Hoe beoordeelden de consulenten de mate van sociale participatie en de afstand tot de arbeidsmarkt voor de deelnemer (de plaats op de participatieladder) en hoe veranderde dit over de tijd? Hoe beoordeelden de consulenten de leereffecten bij de deelnemer (mate van zelfredzaamheid) en bij zichzelf en hoe veranderde dit over de tijd? In hoeverre beoordeelden de consulenten de geboden treatment als geschikt voor de deelnemer (alleen in de derde vragenlijst bevraagd)?

Uiteraard is een belangrijk doel van het onderzoek om te bekijken in hoeverre er verschillen zijn tussen deelnemers die verschillende treatments hebben ondergaan. Voor de bovengenoemde aspecten zal dan ook onderscheid worden gemaakt tussen deelnemers van verschillende treatments. Hierdoor zal duidelijk worden of en welke verschillen er op een bepaald moment zijn tussen deelnemers en in hoeverre deze verschillen veranderen over de tijd en in hoeverre deze zijn toe te schrijven aan het effect van de treatment. 3.2.2 Analyse methode vragenlijst Op basis van de verzamelde data van de consulent vragenlijsten is er een gewone regressieanalyse (OLS) uitgevoerd, waarbij het verband tussen de treatments en de gehanteerde uitkomstmaten wordt geschat. In deze analyse zijn een aantal onafhankelijke variabelen toegevoegd om de schatting van de uitkomstmaat (afhankelijke variabele) zo zuiver mogelijk te maken, namelijk: de meting waarin de score

53

is behaald op de uitkomstmaat, het nummer van de consulent die de vragenlijst heeft ingevuld en een dummy variabele die aangeeft of de deelnemer uit het zittende bestand komt, of uit de nieuwe instroom. In de rapportage van de analyse, wordt er gebruik gemaakt van een beschrijvende tabel waarin de gemiddelde scores voor de treatment groepen op een uitkomstvariabele worden getoond per meting en in totaal. Deze gemiddelden zijn geschat op basis van de eerder genoemde regressieanalyse. Een nadere uitleg over hoe de tabellen gelezen moeten worden, volgt in de volgende paragraaf. 3.2.3

Resultaten

In deze paragraaf zullen de resultaten op de vragen uit paragraaf 3.2.1 worden beschreven. De tabellen die worden getoond zijn als volgt te lezen. In de tabellen zijn de gemiddelde scores op de uitkomstvariabele (bijvoorbeeld motivatie, plaats op participatieladder, zelfredzaamheid, etc.) per treatmentgroep en per meting te zien. Deze gemiddelden zijn geschat op basis van een OLS regressie waarbij de treatment groepen en de metingen de onafhankelijke variabelen waren en de uitkomstvariabelen telkens de afhankelijke variabele. Daarnaast zijn er nog twee onafhankelijke variabelen gebruikt, namelijk: consulentnummer en een variabele die aangeeft of een deelnemer uit het zittend bestand of nieuwe instroom komt14. Er kan dus gezegd worden dat de gemiddelden die hier zijn weergegeven, de gemiddelden zijn onafhankelijk van het effect van de consulent en of iemand afkomstig is uit het zittend bestand of nieuwe instroom.15 Hoe moeten de tabellen gelezen worden? De kolom ‘gemiddelde totaal’ geeft de gemiddelde score op de 3 metingen voor elke treatmentgroep. De sterretjes geven significantieniveaus weer (zie ook Bijlage B voor bijbehorende geschatte effecten). Bij drie sterretjes weten we met 99% betrouwbaarheid dat het verschil tussen de treatments (deels)16 wordt veroorzaakt door de treatment zelf.

Bij twee sterretjes weten we dit met 95% betrouwbaarheid en bij een ster met 90% betrouwbaarheid. Ontbreken de sterretjes, dan wordt het verschil waarschijnlijk door iets anders veroorzaakt dan door het effect van de treatment. De onderste rij met ‘Totaal’, geeft de gemiddelden over de groepen per meting, dus over de tijd. Sterretjes in deze rij laten zien dat er een significante of betekenisvolle toename of afname plaatsvindt over de tijd ten opzichte van de nulmeting. Kijken we naar de resultaten in de nulmeting dan kunnen we sterretjes interpreteren als betekenisvolle effecten van de treatments eigen regie en intensieve begeleiding vergeleken met de standaard treatment in die meting. Bij de resultaten voor metingen 2 en 3 geven de sterretjes de effecten (een betekenisvolle toe-of afname) 14

Er zijn ook regressiemodellen getest waarin een meer uitgebreide lijst van onafhankelijke variabelen is opgenomen om de robuustheid van de resultaten te testen. In deze modellen werd er constant gehouden voor de volgende kenmerken van de deelnemer: leeftijd, geslacht, opleidingsniveau, soort woning, leefvorm, duur van uitkering. Uit deze analyses is gebleken dat de belangrijkste conclusies robuust zijn en dus overeind blijven na het toevoegen van deze variabelen. Om deze reden is er gekozen een beperktere lijst van onafhankelijke variabelen in het model mee te nemen, omdat dit grotendeels dezelfde uitkomsten opleverde. 15 In totaal zijn er voor elke uitkomstvariabele twee regressiemodellen geschat: een zonder interactie tussen de treatments en meting en een met de interacties. De regressie coëfficiënten (effectmetingen) voor de effecten van de treatments en de metingen van het eerste model zijn opgenomen in Bijlage B, tabel B1.1. De regressie coëfficiënten van het tweede model met interacties zijn te vinden in Bijlage B, tabel B1.2. Voor het gemak van interpretatie laten we in deze paragraaf de geschatte gemiddelden zien, en niet de volledige uitkomsten van de regressieanalyse. De regressieanalyse (met alle eerder genoemde predictoren) is wel gebruikt als basis om de gemiddelden in tabel 3.2.1 t/m 3.2.10 te schatten.

16 Waarom ‘deels’?: als het effect van een treatment significant is, verklaart dit effect nog niet 100% van de verschillen in gemiddelden tussen groepen. Ook de variabelen consulentnummer en zittend bestand verklaren een deel en daarnaast zijn er altijd factoren die een invloed uitoefenen, maar niet worden meegenomen in het model.

54

weer van een treatment bovenop het effect in de nulmeting voor die treatment. Een sterretje bij de standaardgroep in bijvoorbeeld meting 2 betekent dan een betekenisvolle toe- of afname in de tijd vergeleken met de score in de nulmeting. Bij de beschrijving van de resultaten zal de nadruk liggen op betekenisvolle verschillen in scores die toe te schrijven zijn aan het effect van de treatments. In totaal zijn er 891 vragenlijsten ingevuld: 295 in meting 1, 296 in meting 2 en 300 in meting 3. Echter, in de tabellen die volgen kan het aantal vragenlijsten van dit totaal afwijken omdat er dan missende antwoorden zijn op bepaalde variabelen in de analyse. De totale aantallen staan in de tabellen vermeld. Motivatie In de vragenlijsten zijn de consulenten gevraagd om aan te geven in hoeverre zij de deelnemer gemotiveerd achten om zich in te zetten voor respectievelijk de eigen treatment en de (hoogst bereikbare) doelen. De resultaten worden getoond als een rapportcijfer van 0-10, waarbij 0 totaal niet gemotiveerd betekent en 10 heel gemotiveerd. Tabel 3.2.1: Gemiddelde scores motivatie eigen treatment (0-10) Nulmeting N Meting 2 N Meting 3

N

Eigen regie Intensieve begeleiding Standaardgroep Totaal

Gemiddelde N totaal totaal

7,4**

95

7,4*

90

7,6

81

7,5***

266

7,3**

100

7,4*

88

8,1

88

7,6***

276

6,2 7,0

86 281

5,2** 6,7

74 252

5,7 7,1

77 246

5,7 6,9

237 779

Noot: ***p<0,01; **p<0,05; *p<0,10, getest op basis van een multiple regressie analyse (N=779) Bron: Vragenlijsten nulmeting en vervolgmetingen procesevaluatie Vertrouwensexperiment Oss, Tilburg University, 2020.

De resultaten in Tabel 3.2.1 tonen dat gemiddeld genomen de intensieve begeleidingsgroep het hoogst scoort op motivatie voor de eigen treatment (7,6), gevolgd door de eigen regie groep (7,5). De hogere score van beide groepen in vergelijking met de standaard treatment (5,7) is onder andere toe te schrijven aan het effect van beide treatments op de perceptie van motivatie van de consulent (zie ook tabel 1 in Bijlage A voor een positief effect van beide treatments). Uit figuur 3.2.1 blijkt ook dat de standaardgroep lager dan gemiddeld scoort, terwijl de andere twee groepen hoger scoren. Als we dan kijken naar de ontwikkeling over de tijd, dan zien we in de onderste rij ‘Totaal’ geen betekenisvolle toe- of afname over alle groepen heen. Maar als we dan kijken naar de vergelijking tussen de groepen en de ontwikkeling in de tijd, dan zien we dat in de nulmeting de treatments eigen regie en intensieve begeleiding significant hoger scoren op veronderstelde motivatie dan de standaardgroep (zie ook tabel B1.2 in Bijlage B). Tijdens de nulmeting had er nog nauwelijks begeleiding plaatsgevonden, waardoor we deze initiele verschillen in motivatie wellicht deels moeten toeschrijven aan selectie-effecten en niet aan daadwerkelijke verschillen door het effect van de treatment.

In de eerste vervolgmeting is er voor de standaardgroep een betekenisvolle afname van motivatie ten opzichte van de nulmeting (zie ook tabel B1.2, Bijlage B), terwijl voor de eigen regie groep het positieve verschil met de standaardtreatment in de nulmeting nog groter wordt. In de 2e vervolgmeting zien we een stijging in motivatie voor alle groepen ten opzichte van de

55

nulmeting, maar deze kan niet verklaard worden door de verschillen tussen treatments en het effect van tijd. Waarschijnlijk moet de verklaring gezocht worden in andere factoren. Samenvattend is het dus opvallend dat consulenten de motivatie in de nulmeting voor eigen regie en intensieve begeleiding hoger inschatten en dat het bij deze twee groepen ook iets toeneemt over de tijd, terwijl het bij de standaardgroep afneemt. Motivatie eigen treatment (0-10) 10 9 8 7 6 5 4 Nulmeting eigen regie

Vervolgmeting 1 intensieve begeleiding

Vervolgmeting 2 standaardgroep

totaal

Figuur 3.2.1. Gemiddelde score op motivatie voor eigen treatment per treatmentgroep en meting

Daarnaast hebben de betrokken consulenten ook ingevuld wat hun inschatting is van de motivatie van de deelnemer om zich in te zetten voor de (hoogst bereikbare) doelen. In tabel 3.2.2 laten de resultaten zien dat gemiddeld genomen de treatments eigen regie en intensieve begeleiding significant hoger scoren dan de standaardgroep (zie ook tabel B1.1, Bijlage B). Daarnaast zien we over alle groepen totaal een toename in de veronderstelde gemiddelde motivatie over de tijd (van 5,3 naar 7,4). Als we dan specifiek kijken naar welke groepen er verschillend zijn van de standaardtreatment en of er een verschil is over tijd, dan zien we dat in de nulmeting de groepen eigen regie en intensieve begeleiding significant hoger scoren dan de standaardgroep (zie ook tabel B1.2, Bijlage B). Echter, kunnen deze verschillen in de nulmeting wederom deels worden toegeschreven aan selectie-effecten en niet zozeer aan verschillen in treatment, omdat de begeleiding nog nauwelijks had plaatsgevonden. Tabel 3.2.2: Gemiddelde scores op motivatie hoogst bereikbare doel (0-10) Nulmeting N Meting 2 N Meting 3 N Eigen regie Intensieve begeleiding Standaardgroep Totaal

Gemiddelde N totaal Totaal 7,2** 265

5,9*

94

7,8

89

7,8

82

5,5**

97

7,5*

88

8,1

88

7,0**

273

4,6 5,3

85 276

5,4** 6,9***

72 249

6,2*** 7,4***

77 247

5,4 6,5

234 772

Noot: ***p<0,01; **p<0,05; *p<0,10, getest op basis van een multiple regressie analyse (N=772) Bron: Vragenlijsten nulmeting en vervolgmetingen procesevaluatie Vertrouwensexperiment Oss, Tilburg University, 2020.

56

In de tweede meting zien we een betekenisvolle toename van motivatie voor de standaardgroep en intensieve begeleiding, maar geen significant effect van eigen regie. De treatments eigen regie en intensieve begeleiding stijgen ook in meting 3 flink in motivatie, maar deze stijging kan niet worden toegeschreven aan het effect van de treatments (zie tabel B1.2, Bijlage B). De standaardgroep neemt wel significant toe ten opzichte van de nulmeting en dit kan wel (deels) worden toegeschreven aan het effect van de treatment. In de onderstaande figuur is deze ontwikkeling ook te zien: de standaardgroep scoort wat motivatie betreft duidelijk onder het gemiddelde, maar de motivatie neemt volgens de consulent wel toe. De intensieve begeleidingsgroep neemt relatief gezien het meeste toe over de tijd.

Motivatie hoogst bereikbare doel (0-10) 10.0 9.0 8.0 7.0 6.0 5.0 4.0 nulmeting eigen regie

Vervolgmeting 1 intensieve begeleiding

Vervolgmeting 2 standaardgroep

totaal

Figuur 3.2.2. Gemiddelde score op motivatie voor het hoogst bereikbare doel per treatmentgroep en meting

Realistische eisen Het eerste aspect van de begeleiding waar we nu aandacht aan besteden is hoe realistisch de consulenten de eisen vinden die de deelnemer aan de te behalen doelen stelt. Ook hier kijken we weer naar een rapportcijfer van 0-10 waarin 0 staat voor zeer onrealistisch en 10 voor zeer realistisch. Tabel 3.2.3: Gemiddelde scores op de mate van realistisch eisen stellen (0-10) Nulmeting N Meting 2 N Meting 3 N Eigen regie 6,2** 96 6,9 90 7 76 Intensieve begeleiding Standaardgroep Totaal

Totaal

N totaal

6,7**

262

6,3

101

7,2

94

7,9

86

7,1

281

5,1 5,9

85 282

5,6* 6,6**

85 269

6,2*** 7,0***

83 245

5,6 6,5

253 796

Noot: ***p<0,01; **p<0,05; *p<0,10, getest op basis van een multiple regressie analyse (N=796) Bron: Vragenlijsten nulmeting en vervolgmetingen procesevaluatie Vertrouwensexperiment Oss, Tilburg University, 2020.

In tabel 3.2.3 kunnen we zien dat gemiddeld genomen de eigen regie groep significant hoger scoort (6,7), dan de standaardgroep op de mate van realisme bij de deelnemer volgens de consulent. De intensieve begeleidingsgroep scoort ook hoger, maar dat verschil is niet te verklaren door het effect van de 57

treatment (zie ook tabel B1.1, Bijlage B). Verder zien we over alle groepen heen een betekenisvolle toename in meting 2 en 3 van 5,9 naar 7,0. Nader bekeken blijkt dat de treatment eigen regie hoger scoort dan de standaardgroep in de nulmeting en dat het verschil significant is (zie ook tabel B1.2, Bijlage B). Dat zou kunnen betekenen dat in de perceptie van de consulent de deelnemers aan de verschillende treatments reeds bij de start van het experiment een verschillend niveau van realisme laten zien. Dat zou kunnen wijzen op een selectie-effect waardoor bij aanvang van het experiment er reeds verschillen zijn die te maken hebben met zelf-selectie bij de aanmelding voor het experiment.

Mate van realistische eisen stellen (0-10) 10 9 8 7 6 5 4 Nulmeting eigen regie

Vervolgmeting 1 intensieve begeleiding

Vervolgmeting 2 standaardgroep

totaal

Figuur 3.2.3. Gemiddelde scores op de mate van realistisch eisen stellen per treatmentgroep en meting

Daarnaast zien we een betekenisvolle toename van verondersteld realisme voor de standaardgroep in meting 2 en 3 ten opzichte van de nulmeting. De consulent schat dus de eisen die deze groep stelt aan de te behalen doelen steeds realistischer in. Voor de andere twee treatment groepen, met name voor eigen regie zien we een toename over de tijd, maar deze kan niet worden toegeschreven aan het effect van de treatment (zie tabel B1.2, Bijlage B). Figuur 3.2.3 laat deze ontwikkeling zien. Zelf in actie komen Een ander aspect van de begeleiding is de mate waarin de consulent de deelnemer in staat acht om zelf in actie te komen om de gestelde doelen te behalen. In onderstaande tabel zien we de resultaten. Hier is weer een schaal van 0-10 gebruikt, waarbij 0 staat voor zeer slecht en 10 voor zeer goed. We zien dat gemiddeld genomen de eigen regiegroep hoger scoort op het -volgens de consulent- zelf in actie komen, vergeleken met de standaardgroep en dat dit verschil is toe te schrijven aan het effect van de treatment (zie ook tabel B1.1, Bijlage B). Bij intensieve begeleiding is het verschil niet toe te schrijven aan het effect van de treatment en daarom niet significant. In de onderste rij zien we een betekenisvolle toename van het zelf in actie komen over tijd, van 4,8 naar 6,5 (zie ook tabel B1.1, Bijlage B).

In de nulmeting kan het verschil tussen de eigen regie groep en de standaardgroep (deels) worden verklaard door het verschil in treatment, echter ook hier kan weer sprake zijn van een selectie-effect bij de start van het experiment.

58

Tabel 3.2.4: Gemiddelde scores op zelf in actie komen (0-10) Nulmeting N Meting 2 N Meting 3 N Eigen regie Intensieve begeleiding Standaardgroep Totaal

Gemiddelde N totaal totaal 6,0** 264

5,6**

88

6,2

91

6,1**

85

4,7

99

6,6

96

7,4

90

6,2

285

4,2 4,8

83 270

5,3** 6,0***

87 274

5,9*** 6,5***

84 259

5,1 5,8

254 803

Noot: ***p<0,01; **p<0,05;*p<0,10, getest op basis van een multiple regressie analyse (N=803) Bron: Vragenlijsten nulmeting en vervolgmetingen procesevaluatie Vertrouwensexperiment Oss, Tilburg University, 2020.

Voor de standaardgroep is er een betekenisvolle toename vanwege de treatment over de tijd van 4,2 naar 5,9 in meting 3 (zie ook tabel B1.2, Bijlage B). Voor eigen regie zien we in meting 3 een significant effect van treatment, echter dit effect blijkt negatief (zie tabel B1.2, Bijlage B), terwijl het gemiddelde toch toeneemt. Als gevolg van de treatment neemt het zelf in actie komen dus iets af ten opzichte van de nulmeting, maar andere factoren zorgen ervoor dat er uiteindelijk toch een stijging plaatsvindt. In figuur 3.2.4 is te zien dat vooral de intensieve begeleidingsgroep volgens de consulenten een sterke groei doormaakt. De regressieanalyse maakt echter duidelijk dat deze toename niet aan het effect van de treatment kan worden toegeschreven en dus een andere verklaring heeft (zie tabel B1.2, Bijlage B).

Zelf in actie komen (0-10) 10 9 8 7 6 5 4 Nulmeting eigen regie

Vervolgmeting 1

Vervolgmeting 2

intensieve begeleiding

standaardgroep

Totaal

Figuur 3.2.4. Gemiddelde scores op zelf in actie komen per treatmentgroep en meting Zelf doelen stellen Een derde aspect van de begeleiding is in hoeverre deelnemers zelf in staat zijn doelen te stellen, volgens de consulenten. Ook hier is weer een score van 0 tot 10 gebruikt, waarbij 0 betekent geheel niet in staat zelf doelen te stellen en 10 geheel wel.

59

Tabel 3.2.5: Gemiddelde scores op zelf doelen stellen (0-10) Nulmeting N Meting 2 N Meting 3 Eigen regie Intensieve begeleiding Standaardgroep Totaal

N

Gemiddelde N totaal totaal 6,3 269

6,3**

95

5,9

91

6,6*

83

6,3

101

7,0

95

7,9

89

7,1

285

5,0 5,9

86 282

5,4 6,1

86 272

5,9** 6,8***

91 263

5,4 6,3

263 817

Noot: ***p<0,01; **p<0,05; *p<0,10, getest op basis van een multiple regressie analyse (N=817) Bron: Vragenlijsten nulmeting en vervolgmetingen procesevaluatie Vertrouwensexperiment Oss, Tilburg University, 2020.

In bovenstaande tabel zien we dat gemiddeld genomen de intensieve begeleidingsgroep het hoogst scoort, gevolgd door de eigen regie en de standaardgroep. Deze verschillen zijn echter niet (deels) toe te schrijven aan het effect van de treatments (zie tabel B1.1, Bijlage B). Daarnaast zien we een betekenisvolle toename in het zelf doelen kunnen stellen voor alle groepen tussen de nulmeting en meting 3 (zie tabel B1.1, Bijlage B). Nadere analyse toont echter dit alleen voor de standaardgroep een toename is (deels) vanwege het effect van treatment en dat voor de eigen regie groep dit eigenlijk een negatief effect van treatment is ten opzichte van het effect van eigen regie in de nulmeting (zie tabel B1.2 , Bijlage B). De stijging voor de eigen regie groep moet hier dus worden toegeschreven aan andere oorzaken. De sterke stijging voor de intensieve begeleidingsgroep kan ook niet worden toegeschreven aan het effect van de treatment. Wel zien we nog een betekenisvol verschil tussen de eigen regiegroep en de standaardgroep in de nulmeting. Dit kan zoals eerder gesteld wijzen op zelf-selectie bij de aanmelding. De eigen regie groep scoort duidelijk hoger, maar dit verschil wordt kleiner over de tijd, doordat de standaardgroep een betekenisvolle positieve ontwikkeling doormaakt. Dit is ook te zien in onderstaande figuur.

Zelf doelen stellen (0-10) 10.0 9.0 8.0 7.0 6.0 5.0 4.0 Nulmeting

Vervolgmeting 1

Vervolgmeting 2

eigen regie

intensieve begeleiding

standaardgroep

Totaal

Figuur 3.2.5. Gemiddelde scores op zelf doelen stellen per treatmentgroep en meting

60

Verwacht effect van treatment op cliënt Ook is de consulenten gevraagd hoe groot zij verwachten dat het effect van de treatment is voor de klant op een schaal van 0 tot 10. Hierbij staat 0 voor totaal geen effect en 10 voor een zeer groot effect. Tabel 3.2.6: Gemiddelde scores op het verwachtte effect van de treatment (0-10) Nulmeting N Meting 2 N Meting 3 N Gemiddelde N totaal totaal Eigen regie 7,3*** 98 7,1 90 7,1* 81 7,2*** 269 Intensieve 6,8** 101 6,8 91 7,2 84 6,9** 276 begeleiding Standaardgroep 5,8 86 5,3 88 6 88 5,7 262 Totaal 6,6 285 6,4 269 6,8 253 6,6 807 Noot: ***p<0,01; **p<0,05; *p<0,10, getest op basis van een multiple regressie analyse (N=807) Bron: Vragenlijsten nulmeting en vervolgmetingen procesevaluatie Vertrouwensexperiment Oss, Tilburg University, 2020.

Wat betreft de resultaten voor het verwachte effect van de treatment, valt op dat de consulenten voor de eigen regie en de intensieve begeleidingsgroep dit effect gemiddeld hoger inschatten dan die van de standaardgroep (zie tabel B1.1, Bijlage B). Deze verschillen zijn betekenisvol (deels) te verklaren door het effect van de treatments. Dit is vrij logisch, omdat dat natuurlijk een nieuwe aanpak is waar hoge verwachtingen voor zijn ten opzichte van de standaardgroep. Ook zien we dat dit verschil zich vooral voordoet aan de start van het experiment, en later niet of nauwelijks meer verandert. Over de tijd (de onderste rij) vindt er dus geen betekenisvolle ontwikkeling plaats in de verwachting van de consulenten. In meting 3 zien we een kleine afname in het gemiddelde voor de eigen regie groep (ook in tabel B1.2, Bijlage B), maar nog steeds is dit gemiddelde significant hoger dan dat van de standaardgroep. Figuur 3.2.6 laat ook zien dat er weinig verschil over tijd te zien is, maar dat wel de standaardgroep duidelijk onder het gemiddelde ligt.

Effect van de treatment op deelnemer volgens coach (0-10) 10 8 6 4 Nulmeting eigen regie

Vervolgmeting 1 intensieve begeleiding

Vervolgmeting 2 standaardgroep

Totaal

Figuur 3.2.6. Gemiddelde scores op het verwachtte effect van de treatment per treatmentgroep en meting

61

Sociale participatie Wat betreft sociale participatie, zijn consulenten gevraagd om een inschatting te geven van de mate hiervan voor de klant. Deze vraag is weer gescoord van 0 tot 10, waar 0 staat voor participeert totaal niet en 10 staat voor participeert totaal wel. Tabel 3.2.7: Gemiddelde scores op sociale participatie (0-10) Nulmeting N Meting 2 N Meting 3 Eigen regie Intensieve begeleiding Standaardgroep Totaal

N

6,3

98

6,5*

90

6,6

83

Gemiddelde totaal 6,5***

N totaal 271

6,1

101

6,7*

87

7,1

86

6,6

274

6 6,1

86 285

5,8 6,3*

89 266

6,7*** 6,8***

83 252

6,2 6,4

258 803

Noot: ***p<0,01; **p<0,05;*p<0,10, getest op basis van een multiple regressie analyse (N=803) Bron: Vragenlijsten nulmeting en vervolgmetingen procesevaluatie Vertrouwensexperiment Oss, Tilburg University, 2020.

Bovenstaande tabel laat zien dat de gemiddelden voor alle groepen niet erg verschillend zijn; allemaal net onder of boven de 6,4. Toch is de hogere score voor de eigen regie groep vergeleken met de standaardgroep (deels) betekenisvol en toe te schrijven aan het effect van die treatment. Verder zien we wel een duidelijke ontwikkeling over de tijd over alle groepen heen, namelijk er vindt een stijging plaats van 6,3 in de nulmeting naar 6,8 in meting 3 (zie ook tabel B1.1 , Bijlage B). In de nulmeting zien we al dat de eigen regie groep hoger scoort dan de standaardgroep en dat dat (deels) komt door het effect van die treatment. Een verdere toename van dat positieve effect ten opzichte van de standaardgroep zien we in meting 2 (zie tabel B1.2, Bijlage B). Daar zien we ook een betekenisvolle toename voor de intensieve begeleidingsgroep. De score van de standaardgroep neemt betekenisvol toe in meting 3, vergeleken met de nulmeting, wat (deels) kan worden verklaar door het effect van de treatment (zie tabel B1.2 , Bijlage B). Al met al is de mate van sociale participatie voor alle groepen matig en neemt gedurende het experiment maar bescheiden toe. Zo laat figuur 3.2.7 dit ook zien.

62

Mate van sociale participatie (0-10) 10 9 8 7 6 5 4 Nulmeting Eigen regie

Vervolgmeting 1 Intensieve begeleiding

Vervolgmeting 2 Standaardgroep

Totaal

Figuur 3.2.7. Gemiddelde scores op sociale participatie per treatmentgroep en meting

Participatieladder Naast de sociale participatie is de consulenten ook gevraagd een score te geven voor de afstand van de deelnemer tot de arbeidsmarkt op een schaal van 1 tot 6. Dit wordt ook wel de participatieladder of tredeladder genoemd. 1 staat hier voor een zeer grote afstand tot de arbeidsmarkt, terwijl 6 staat voor het verrichten van betaald werk. Tabel 3.2.8: Gemiddelde positie op participatieladder (1-6)

Eigen regie Intensieve begeleiding Standaardgroep Totaal

Nulmeting

N

Meting 2

N

Meting 3

N

Gemiddelde N totaal totaal

3,2

94

4,0

92

3,8

89

3,7

275

3,1

101

4,2

95

4,1

90

3,8

286

3,1 3,1

85 280

3,7** 4,0***

93 280

3,9*** 3,9***

92 271

3,6 3,7

270 831

Noot: ***p<0,01; **p<0,05; *p<0,10, getest op basis van een multiple regressie analyse (N=831) Bron: Vragenlijsten nulmeting en vervolgmetingen procesevaluatie Vertrouwensexperiment Oss, Tilburg University, 2020.