Opening the black box: Implementatiekwaliteit van de schoolinterventie Zippy's Vrienden.

Abstract

Objective: Although research on factors related to implementation quality is growing, this is a relatively new area of study. As a result the question of which are the most important factors that contribute to a successful implementation remains largely unresolved. The present study expands previous research by examining factors at the classroom, teacher and school level influencing multiple dimensions of the implementation quality of Zippy's Friends, an international emotional wellbeing program for primary school children. Moreover we explored whether the dimension quality of delivery mediated the relationship between classroom characteristics and the dimension responsiveness. Method: Within the framework of the overall evaluation study, teachers in 29 classrooms participated in this study. At the beginning of the school year teachers reported on the the externalizing problem behaviour of their students. Observations of the implementation quality and teacher style in the classrooms were carried out four months later during visits to school. Results: Stepwise multiple regression analysis indicated that the percentage of children with externalizing problem behavior within classrooms and teacher style were the most consistent predictors of the implementation quality as they were associated with two dimensions of the implementation quality: the quality of delivery and the responsiveness. Unexpected, we found an higher responsiveness in classrooms with more immigrant students. The quality of delivery completely mediated the relation between the percentage of students with externalizing problem behavior within classrooms and the responsiveness. Implications and limitations are discussed. Key-words: school- based intervention, implementation quality, quality of delivery, integrity, responsiveness. Samenvatting Doelstelling: Een relatief onderbelicht aspect binnen onderzoek naar interventies is de implementatiekwaliteit van een interventie. De vraag welke factoren cruciaal zijn voor een goede implementatiekwaliteit is daarom nog grotendeels onbeantwoord. De huidige studie had als doel te onderzoeken in hoeverre factoren op klas-, leerkracht- , en schoolniveau drie verschillende dimensies van de implementatiekwaliteit van de schoolinterventie Zippy's Vrienden beïnvloeden. Daarnaast exploreerden we of de dimensie kwaliteit van uitvoering de relatie tussen klaskenmerken en de dimensie responsiviteit medieert. Methode: Aan het begin van het schooljaar rapporteerden leerkrachten over externaliserend probleemgedrag van hun leerlingen. Vier maanden later observeerden we de implementatiekwaliteit en de leerkrachtstijl bij 29 leerkrachten uit de experimentele conditie van een effectonderzoek naar Zippy's Vrienden. Resultaten: Hiërarchische multipele regressieanalyses toonden dat het percentage leerlingen met externaliserend probleemgedrag per klas en de leerkrachtstijl de meest consistente voorspellers waren en zowel de dimensie kwaliteit van uitvoering als de dimensie responsiviteit voorspelden. Daarnaast was de responsiviteit hoger in klassen met meer allochtone leerlingen. Tot slot medieerde de kwaliteit van uitvoering het verband tussen het percentage leerlingen met externaliserend probleemgedrag in de klas en de responsiviteit. Implicaties en limitaties worden besproken.