Categorie: kwaliteit

kwaliteit, effectiviteit, standaarden, toezicht

puntenwolk

Een puntenwolk (eigenlijk spreidingsdiagram) geeft een snelle eerste indruk van de posities van scholen en de onderlinge verschillen. Ook kunnen groepen worden vergeleken én samenhangen worden verkend. Hieronder enkele voorbeelden:

De onderstaande puntenwolk toont voor pakweg 170 basisscholen, welk deel van de leerlingen een hoger referentieniveau hebben behaald op de taalonderdelen van de eindtoets, ten opzichte van de landelijke gemiddelde (verticale as).

De horizontale as toont welk deel de leerlingen op deze scholen een leerlinggewicht heeft.
De groene lijn is norm van de onderwijsinspectie voor scholen met eenzelfde percentage gewichtenleerlingen. Er is ook een middenlijn door de puntenwolk heen: dit geeft een eerste indruk hoe deze scholen zich verhouden tot de norm van de onderwijsinspectie. Ook is direct zichtbaar dat scholen onderling tamelijk verschillen in de mate waarin afwijken van de norm qua leesprestaties.

Door scholen een verschillend kleurtje te geven kunnen groepen van scholen worden onderscheiden. In de volgende visual is het landelijke gemiddelde prestatieniveau op taal de nullijn. Ook nu weer is de norm van de onderwijsinspectie ingetekend, evenals hun ondergrens (±20ste percentiel) en een bovengrens (berekend 80ste percentiel). Het laat zien dat er een samenhang is tussen het prestatieniveau en het aandeel gewichtenleerlingen.

Door scholen een verschillend kleurtje te geven, kunnen scholengroepen worden vergeleken. In de volgende visual zijn scholen in Noord vergeleken met scholen in Zuid:

In de volgende visual het groeitempo (een maat voor schooleffectiviteit) op de verticale as, afgezet tegen het prestatieniveau op de school. Het toont dat het (aanvankelijke) prestatieniveau niet nauw samenhangt met schooleffectiviteit:

In de volgende gecombineerde puntenwolk worden de scholen twee ingetekend, en wel voor een tweetal prestatie-indicatoren die de onderwijsinspectie hanteert voor de scholen:

wisselen van eindtoets

In de afgelopen jaren hebben veel basisscholen een andere eindtoets gekozen. Het idee bestaat dat basisscholen met name wisselen wanneer de eindtoetsresultaten tegenvallen: een andere eindtoets zou wellicht een betere uitkomst geven, en dus zou de normering van de diverse eindtoetsen niet gelijk zijn.

Scholen zelf geven andere redenen op: hun keuze valt op meer praktische, prettiger en passender eindtoetsen (OCO, 2019).

De Loos Monitoring heeft bekeken of de toetsadviezen met nieuwe eindtoetsen, beter aansluiten bij de schoolkeuzeadviezen van de scholen, dan de oude eindtoetsen.

Van de laatste drie eindtoetsronden (2017-2019) zijn basisscholen geselecteerd die in het voorgaande jaar (2016-2018) een andere eindtoets hebben afgenomen. En dan blijkt dat de toetsadviezen inderdaad hoger zijn dan in het jaar daarvoor:

Resulteerde de eindtoets van vóór de toetswisseling nog in 33% á 36% lagere toetsadviezen dan schooladviezen; ná de toetswisseling was dit percentage gedaald naar 26% á 29%. Tegelijk gingen het aandeel leerlingen omhoog dat een hoger toetsadvies kreeg dan het schooladvies.
Is er dan sprake van mogelijk ‘perverse motivatie’ om reden van accountability, te switchen naar een ‘eenvoudiger’ eindtoets?

Wanneer de toetadviezen worden vergeleken met scholen die niet zijn gewisseld, blijkt dat toetsadviezen ná toetswisseling meer vergelijkbaar zijn aan scholen die niet zijn gewisseld van eindtoets:

Het is dus plausibel dat de oude eindtoets inderdaad minder goed paste bij de schoolkeuzeadviezen van de scholen, en dat met name vanwege onderwijsverbetering scholen van eindtoets wisselden.
De suggestie dat basisscholen om reden van communicatie en verantwoording een ‘lichtere’ eindtoets zouden kiezen, doet vooralsnog de scholen én toetsleveranciers tekort.

Ook in 2019 zijn de toetsresultaten van toetswisselaars vergeleken met die van niet-wisselaars. Ook dan blijkt dat de mismatch tussen toetsadvies en schooladvies, ná toetswisseling beter overeenkomen, met de mismatch op scholen die bij hun eerdere toetskeuze zijn gebleven.

Wat dan wel opvalt is dat door het reduceren van het aantal toetsadviezen in 2019 tot een zestal adviezen, meer overgang’ers een hoger toetsadvies hebben dan hun schooladvies:

Verder blijkt het schoolwisselen in 2017-2019 niet samen te hangen, met schoolweging, hoogte van adviezen en/of mate van mismatch in 2019 (geen visual in dit bericht).

groeitempo

Bij een peiling van schooleffectiviteit (toegevoegde waarde van de school) worden prestaties op een beginmeting en eindmeting met elkaar vergeleken. In de Leerwinst-methode van De Loos Monitoring worden daarvoor per leerling de toetsresultaten van vorig schooljaar vergeleken met de resultaten in het huidige schooljaar.

Deze aanpak heeft als nadeel dat leerlingen met een voorsprong qua cijfers nauwelijks meer kunnen ‘groeien’, maar dat terdege wel kunnen. Dat geldt ook voor leerlingen met achterstand: ook zij nog steeds verder achterop raken, zonder dat dat in de cijfers goed zichtbaar is.

De Groeitempo-Methode biedt een oplossing: in een referentiegroep wordt bekijkt per niveaugroep de leerwinst bekeken, en omgezet tot een normaalscore. De Groetempo-methode is nu integraal opgenomen in de Leerwinst-methode. In het eenvoudiger Groeitempo-model worden de leerwinst voor vijf niveaugroep ingedeeld in drie gelijke ‘groei’-groepen: ‘dalend’, ‘gelijk’ en ‘stijgend’.

Nu zijn de niveaugroepen gelijk in hun (gestandaardiseerde) leerwinst. En kunnen scholen met meer achterstanden (lager prestatieniveaus) worden vergeleken met scholen met meer voorsprong (hogere prestatieniveaus):

Per niveaugroep, leerjaar én competentie, is het groeitempo gestandaardiseerd en zijn groeigroepen ingedeeld.

In de pilot zijn de toetsresultaten van de laatste zes schooljaren als referentie genomen.