• Home

Categorie: vision & strategy

vision & stategy, uitgangspunten monitoring en evaluatie

Veel scholen en besturen zijn overgevoelig voor kwaliteitsbeoordelingen, wenden zich af van cijfermatige rapportages van kwaliteit en prestaties. Ze hebben ‘blauwe plekken’ opgelopen. Scholen en besturen worden daardoor afgeleid en hebben daardoor minder de focus op hun eigen opdracht: Daar waarin ze eigenlijk zo graag zouden willen stralen en uitblinken.

enig licht op oorzaken
Overheden en de onderwijsinspectie vervullen een essentiële rol in het onderwijsveld. Hun cijfers laten, meer nog dan de eigen analyses, pijnlijke zwakheden zien. Waarom dan toch? Allereerst zijn de overheden en de inspectie partners, en het is niet prettig dat deze zicht hebben op de eigen zwakheden: juist bij partners ligt dat gevoelig.
Een ander aspect is dat de overheden gehouden zijn aan de openbaarheid van bestuur: dus elke resultaat – overheidswege berekend – ligt op straat. Dit doorkruist vooralsnog het publieke verhaal dat scholen zelf zouden willen communiceren.
Op de aanpak van overheden en inspectie valt ook wel een en ander af te dingen. Voornaamste omissie is wel dat de overheden en de inspectie niet helder erin zijn, dat de cijfers waar zij mee werken, vooral betekenis hebben voor henzelf. Nogal eens wordt gesuggereerd dat ook scholen en besturen van de cijfers kunnen leren (of erger: zouden moeten leren!) en dat deze cijfers informatief zijn voor ouders en leerlingen. Het is alsof een chauffeur proclameert dat een ieder met een busje op vakantie moet gaan: er kan lekker zoveel mee naar de zonnige bestemming.
De reikwijdte van inbreng van overheden en inspectie, wordt niet door alle scholen en besturen goed begrepen: de inbreng is (zeker voor scholen) natuurlijkerwijze beperkt en indirect. Immers, de directe partners van scholen en teams zijn veeleer de ouders en het eigen bestuur.
En let op: Vele scholen hebben tikken gehad. Grote steden (zoals ook etnische groepen) krijgen dreunen. Het partnerschap tussen overheid en bestuur is veel vanzelfsprekender. Maar daarbij is zichtbaar dat de overheden – langs de besturen heen – kijken naar de scholen. En dat besturen zijn eerder voortvarend in het aangaan van pragmatische verbindingen met overheden (die al weer snel gaan knellen), dan deze uit te bouwen tot robuuste en vertrouwende partnerships.

wenkend perspectief
Overheden willen een rijk geschakeerd palet van bijzondere, geïnspireerde en hoogkwalitatieve scholen: Mooi onderwijs. En de leveranciers van al dit moois zijn de besturen die hiervoor pachtscholen stichten en in stand houden.
Maar de wereld bestaat natuurlijk niet alleen uit welriekend bloemen. Het komt niet aanwaaien. Scholen en besturen moeten meer staan in hun autoriteit. En dat betekent ook dat scholen en besturen, net als overheden en ouders, hun eigen opdracht en taak goed moeten kennen en begrijpen. Het schoolprofiel zoals ontwikkeld door De Loos Monitoring moet in dit licht worden gezien: het leg een basis voor de eigen autoriteit en toont welke invulling een ieder geeft aan de opgedragen en legitimeerde taak.
Als dit ‘staan in de eigen autoriteit’ al blauwe plekken geeft, dat zijn dan tikjes waarvan je kunt leren en groeien. Punt is natuurlijk dat, voordat je daar bent (in je autoriteit staan én kunnen leren van jezelf), er tal zaken nodig zijn:
. bovenschools: een visie, een saamhorigheid, een masterplan, een vangnet
. organisatie: traject van begeleiding, coaching, training, studie
. instrumentarium: zeggingsrijke indicatoren, schoolprofiel, niet-cyclisch vraaggerichte analyses
. diensten: een kwartiermaker, een organisator, een mediator, een inspirator
Hierbij liggen rollen die uitstekend door educatieve dienstverleners en onderwijsorganisatieadviseurs kunnen worden opgepakt. De Loos Monitoring speelt hierin een beperkte maar tamelijk cruciale rol.

op pad
Blauwe plekken gaan daar niet bij helpen. Terugkruipen in ieders schulp evenmin: redden wat er te redden valt, en vooral geen ondermaatse prestaties. Niet alleen de inspecteur maar ook de wethouder gluren naar binnen. En de teams ervaren dat ouders en besturen alleen maar meer en meer een beroep op de scholen doen….
Uit de kast! De Loos Monitoring toont een weg: ontwikkel het eigen profiel en ga daar pal voor staan. En dat geldt voor alle actoren. Wijs vooral niet te veel naar elkaar. Maar ontwikkel en sterk jezelf (school en team, dus ook bestuur, overheid en ouders). Een ieder wordt daarmee ook een meer volwaardig partner. Die in eerste instantie vooral goed voor zichzelf moet zorgen en daarnaast ook aandacht heeft voor de zaken waar de partners voor staan.
(het lijkt wel psychologie………)

Kwaliteitszorg en prestatieverbetering zijn onlosmakelijk met elkaar verbonden. Een prominente rol van prestatiepeilingen blijkt vaak ongelukkig, en geeft perverse prikkels en onheuse beoordelingen, die een daadwerkelijke kwaliteitszorg in de weg staan.
De Loos Monitoring hoopt een aanpak te hebben ontwikkelt die beter past bij de rijk-geschakeerde onderwijspraktijk, en recht doet aan ieders bijdrage.
eerlijker vergelijken
Kwaliteitsprofielen bieden een alternatieve benadering van kwaliteitszorg en prestatieverbetering. Allereerst dient er sprake zijn van een eerlijker vergelijking tussen scholen onderling. Het kan niet zo zijn dat elite-scholen elke kritisch beschouwing ontlopen door hoge opbrengsten (maar daardoor ook weinig terugkoppeling krijgen), en dat achterstandsscholen alsmaar, en soms zeer onterecht, moeten opboksen tegen een slecht imago.
De Loos Monitoring heeft prestatie-, leertijd- en integratieindicatoren ontwikkelt die het mogelijk maken alle scholen heus en valide op de kaart te zetten. Simpele analyses over bijvoorbeeld de eindtoets en zwart/witte scholen hebben al teveel schade aangericht.
En anderzijds dient ook het eigen verhaal van de school ruimte krijgen: op basis van de interne kwalitatieve en kwantitatieve analyses kan een school heel wel dergelijk het verhaal vertellen van de school en haar leerlingen.
verbreed perspectief
Daarnaast was de toetsing van de kwaliteit vooral ingericht vanuit beheersmatige perspectief van de onderwijsinspectie. Daarbij was de onderwijsinspectie gehouden aan de openbaarheid van gegevens: de bevindingen door de onderwijsinspectie worden ook door ouders gbruikt (bijvoorbeeld bij de schoolkeuze), zonder dat kwaliteitsindicatoren waren toegesneden op de belangen van leerlingen en op de belangen en bijdragen van ouders. Dit leidde tot ondoorzichtige referenties en normeringen, die weinig meer te maken hadden met het gebouw in de wijk, het team en de leerlingen.
En prestatieverbetering en kwaliteitszorg is niet alleen een zaak van de school: ook ouders, bestuur en gemeente hebben hierin een bijdrage te leveren. En deze bijdrage kan ook wel eens kritisch beoordeelt worden. Waarom zou een bestuur, een gemeente of ouders niet eens worden aangezet om planmatig bij te dragen aan prestatieverbeteringen?
niet-cyclisch verbeteringsgerichtheid
Veel kwaliteitsonderzoeken verdwenen uit het zicht. Met de bevindingen werd te weinig gedaan. Daarom dienen kwaliteitsprofielen te worden ingebed in een kwaliteitscyclus. Een kwaliteitscyclus is niet in enge zin cyclisch, doch veeleer verbeteringsgericht. Hieronder is de vermaarde PDCA-cyclus (Plan-Do-Check-Act cyclus) gestrekt: verbeteringsgericht gestrekt.

De Loos Monitoring heeft een alternatieve cyclus ontwikkeld, die nauwer aansluit bij de praktijk van prestatieverbeteringen en kwaliteitszorg van scholen die midden in de samenleving staan. Deze alternatieve cyclus laat scholen ook meer ruimte zich te onderscheiden:

naar een authentiek schoolprofiel
Kwaliteitsprofielen moeten verder gaan dan het afleggen van verantwoording; het draagt bij aan onderwijsverbetering en datadriven werken aan kwaliteitszorg. Scholen en alle andere actoren (besturen, gemeente, ouders) kunnen ‘leren’ en ‘veranderen’; maar dan alleen als je je ‘veilig voelt’.
Verantwoorden moet dan ook als zodanig worden ingevuld dat het ver weg blijft van ‘afrekenen’. Als leerkracht, ouders, bestuur en gemeente moet je weten waar je voor staat en aan welke verwachtingen van de anderen wil/kan voldoen. Verantwoorden vanuit helderheid, transparantie en authenticiteit, laat ruimte voor onzekerheden/teleurstellingen.

In de jaren tachtig kwamen de monitoren op. Het basisidee achter een monitor is dat een monitor een verschijnsel in beeld brengt. Monitoren centreren zich rondom een min of meer breed thema (bijvoorbeeld voortijdig schoolverlaten) en brengt daar allerhande deelaspecten van in beeld inclusief trends en uitsplitsingen. Monitoren functioneerden idealiter als middel ter signalering, verantwoording, verkenning en attendering.
Hoe omvangrijk is het voortijdig schoolverlaten? Zijn er verschillen tussen jongens en meisjes en/of hoe zeer liggen de percentages uiteen (vmbo vs. havo/vwo c.q. fbo vs. mbo).
Ook werden globale streefcijfers geformuleerd, want de overheid moest transparanter en dus doelstellingen SMART formuleren.
Een monitor beziet met name trend op een globaal niveau. Vaak kunnen vanwege dit globale niveau ook allerhande nuanceringen worden gemaakt bij deze trends of kan er worden gekeken naar allerhande detailleringen.

Een benchmark focust met name op verschillen tussen regio’s, instellingen of diensten. Benchmarks kennen één of meerdere referenties (bijvoorbeeld het gemiddelde of een doelstelling) en ook is er vaak sprake van een kritisch gebied. Deze kritische gebieden worden vaak weergegeven op een dashboard en/of met een typische inkleuring van stoplichten (“rood” is daarbij altijd kritisch).
Achterliggend idee was het de regio’s, instellingen of productgroepen zelf het beste de kwaliteit en de prestaties konden verbeteren, maar wel gehouden waren aan bewijzen van goede dienstverlening. Openbaarmaking van posities op de benchmark zou marktwerking introduceren en daarmee een extra stimulans vormen om op cruciale kerncompetenties te presteren of liever te excelleren.

Een profiel toont diverse aspecten van één enkele regio, instelling of dienst, en toont waarop het onderscheidend is. Een profiel vormt de cijfermatige basis van een kwalitatieve beschrijving, beoordeling, positionering en (uiteraard) profilering.
Het past wellicht beter in een tijdsgewricht waarin eigenheid, authenticiteit en intrinsieke waarde een alternatief vormt voor nadere rationalisering. Het voorkomt wellicht ook een te statische en regeltechnische benadering van kwaliteitsstandaarden. Alsof maatschappelijke diensten producten in steriele fabriekshalen worden gemaakt zonder invloeden van buitenaf: bij maatschappelijke diensten komt juist de buitenwereld in alle variaties op je af!
Het aardig van profielen is ook dat zij weliswaar een cijfermatige fundering hebben maak dat de uiteindelijke kleurbekenning een zaak is voor alle betrokkenen: tevredenheidsonderzoeken maken ook vrijwel altijd deel uit van profielen.

Wat is waar?
Onze breinen zijn er meester in te conceptualiseren. En vervolgens wisselen we deze representaties van de werkelijkheid onderling uit. We kunnen de intersubjectieve werkelijkheid stoelen op basis van een snel uitdijende data en analyses. En soms is het dan verleidelijk zelf niet meer rond te kijken in het wereld, waar van oorsprong deze data uit zijn gedestilleerd. En te controleren of onze beelden nog wel zo goed passen op de werkelijkheid.
Dat waren mijn gedachten bij het lezen van de column van Martijn de Groot in het kwartaalblad Data&Research. De columnist stelt voor, om geregeld een datasabbatical te houden: zich een tijdje van de data af te keren en zich onder te dompelen in de echte werkelijkheid.
Wat staat ons te doen?
In mijn visie is er een alternatief. En dat is het een spel tussen de data-analist (wegwijs in de wereld van data én onafhankelijk) en de informatiegebruiker (belanghebbend én dichter bij de werkelijkheid). Zij proberen tezamen zicht te krijgen op de ontwikkelingen en scherp voor ogen te krijgen wat er gedaan moet worden.
Niet al mijn opdrachten vragen van mij om dicht op de data te zitten. Dat maakt de datasabbatical voor mij minder urgent. Het is wel zaak er voor te zorgen dat alle uitkomsten getoetst en kwalitatief beoordeeld worden door direct betrokkenen. En daarvoor moet binnen opdrachten voldoende ruimte worden ingebouwd.

In onderwijsland worden termen niet altijd met een even grote eenduidigheid gebruikt. Ook verschuiven betekenissen in de tijd. Hierbij een aantal door De Loos Monitoring gebruikte indelingen en termen.
Een ieder wordt uitdrukkelijk uitgenodigd een bijdrage te leveren aan een verdere ontwikkeling van de indelingen en te hanteren termen. Daarbij uiteraard het oogmerk indelingen en termen te vinden die voor alle onderwijsfases geldig en herkenbaar zijn.
aspecten van schoolprofiel:
. inrichting/visie/concept
. richting/denominatie (niet te verwarren met opleidingsrichting)
. gerichtheid of gericht/geprofileerd aanbod (bv. zorglocatie, loot-vestiging, tweetalig onderwijs, schakelklas, technasium, vakantieonderwijs)
. profilering (buurtschool, eliteschool, burgerschap/integratie, prestatiegericht, kleinschaligheid, sociale competenties)
. samenstelling (GPL1/4, referentiegroepen opbrengstenkaart, wecso/wecvso)
. samenwerking (wsns, vve)
aspecten van opleidingen:
. onderwijsniveau (vo: bb/bk/gl/tl/havo/vwo, en mbo: bo1/4) met aggregatieniveaus vorm > soort > fase
. schooltypen (vo: lwoo/lwt/ao/io/brug/vavo, en mbo: bbl/bol/col/dt/eb/be) met aggregatieniveaus systeem > leerweg
. opleidingsrichting (vmbo-afdelingen havo/vwo-profielen mbo-kenniscentra) met aggregatieniveaus opleiding > profiel/afdeling/kc > sector
. leerjaar (so: leeftijd, pro: verblijfsduur, mbo: duur van inschrijving)
wisselen van opleiding/school:
. niveauwisseling (opstroom, doorstroom, afstroom);
. jaargroepwisseling of cohortwisseling (vertraging/terugplaatsing, bevordering, klasoverslaan)
. typewisseling (bv. bao->sbao, lwoo->regulier, vo->vavo)
. richtingwisseling (andere opleiding binnen dezelfde richting of sector)
. schoolwisseling (onderscheid tussen vestiging/locatie, instelling, swv)
. kwalificatie (vmbo-diploma, bo1, startkwalificatie, bo3, bo4/ho-kwalificatie)
. verhuizingen (binnen buurt/wijk/plaats/stadsdeel/gemeente/regio)
. in/uit onderwijs

Welke informatie is meest gewenst?
Rapportages en informatiekubussen bevatten veel informatie.
Niet alle informatie is in gelijke mate relevant, actueel, urgent, sprekend, illustratief, verklarend, onderscheidend, grafisch lekker weer te geven, snel op te leveren, nader te detailleren of generiek …..
Dus hoe te kiezen? Hoe informatie beleidsrelevantie te krijgen?
De gemeente Den Haag leefde met de wens om uit allerhande rapportage en gegevensverzamelingen, het meest beleidsrelevante te selecteren.
Al snel werd duidelijk dat een rapportage beleidsrelevant is:
· omdat het antwoord geeft op de vragen uit het verleden (vaak de aanleiding voor de rapportage);
· omdat de bron zelf verrassende resultaten te zien geeft;
· en omdat aanpalende beleidsterreinen aspecten relevant achten.
De Loos Monitoring heeft een aanpak opgesteld te komen tot een explicitering van de informatievraag. Met deze aanpak wijst (in dit geval) het beleid de onderzoekers op voorhand op aandachtspunten. Tegelijkertijd geeft deze aanpak de onderzoeker ruimte om op basis van tussenresultaten te komen met opmerkelijke zaken.
De aanpak geeft ook aan hoe bij de productie en de presentatie beleid en onderzoek elkaar wederzijds kunnen motiveren en gezamenlijk kunnen sturen naar een meer effectvolle verslaglegging.

Het moet klein
blijven en overzichtelijk
zodat het past in het doosje
van het begripsvermogen dat wel
de kosmos wil omvatten met God erbij
maar dat dan de menselijke maat
compleet uit het oog verliest
met de mens erbij die hoe
gewichtig ook niet moet
willen concurreren met
de majesteit van
een mier.
Gerrit Luidinga

Korte oneliners genoteerd (en becommentarieerd) op de conferentie “Besturen aan zet” van de PO-raad dd 12 oktober 2010:
* cijfers disciplineren….
(lijkt een wat ongericht kenmerk van informatie, alsof dit vanzelf ontstaat en alsof vanzelf een positief effect kent voor opbrengt en kwaliteit)
* door openbaarheid van resultaten, ontstaat er een publieke rivaliteit tussen scholen onderling en keuzevrijheid van ouders…
(wanneer is er sprake van rivaliteit en wanneer is er sprake van profilering?)
* actueel lijkt er een accentverschuiving plaats te hebben van verticale sturing naar horizontale sturing….
(vergelijk ook “het schoolprofiel” en de “publieke kwaliteitsindicatoren” van De Loos Monitoring)
* partiële effectiviteit….
(begrip wat verwijst naar verschillen in schooleffectiviteit in leerjaren, vaardigheden, arrangementen, achterstanden/talenten, persoonskenmerken enz.)
* hoge kwaliteit door 1. sterk curriculum; 2. discipline en schools klimaat; 3. meer leertijd en 4. opbrengstgerichtheid….
(wordt hier “hoge kwaliteit” niet verward met “hoge opbrengsten”, een verwarring die de hele conferentie teisterde?)
* “het betere” vervangt “het goede”…..
(een heerlijke cryptische oneliner)
* accountability works….
(ook hier lijkt het wat ongericht kenmerk van verwoording afleggen, alsof dit vanzelf ontstaat en alsof vanzelf een positief effect kent voor opbrengt en kwaliteit)
* schoolontwikkeling…..
(hoe krijg je het team in beweging? hoe maak je het team probleemeigenaar?)
* van relatie tot prestatie…..
(in mijn visie vormt “prestatie” onderdeel van het “schoolprofiel”, tezamen met “standaarden”, “kwaliteit” en “middelen”)

uit essay van Bart Dekker over het fenomeen ‘pervers beleid’:
Het Nederlandse ‘pervers’ is afgeleid vanuit het Latijnse ‘pervertere’, een samenvoeging van ‘per’ [door] en ‘vertere’ [omdraaien].
‘pervers beleid’ is beleid wat het tegenovergestelde bereikt van wat is beoogd; ‘perverse effecten’ zijn de uitkomsten van pervers beleid en ‘perverse prikkels’ zijn elementen in het beleid die in de praktijk tegenovergesteld bewerkstelligen.
Oorzaken van pervers beleid zijn:
1. gebrekkige kennis
2. dwaasheid
3. zichzelf vernietigende voorspellingen
4. aggregatie-effecten
5. eigenbelang en doelverschuiving
6. fouten
7. toeval
Lees meer in het artikel zoals eerder is verschenen in Human, zomer 2010. Hieronder een korte en beduidend minder smeuïge samenvatting.
gebrekkige kennis: achterliggende veronderstellingen van een maatregel blijken niet te kloppen.
dwaasheid: volharden in beleid terwijl die duidelijk strijdig zijn met andere belangen
zichzelf vernietigende voorspellingen: voorspellingen beïnvloeden processen
aggregatie-effecten: negatieve doorwerking van individuele keuzes en gedragingen op een hoger aggregatieniveau
eigenbelang en doelverschuiving: najagen van eigenbelang leidt tot een voor iedereen onbevredigende situatie door verschuiving van het perspectief
fouten: cruciale fouten met een groot afbreukrisico
toeval: kleinigheden hebben grote gevolgen