Is meten altijd weten?
Het zit overal; in onze stappenteller, het aantal likes op onze insta post en het aantal sterren om aan te geven hoe blij we zijn met ons verblijf. Maar ook in ons systeem; het bepaalt welke zorg wordt ingekocht, hoe de kwaliteit van onderwijs wordt bepaald, hoe organisaties functioneren en hoe de politie opereert. We kunnen onze samenleving niet meer voorstellen zonder metingen. Hoe ver zijn we verwijderd van de ‘Black Mirror’-aflevering waarin elke menselijke interactie ge-rate moet worden? Als master student Humanistiek vraag ik me af of we wel genoeg blijven waarderen wat het is om gewoon mens te zijn. Met meten is op zich niks mis, maar we kijken te weinig naar de implicaties van meten op ons mens-zijn; wat doet dit meten met ons? Welke effecten zijn wenselijk en welke niet? De hoogste tijd om onze meetobsessie eens onder de loep te nemen.
Dat is precies wat Berend van der Kolk doet in zijn boek ‘De Meetmaatschappij’. Naar aanleiding van zijn boek ontstond de gelijknamige driedelige reeks de Meetmaatschappij die de afgelopen maanden heeft plaatsgevonden in Pakhuis de Zwijger. Berend van der Kolk is niet tegen meten, maar vindt wel dat het wat is doorgeslagen. Een voorbeeld dat hij geeft; de politie kreeg afgelopen jaar de opdracht misdrijven met een grote maatschappelijke impact naar beneden te brengen. Uit de cijfers kwam naar voren dat dit gelukt was. Maar wat bleek? De politie deed vooral haar best woninginbraken – die normaal een grote maatschappelijke impact hebben – als ‘low impact crime’ te labelen zodat het cijfer naar beneden ging. Hoe kunnen we dit soort ‘fouten’ in onze meetmaatschappij corrigeren?
In samenwerking met het Institute for Societal Resilience van de Vrije Universiteit nam Pakhuis de Zwijger in drie afleveringen onze collectieve meetobsessie onder de loep. We verdiepten ons achtereenvolgens in de zorg, het onderwijs en de overheid. In gesprek met academici, bestuurders en professionals bespraken we hoe de meetobsessie zich in hun domein toont. De vraag die telkens centraal stond: hoe kunnen we gebruik maken van de voordelen van meten zonder de menselijke maat uit het oog te verliezen? Hier een terugblik van de belangrijkste opbrengsten en bevindingen naar een menselijke meetmaatschappij.
Gezonde zorg
In het eerste programma ‘Gezonde Zorg’ hadden we een breed scala aan zorgmedewerkers en experts aan tafel. We gingen in gesprek over het meten van de zorgkwaliteit en bespraken eventuele alternatieven.
Gezondheidseconoom Xander Koolman nam ons mee in de stand van zaken in het huidige zorgstelsel: Nederlandse zorgverzekeraars kopen zorg in op basis van prijs en kwaliteit. De kwaliteit moet meetbaar zijn omdat verzekeringen onderling moeten kunnen concurreren op basis van hun polis en premie. Henk Nies (directeur strategie & ontwikkeling bij Vilans) reageert vanuit zijn betrokkenheid bij de ontwikkeling van het kwaliteitskader verpleegzorg. Hij zegt dat het kwaliteitskader zich heeft ontwikkeld tot iets wat het niet moet zijn. “Er zijn een heleboel elementen ingeslopen die niet de bedoeling waren”. Het kader was bedoeld als handvat voor zorgmedewerkers waarin ze zelf hun keuzes kunnen maken wat voor hen in dienst staat van het leren en verbeteren in de zorg. In plaats daarvan is het echter een verplichte afvinklijst geworden.
Zorgprofessionals Daisy Pors (huisarts), Manon Kleijweg (psychiater) en Anneke Kooij-Maurit (verzorgende individuele gezondheidszorg), beamen dit. Al dat meten komt de zorg niet altijd ten goede. De vele formulieren die ingevuld moeten worden kosten veel tijd en zijn vaak onduidelijk. Ouderenpsychiater Manon geeft aan dat ze “elk kwartiertje moet schrijven voor de zorgverzekeraar”. Toch leidt dit niet tot een rechtvaardige verdeling van het geld; de ene na de andere specialistische ggz-instelling sluit. Als reactie hierop besloten ze de actiegroep ‘Red de specialistische GGZ’ op te zetten. Want ook de burger met complexe psychische problemen moet geholpen kunnen worden. Ook huisarts Daisy voelde de urgentie om op te komen voor haar beroepstak. Ze maakte de ‘VerScheurkalender’, een kalender met bizarre uitspraken die duidelijk maken hoeveel druk er op de huisarts ligt. De menselijke maat is weg. Ter illustratie van het belang de menselijke maat terug te brengen, haalt ze een onderzoek aan waaruit blijkt dat mensen met een vaste huisarts het langste leven. Blijkbaar is een persoonlijke band en een luisterend oor van enorme kwaliteit in de zorg, maar wie meet dát?
Er klonk vanavond een duidelijke behoefte vanuit zorgmedewerkers om meer vrijheid te krijgen voor eigen invulling van goede zorg; ruimte om “dat kwartier extra naast de patiënt te kunnen zitten”. Als we de zorg vragen hoe we gebruik kunnen maken van de voordelen van meten zonder de menselijke maat uit het oog te verliezen? Het antwoord luidde dat de kwaliteitsstandaarden toe zijn aan opschoning. Hoewel richtlijnen als handvat kunnen dienen, zijn de standaarden onnodig ingewikkeld en tijdrovend geworden. Daarnaast is het meten niet heilig, er ontglipt nogal eens wat van het door en door menselijke in de zorg. Dus opschonen die standaarden en hou meer ruimte voor het menselijk inschattingsvermogen.
Leren boven presteren
Aan de betrokkenheid van leraren zal het niet liggen; in een volle grote zaal ging het in het tweede programma ‘Leren Boven Presteren’ in de reeks over het onderwijs en hoe het meten daar op de voorgrond staat. Kinderen worden tegenwoordig elke week onderworpen aan een toets die ze met een voldoende moeten afronden om door te kunnen. Leren doen kinderen steeds vaker vooral om het cijfer te halen dat ze willen. Dat geldt ook voor de school; de cijfers van hun leerlingen bepalen hoe goed de kwaliteit van hun onderwijs is. Maar hebben we nog genoeg oog voor wat deze cijfers precies inhouden? Waar is het op gebaseerd en kunnen we alles wat wenselijk is in het onderwijs wel meetbaar maken? Tijdens dit programma gingen we in gesprek over de consequenties van al dat meten in het onderwijs en de vraag of dit anders kan.
Toetsexpert Karen Heij sprak in een panel met Linda Spierings (schooldirecteur van het Marcanti College) en Daniëlle Joynes (oprichter van Plan B, een sociocratische school) over de Cito-toets in het onderwijs. Hoewel de Cito-toets kan helpen voorbij te gaan aan het (voor)oordeel van de leraar om zijn leerlingen te adviseren in het type vervolgonderwijs, is er wel erg veel gewicht aan komen te hangen vinden ze. Deze toets is in grote mate gaan bepalen naar welke type onderwijs een leerling gaat. Karen geeft aan dat we ons moeten blijven beseffen dat er subjectieve keuzes zijn gemaakt in de toetsvragen die gesteld worden. In hoeverre een kind taalvaardig is wordt bijvoorbeeld bepaald door een aantal begrijpend lezen vragen getoetst in meerkeuze opties. We moeten ons beseffen dat de Cito-toets bestaat uit eenduidige kennisvragen over rekenen en taal en dat het een momentopname is. Ze besluiten hun gesprek met een wens om veel meer tijd te nemen om een veelzijdig beeld te vormen van de kwaliteiten en valkuilen van leerlingen. De vraag die we te weinig stellen is; waar toe willen we dat het onderwijs dient?
Gelukkig gebeurt dit al steeds vaker en worden er zelfs scholen opgericht die niet meer enkel uitgaan van examinering. Een voorbeeld is de sociocratische school Plan B. Zij werken niet met cijfers, maar met portfolio’s. Hierin kunnen kinderen toevoegen wat ze trots maakt en waar ze zich in willen ontwikkelen. Dit haalt volgens oprichter Daniëlla Joynes een hoop spanning, angst en stress weg bij kinderen die hier steeds vaker aan lijden.
Martijn Meeter (hoogleraar onderwijswetenschappen) blijft wel benadrukken dat we metingen niet uit het onderwijs moeten halen. Metingen kunnen namelijk heel goed dienen om ontwikkelingen zichtbaar te maken. Met metingen kunnen sneller en effectiever interventies worden gepleegd waar het mis dreigt te gaan. Daarom hoopt hij zelfs dat er in de toekomst nog méér gemeten wordt in het onderwijs. Wel is hij het eens met VU collega hoogleraar Gerdien Bertram-Troost dat de vele cijfers die we leerlingen de “strot door duwen” drastisch ingeperkt moet worden. Zeker in het basisonderwijs, maar misschien wel tot en met de universiteit moeten we overwegen soms ook andere manieren van toetsing aan te bieden. Metingen kunnen helpen dingen in kaart te brengen, maar we moeten ons altijd afvragen wat het meet en wat we doen met het resultaat.
Hoe zouden we vanuit het onderwijs dan antwoord geven op de vraag hoe we de voordelen van het meten kunnen benutten, zonder de menselijke maat uit het oog te verliezen? Samenvattend kan meten helpen ons menselijk oordeel opzij te zetten en kan het helpen bepalen of een ontwikkeling de goede kant op gaat, maar het kan nooit de enige graadmeter zijn van voortgang en ontwikkeling. Het meten hoeft niet weg uit het onderwijs, maar het is wel zaak te kijken wat het meten eigenlijk zegt en hoe het in dienst kan staan van het uiteindelijke doel van onderwijs. Is dit om kinderen zoveel mogelijk kennis toe te stoppen? Dan doen we het best goed. Is het om kinderen te helpen tot goede betrokken burgers? Dan hebben we nog wel wat stappen te zetten. Zo zouden we meer ruimte moeten inbouwen voor actualiteit, spontaniteit en de persoonlijkheid van kind en docent. Karen besluit de avond dat we dat doel van onderwijs te weinig duidelijk hebben geformuleerd, dus daar zouden we moeten beginnen.
Verantwoord datagebruik door de overheid
Niet verwonderlijk krijgen metingen ook bij de overheid steeds meer zeggenschap. In het derde programma ‘Verantwoord Datagebruik door de Overheid’ in deze reeks gingen we daarover in gesprek. Bij politie, gemeenten en de Belastingdienst wordt er steeds meer gebruik gemaakt van algoritmes en big data om het werk efficiënter te maken. Als het over algoritmes bij de overheid gaat kan dit tegenwoordig niet los gezien worden van de toeslagenaffaire. Dit schandaal is een perfect voorbeeld waaruit bleek dat een algoritme verre van objectief is. Als je als burger gecontroleerd wordt door de belastingdienst heb je geen idee waarom. Quirine Eijkman (onderzoeker en vice-voorzitter van het College voor de Rechten van de Mens) benadrukt dat algoritmes niet transparant zijn, maar menselijke vooroordelen bevatten. Uiteindelijk worden de kwetsbare groepen in onze samenleving onevenredig vaak gecontroleerd, met alle gevolgen van dien.
We doken in de casuïstiek van gemeenten waar gelukkig al een aantal hoopvolle ontwikkelingen in gang zijn gezet om het gebruik van algoritmes en data veiliger en eerlijker te maken. In Amsterdam werd jaren geleden al het tada-manifest ontwikkeld. Dit manifest bestaat uit waardegedreven stappen die het datagebruik ethischer en wijzer moet maken. Ook is er inmiddels een algoritmeregister in Amsterdam en andere gemeenten; dit is een register waarin algoritmes inzichtelijk moeten worden. Elke burger kan hier voortaan inzien welke gegevens gebruikt worden en het moedigt de gemeente aan telkens te herzien of het algoritme nog gerechtvaardigd is. Aik van Eemeren (CTO Gemeente Amsterdam) benadrukt dat dit slechts een onderdeel is van een heel palet aan maatregelen die data verantwoord moet maken. Quirine Eijkman vult aan dat ze vanuit het College voor de Rechten van de Mens pleit om vooraf voorwaarden te stellen aan algoritme toepassing. Wie mag algoritmes maken? En wie mag ze inkopen? Gemeenten doen dit vanzelfsprekend, maar zouden hier meer vragen bij kunnen stellen. Een tool om hen hierbij te helpen is IAMA (Impact Assessment Mensenrechten en Algoritme), dit is een tool waarin verbanden gelegd worden met relevante regels, instrumenten en toetskaders op het gebied van algoritmes en mensenrechten. Het helpt de discussie voeren wat de effecten van algoritmes zijn op mensenrechten, hoe dit te verantwoorden en hoe de eventuele effecten te ondervangen. Sinds september dit jaar is dit een verplichte tool die bij moet dragen aan een mensenrecht vriendelijke inzet van algoritmes door de overheid. De toolbox zou echter nog verder uitgebreid moeten worden om misstanden als de toeslagenaffaire definitief tot het verleden te kunnen schalen.
Dus hoe kunnen we de voordelen van meten gebruiken bij de overheid, zonder de menselijke maat uit het oog te verliezen? Ondanks een aantal hoopvolle ontwikkelingen, zou er veel meer bewustzijn moeten komen rond datagebruik. VNG medewerker Berend Alberts- de Gier spreekt van de noodzaak van datageletterdheid, hier kunnen de genoemde voorbeelden bij helpen als startpunt. Ook moeten we veel kritischer zijn op de aannames die schuilgaan achter het gebruik van data. Waar zijn de algoritmes eigenlijk op gebaseerd? Tot slot moet er altijd ruimte blijven voor de uitzondering; het menselijk verhaal moet een plek houden.
De take-home
Cijfers en metingen kunnen ons helpen de kwaliteit van onderwijs en zorg te meten en helpt de overheid efficiënter te werken, maar meten is niet heilig. We moeten ons dan ook altijd bewust blijven van wat we precies meten en wat de beperkingen zijn van onze metingen. Berend van der Kolk ziet drie gevaren in onze toenemende meetobsessie: (1) we moeten ons beseffen dat mensen niet in een mal passen, (2) meten heeft de schijn van objectiviteit en (3) meten vervalt al snel in een doel op zich en verliest het proces hiermee uit het oog (indicatorisme). Kortom, bij elk meten moeten we ruimte behouden voor het menselijke oordeel en de menselijke maat. Het menselijk leven is nou eenmaal niet geheel in cijfers te vatten. Misschien heeft die wijze Aristoteles dan ook hier gelijk: laten we altijd zoeken naar het gulden midden.
In elk van de domeinen blijken we te veel te zijn doorgeschoten richting cijfers en metingen. Waar ligt dan wel het gulden midden? In de zorg zou de zorgprofessional meer vertrouwen moeten krijgen kwalitatieve zorg te leveren waarbij kwaliteitskaders een handvat bieden, maar niet leidend zijn. In het onderwijs is examinering voor sommige kennisdoelen geschikt, maar om leerlingen te begeleiden in hun weg naar kritische zelfdenkende burgers kunnen andere leervormen soms passender zijn. Tot slot vragen algoritmes bij gemeenten om meer datageletterdheid en transparantie om misstanden zoals discriminatie te voorkomen.
Als humanist (in opleiding) kan ik niet anders dan afsluiten met te benoemen dat we het menselijk oordeel meer moeten (her)waarderen, misschien hebben we onszelf onderschat en blijken we niet alles aan de cijfers over te hoeven laten. Cijfers en metingen lijken ons menselijk beoordelingsvermogen te hebben overschaduwd. Dit moeten we weer omkeren; de cijfers en metingen moeten ons helpen een handvat te bieden in een scherp, eerlijk, rechtvaardig en bovenal menselijke oordeel.
Meer leren?
Op onze site en op youtube zijn de drie programma’s terug te zien. Ook verschenen twee podcast afleveringen; vooraf met Berend van der Kolk (auteur van De Meetmaatschappij) en later met Quirine Eijkman (Ondervoorzitter van het College voor de Rechten van de Mens).
