Wie leest het rapport, behalve de schrijver zelf?
Een fusie tussen twee zorginstellingen in Twente loopt veertien maanden. Als het project is afgerond, schrijft de programmamanager het evaluatierapport. Diezelfde persoon heeft het project geleid, de knopen doorgehakt en de vertraging van maand negen weggewerkt. Niemand anders leest het rapport voordat het naar de raad van bestuur gaat.
Dat is niet uitzonderlijk. Het is de standaardgang van zaken bij de meeste projectevaluaties: de projectleider schrijft, tekent en verstuurt, zonder dat er ergens tussen die drie stappen iemand anders meekijkt.
Vier kaders, één zwakke schakel
OECD DAC, de Britse Gate 5-toets, de PRINCE2-praktijk en het CIPP-model van Stufflebeam zijn onafhankelijk van elkaar ontwikkeld, voor heel verschillende doeleinden — ontwikkelingssamenwerking, overheidsprojecten, projectmanagement, onderwijsevaluatie. Toch komen ze uit op dezelfde bouwstenen: baten toetsen tegen de oorspronkelijke belofte, vooraf vastgestelde criteria, actiegerichte lessen — en onafhankelijke validatie.
Van die vier bouwstenen is de laatste in de praktijk het lastigst te organiseren. Criteria vaststellen kan een projectleider alleen. Baten optellen kan een projectleider alleen. Maar zichzelf onafhankelijk beoordelen lukt per definitie niet — daarvoor is er altijd een tweede partij nodig.
Onafhankelijk is geen aan/uit-knop
"Onafhankelijke validatie" klinkt alsof er maar één vorm bestaat: een externe auditor die het rapport doorspit. Voor een project van vijf ton en drie jaar is dat gepast. Voor de meeste projecten is het dat niet — en dat is precies waarom onafhankelijkheid er in de praktijk vaak helemaal niet is. De enige twee opties die projectleiders zien zijn "extern inhuren" of "zelf schrijven", en het tweede wint altijd van de kosten en de planning.
Ertussenin zit een hele reeks werkbare vormen. Een collega uit een ander team die het rapport leest tegen de vooraf vastgestelde criteria, zonder zelf bij het project betrokken te zijn geweest. Een kwaliteitsbureau dat niet het hele project overdoet, maar toetst of de conclusies kloppen met de onderliggende cijfers. Een vaste tweede lezer binnen de organisatie, aangewezen vóór het project van start gaat — niet achteraf gezocht toen het rapport al klaar lag.
Welke vorm passend is, hangt af van het risico en de omvang van het project — een pilot van twee maanden vraagt niet om dezelfde toetsing als een meerjarig ICT-programma. Belangrijk is niet de zwaarte van de vorm, maar dat de keuze bewust wordt gemaakt en niet wordt overgeslagen omdat het te veel gedoe lijkt.
Wat de programmamanager in Twente had kunnen doen
Bij de ziekenhuisfusie had niemand vooraf bepaald wie het rapport zou tegenlezen. Toen het rapport er lag, was er geen tijd meer: het bestuur wilde het stuk voor de eerstvolgende vergadering, en een tweede lezer zoeken kostte een week die er niet was. De onafhankelijkheid sneuvelde niet op onwil, maar op planning — precies het moment waarop niemand meer geneigd is om een extra stap toe te voegen.
Dat is te voorkomen door de vorm van onafhankelijke toetsing te kiezen op het moment dat de evaluatiecriteria worden vastgesteld, bij de start van het project, niet bij de afronding. Wie het rapport tegenleest, staat dan al vast voordat er iets is om tegen te lezen. Dat hoeft geen auditor te zijn. Het moet iemand zijn die niet zelf verantwoordelijk was voor de uitkomst.
Eén stap
Leg bij de volgende evaluatie vooraf vast wie het rapport toetst tegen de criteria — niet wie het schrijft, maar wie het leest voordat het de deur uitgaat. Dat kost geen auditor. Het kost een naam op papier, vóór het project begint.