Prestaties en effecten meten in ketens

Beleidsinformatie in ketens: de valkuilen in kaart

De ketenvisie van keteninformatisering omvat, zoals Jan Grijpink elders in dit boek aangeeft, een drietal hoofdpunten. Het eerste hoofdpunt is irrationaliteit: ketenpartijen hebben allen hun eigen belangen, en door het ontbreken van overkoepelend gezag is het verloop van ketenprocessen moeilijk te voorspellen of te sturen. Het tweede hoofdpunt is het dominante ketenprobleem: bij gebrek aan formele hiërarchie is het dominante ketenprobleem, een maatschappelijk probleem dat de ketenpartners niet ieder voor zich op kunnen lossen, de samenbindende factor in de keten. Als het dominante ketenprobleem verschuift, zal de keten zich hergroeperen rond het nieuwe dominante ketenprobleem. Het derde hoofdpunt is het ketenniveau. De ketenvisie onderscheidt, naast het 'grondvlak' van een keten, het zogenaamde 'ketenniveau'. Met het grondvlak worden de interne bronregisters van de ketenpartners bedoeld, het ketenniveau bevat de gemeenschappelijk beheerde keteninformatiesystemen.

De ketenvisie is op een aantal punten in strijd met de methodiek VBTB. VBTB gaat uit van hiërarchische sturing: de minister maakt afspraken met de Tweede Kamer over de prestaties en effecten binnen zijn beleidsterrein, en werkt deze vervolgens uit in afspraken met de uitvoering. VBTB gaat ook uit van voorspelbare prestaties en effecten. De ketenvisie gaat er echter van uit dat ketens geen formele hiërarchie kennen, en dat ketenprocessen moeilijk te voorspellen en te sturen zijn. Op grond van deze tegenstrijdigheid is het te verwachten dat VBTB niet zonder meer toepasbaar is in ketens. De rest van deze paragraaf gaat in op de valkuilen die zich voor kunnen doen bij het meten van prestaties en effecten in ketens, en maakt daarbij gebruik van voorbeelden uit het SUWI-domein.

Valkuil 1: ketenprestaties zijn niet altijd constant en niet altijd voorspelbaar.
VBTB gaat uit van redelijk voorspelbare prestaties (output). De ketenvisie leidt echter tot de verwachting dat, door de irrationaliteit en de veranderlijkheid van ketens, de ketenprestaties niet altijd constant en niet altijd voorspelbaar zullen zijn.

Valkuil 2: ketenprestaties leiden niet altijd tot de beoogde maatschappelijke effecten.
VBTB gaat uit van redelijk voorspelbare maatschappelijke effecten (outcome). De ketenvisie stelt echter dat ketens zich vormen rond een zogenaamd dominant ketenprobleem – een probleem dat de ketenpartners ieder voor zich niet op kunnen lossen. Het gaat hier doorgaans om zeer complexe problemen waarvan het lang niet altijd zeker is of de ketenpartners deze in gezamenlijkheid wel op kunnen lossen – zeker waar de prestaties van de keten niet altijd constant en voorspelbaar zijn. Eén van de problemen die leidden tot de vorming van de SUWI-keten was de stijging van de kosten van de sociale zekerheid. Dit leidde tot de wens om mensen zo veel mogelijk in hun eigen inkomen te laten voorzien, en alleen een uitkering te verstrekken als dit strikt noodzakelijk is. Voor de Centrale organisatie Werk en Inkomen (CWI) is hierin een belangrijke rol voorzien. De mate waarin CWI deze rol vervult, wordt onder andere afgemeten aan de zogenaamde preventiequotes. Deze prestatie-indicatoren geven aan hoe veel werklozen, en mensen die werkloos dreigen te worden, door CWI aan een baan geholpen worden zodat ze geen beroep hoeven te doen op een uitkering. Het aantal beschikbare banen wordt sterk beïnvloed door de toestand van de economie, en het is de vraag in hoeverre CWI de preventiequotes kan beïnvloeden.

Valkuil 3: informatie-uitwisseling heeft geen directe relatie met maatschappelijke effecten.
In veel maatschappelijke ketens vormt, na de eerste verkennende stappen, de uitwisseling van gegevens het eerste begin van een meer structurele samenwerking. Het kan echter moeilijk zijn om vast te stellen in hoeverre deze gegevensuitwisseling daadwerkelijk bijdraagt aan de beoogde maatschappelijke effecten.
Binnen het SUWI-domein wisselen de ketenpartners gegevens uit door middel van de elektronische voorziening Suwinet. Het doelbereik van de gegevensuitwisseling – of deze, bijvoorbeeld, bijdraagt aan het beperken van de instroom in een uitkering – hangt in hoge mate af van de manier waarop de medewerkers de beschikbare gegevens in de praktijk gebruiken.

Valkuil 4: definities, meetmethoden en mate van betrouwbaarheid zijn niet altijd duidelijk.
Bij beleidsinformatie die afkomstig is uit het ‘grondvlak’ kan er onduidelijkheid ontstaan over de gehanteerde definities, de gehanteerde meetmethode en de mate van betrouwbaarheid.
Een voorbeeld uit het SUWI-domein is de prestatie-indicator die aangeeft in hoeverre reïntegratietrajecten leiden tot duurzame inzet in reguliere arbeid, waarbij ‘duurzaam’ wordt gedefinieerd als minimaal een half jaar. Reïntegratietrajecten worden aanbesteed door, en uitgevoerd in opdracht van, vestigingen van het Uitvoeringsinstituut Werknemersverzekeringen (UWV) en gemeentelijke sociale diensten. Het is de vraag in hoeverre de vestigingen van UWV en de gemeentelijke sociale diensten de resultaten van reïntegratietrajecten op een vergelijkbare manier meten en registreren in hun primaire vastleggingen, en in hoeverre deze informatie zonder meer te aggregeren is tot één, eenduidige prestatie-indicator.

Valkuil 5: ‘kale’ procesgegevens zijn zonder kennis van de context nauwelijks interpreteerbaar.
De ketenpartners kunnen in de eerder genoemde valkuilen en aandachtspunten aanleiding zien om de uiteindelijk beoogde maatschappelijke effecten niet in hun metingen te betrekken, maar zich te beperken tot het meten van processen. Ook het ontbreken van een dominant ketenprobleem dat door alle partijen als zodanig wordt herkend kan aanleiding zijn voor een dergelijke keuze. Deze keuze kan leiden tot beleidsinformatie die vooral ‘kale’ procesgegevens bevat, zoals het aantal elektronische berichten dat binnen de keten wordt uitgewisseld. Dergelijke ‘kale’ procesgegevens zijn zonder kennis van de context nauwelijks interpreteerbaar.
De manier waarop binnen het SUWI-domein de prestaties van de elektronische voorziening Suwinet worden gemeten, vormt een illustratie van dit probleem. In de beleidsinformatie over Suwinet zijn gegevens opgenomen als het aantal aangesloten gebruikers, de beschikbaarheid van het systeem gedurende de dag en het aantal uitgewisselde elektronische berichten. Deze meetgegevens geven hooguit zeer indirect zicht op de mate waarin het gebruik van Suwinet bijdraagt aan het bereiken van maatschappelijke effecten.

Valkuil 6: meetgegevens die de ketensamenwerking in beeld brengen zijn vooral bruikbaar op operationeel niveau.
Naar aanleiding van de bovengenoemde valkuil kunnen ketenpartijen kiezen voor beleidsinformatie die de maatschappelijke effecten buiten beschouwing laat, en die vooral de onderlinge samenwerking in beeld brengt. Dergelijke beleidsinformatie is echter vooral bruikbaar op operationeel niveau. Op dit niveau kunnen de ketenpartijen afspraken maken over wat ze op welke manier willen meten, en kunnen ze actie ondernemen op basis van de meetresultaten.
Een voorbeeld uit het SUWI-domein is de prestatie-indicator die de tevredenheid van UWV en gemeentelijke sociale diensten weergeeft met de reïntegratieadviezen die CWI uitbrengt. Deze prestatie-indicator is onderdeel van de verantwoording van CWI aan het ministerie van SZW. Voor het ministerie heeft deze prestatie-indicator een beperkte praktische waarde. Alleen op lokaal niveau kan CWI, in overleg met de betreffende gemeentelijke sociale dienst of vestiging van UWV, actie ondernemen om de tevredenheid te verhogen.

Valkuil 7: inspanningen en maatschappelijke effecten zijn niet gelijkelijk verdeeld over de keten.
Beleidsinformatie speelt een belangrijke rol in de relatie tussen ministeries en de Tweede Kamer, en tussen overheidsorganisaties en het verantwoordelijke ministerie. In deze relatie kan het verstorend werken dat de te leveren inspanningen en de te bereiken maatschappelijke effecten niet gelijkelijk zijn verdeeld over de keten.
Begroting en verantwoording per ketenpartner kunnen een vertekend beeld geven van ‘wat we hebben bereikt’ en ‘wat we daarvoor hebben gedaan’. Dit kan leiden tot ‘perverse prikkels’ als ketenpartners moeten kiezen tussen het bijdragen aan effecten die in hun eigen begroting en verantwoording niet zichtbaar zijn, en het bereiken van zichtbare effecten op hun eigen terrein.
In het SUWI-domein speelt dit probleem met name bij het Bureau Keteninformatisering Werk en Inkomen (BKWI) en het Inlichtingenbureau (IB). Deze beide organisaties ondersteunen de andere ketenpartijen bij het geautomatiseerd uitwisselen van gegevens, wat deze partijen zou moeten helpen bij het bereiken van maatschappelijke effecten. In de beleidsinformatie over BKWI en IB ligt de nadruk op ‘kale’ procesgegevens, zoals het aantal gebruikers dat aangesloten is op Suwinet, en het aantal elektronische berichten dat in de keten wordt uitgewisseld. Alleen de tevredenheidcijfers van de afnemers en gebruikers vormen een stimulans om niet alleen te streven naar optimale technische voorzieningen, maar ook naar een maximaal doelbereik.

[Terug | Verder]