Het zal zeker twaalf jaar geleden zijn dat ik voor het eerst het begrip innumeracy tegenkwam. Dat was dankzij het geweldige boekje met dezelfde titel van wiskundige John Allen Paulos. Paulos stelt dat veel mensen – zelfs die met een hoge opleiding – slecht in staat zijn om met getallen om te gaan. Velen zijn als het ware nummer-analfabeet.
Veiligheidsprofessionals onderscheiden zich niet van de rest van de bevolking. En dat is een probleem. Want moeten niet juist zij kunnen omgaan met bijvoorbeeld kansberekening en statistieken? Om bijvoorbeeld ongevalscijfers te kunnen interpreteren?
> LEES OOK: Tellen en meetellen
Artikel over onderzoek en ongevalscijfers in Zweden
Onlangs kopte een nieuwsbericht met “Sombere ongevalstrend op Zweedse bouwplaatsen”. Het artikel verwees naar onderzoek en ongevalscijfers in Zweden in vergelijking met Denemarken, Noorwegen en Finland. Voor Zweden waren de cijfers niet best. De andere landen kwamen er positief vanaf. Met name Noorwegen kreeg lof toegezwaaid voor de arbozorg op bouwplaatsen. Uit het onderzoek sprak zorg over de toestanden en men stipte hoofdoorzaken aan.
Maar al te vaak zie ik om me heen dat professionals dergelijke statistieken voor zoete koek slikken. Dat zij nauwelijks kritisch nadenken of spreken over de claims die erin worden gemaakt. En dat zij als gevolg daarvan maatregelen treffen die wellicht onnodig en soms zelfs schadelijk zijn.
> LEES OOK: 4 tips om de risico-regelreflex te beteugelen
Laten we eens kijken naar de claims die in dit artikel worden gemaakt op basis van de ongevalscijfers en wat we daarvan kunnen vinden.
- Er is een negatieve trend in ongevallen in Zweden en een positieve trend in andere Scandinavische landen.
- Het aantal dodelijke ongevallen in Zweden is stijgende.
- Zweden staat op nummer 1 in een lijst van dodelijke ongevallen.
- De belangrijkste oorzaak voor de ongevallen is het gebrekkige gebruik van persoonlijke beschermingsmiddelen (PBM).
Dit triggert mij tot een aantal kritische vragen. Zulke vragen zouden we ons altijd moeten stellen als we met statistieken worden geconfronteerd. Of die nu over ongevalscijfers gaan of over wat anders. Ik bespreek er hierna een handjevol.
Trend?
Is er werkelijk sprake van een trend? Die vraag betreft zowel de gemelde stijgende trend in Zweden als de neergaande trend in de buurlanden.
Een trend is een wijziging van een bepaalde (getal)waarde of toestand in de loop van de tijd. Het artikel biedt daarvoor geen sterke onderbouwing, want er worden uitsluitend gegevens over de laatste vier jaar gepresenteerd. Daarin vertoont noch Zweden (5-9-7-12), noch Noorwegen (6-8-7-4) een duidelijk patroon. En is een periode van vier jaar eigenlijk voldoende om een trend vast te stellen?
Dit kunnen we illustreren door naar de positieve getallen voor Noorwegen te kijken. De Noorse tegenhanger van het CSB biedt ons namelijk de mogelijkheid om zelf met de getallen te spelen. Hier kunnen we bijvoorbeeld fatale arbeidsongevallen binnen de bouwbranche oproepen. Zie de grafiek van 2004 tot 2018.
Kijken we naar bovenstaande grafiek in zijn geheel, dan zien we eigenlijk een vrij stabiele situatie die schommelt rond een gemiddelde van 7 dodelijke ongevallen per jaar. In de afgelopen jaren lijkt er inderdaad sprake van een dalend patroon, maar is dit toeval of daadwerkelijk een trend? Het is opvallend dat de aantallen in 2004 en 2008 het laagst zijn (in beide jaren de helft van het aantal in 2018). Het is ook opvallend dat beide jaren onmiddellijk worden gevolgd door een jaar met ‘extreem’ hoge aantallen: in beide gevallen springen we van 2 naar 10 jaarlijkse doden.
Zonder er statistische berekeningen bij te slepen, kunnen we stellen dat wijzigingen in zulke lage aantallen over het algemeen niet statistisch significant zijn. Vaak zijn ze eerder het gevolg van toeval of natuurlijke variaties dan door onze inspanningen (goede of slechte) op het gebied van veiligheid.
> LEES OOK: Ongevallencijfers, het is maar hoe je ernaar kijkt
Aantal
Het gaat in het artikel over een aantal. Welke factoren beïnvloeden dat aantal en worden deze ook besproken? En hoe relevant is dat aantal eigenlijk?
Een belangrijke factor die het aantal ongevallen beïnvloedt zal het gelopen risico zijn. Maar hoe zit het bijvoorbeeld met het activiteitenniveau? Om de effecten van de financiële crisis van 2008 te bestrijden heeft de Noorse overheid sterk geïnvesteerd in onder andere bouwprojecten. Het is aannemelijk dat dit invloed heeft gehad, zoals de grafiek ook suggereert. En het aantal werknemers binnen een branche dan? Of het aantal inwoners in een land? Zweden heeft pakweg dubbel zoveel inwoners als Noorwegen en Denemarken; hogere aantallen zijn dus te verwachten.
Ongevalscijfers
Het artikel gaat in de eerste plaats over ongevalscijfers, maar wat zeggen dergelijke aantallen werkelijk over veiligheid?
Hoewel iedereen instinctief voelt dat een ongeval een teken is voor onveiligheid, is het slechts een zwakke maat. Enerzijds omdat het gevolg van een ongeval toevallig is. Een bouwvakker die uitglijdt op een steiger zonder leuning kan een doodsmak maken en in het ziekenhuis terechtkomen. Of hij kan zich vasthouden en er met de schrik vanaf komen. Zelfde situatie, groot verschil in gevolg. Anderzijds geldt ook dat een positief resultaat (nul letsels of doden) het gevolg kan zijn van geluk of onvoldoende melden.
> LEES OOK: Veiligheid is afwezigheid van ongevallen?
Vergelijking
Wie staat op de genoemde lijst en hoe relevant is het om die met anderen te vergelijken?
In dit geval hebben we het over Scandinavische landen. Het is misschien natuurlijk om een vergelijking te maken met buurlanden. In dit geval ligt dat nog meer voor de hand omdat taal, cultuur en sociale omstandigheden in Zweden, Denemarken en Noorwegen vergelijkbaar zijn. Aan de andere kant is dit niet vanzelfsprekend. Zo was het 30 jaar geleden bijzonder vreemd geweest om West- en Oost-Duitsland met elkaar te benchmarken ...
Oorzaak
Wat betekent ‘grootste oorzaak’? Hoe is dit bepaald? En is er iemand die baat heeft bij de conclusies?
Omwille van de omvang van dit artikel zal ik de vraag of men überhaupt een ‘grootste oorzaak’ kan vaststellen hier in het midden laten. Ook omdat bij nader onderzoek blijkt dat het rapport waarop het nieuwsbericht zich baseert niet spreekt over oorzaken van (dodelijke) ongevallen, maar wel melding maakt van slechte discipline bij PBM-gebruik. Blijkbaar een staaltje journalistieke vrijheid: het met elkaar verbinden van twee zaken die in het rapport los van elkaar stonden genoemd.
> LEES OOK: Over onderliggende aannames en waarheden
Dit leert ons nog een les. Behalve kritische vragen stellen, moeten we waar dat mogelijk is proberen naar de bronnen te gaan. Want pers- en nieuwsberichten willen nog weleens voorbijgaan aan belangrijke nuances. Of zelfs compleet de plank missen. Wat in deze casus wel te denken geeft is dat het rapport is uitgegeven door Skydda en gebaseerd op onderzoek van dit bedrijf. Laat dit nu net een grote leverancier van PBM zijn ...
Kritische vragen stellen voor meer veiligheid
Kritische vragen stellen is een elementaire vaardigheid voor veiligheidsprofessionals. De besproken casus is slechts een voorbeeld om te laten zien hoe u dat op een vrij simpele manier kunt aanpakken. Dat helpt om betere bijdrages te leveren aan veiligheid en tot meer zinvolle acties te komen, in plaats van achter het volgende fake news aan te rennen.
Carsten Busch is senior adviseur arbeidsveiligheid bij Politidirektoratet en eigenaar van www.mindtherisk.com.
