Leiders worden geboren. Goede leiders worden gemaakt. (Kroon, 2012)

“Leiders worden geboren. Goede leiders worden gemaakt.”

(Kroon, 2012)

Onderzoek naar het effect van de Non-Technical Skills van een Operationeel Leider op het resultaat van een ROT-overleg.

Erik van Leeuwen - Master of Crisis and Public Order Management - 26 januari 2015

Colofon Opleiding

Master of Crisis and Public Order Management Politieacademie & Instituut Fysieke Veiligheid EQF-niveau 7

Examenopdracht

2: Schrijven en verdedigen van Masterthesis MCPM

Kernopgaven

5200510: Risico-assessment en voorbereiding binnen gevaar- en crisisbeheersing 5200511: Functioneren binnen gevaar- en crisisbeheersing

Auteur

Erik van Leeuwen (32 61 47) Binnengeest 30, 1921 CP, Akersloot [email protected] 06 - 52 56 23 25

Thesisbegeleider

Bernard Groot [email protected] 06 - 55 88 58 43

Datum

Foto omslag

26 januari 2015

KLPD (2010)

2

Voorwoord Deze masterthesis is de afsluitende proeve van bekwaamheid voor de Master of Crisis and Public Order Management. De ‘proeve’ zit bij deze masterthesis onder andere in het zorgvuldig en wetenschappelijk toepassen van de methodologie. Het meest interessante deel zit in het onderwerp: ‘Non-Technical Skills’. Vanuit mijn werkzaamheden voor de brandweer en voor de crisisbeheersing is het buitengewoon interessant om te kijken naar deze menselijke factoren binnen de hulpverlening. Zeker als deze bijdragen aan efficiënt en veilig optreden. Het veilig optreden speelt niet alleen een rol bij het onderwerp van deze thesis, maar ook bij de totstandkoming van de thesis. Doordat een brandweer-collega afgelopen zomer zeer onfortuinlijk bij een duikongeval om het leven is gekomen, begon dit onderzoek anders dan normaal. Afgeleid door dit ellendige ongeval en mijn rol bij de afhandeling ervan is het opstellen van deze thesis traag op gang gekomen. Een boekje dat ik cadeau heb gekregen (Robin, waarvoor dank) heeft het onderzoek weer op gang gebracht. Dit boekje over leiderschap beschreef dat alleen het nemen van initiatief controle over de situatie geeft. Hierdoor geïnspireerd en met een klein duwtje in de goede richting van het onderwerp (Petra, waarvoor dank) en een enthousiast verhaal (Ellie, waarvoor dank) begon dit onderzoek lekker te lopen. Na de start was het niet alleen slim en zorgvuldig werken, maar ook gewoon heel hard en lang doorwerken. Hierdoor heb ik wel veel respect gekregen voor degenen die dissertaties, artikelen of zelfs hele boeken schrijven. De in dit onderzoek gebruikte dissertatie van Selma van der Haar is daar een mooi voorbeeld van. Naast haar mooie dissertatie is ook dankbaar gebruik gemaakt van de deskundigheid van Selma, maar ook van de bereidheid van Erie Braakhekke om als deskundige op te treden (Selma en Erie, waarvoor dank). Naast mijn persoonlijke ervaringen, is de literatuur erg duidelijk over het belang van de menselijke factor als succes- of faalfactor in de hulpverlening. Bij het bekijken en analyseren van vele uren met video-opnames van het optreden van de Operationeel Leiders heb ik dit zelf opnieuw kunnen waarnemen. Hier past overigens een woord van dank aan alle betrokken Operationeel Leiders. Deze hebben zich, in dienst van de wetenschap, kwetsbaar opgesteld door de video-opnames van hun optreden beschikbaar te stellen voor dit onderzoek. Naast de literatuur kunt u mede daarom ook in dit onderzoek lezen hoe groot de invloed van de factor Operationeel Leider is. Vlak voordat ik mijn gezin ga bedanken, verdient mijn thesisbegeleider Bernard Groot een enorm compliment. Wat een bron van energie, enthousiasme en wetenschap. In de meest positieve zin van het woord zijn we vaak van de hak op de tak gesprongen. Van mijn kant is hierbij veel inspiratie en kennis opgedaan. Overigens heeft me dit, wederom in de meest positieve zin van het woord, ook veel werk opgeleverd in de vorm van omgooien, herschrijven en aanvullen van de thesis. Natuurlijk allemaal ten faveure van dit onderzoek. Bernard, hopelijk rendeert jouw tijd in mij ook in je eigen dissertatie. Bedankt voor de prettige samenwerking. Als laatste mijn gezin. Je wilt ze het beste geven, maar je vraagt het meeste van ze ………. Lieve Eke, Brent en Nella zoveel geduld, begrip en zelfonderhoudend vermogen in zulke jonge mensen heeft grote indruk op mij gemaakt. Tegelijk is dat heel logisch met zo’n moeder. Lieve Jacintha, voor jou deze afsluitende ereplaats. Meer dan bedankt voor je liefde, je werk en je steun. Je bent de mooiste menselijke factor in mijn leven. Tot slot wens ik u veel plezier met het lezen van deze masterthesis.

Erik van Leeuwen Akersloot, 26 januari 2015 3

Inhoudsopgave Voorwoord Samenvatting 1. Onderzoeksvraag 1.1. Onderwerp 1.2. Kaders en afbakening 1.3. Onderzoeksvraag 1.4. Deelvragen 2. Methodologie onderzoek 2.1. Dissertatie Bernard Groot 2.2. Kwalitatief verklarend onderzoek 2.3. Data verzamelingsmethoden 2.3.1. Literatuuronderzoek naar NTS 2.3.2. Interviews deskundigen over NTS 2.3.3. Literatuuronderzoek naar meten effectiviteit ROT-overleg 2.3.4. Video-opnames 2.3.5. Video-observatie voor kwalitatieve selectie ROT-overleggen 2.3.6. Video-observatie bepaling belang NTS 3. Literatuuronderzoek naar NTS 3.1. Geschikte set NTS 3.2. Reductie van NTS 3.3. Conclusies literatuuronderzoek naar geschikte NTS 4. Interviews deskundigen over NTS 4.1. Vragen aan deskundigen 4.2. Beantwoording door deskundigen 4.3. Conclusies interviews deskundigen 5. Literatuuronderzoek naar meten effectiviteit ROT-overleg 6. Video-observatie voor kwalitatieve selectie ROT-overleggen 6.1. Observatie door eerste onderzoeker 6.2. Selectie sterkste en zwakste ROT-overleggen 6.3. Controlerende observatie door tweede onderzoeker 6.4. Vergelijk scores eerste en tweede onderzoeker 6.5. Analyse observatie effectiviteit ROT-overleggen 6.6. Gebruik observatieformulier Effectiviteit 7. Video-observatie bepaling belang NTS 7.1. Observatie door eerste onderzoeker 7.2. Controlerende observatie door tweede onderzoeker 7.3. Vergelijk scores eerste en tweede onderzoeker 7.4. Analyse observatie NTS 7.5. Gebruik observatieformulier NTS 8. Beantwoording onderzoeksvraag 8.1. Beantwoording deelvragen 8.2. Beantwoording onderzoeksvraag 8.3. Conclusie 9. Aanbevelingen 9.1. Opleiden, trainen en oefenen 9.2. Operationeel Leider 9.3. Verbeteren kwaliteit onderzoek 9.4. Vervolgonderzoek rond OL 9.5. Vervolgonderzoek naar andere factoren 9.6. Afsluitende suggestie 10. Discussie 11. Slotbeschouwing

3 6 9 9 11 11 11 12 12 12 13 13 13 13 14 14 14 15 15 17 18 19 19 19 20 21 22 22 23 24 25 26 27 28 28 29 29 30 32 33 33 35 35 36 36 37 37 38 38 39 40 43

4

Bijlage 1: Informatiebronnen Bijlage 1.1: Literatuurlijst Bijlage 1.2: Bibliografie Bijlage 1.3: Geïnterviewde personen Bijlage 1.4: Respondenten Bijlage 2: Samenstelling ANTS-systeem Bijlage 3: Eigenschappen beoordelingssysteem Bijlage 4: Analyse informatiebronnen Bijlage 5: Vragenlijst aan deskundigen Bijlage 6: Totstandkoming scorelijst Effectiviteit Bijlage 7: Effectiviteit: ‘Result of the emergency response at the scene’ Bijlage 8: Indeling en kleurgebruik zeven-punts Likert-schaal Bijlage 9: Score-formulieren Effectiviteit Bijlage 9.1: Blanco score-formulier Effectiviteit Bijlage 9.2: Voorbeeld ingevuld score-formulier Effectiviteit Bijlage 10: Scores Effectiviteit door eerste onderzoeker Bijlage 11: Vergelijk scores Effectiviteit onderzoekers Bijlage 11.1: Verschillen scores Bijlage 11.2: Scores Bijlage 12: Details scores Effectiviteit Bijlage 13: Score-formulieren NTS Bijlage 13.1: Blanco score-formulier NTS Bijlage 13.2: Voorbeeld ingevuld score-formulier NTS Bijlage 14: Vergelijk scores NTS onderzoekers Bijlage 14.1: Verschillen scores Bijlage 14.2: Scores Bijlage 15: Details vergelijk Effectiviteit met NTS Bijlage 16: Lijst van afkortingen

45 45 46 47 47 48 49 50 52 53 54 55 56 56 57 58 59 59 60 61 62 62 63 64 64 65 66 67

5

Samenvatting Voor deze masterthesis is onderzoek gedaan naar de Non-Technical Skills van de Operationeel Leider. In dit onderzoek zijn duidelijke aanwijzingen gevonden dat de Non-Technical Skills (NTS) van de Operationeel Leider (OL) een effect hebben op het resultaat van een overleg van het Regionaal Operationeel Team (ROT). Aanleiding voor dit onderzoek was de verwondering na een recente reeks van oefeningen van het ROT in de Veiligheidsregio Noord-Holland Noord (VRNHN). Hierbij was opgevallen dat gelijke scenario’s bij verschillende OL’s behoorlijk ongelijke resultaten opleverden en dat het gedrag van de OL een voorname rol speelt in de verschillen van de resultaten. Daarnaast was duidelijk dat dit effect niet zo zeer werd bepaald door diens kennis van de procedures, protocollen of van de organisatie. Veel meer waren er vermeldingen van of werd er gesproken over de interpersoonlijke kant van het gedrag van de OL. Het belang van deze menselijke factoren staat binnen de luchtvaart al enige tijd duidelijk op de agenda. In de luchtvaart bleek dat maar liefst 74% van de luchtvaartongevallen worden veroorzaakt door de menselijke factoren (Timmermans, 2012, p. 21). Al snel bleek toen dat deze menselijke factoren niet alleen in de luchtvaart maar ook op tal van andere terreinen hetzelfde effect hadden. Steeds gaat het over het handelen van personen in teams die onder grote druk staan. De combinatie van deze constateringen met de resultaten van de oefeningen maakt het interessant om te onderzoeken of ditzelfde mechanisme een rol speelt bij de functionaris OL die binnen het operationele team onder druk handelt. Wanneer hierbij ook in beschouwing wordt genomen dat binnen de hulpverlening nog geen fundamenteel onderzoek is gedaan naar deze menselijke factor als oorzaak van falen (Timmermans, 2012, p. 23) wordt het nog interessanter om onderzoek te doen naar deze menselijke factor. Een definitie die goed past bij deze menselijke factor binnen de hulpverlening staat beschreven in Flin, O'Connor & Crichton (2008, p.1). Hierin worden deze beschreven als de “niet technische vaardigheden … die technische vaardigheden aanvullen en bijdragen aan een veilige en efficiënte taakuitvoering”. Deze niet technische vaardigheden (Non-Technical Skills) staan daar verder beschreven als “cognitieve, sociale en persoonlijke vaardigheden”. Als eerste moet in dit onderzoek de vraag worden beantwoord of de NTS van de OL een effect hebben op het resultaat van een ROT-overleg. Vervolgens speelt de vraag of het mogelijk is om het aantal NTS zo veel mogelijk te beperken. De eerste stap daartoe is de vraag of een beperkt aantal NTS een aanzienlijk deel van het effect op het resultaat van het ROT kunnen verklaren. Dit omdat een beperkte set eenvoudiger te gebruiken is bij het opleiden, trainen en oefenen van OL’s. De verwondering uit de oefeningen, de lacune in fundamenteel onderzoek en het belang van goede opleidingen, trainingen en oefeningen hebben geleid tot de volgende onderzoeksvraag: Welke Non-Technical Skills van de Operationeel Leider hebben het grootste effect op het resultaat van een overleg van het Regionaal Operationeel Team bij een oefenincident in de Veiligheidsregio Noord-Holland Noord? Voor het beantwoorden van deze onderzoeksvraag is met meerdere methoden data verzameld. Allereerst is via een literatuurstudie onderzoek gedaan naar de NTS die het grootste effect kunnen hebben op het resultaat. De uitkomsten van dit onderzoek zijn in interviews met deskundigen besproken. Tot slot zijn videobeelden van ROT-oefeningen voor empirisch onderzoek geobserveerd op het effect dat de diverse NTS hebben op het resultaat van een ROT-overleg.

6

Uit het literatuuronderzoek kwamen verschillende lijsten met gedragingen naar voren die voor verschillende doeleinden zijn ontwikkeld. Zo zijn er onder andere lijsten voor persoonlijke ontwikkelplannen, voor kwaliteitseisen en om succesvol te functioneren. Van deze lijsten wordt de set van Flin et al. (2008, p. 11) voor dit onderzoek als meest passend beschouwd. Deze set beschrijft de niet technische vaardigheden die bijdragen aan een veilige en efficiënte taakuitvoering van personen die werkzaam zijn in hoog-risico beroepen. Daarbij is deze set afgebakend en samenhangend gericht op de NTS. Vervolgonderzoek gaf geen aanwijzingen dat er in deze set onderdelen zijn die beduidend meer of minder effect op het resultaat hebben. Alleen op basis van het feit dat het onderzoek over oefenomstandigheden gaat, maakt dat er delen van de set (stress en vermoeidheid) weggelaten zijn. Deze bevindingen zijn door de deskundigen in de interviews bevestigd. De vijf NTS die daarmee overblijven en verder in dit onderzoek worden gebruikt zijn: 1. Situation awareness; 2. Decision-making; 3. Communication; 4. Team working; 5. Leadership. Een belangrijk doel van dit onderzoek betreft het bepalen van het effect van de NTS op het resultaat van een ROT-overleg. Hiervoor is een door Van der Haar, Segers & Jehn (2013) ontwikkeld en gevalideerd instrument gebruikt dat betekenisvolle uitspraken kan doen over de effectiviteit van het ROT. Dit instrument bestaat uit twee onderdelen waarvan het onderdeel ‘Team meeting outcome’ geschikt is voor het kwalificeren van een ROT-overleg. Dit onderdeel met de onderliggende categorieën ‘Image building’ en ‘Wrapping up the meeting’ is in de observaties gebruikt om de resultaten van de ROT-overleggen op effectiviteit te kwalificeren. Voor de observatie waren video-opnames van 33 ROT-overleggen beschikbaar. Deze videoopnames zijn met het instrument van Van der Haar et al. (2013) beoordeeld op effectiviteit. Van deze opnames zijn de vier meest effectieve en de vier minst effectieve ROT-overleggen geselecteerd om verder te analyseren op het effect van de NTS. De uitkomsten van de scores van de NTS, bij deze vier sterkste en vier zwakste sessies, staan in figuur 1 samengevat. Zowel de Effectiviteit als de NTS zijn beoordeeld op een zeven-punts1 Likertschaal.

Image building

Wrapping up the meeting

Situation awareness

Decisionmaking

Communicatio n

Team working

Leadership

NTS (Flin et al., 2008)

Gemiddelde Effectiviteit

Effectiviteit (Van der Haar et al., 2013)

Sterkste vier 

5,9

5,9

5,9

5,9

5,9

6,0

5,8

6,0

Zwakste vier 

3,6

3,9

3,3

3,8

3,6

3,2

3,1

3,3

Figuur 1: Samenvatting vergelijk Effectiviteit met NTS

De belangrijkste constatering van deze analyse is dat bij de vier sterkste sessies alle vijf NTS hoog scoren en respectievelijk bij de vier zwakste sessies alle vijf laag scoren. Dit betekent dat er een indicatie is dat wanneer de onafhankelijke variabele NTS hoog scoort de afhankelijke variabele Effectiviteit daardoor hoger is en andersom. Hieruit kan worden geconcludeerd dat er een indicatie is dat de NTS effect hebben op het resultaat.

1

De Indeling en het kleurgebruik van de zeven-punts Likert-schaal staan vermeld in bijlage 9. 7

Dit onderzoek toont daarmee, voor het eerst, aan dat er een indicatie is dat de NTS van de OL van belang zijn voor de effectiviteit een ROT-overleg. Aanvullend hierop kan ook worden geconstateerd dat er geen duidelijk onderscheid is tussen het effect van de diverse NTS, waarmee er een indicatie is dat alle NTS in gelijke mate van belang zijn. Gezamenlijk is dit ook het antwoord op de hoofdvraag van dit onderzoek. De beantwoording van de onderzoeksvraag leidt tot de conclusie dat bij het opleiden, trainen en oefenen van de OL alle NTS van Flin et al. (2008) een belangrijke plaats moeten krijgen. Dit omdat de NTS aantoonbaar bijdragen aan het resultaat van een ROT en zo de kans op falen door toedoen van de menselijke factor beperken.

8

1.

Onderzoeksvraag

Aan de basis van dit onderzoek staat het promotieonderzoek van dhr. drs. Groot (Groot, 2014a). Zijn dissertatie richt zich op de vraag wie de ideale Operationele Leider (OL) is en hoe deze het meest effectief kan zijn. Door de gesprekken met hem en een presentatie die hij aan de VRNHN heeft gegeven, was al snel duidelijk dat de multidisciplinaire OL een mooi onderwerp van onderzoek kan zijn. Daarbij is het ook nuttig wanneer dit onderzoek kan bijdragen aan de dissertatie van dhr. Groot.

1.1.

Onderwerp

Begin 2014 was bij een reeks van oefeningen van het ROT in de VRNHN opgevallen dat gelijke scenario’s bij verschillende OL’s behoorlijk ongelijke resultaten opleverden. Daarom is bij de ROToefenreeks in het najaar van 2014 hier nadrukkelijk op waargenomen. De begeleider en hoofdwaarnemer van deze oefeningen mw. Ter Averst benoemt in een gesprek (persoonlijke communicatie, 25 september 2014) dat bij deze oefenreeks opnieuw behoorlijke verschillen zijn geconstateerd. Tijdens de waarnemingen is haar opgevallen dat het gedrag van de OL een voorname rol speelt in de verschillen van de resultaten. Deze gedragscomponenten staan ook vermeld in de verslagen van de oefeningen (Averst, 2014a, 2014b, 2014c; Verbeek, 2014). Zo staat vermeld dat de OL rust brengt in het team en structuur houdt, maar ook dat het team rekent op de OL om die structuur aan te brengen. Daarnaast wordt in positieve zin benoemd dat de teamleden door de OL goed worden betrokken en dat daarmee later geen discussies meer plaats vinden. Ook het doorvragen van de OL op onvolledige informatie wordt in positieve zin benoemd. Andersom staat ook beschreven dat een OL zich laat afleiden door één knelpunt en daarmee de andere knelpunten verwaarloost. Uit de verslagen volgt ook een voorbeeld dat “vanwege de strakke manier van communiceren”2 van de OL de doelstellingen niet worden gehaald en de teamleden zich terugtrekken. In het gesprek komt wel ter sprake dat ook de andere teamleden een rol spelen. Hiervan zijn ook vermeldingen in de verslagen terug te vinden. Kenmerkend is echter dat mw. Ter Averst van mening is dat het juist de OL is die een prominente rol speelt in het verloop en het resultaat van de oefening en dat het daarmee zeer interessant is om het gedrag van de OL te onderzoeken. Tijdens het gesprek, maar ook uit de verslagen, wordt duidelijk dat het effect van de OL niet zo zeer wordt bepaald door diens kennis van de procedures, protocollen of van de organisatie. Veel meer zijn er vermeldingen van of wordt er gesproken over de interpersoonlijke kant van het gedrag. Dit zijn voor de VRNHN redenen om meer aandacht te gaan besteden aan deze menselijke kant van het gedrag. Het belang van deze menselijke factoren staat binnen de luchtvaart al enige tijd duidelijk op de agenda. Al sinds de jaren zeventig blijkt dat er in de luchtvaart ondanks allerlei technische hoogstandjes, checklists en uitstekende bedieningsinstructies nog steeds (bijna)ongevallen gebeuren. Hiernaar is toen nader onderzoek gedaan. Hierbij bleek dat vliegtuigen niet alleen neerstortten door technische problemen, maar dat maar liefst 74% van de luchtvaartongevallen worden veroorzaakt door de menselijke factoren (Timmermans, 2012, p. 21). Daarmee dringt langzaam het besef door dat een goede piloot niet alleen in staat moet zijn om de techniek van het vliegen onder de knie te krijgen maar dat het minstens zo belangrijk is dat de piloot wordt opgeleid met de vaardigheden waarmee deze zijn/haar taak veilig en efficiënt kan uitvoeren. Al snel bleek dat deze menselijke factoren niet alleen in de luchtvaart maar ook op tal van andere terreinen hetzelfde effect hadden. Bekende voorbeelden van ernstige ongelukken die door toedoen van menselijk falen

2

In het kader van ethisch verantwoord onderzoek doen (Baarda, De Goede & Teunissen, 2009, p. 33) is de informatie zodanig verwerkt (zie ook §2.3.4.) dat deze niet op de individuele persoon (OL) herleidbaar is. Daarom staat bij dit citaat geen bronvermelding. 9

zijn veroorzaakt, zijn: de explosie op het booreiland Piper Alpha3, de explosie van de Challenger en het uit de lucht schieten van een Iraanse Boeing door de Amerikaanse marine kruiser USS Vincennes. Steeds gaat het over het handelen van personen in teams die onder grote druk staan. De combinatie van deze constateringen met de opmerkingen van mw. Ter Averst, over de verschillende resultaten van de ROT’s en de belangrijke invloed van de OL op dat resultaat, maakt het interessant om te onderzoeken of ditzelfde mechanisme een rol speelt bij de functionaris OL die binnen het operationele team onder druk handelt. Ook in een ROT is het voorstelbaar dat onder leiding van de OL door menselijke factoren, bijvoorbeeld informatie over explosiegevaar of asbest, niet boven tafel komt en daarmee leidt tot grotere risico’s. Wanneer hierbij ook in beschouwing wordt genomen dat binnen de hulpverlening nog geen fundamenteel onderzoek4 is gedaan naar deze menselijke factor als oorzaak van falen (Timmermans, 2012, p. 23), wordt het onderwerp van de onderzoeksvraag steeds duidelijker. Aan het begin van dit onderzoek was nog niet helder wat het belang van deze menselijke factoren was. In eerste instantie was de onderzoeksvraag dan ook gericht op een bredere formulering in de vorm van ‘gedragskenmerken’ van de OL. De combinatie van de gesprekken, de verslagen, het initiële onderzoek en de bevindingen van Timmermans hebben echter gemaakt dat de focus van dit onderzoek zich heeft verlegd naar de zachte kant van de gedragskenmerken. Een duidelijke en passende definitie voor deze ‘zachte kant van de gedragskenmerken’ is te vinden in Flin et al. (2008, p.1): “De cognitieve, sociale en persoonlijke vaardigheden die technische vaardigheden aanvullen en bijdragen aan een veilige en efficiënte taakuitvoering”. Deze focus leidt ook direct tot een begin van een afbakening, dit omdat voorgaande definitie een beschrijving is van de zogenaamde NonTechnical Skills (NTS). Dit onderzoek zal zich dan ook specifiek gaan richten op de vraag of de NTS van de OL, conform het mechanisme in de luchtvaart, een effect hebben op het resultaat van een ROT-overleg. Een initiële verdieping in dit onderwerp maakte al snel inzichtelijk dat er veel lijsten met gedragingen zijn die voor verschillende doeleinden zijn ontwikkeld. Zo zijn er onder andere lijsten voor persoonlijke ontwikkelplannen, voor kwaliteitseisen en om succesvol te functioneren. Binnen deze lijsten staan verschillende vermeldingen van “cognitieve, sociale en persoonlijke vaardigheden”, waarmee het voor dit onderzoek noodzakelijk wordt om hieruit een keuze te maken. Naast de vraag of de NTS van de OL een effect hebben op het resultaat van een ROT-overleg en de vraag welke set met cognitieve, sociale en persoonlijke vaardigheden kan worden gebruikt, speelt ook de vraag of het mogelijk is om het aantal NTS zo veel mogelijk te beperken. Omdat niet elke OL meteen aan alle eisen5 zal voldoen, zal deze daarvoor opgeleid, getraind en geoefend moeten worden. Bij dit opleiden, trainen en oefenen is een beperkte set NTS eenvoudiger in het gebruik. Hoewel individuele aangeboren kwaliteiten essentieel zijn, is het nuttig om te weten dat de NTS tot op late leeftijd door te ontwikkelen zijn (Dijkman, 2009, p. 25) en dat wordt erkend dat training bijdraagt aan het succes van het optreden (Flin, 1996, p. 222). Op dit moment is er binnen de VRNHN echter geen inzicht in wat de belangrijkste NTS zijn. Dit onderzoek wil hiermee dan ook een begin van inhoud geven aan dit onderwerp. Niet alleen omdat er een lacune is in fundamenteel onderzoek (Timmermans, 2012, p. 23) maar ook omdat er dan bij opleidingen, trainingen en oefeningen gericht en specifiek kan worden gewerkt aan de NTS van de OL. Hiermee invulling gevend aan het credo van Kroon (2012, p. 33): “Leiders worden geboren. Goede leiders worden gemaakt.”

3

Voor een aantal industriële sectoren loopt dit percentage zelfs op tot 80% (Flin et al., 2008, p. 1).

4

Nadien (zie ook §4.2. en §8.3.) is door Van der Haar (2014) wel deelonderzoek gedaan naar het effect van de menselijke factoren.

5

In de praktijk zijn natuurlijke en inspirerende leiders zeldzaam en zullen leiders moeten worden geselecteerd die voldoende talent hebben om zich te kunnen laten ontwikkelen tot efficiënte leiders (Flin, 1996, p. 41). 10

1.2.

Kaders en afbakening

De belangrijkste bron voor het empirische deel van het onderzoek zijn de videobeelden van ROToverleggen bij oefeningen in de VRNHN (Martens, 2010a, 2010b, 2010c, 2010d, 2010e, 2010f, 2011a, 2011b, 2011c, 2011d, 2011e, 2011f). Tijdens de video-observaties moet bestudering van de NTS van de OL’s dit onderzoek voorzien van empirische onderbouwing. Hoewel deze bron veel informatie oplevert, blijft zij hiermee als afbakening wel beperkt tot het hiervoor genoemde ROToverleg in een oefening in de VRNHN. Omdat in dit onderzoek de NTS aan de resultaten gerelateerd worden, is het ook noodzakelijk het resultaat van de ROT-overleggen te kwalificeren. Hiervoor zal in dit onderzoek een methode worden gezocht.

1.3.

Onderzoeksvraag

Ter ondersteuning van bovenstaand probleem is de volgende onderzoeksvraag gedefinieerd: Welke Non-Technical Skills van de Operationeel Leider hebben het grootste effect op het resultaat van een overleg van het Regionaal Operationeel Team bij een oefenincident in de Veiligheidsregio Noord-Holland Noord?

1.4.

Deelvragen

De onderzoeksvraag wordt ondersteund door de volgende deelvragen: I.

Op welke wijze kan het resultaat van een overleg van een Regionaal Operationeel Team worden bepaald?

II.

Welke set van Non-Technical Skills van de Operationeel Leider heeft het grootste effect op het resultaat van een overleg van een Regionaal Operationeel Team?

III.

Kan er binnen de geselecteerde set van Non-Technical Skills een reductie plaatsvinden van onderdelen die minder bijdragen aan het effect op het resultaat van een overleg van een Regionaal Operationeel Team bij een oefenincident in de Veiligheidsregio Noord-Holland Noord?

11

2.

Methodologie onderzoek

Voor het beantwoorden van de onderzoeksvraag zal met meerdere methoden data worden verzameld. Allereerst zal via een literatuurstudie onderzoek worden gedaan naar de NTS die het grootste effect kunnen hebben op het resultaat. De uitkomsten van dit onderzoek zullen dan door interviews met deskundigen op het gebied van gedrag worden besproken en eventueel worden bijgesteld. Tot slot zullen de uitkomsten van het literatuuronderzoek en de interviews worden gebruikt voor de observatie van videobeelden van ROT-oefeningen. Bij deze observatie wordt empirisch onderzocht of de diverse NTS effect hebben op het resultaat van een ROT-overleg en zo ja in welke mate.

2.1.

Dissertatie Bernard Groot

Hoewel dit onderzoek een losstaand en afgerond onderwerp beschrijft, ligt er wel een relatie met de dissertatie van dhr. Groot (2014a). Hierbij mag gebruik worden gemaakt van het videomateriaal dat ook in het kader van de dissertatie kan worden onderzocht. Dit deel van het onderzoek wordt nu gezamenlijk gedaan. De waarnemingen kunnen dan onderling worden vergelijken om zo meer objectieve conclusies te krijgen. Het literatuuronderzoek, de interviews en de uitwerking van de observaties behoren tot de zelfstandige werkzaamheden van dit onderzoek. De conclusie en bevindingen van dit onderzoek staan daarbij uiteraard ter beschikking van de dissertatie.

2.2.

Kwalitatief verklarend onderzoek

Dit onderzoek wil verkennen of de NTS van de functionaris Operationeel Leider een verklaring kunnen zijn voor het resultaat van een ROT-overleg. Hiervoor wordt onder andere literatuuronderzoek gedaan en worden video’s geobserveerd. Hiermee valt dit onderzoek onder de beschrijving van kwalitatief onderzoek: “Kenmerkend voor kwalitatief onderzoek is het gebruik van verschillende databronnen en de nadruk op het ‘begrijpen’ of doorgronden van individuele mensen, groepen of situaties” (Baarda, De Goede & Teunissen, 2009, p. 7). De beschrijving valt verder onder de typering van verklarend onderzoek: “Een verklarende onderzoeksvraag impliceert dat je op zoek gaat naar een of meer factoren die een verklaring kunnen geven voor dat verschijnsel” (Baarda et al., 2009, p. 24). Als aanvulling op de typering van ‘verklarend onderzoek’ dient wel te worden vermeld dat dit onderzoek een eerste stap zet naar mogelijke verklaringen. In deze zin heeft dit onderzoek ook kenmerken van een verkennend onderzoek of kan het een voorloper zijn voor een uitgebreide verkenning (Saunders, Lewis & Thornhill, 2004, pp. 101-102). Mogelijke verklaringen zullen in een vervolgonderzoek desgewenst nader moeten worden onderzocht.

12

2.3.

Data verzamelingsmethoden

Zoals in de inleiding van dit hoofdstuk staat beschreven, zal met meerdere methoden data worden verzameld. Hieronder staan deze stappen met toelichting op hoofdlijnen. Aanvullende informatie is terug te vinden in de corresponderende hoofdstukken. 2.3.1.

Literatuuronderzoek naar NTS

Het opmaken van een wetenschappelijk uitgewerkte set van NTS voor een specifieke persoon of taak vergt een grote inspanning. Een mooi voorbeeld hiervan betreft de totstandkoming van een set NTS voor gebruik in de anesthesiologie (ANTS-systeem) van Fletcher et al. (2004). Hiervan staan de details weergegeven in bijlage 2. Deze grondige aanpak past niet binnen de scope van dit onderzoek. Daarom is in de literatuur gezocht naar een meer uitgekristalliseerde set. Een initiële verdieping in dit onderwerp maakt al snel inzichtelijk dat er veel lijsten met gedragingen zijn die voor verschillende doeleinden zijn ontwikkeld. Zo zijn er onder andere lijsten (Bijlsma, 2013; Devitt & Borodzicz, 2008; Flin et al., 2008; Martens, 2002; Ministerie van BZK, 2010a; NVBR, 2006) met competenties voor ontwikkeling van de OL, competenties voor training van crew resource management en vaardigheden die bijdragen aan een veilige taakuitvoering van personen die werkzaam zijn in hoog-risico beroepen. Binnen deze lijsten staan verschillende vermeldingen van cognitieve, sociale en persoonlijke vaardigheden6 waaruit voor dit onderzoek een keuze moet worden gemaakt. Naast de hiervoor beschreven documenten is er ook andere literatuur beschikbaar welke of in bredere zin of juist heel gedetailleerd over gedrag schrijft. Zo hebben Devitt & Borodzicz (2008) ook een en ander beschreven over leiderschap in crisismanagement in Engeland en heeft ook Vonk (2012) een beschrijving van leiderschap. Hendriks van de Weem (2009) schrijft in meer algemene zin over het meten, observeren en beschrijven van gedrag binnen het crisismanagement. Vanuit de scriptie over sociaal intelligent leiderschap (Dijkman, 2009) ligt er ook een verwijzing naar literatuur over emotionele intelligentie (Goleman, 1996; Goleman, 1999). Door het algemene of juist gedetailleerde karakter van deze literatuur is deze niet bruikbaar voor selectie van een uitgekristalliseerde set met NTS. Deze literatuur is wel gebruikt voor aanvullende en ondersteunende informatie en voor een initieel onderzoek naar de vraag of binnen de geselecteerde set van NTS een reductie kan plaatsvinden van onderdelen die minder bijdragen aan het effect op het resultaat. 2.3.2.

Interviews deskundigen over NTS

Bij deze interviews zijn de uitkomsten van het literatuuronderzoek, ter bevestiging of eventuele aanpassing, voorgelegd aan twee deskundigen. De eerste deskundige is mw. drs. Braakhekke. Haar deskundigheid komt uit haar achtergrond in de psychologie en haar betrokkenheid met het opleiden van OL’s. De tweede deskundige is mw. dr. Van der Haar. Zij heeft promotie onderzoek gedaan naar het optreden van command-and-control teams. Om gedeeltelijk structuur (Baarda et al., 2009, p. 230) aan het interview te geven is van te voren een document opgesteld en opgestuurd. In dit document zijn de uitkomsten van de literatuurstudie beschreven en worden hierover een aantal vragen gesteld. 2.3.3.

Literatuuronderzoek naar meten effectiviteit ROT-overleg

Omdat in dit onderzoek de NTS aan de resultaten worden gerelateerd, is het ook noodzakelijk het resultaat van de ROT-overleggen te kwalificeren. Daarom is bij dit onderdeel van het onderzoek gezocht naar een methode om het resultaat van een ROT-overleg te kunnen bepalen.

6

Uit definitie NTS van Flin et al. (2008, p.1): “De cognitieve, sociale en persoonlijke vaardigheden die technische vaardigheden aanvullen en bijdragen aan een veilige en efficiënte taakuitvoering”. 13

2.3.4.

Video-opnames

Voor het volgende deel van het onderzoek wordt gebruik gemaakt van video-opnames. Deze zijn gemaakt in 2010 en 2011 voor coaching van de OL’s in de VRNHN (Martens, 2010a, 2010b, 2010c, 2010d, 2010e, 2010f, 2011a, 2011b, 2011c, 2011d, 2011e, 2011f). Het betreft hier video-opnames van 12 oefeningen van vier OL’s. Bij deze 12 oefeningen zijn zes verschillende scenario’s gebruikt. Elke OL heeft hierbij met drie verschillende scenario’s geoefend. Per oefening varieert het aantal opgenomen ROT-overleggen van één tot drie. In totaal zijn opnames van 33 ROT-overleggen beschikbaar. Bij het maken van de video-opnames stonden de camera en de filmer duidelijk in het gezichtsveld van de deelnemers. In sommige opnames is ook te zien dat de camera en filmer duidelijk in de weg staan. De deelnemers zijn zich naar alle waarschijnlijkheid bewust geweest van de opnames en kunnen zich mogelijkerwijs daardoor anders gedragen hebben. Er kan dus sprake geweest zijn van een zogenaamde observation-bias (Baarda et al., 2009, p. 266). Tegelijkertijd was van te voren aangekondigd dat het om vertrouwelijke opnames ging die niet voor beoordeling, maar voor coaching van de OL bedoeld zijn. Hiermee zou het gedrag van de OL en de andere teamleden weer wat natuurlijker geweest kunnen zijn. Deze indruk is althans tijdens de observaties van de diverse videoopnames wel verkregen. Voor aanvang van de observaties zijn van de gefilmde oefenscenario’s eerst de bijhorende draaiboeken en verstrekte informatie per deelnemer doorgenomen. Zo was voor de onderzoekers inzichtelijk welke informatie voor de beeldvorming beschikbaar was en welke besluiten daarop genomen konden worden. Om ethisch verantwoord onderzoek te kunnen doen (Baarda et al., 2009, p. 33) is voor het gebruik van deze beelden toestemming gevraagd7 en verkregen (A. Krom, persoonlijke communicatie, 15 oktober 2014). Hierbij is de onderzoeksopzet en richting vooraf kenbaar gemaakt. Om te voorkomen dat er een nadelig effect kan zijn voor de betrokken OL’s is de informatie zodanig verwerkt dat deze niet op de individuele persoon herleidbaar is. 2.3.5.

Video-observatie voor kwalitatieve selectie ROT-overleggen

Omdat in dit onderzoek de NTS aan de resultaten worden gerelateerd, is het noodzakelijk eerst het resultaat van de ROT-overleggen te kwalificeren. Met de methode die uit het literatuuronderzoek komt zullen, voordat wordt gestart met de observatie van de NTS, de video-opnames eerst worden beoordeeld op het resultaat. Gedurende het onderzoek is er daarnaast een bewuste keuze gemaakt om niet alle op effectiviteit gescoorde sessies te gaan analyseren op de NTS, maar om een selectie te maken van de meest effectieve en de minst effectieve ROT-overleggen. De reden hiervoor is dat het kwalitatief relateren van elementen van de NTS eenvoudiger is wanneer een overleg duidelijk sterker of duidelijk zwakker scoort. 2.3.6.

Video-observatie bepaling belang NTS

Uiteindelijke doel van de observatie is te bepalen welke mate van effect de diverse NTS in de praktijk hebben op het resultaat van het overleg. Met twee onderzoekers zijn daarom de geselecteerde sterkere en zwakkere sessies nogmaals geobserveerd, waarbij deze keer is gekeken welk effect de NTS hebben op het resultaat. Dit om te bepalen of de NTS een effect hebben op het resultaat en of er binnen de geselecteerde set van NTS een reductie kan plaatsvinden van onderdelen die minder bijdragen aan het effect op het resultaat. 7

Bij het vragen om toestemming is aangegeven dat de betrokken OL’s inmiddels verder in hun ontwikkeling zijn. De beelden zijn dan ook niet representatief voor hun huidige niveau. Voor dit onderzoek is dit punt niet relevant. Omdat dit punt geen onderwerp van onderzoek is en omdat de gegevens anoniem worden verwerkt is dit in ieder geval voor de individuele persoon geen probleem. Daarnaast zijn voor dit onderzoek zowel positieve als negatieve invloeden interessant en onderwerp van onderzoek. 14

3.

Literatuuronderzoek naar NTS

Dit hoofdstuk gaat over de eerste stap van de methodologie van dit onderzoek en betreft een literatuuronderzoek naar de voor dit onderzoek geschikte NTS.

3.1.

Geschikte set NTS

Om te komen tot een wetenschappelijk onderbouwde set van relevante NTS bij een specifieke taak, moeten een flink aantal stappen worden doorlopen. In bijlage 2 staat als voorbeeld de aanpak die is gekozen door Fletcher et al. (2004) om te komen tot een set NTS voor gebruik in de anesthesiologie (ANTS-systeem). Deze grondige aanpak past niet binnen de scope van dit onderzoek. Daarom is op zoek gegaan naar een meer uitgekristalliseerde set. Andersom kunnen de keuzen en uitkomsten van dit onderzoek wel worden gebruikt als onderbouwing van een toekomstig ontwerp voor gebruik voor een OL. Verder moet een systeem dat wordt gebruikt om te beoordelen natuurlijk betrouwbaar en valide zijn. Flin et al. (2008, p. 277) geven naast de betrouwbaarheid en validiteit nog een aantal andere eisen aan die gezamenlijk in meer detail uitgewerkt staan in bijlage 3. Verderop in dit onderzoek zullen zowel de methode voor het meten van de effectiviteit als de gekozen set met NTS worden vergeleken met deze eisen. Uit de literatuur komen verschillende lijsten met gedragingen naar voren die voor verschillende doeleinden zijn ontwikkeld. Zo beschrijft Bijlsma (2013, p. 10) de competenties zoals die worden gebruikt voor trainingen van Crew Resource Management (CRM) en de NVBR (2006, p. 14, p. 58) competenties die gewenst zijn voor een OL en te gebruiken zijn voor een 360˚ feedback als competentie inschatting voor een persoonlijk ontwikkelplan. Martens (2002, p. 19, p. 53) beschrijft specifieke en algemene competenties als kwaliteitseisen voor een OL. Devitt & Borodzicz (2008, pp. 212-213) beschrijven een model met de verschillende eisen voor crisisleiders als integraal geheel om de problemen van een crisis tegemoet te treden en het Ministerie van BZK (2010a, Bijlage C, supplement e, lid 2.2.) beschrijft de competenties die minimaal noodzakelijk zijn om succesvol te kunnen functioneren. Flin et al. (2008, p. 1) beschrijven tot slot de niet technische vaardigheden die bijdragen aan een veilige en efficiënte taakuitvoering van personen die werkzaam zijn in hoog-risico beroepen. Van deze lijsten wordt de lijst van Flin et al. (2008, p. 11) als meest passend beschouwd voor dit onderzoek. Los van de discussie die kan worden gevoerd over competenties (Groot, 2014b; Hendriks van de Weem, 2009, pp. 398-402), worden de niet technische vaardigheden na grondig onderzoek al geruime tijd toegepast in de luchtvaart. Ook relevant is het feit dat de set van Flin et al. afgebakend en samenhangend is gericht op de NTS, waarmee deze goed aansluit bij de onderzoeksvraag en de lacune in fundamenteel onderzoek (Timmermans, 2012, p. 23). Hierbij zijn sommige andere sets (bijvoorbeeld het TIPS model van Devitt & Borodzicz, 2008) erg uitgebreid. De set van Bijlsma (2013) bevat wel goede componenten, maar is gericht op CRM. Flin et al. (2008, p. 9) doen hierover echter een hele duidelijke aanbeveling om eerst de basis principes van de NTS bij te brengen en daarna pas door te stappen naar CRM. Om deze reden sluit de basis set NTS nu beter aan bij dit onderzoek. Bovenstaande argumenten zijn gecombineerd met een aantal andere voordelen van de set van Flin et al. (2008, p. 11) hieronder samengevat:  De set is specifiek samengesteld voor NTS: De set beschrijft de basis NTS die noodzakelijk zijn voor een veilig en efficiënt optreden in een reeks van werkomstandigheden, zoals industrie, gezondheidszorg, defensie en de hulpdiensten (p. 1);  De set is bedoeld voor individuen in beroepen waarbij je met hoge risico’s te maken hebt: In een aantal hoog-risico beroepen is men begonnen met het identificeren van kern NTS voor trainingen (p. 12). Hierin komen over de verschillende hoog-risico beroepen een aantal 15







 

gedragingen steeds terug. De NTS uit deze set zijn daarmee specifiek bedoeld voor individuen in beroepen waarin je met hoge risico’s te maken hebt; De set is gericht op het individu en daarmee ook geschikt voor personen die optreden in wisselende teams: Deze NTS zijn bedoeld voor een individueel teamlid en niet de groep als geheel (p. 8). Hiervoor is gekozen omdat een team is opgebouwd uit individuen. Nog belangrijker is de ervaring dat in deze beroepen de teams vaak wisselend zijn van samenstelling (p. 9) en daarmee de focus op het individu belangrijker is. Zo heeft ook de Europese luchtvaart er voor gekozen om de focus te leggen op de NTS van het individu; De set is bedoeld als voorloper op CRM: Flin et al. (2008, p. 9) doen een hele duidelijke aanbeveling om, net als gebruikelijk is in de luchtvaart, eerst de basis principes bij te brengen van de NTS en hun impact op het menselijk gedrag van het vak. Daarna pas mag worden gestart met CRM of andere multidisciplinaire teamtrainingen; De set is eenvoudig in gebruik: Flin et al. (2008, p. 8) beschrijven dat hun boek ook kan worden gebruikt door studenten die bezig zijn met de menselijke factoren. Verder is het ook bedoeld voor professionals die trainingen ontwikkelen of bijwonen op het gebied van CRM, NTS, leiderschap en de beperkingen van het menselijk optreden; De set is internationaler van aard en daarmee voor nu en voor later breder vergelijkbaar; In tegenstelling tot een aantal andere sets bevat deze set ook ‘Situation awareness’: ‘Situation awareness’ komt, behalve in de CRM set die Bijlsma (2013) beschrijft, niet voor in de andere sets. Deze categorie wordt in de literatuur en in de interviews (zie ook bijlage 4) vele malen als belangrijk beschreven. Zo beschrijft Timmermans (2012, p. 22) dat ‘Situation awareness’ in meer dan de helft van de ongelukken die door menselijke factoren wordt veroorzaakt een rol speelt. Ook Flin et al. (2008, p. 5) beschrijven dat bij 14 onderzochte incidenten een onjuiste ‘Situation awareness’ in tien gevallen een rol speelde bij het veroorzaken van het incident of bij fouten in de afhandeling hiervan.

In de set (Flin et al., 2008, p. 11) worden zeven categorieën van belang geacht. Deze staan, aangevuld met hun onderverdeling (p.12), weergegeven in tabel 3.1. Tabel 3.1. NTS met onderverdeling van Flin et al. (2008, p. 12)

Onderverdeling Cognitive skills

NTS 1. Situation awareness 2. Decision-making

Social and interpersonal skills

3. Communication 4. Team working 5. Leadership

Personal energy and emotional resources

6. Managing stress 7. Coping with fatigue

16

3.2.

Reductie van NTS

Met de keuze van de set NTS van Flin et al. (2008, p. 11) is het ook mogelijk om een initieel onderzoek te doen naar de vraag of binnen deze geselecteerde set van NTS een reductie kan plaatsvinden van onderdelen die minder bijdragen aan het effect op het resultaat. Hiervoor zijn diverse informatiebronnen onderzocht op vermeldingen over het absolute of relatieve belang van de diverse categorieën. Ook zijn er gaandeweg bronnen toegevoegd, totdat er sprake was van een vorm van verzadiging. Hierbij kwamen steeds vaker dezelfde of gelijksoortige argumenten terug, zonder nieuwe informatie toe te voegen. In bijlage 4 is een overzicht van deze vermeldingen opgenomen. Uit dit onderzoek8 kunnen de volgende deelconclusies worden getrokken: a) Er zijn twee duidelijke vermeldingen dat het lastig is om onderscheid te maken tussen het belang van de diverse categorieën; b) De diverse vermeldingen over het relatieve belang van de categorieën zijn verspreid over alle9 categorieën; c) De vermeldingen dat een categorie in absolute zin zeer belangrijk is (onder andere “cruciaal”, “kritische factor” en “fundament”) zijn verspreid over alle categorieën; d) De gevonden vermeldingen over een (bescheiden) aantoonbare relatie van de categorie met de prestatie zijn ook verdeeld over meerdere categorieën. Deze set van deelconclusies maakt dat moet worden geconstateerd dat de beschikbare informatie geen duidelijk onderscheid maakt tussen de diverse categorieën. Omgekeerd maakt dit dat er op basis van de informatiebronnen nog geen categorieën kunnen worden uitgesloten. Afhankelijk van de mening van de deskundigen, zullen alle categorieën daarom in de video-observatie moeten worden meegenomen voor nader empirisch onderzoek. De constatering dat er geen duidelijk onderscheid kan worden gemaakt tussen de diverse categorieën past overigens bij het feit deze set na onderzoek door Flin et al. (2008) als uitgekristalliseerd geheel is neergezet. Dit maakt mede dat vanuit dit literatuuronderzoek mag worden verwacht dat bij het empirische onderdeel van dit onderzoek de diverse categorieën maar een beperkt onderling onderscheid in effect zullen hebben. Bij de oefeningen die staan op de video-opnames voor de observatie was het omgaan met stress en vermoeidheid geen oefendoel. Zo duren de oefeningen relatief kort en starten ze overdag. Daarnaast zijn er geen oefenelementen ingebracht om de druk extra op te voeren. Daarmee spelen in de opgenomen video’s de elementen stress en vermoeidheid geen (zware) rol. Mede daarom kan er wel een kleine reductie van het aantal categorieën worden gemaakt. Hierbij is er voor gekozen de categorieën ‘6. Managing stress’ en ‘7. Coping with fatigue’ niet te scoren in de video-observatie van dit onderzoek. Tegelijk moet hierbij worden benadrukt dat deze factoren tijdens een echt incident wel van groot belang zijn. Deze nadruk wordt ondersteund door de uitspraak van onder andere Veldmaarschalk Montgomery die aanhaalt dat “kalmte in crisis” (Flin, 1996, p. 40) een vitale eigenschap voor een leider is.

8

De bronnen voor de onderbouwing van de diverse deelconclusies worden in deze opsomming niet vermeld. Gebruik op deze plaats maakt deze passage als samenvatting onleesbaar. De verwijzingen zijn herleidbaar uit het overzicht in bijlage 4.

9

In de onderzochte bronnen zijn weinig verwijzingen naar het relatieve belang van ‘7. Coping with fatigue’. 17

3.3.

Conclusies literatuuronderzoek naar geschikte NTS

De conclusies uit dit deel van het onderzoek leiden tot onderstaand voorstel dat is voorgelegd aan de deskundigen als volgende stap in de methodologie:  Als basis set van NTS wordt gebruik gemaakt van de set van Flin et al. (2008, p. 11);  Deze set mag worden gereduceerd met de categorieën ‘Managing stress’ en ‘Coping with fatigue’;  Het literatuuronderzoek geeft geen redenen om vooraf te veronderstellen dat er categorieën zijn die beduidend meer of minder effect hebben op het resultaat. Daarom dienen alle overgebleven categorieën te worden meegenomen in de video-observatie. Bij de categorieën staat in tabel 3.2. ook de onderliggende detaillering naar elementen. Deze zijn integraal overgenomen uit de lijst van Flin et al. (2008, p. 11). De uitwerking van deze categorieën en elementen op een observatieformulier staat in bijlage 13.1. Omdat in het observatieformulier voor Effectiviteit (bijlage 9.1) een zeven-punts10 Likert-schaal wordt gebruikt, wordt deze ook in het observatieformulier voor de NTS gebruikt. Dit in tegenstelling tot het in §3.1. beschreven ANTSsysteem, dat gebruik maakt van een vier-punts Likert-schaal (Fletcher et al., 2004, p. 168). Tabel 3.2. Voorstel te gebruiken categorieën en onderliggende elementen van de NTS

Categorieën

Elementen

Situation awareness

Gathering information Interpreting information Anticipating future state

Decision-making

Defining problem Considering options Selecting and implementing options Outcome review

Communication

Sending information clearly and concisely Including context and intent during information exchange Receiving information, especially by listening Identifying and addressing barriers to communication

Team working

Supporting others Solving conflicts Exchanging information Co-ordinating activities

Leadership

Using authority Maintaining standards Planning and prioritising Managing workload and resources

10

De Indeling en het kleurgebruik van de zeven-punts Likert-schaal staan vermeld in bijlage 8. 18

4.

Interviews deskundigen over NTS

In dit hoofdstuk worden de uitkomsten van het literatuuronderzoek voorgelegd aan twee deskundigen op dit vakgebied. Uit het literatuuronderzoek volgt het voorstel om de lijst met categorieën en onderliggende elementen van Flin et al. (2008, p. 11) te gebruiken als basis. Het literatuuronderzoek geeft geen indicatie dat specifieke categorieën van de NTS beduidend meer of minder belangrijker zijn dan de anderen. Wanneer de categorieën stress en vermoeidheid worden weggelaten, blijven er nog vijf categorieën over: 1. Situation awareness; 2. Decision-making; 3. Communication; 4. Team working; 5. Leadership. Bij deze categorieën horen ook de onderliggende elementen, zoals beschreven in tabel 3.2. Voorgesteld wordt om deze set te gebruiken bij de analyse van het gedrag in de video-observaties.

4.1.

Vragen aan deskundigen

De uitkomsten van het literatuuronderzoek en de gekozen set van NTS zijn voorgelegd aan twee deskundigen. De eerste deskundige is mw. drs. Braakhekke. Haar deskundigheid komt uit haar achtergrond in de psychologie en haar betrokkenheid met het opleiden van OL’s. De tweede deskundige is mw. dr. Van der Haar. Zij heeft promotie onderzoek gedaan naar het optreden van command-and-control teams (ROT / CoPI). Vooraf aan het interview is een document opgesteld en opgestuurd met daarin een onderbouwing van de totstandkoming van het voorstel en met een aantal vragen over de set met NTS. Op hoofdlijnen waren de vragen gericht op de deskundigenmening over:  De keuze van de set van NTS;  Het toevoegen of weglaten van specifieke NTS;  Het relatieve belang van specifieke NTS;  De totstandkoming van het voorstel. Deze vragen staan in detail weergegeven in bijlage 5 en zijn bedoeld om enige structuur (Baarda et al., 2009, p. 230) aan het interview te geven. Met mw. Braakhekke (2014, 26 november) heeft een telefonisch interview plaats gevonden. De antwoorden van mw. Van der Haar (2014, 5 december) zijn deels via de mail behandeld en de laatste details zijn in een persoonlijk interview afgerond.

4.2.

Beantwoording door deskundigen

Beide deskundigen hebben ongeveer dezelfde reacties gegeven op de gestelde vragen. De reacties staan in deze paragraaf weergegeven. Om te beginnen is de keuze van de set NTS van Flin et al. (2008, p. 11) voor de deskundigen herkenbaar en wordt bruikbaar geacht. Het reduceren met stress en vermoeidheid wordt, tegelijk met de erkenning van het belang, ook onderschreven. Hierin wordt verwezen naar de oefensetting van de video-opnames. Zijdelings wordt opgemerkt dat deze categorieën ook lastiger te observeren zouden zijn geweest ten opzichte van de andere categorieën. De overgebleven NTS zijn volgens de deskundigen allen relevant voor de OL. Binnen deze set zijn er volgens de deskundigen geen NTS die beduidend meer of minder belangrijk zijn. Uitsluiten of benadrukken van een van deze NTS is daarmee volgens de deskundigen niet nodig. 19

Vanuit de deskundigen komen wel suggesties voor aanvulling van de set. Van der Haar (2014, 5 december) benadrukt het belang van het trekken van conclusies op basis van gedeelde informatie. Tegelijk erkent zij dat dit terugkomt in de NTS ‘Decision-making’ en ‘Situation awareness’. Braakhekke (2014, 26 november) benadrukt dat twee NTS vanuit CRM (‘Assertiveness’ en ‘Flexibility’) ook van belang zijn voor het resultaat. Deze suggestie om de set aan te vullen met NTS vanuit CRM wordt niet overgenomen. De reden hiervoor is dat Flin et al. (2008, p. 9) een hele duidelijke aanbeveling doen om, net als gebruikelijk in de luchtvaart, eerst de basis principes van de NTS en hun impact op het menselijk gedrag van het vak bij te brengen. Daarna pas mag worden gestart met CRM of andere multidisciplinaire teamtrainingen. Op dit moment is er binnen de VRNHN echter nog geen inzicht in de NTS van de OL’s. Dus ligt het in de rede om, in lijn met bovenstaande aanbeveling, te starten met de basis NTS. Ondanks dat ‘Assertiveness’ en ‘Flexibility’ nu niet worden meegenomen, wordt het belang hiervan wel erkend en komt dit ook terug in het hoofdstuk met de aanbevelingen. Naast de opmerkingen die hierboven beschreven zijn, zijn er geen andere opmerkingen over of suggesties voor de totstandkoming en de samenstelling van de voorgestelde set. De totstandkoming wordt hierbij als helder en navolgbaar getypeerd.

4.3.

Conclusies interviews deskundigen

De uitkomsten van de interviews met de deskundigen bevestigen de resultaten van het literatuuronderzoek. Samenvattend kan worden geconcludeerd dat de lijst van Flin et al. (2008, p. 11), gereduceerd met de categorieën ‘Managing stress’ en ‘Coping with fatigue’, kan worden gebruikt voor de volgende stap in dit onderzoek.

20

5.

Literatuuronderzoek naar meten effectiviteit ROT-overleg

Een belangrijk doel van dit onderzoek betreft het bepalen van het effect van de NTS op het resultaat van een ROT-overleg. Om het resultaat van het ROT te bepalen is een door Van der Haar et al. (2013) ontwikkelde methode gebruikt. Zij hebben een instrument ontwikkeld en gevalideerd dat betekenisvolle uitspraken kan doen over de effectiviteit van “command-and-control teams werkzaam in de crisisbeheersing en rampenbestrijding” (Van der Haar, 2014, p. 145). In bijlage 6 staat in meer detail beschreven hoe dit instrument tot stand is gekomen. Als aanvulling op de totstandkoming van deze lijst, dient nog te worden gezegd dat deze lijst is ontwikkeld in en met CoPI’s. Hierbij stelt Van der Haar (2014, p. 124) wel dat “hun bevindingen kunnen worden gebruikt in teams met gelijke karakteristieken ... bijvoorbeeld het Operationele Team”. Dit maakt dat dit instrument in dit onderzoek wel voor het ROT wordt gebruikt, maar dat er wel met extra aandacht wordt gekeken naar de bruikbaarheid van deze lijst voor het ROT. In het artikel (Van der Haar et al., 2013) wordt voor het resultaat de Engelse term ‘Performance’ gebruikt. In de dissertatie (Van der Haar, 2014, p. 144) wordt hiervoor de Nederlandse term ‘effectiviteit’ geïntroduceerd. In dit onderzoek zal verder de term ‘effectiviteit’ worden gebruikt. Het door Van der Haar et al. (2013) ontwikkelde instrument bestaat uit twee onderdelen (Van der Haar et al., 2013, pp. 265-266). Het eerste het onderdeel hiervan (‘Team meeting outcome’) past goed bij het ROT-overleg. Dit onderdeel staat weergegeven in tabel 5.1. en is met de onderliggende elementen gebruikt om de 33 ROT-overleggen te analyseren op effectiviteit. De uitwerking van deze categorieën en elementen op een observatieformulier staat in bijlage 9.1. Bij de beoordeling van de elementen wordt een zeven-punts11 Likert-schaal gebruikt (Van der Haar, 2014, p. 99). Tabel 5.1. Onderdeel: Team meeting outcome (Van der Haar et al., 2013, p. 265)

Categorieën Image building

Elementen The team managed to create a shared image of the situation in a short time The image reflected the situation and its dilemma's The image of the situation was realistic The image of the situation was unambiguous The decisions, advices and assignments for the units are based on the actual own image and the overall image of the situation

Wrapping up the meeting

The decisions are translated into an assignment for a specific professional or a team The assignments are given to the relevant team or person Information in the plot of the team at the end of the meetings was relevant for: development and effects of the incident; risks for the rescue services and others on scene; approach; people and material needed

Het tweede onderdeel van de methode voor het meten van de effectiviteit is ‘Result of the emergency response at the scene’ (zie details in bijlage 7). Dit onderdeel behandeld de daadwerkelijke uitvoering van de acties en de uitwerking daarvan. Bij de oefeningen van deze video-opnames was de daadwerkelijke uitvoering geen deel van de opzet en is daarmee ook niet gefilmd. Dit maakt dat dit onderdeel niet past bij de opzet van deze oefening en daarmee ook niet is gebruikt in dit onderzoek.

11

De Indeling en het kleurgebruik van de zeven-punts Likert-schaal staan vermeld in bijlage 8. 21

6.

Video-observatie voor kwalitatieve selectie ROT-overleggen

In dit hoofdstuk wordt beschreven hoe de video’s worden beoordeeld en vervolgens kwalitatief worden geselecteerd op de effectiviteit van de gefilmde ROT-overleggen. Om het resultaat van het ROT te bepalen is een door Van der Haar et al. (2013) ontwikkelde methode gebruikt. Zij hebben een instrument ontwikkeld en gevalideerd dat betekenisvolle uitspraken kan doen over de effectiviteit van “command-and-control teams werkzaam in de crisisbeheersing en rampenbestrijding” (Van der Haar, 2014, p. 145). Voor onderzoek in het kader van een thesis zijn de beschikbare tijd en middelen meestal beperkt. Tegelijk ligt er bij dit onderzoek wel een relatie met de dissertatie van dhr. Groot (2014a). Het belangrijkste hierbij is dat voor de observatie gebruik wordt gemaakt van het videomateriaal dat ook in het kader van de dissertatie kan worden onderzocht. Dit deel van het onderzoek wordt gezamenlijk gedaan, waardoor ook dhr. Groot beschikbaar is om de observaties te doen. De beschikbaarheid van twee onderzoekers gaf twee mogelijkheden: 1. De Effectiviteit en de NTS door verschillende onderzoekers te laten observeren; 2. Beide onderzoekers zowel de Effectiviteit als de NTS te laten observeren. Het voordeel van de 1e optie is dat bij het scoren van de NTS de onderzoeker niet wordt beïnvloed door de indeling in sterker of zwakker. Deze indeling is dan immers door een andere onderzoeker gedaan. Voordeel van de 2e optie is dat de onderzoekers elkaar kunnen aanvullen en corrigeren. Mede op aangeven van Van der Haar (2014, 10 november) is de waarde van uitwisseling boven die van de onbevooroordeeldheid gesteld. Daarmee is er voor gekozen om beide onderzoekers zowel de effectiviteit als de NTS te laten scoren. Beide onderzoekers waren zich vooraf bewust van de aandachtspunten en hebben daar rekening mee gehouden bij de observatie van de NTS. In dit hoofdstuk staan de aanpak en uitkomsten van de observaties op effectiviteit beschreven. Hierbij is gebruik gemaakt van de video-opnames van 33 ROT-overleggen van een oefenreeks in de VRNHN (Martens, 2010a, 2010b, 2010c, 2010d, 2010e, 2010f, 2011a, 2011b, 2011c, 2011d, 2011e, 2011f). Gedurende het onderzoek is er bewuste keuze gemaakt om niet alle op effectiviteit gescoorde sessies te gaan analyseren op de NTS, maar om een selectie te maken van de meest effectieve en de minst effectieve ROT-overleggen. De reden hiervoor is dat het kwalitatief relateren van elementen van de NTS eenvoudiger is wanneer een overleg duidelijk sterker of duidelijke zwakker scoort. Deze keuze staat verder uitgewerkt in §6.2. en beschrijft daar hoe de selectie is gedaan. Dit hoofdstuk beschrijft de volgende stappen:  §6.1.: Observatie en score op effectiviteit door eerste onderzoeker (Erik van Leeuwen);  §6.2.: Selectie van de vier sterkste en de vier zwakste sessies;  §6.3.: Controlerende observatie en score door tweede onderzoeker (Bernard Groot);  §6.4.: Vergelijk scores effectiviteit eerste en tweede onderzoeker.

6.1.

Observatie door eerste onderzoeker

Voor de aanvang van de observaties zijn van de gefilmde oefenscenario’s eerst de bijhorende draaiboeken en verstrekte informatie per deelnemer doorgenomen. Hiermee was vooraf inzichtelijk welke informatie voor de beeldvorming beschikbaar was en welke besluiten daarop genomen zouden kunnen woren. Voor het bepalen van de effectiviteit van de ROT-overleggen wordt het instrument gebruikt dat door Van der Haar et al. (2013) is ontwikkeld. Van dit instrument wordt het onderdeel ‘Team meeting outcome’ met daarin de categorieën ‘Image building’ en ‘Wrapping up the meeting’ gebruikt (zie tabel 5.1.). Deze en de onderliggende elementen zijn verwerkt in een observatieformulier zoals 22

weergegeven in bijlage 9.1. Bij de beoordeling van de elementen wordt een zeven-punts12 Likertschaal gebruikt (Van der Haar, 2014, p. 99). Omdat wordt gewerkt met een observatieformulier dat het karakter heeft van een checklist, kan worden gesproken over een gestructureerde observatie (Baarda et al., 2009, p. 265). Omdat het hier een kwalitatieve analyse betreft, is niet geturfd of en hoe vaak een bepaald element is voorgekomen, maar is op het observatieformulier beschreven wat er in kwalitatieve zin is geobserveerd. Hierna is pas de score gegeven. In bijlage 9.2 is ter illustratie een (geanonimiseerd) voorbeeld van een van de observatieformulieren weergegeven. Flin et al. (2008, p. 230) adviseren om allereerst een pilot observatie te doen om eventuele problemen inzichtelijk te maken. Om deze reden is de eerste opname twee keer bekeken. Bij het invullen van de scores bleek de omschrijving van de elementen van Effectiviteit iets complexer dan bij de start werd verondersteld. Hierdoor is bij de tweede keer kijken naar dezelfde video toch iets anders gekeken. Deze punten zijn vooraf gedeeld met de tweede onderzoeker, zodat deze de pilot observatie niet hoefde te doen. Daarna bleek bij de rest van de observaties het gebruik van deze categorieën met elementen redelijk eenvoudig. Hierdoor hoefden de video’s over het algemeen maar één keer te worden bekeken. De video-opnames duurden bij elkaar bijna 8,5 uur. De gemiddelde duur was 15 minuten, waarbij de kortste nog geen 2 minuten duurde en de langste bijna 34 minuten. De resultaten van de observaties van de eerste onderzoeker zijn geanonimiseerd weergegeven in bijlage 10. Uit de 33 video-opnames kwamen 17 sessies die zowel op ‘Image building’ en ‘Wrapping up the meeting’ te scoren waren. Dat niet alle sessies te scoren waren had meestal te maken met de oefenomstandigheden. Hierbij onderbrak de oefenleiding soms de sessies, werd op verzoek van de oefenleiding geëxperimenteerd met een nieuwe aanpak of was iedereen tegelijk vooraf al voorzien van alle beschikbare informatie.

6.2.

Selectie sterkste en zwakste ROT-overleggen

Gedurende het onderzoek is er een bewuste keuze gemaakt om niet alle op effectiviteit gescoorde sessies te gaan analyseren op de NTS. De aanzet hiertoe kwam vanuit een gesprek met mw. Van der Haar (2014, 10 november) en had als kern dat het kwalitatief relateren van elementen van de NTS eenvoudiger is wanneer er duidelijke uitslagen zijn. De suggestie was dan ook om een selectie te maken van sterkere en zwakkere sessies en te onderzoeken of er op deze wijze een kwalitatieve relatie met de NTS kon worden gelegd. Het aantal sessies dat in deze selectie zou worden betrokken is niet vooraf bepaald. Vooraf was nog niet inzichtelijk hoe groot de verschillen in effectiviteit tussen de verschillende ROT-sessies zouden zijn. Hiermee was ook niet inzichtelijk of er duidelijk onderscheid tussen de sterkere en zwakkere sessies kon worden gemaakt. De selectie van het aantal is daarmee bewust uitgesteld tot de observatie en score van de effectiviteit was uitgevoerd en de verschillen inzichtelijk zouden zijn. Over de rangschikking van de selectie is overleg geweest met mw. Van der Haar (2014, 20 november). De gebruikte Likert-schaal kent een ordinale verdeling waardoor er niet zonder meer met gemiddelden mag worden gewerkt. In dit geval is aangegeven door mw. Van der Haar dat de elementen binnen de categorie wel mogen worden gemiddeld voor dit kwalitatieve onderzoek. In het ingevulde voorbeeld van een observatieformulier (bijlage 9.2) is dan ook per categorie de gemiddelde score van de bijhorende elementen genomen. Het middelen van de twee categorieën tot één gemiddelde geeft dus geen correcte indeling op de Likert-schaal. Om toch een visuele of globale rangschikking te kunnen doen, is er wel gewerkt met een gemiddelde van de twee categorieën. 12

De Indeling en het kleurgebruik van de zeven-punts Likert-schaal staan vermeld in bijlage 8. 23

Hierbij staan echter in alle gevallen ook de onderliggende getallen van de twee bijhorende categorieën vermeld. In de analyses van de resultaten wordt daarbij ook geen gebruik gemaakt van het gemiddelde van de twee categorieën. Hiervoor worden altijd de twee afzonderlijke onderliggende categorieën gebruikt. De scores van de 17 sessies uit bijlage 10 laten een gelijkmatige afloop zien. Tegelijk zijn er aan de sterkere kant vier sessies te onderscheiden die op de gemiddelden van zowel ‘Image building’ als ‘Wrapping up the meeting’ een zes of hoger scoren. Ook aan de zwakkere kant zijn vier sessies te onderscheiden. Deze scoren op de gemiddelden van zowel ‘Image building’ als ‘Wrapping up the meeting’ lager dan een vijf. Deze sessies met scores zijn in figuur 2 samengevat. Hiermee is de selectie voor het vervolg van het onderzoek bepaald op vier sterkere en vier zwakkere sessies.

6,0

Nummer 4

6,3

6,2

6,3

25

6,2

6,0

6,3

6

6,2

6,0

6,3

Zwakste vier 11

4,3

4,6

4,0

12

4,1

4,6

3,7

31

4,0

3,6

4,3

30

3,6

3,6

3,7

Alles zes of hoger

6,6

Alles lager dan vijf

Gemiddelde Wrapping up the meeting

Sterkste vier 6,3 8

Gemiddelde Effectiviteit

Gemiddelde Image building

Effectiviteit (Van der Haar et al., 2013)

Figuur 2: Selectie van vier sterkste en vier zwakste sessies

6.3.

Controlerende observatie door tweede onderzoeker

Voor het verhogen van de betrouwbaarheid van de uitkomsten heeft een tweede onderzoeker de sessies op effectiviteit gescoord. Er is daarmee sprake van inter-observatorbetrouwbaarheid (Baarda et al., 2009, p. 291). Uit praktische overwegingen is er voor gekozen om de tweede onderzoeker te laten starten met de voorselectie van de eerste onderzoeker. Hierbij realiserende dat de beoordeling minder onbevangen is. Wel is daarbij vooraf bepaald dat alleen wanneer de bevindingen overeenkomen, deze controle afdoende zou zijn. In het andere geval zou de tweede onderzoeker meer sessies scoren om daarna gezamenlijk tot een definitieve indeling te komen van de sterkste en zwakste sessies. Vooraf is afgesproken dat een sessie alleen voldoende overeenkomt wanneer, na uitwisseling van de argumenten, de scores op de afzonderlijke elementen niet meer dan één punt op de Likert-schaal verschillen.

24

6.4.

Vergelijk scores eerste en tweede onderzoeker

Volgorde

In bijlage 11.1 staat een overzicht van de initiële scores van beide onderzoekers. Daarbij staat aangegeven wat het verschil in de scores is. Hierbij was vooraf in 75% van de gevallen geen (37,5%) of één punt (37,5%) verschil. In 19% van de gevallen was er een verschil van twee punten en in 6% een verschil van drie punten. Deze score was uitgangspunt voor het onderlinge overleg. Doel van het vergelijk was daarbij om te bepalen of een sessie kon worden geclassificeerd als sterker of als zwakker. De rangorde in absolute zin was daarbij, voor dit kwalitatieve onderzoek, niet relevant. Een samenvatting van de gemiddelde score vooraf en achteraf is weergegeven in figuur 3.

+1 +2 +3 +4 -4 -3 -2 -1

Vooraf EvL Gem. Nr. 6,3 8 6,3 4 6,2 25 6,2 6 4,3 11 4,1 12 4,0 31 3,6 30

BG Gem. 5,8 5,6 5,5 5,5 4,7 3,0 2,5 2,2

Nr. 4 8 25 6 31 11 12 30

Achteraf Gemiddelde Gem. Nr. 6,1 4 5,9 25 5,9 8 5,7 6 4,4 31 3,9 11 3,5 12 2,8 30

Figuur 3: Samenvatting vergelijk scores onderzoekers Effectiviteit

Hierna zijn de scores onderling besproken. Hierbij is vooral gesproken over de scores die twee of meer punten van elkaar verschilden. In alle gevallen is na discussie consensus bereikt tot een verschil van maximaal één punt. Daarmee was het niet nodig sessies uit te sluiten of extra sessies te beoordelen. Na overleg was er in 31% van de gevallen geen verschil en daarmee in 69% één punt verschil. Een gedetailleerd overzicht van de scores na vergelijk staat in bijlage 11.2. In zijn algemeenheid scoorde de tweede onderzoeker de sessies een beetje lager dan de eerste onderzoeker. Daar waar is geschoven in de score heeft de eerste onderzoeker dat meestal gedaan na vakinhoudelijke argumenten van de tweede onderzoeker. De tweede onderzoeker is meestal geschoven na aandragen van meer gedetailleerde observaties door de eerste onderzoeker. Voor het vervolg van het onderzoek is in de overzichten het gemiddelde van de beide scores meegenomen.

25

6.5.

Analyse observatie effectiviteit ROT-overleggen

Het definitieve resultaat na vergelijk van de scores van beide onderzoekers staat samengevat weergegeven in figuur 4.

Image building

Information in plot relevant

Assignments to relevant team

Decision for specific team

Actions based on image

Image unambigous

Image realistic

Image reflects dilemma's

Image in short time

Gemiddelde Wrapping up the meeting

Gemiddelde Image building

Gemiddelde Effectiviteit

Effectiviteit (Van der Haar et al., 2013)

Wrapping up the meeting

Sterkste vier 

5,9

5,9

5,9

5,9

5,8

6,1

5,8

6,1

6,1

6,0

5,5

Zwakste vier 

3,6

3,9

3,3

4,1

3,9

4,1

3,6

3,8

3,1

3,4

3,5

Figuur 4: Samenvatting resultaat scores Effectiviteit van de vier sterkste en de vier zwakste sessies

De details met de gemiddelde scores van de individuele sessies staan weergegeven in bijlage 12. Hoewel de scores op effectiviteit geen onderdeel van het onderzoek zijn, kan er in algemene zin wel wat over worden verteld. Eén scenario komt bij zowel de sterkere als de zwakker scorende inzetten voor: In deze selectie is er één scenario dat zowel bij de sterkere (nr. 4) als bij de zwakkere (nrs. 12 en 30) voorkomt. Dit is een scenario dat wat langer duurt (gemiddeld 23:07 min.). In één geval was er duidelijk tijd om een (nog) effectievere inzet te draaien: Eén (nr. 6) van de vier sterkste inzetten was met 8:44 min. relatief snel klaar. Andersom geredeneerd was er dus nog tijd over. Bij deze inzet was het beide onderzoekers ook opgevallen dat er geen grote tijdsdruk op het overleg lag en dat er ook elementen waren die met dat beetje extra tijd (nog) effectiever hadden gekund.

26

6.6.

Gebruik observatieformulier Effectiviteit

De dissertatie (Van der Haar, 2014) waarop de categorieën en elementen van het observatieformulier zijn gebaseerd is relatief nieuw en zal daarmee nog niet veelvuldig gebruikt zijn. Voor toekomstige gebruikers staan in deze paragraaf een aantal algemene bevindingen weergegeven. Verder zal dit observatieformulier worden vergeleken met de vereiste eigenschappen voor een beoordelingssysteem uit tabel B.3. van bijlage 7:  Er zijn twee elementen uit de categorie ‘Image building’ die door het zelfde woordgebruik wat op elkaar lijken. Dit betreft: o ‘The image reflects the situation and his dilemma’s’; o ‘The image of the situation was realistic’. De eerste is in dit onderzoek geïnterpreteerd als de vraag of aan de juiste elementen is gedacht. De tweede is geïnterpreteerd als de vraag of de gebruikte elementen juist zijn. Zonder de juiste interpretatie overlappen (zie ‘Structuur’ uit tabel B.3.) de elementen elkaar mogelijk;  Er zijn twee elementen uit de twee verschillende categorieën die bij het eerste gebruik wat op elkaar lijken. Dit betreft: o ‘The decisions, advices and assignments for the units are based on the actual own image and the overall image of the situation’; o ‘Information in the plot of the team at the end of the meetings was relevant for: development and effects of the incident; risks for the rescue services and others on scene; approach; people and material needed’. De eerste is in dit onderzoek geïnterpreteerd als de vraag of de juiste beslissingen zijn genomen aan de hand van het beeld dat dit team realistisch achtte. Oftewel de beslissingen in relatieve zin goed waren. De tweede is geïnterpreteerd als de vraag of het beeld realistisch was. Oftewel in absolute zin juist was. Zonder de juiste interpretatie overlappen (zie ‘Structuur’ uit tabel B.3.) de elementen elkaar mogelijk;  Uit de voorstaande punten volgt de aanbeveling om de elementen voor gebruik van een toelichting te voorzien. Met de toelichting is het systeem voldoende gevoelig (zie tabel B.3.);  Het element ‘The decisions, advices and assignments for the units are based on the actual own image and the overall image of the situation’ is het vaakst als ‘Not observed’ (zie bijlage 10) gescoord. Dit element vraagt daarmee mogelijk om nader onderzoek naar de bruikbaarheid (zie tabel B.3.) bij het waarnemen van een ROT-overleg;  De zeven-punts Likert-schaal heeft voor de onderzoekers prettig gewerkt;  Op bovenstaande details na, is dit instrument overzichtelijk in het gebruik (‘Bruikbaarheid’ uit tabel B.3.). Over het algemeen kon de score al na één observatie van de video volledig worden ingevuld;  In alle gevallen zijn de twee onderzoekers, na discussie, tot overeenkomende scores (31% geen verschil, 69% één punt verschil) gekomen. Hiermee is er een redelijke consistentie tussen de beoordelaars (zie tabel B.3.);  Binnen ROT’s wordt ook tijd besteed aan scenario denken. De twee categorieën ‘Image building’ en ‘Wrapping up the meeting’ hebben hierbij dan een iets ander karakter dan bij de start van het incident of in een CoPI. Tegelijk konden de onderzoekers dit instrument hiervoor wel gebruiken. De eerder beschreven sessies nr. 4, 12 en 30 zijn hiervan een voorbeeld;  Alles overziend is dit instrument goed bruikbaar.

27

7.

Video-observatie bepaling belang NTS

Na de selectie van de vier sterkere en vier zwakkere ROT-overleggen wordt in dit hoofdstuk, als laatste stap in de methodologie, de observatie op de NTS gedaan. Deze zal moeten uitwijzen dan wel bewijzen of de diverse NTS effect hebben op het resultaat van een ROT-overleg en zo ja in welke mate. Dit hoofdstuk beschrijft de volgende stappen:  §7.1.: Observatie en score op NTS door eerste onderzoeker;  §7.2.: Controlerende observatie en score op NTS door tweede onderzoeker;  §7.3.: Vergelijk scores NTS eerste en tweede onderzoeker;  §7.4.: Analyse definitieve resultaten.

7.1.

Observatie door eerste onderzoeker

In tabel 3.2. staat welke categorieën en elementen worden gebruikt voor de observatie van de NTS. Samengevat zijn de categorieën:  Situation awareness;  Decision-making;  Communication;  Team working;  Leadership. Deze en de onderliggende elementen zijn verwerkt in een observatieformulier zoals weergegeven in bijlage 13.1. Bij de beoordeling van de elementen wordt een zeven-punts13 Likert-schaal gebruikt. Omdat wordt gewerkt met een observatieformulier dat het karakter heeft van een checklist, kan worden gesproken over een gestructureerde observatie (Baarda et al., 2009, p. 265). Omdat het hier een kwalitatieve analyse betreft, is niet geturfd of en hoe vaak een bepaald element voorgekomen is, maar is op het observatieformulier beschreven wat er in kwalitatieve zin is geobserveerd. Hierna is pas de score gegeven. In bijlage 13.2 is ter illustratie een (geanonimiseerd) voorbeeld van een van de observatieformulieren weergegeven. Dit observatieformulier voor de NTS is voor de beeldvorming bewust van dezelfde sessie (nr. 31) genomen als het voorbeeld voor de score van de effectiviteit. Deze geselecteerde video-opnames duurden bij elkaar bijna 2,5 uur. De gemiddelde duur was 17 minuten, waarbij de kortste bijna 7 minuten duurde en de langste ruim 33 minuten. Alle video’s zijn meerdere malen bekeken, omdat het niet mogelijk bleek alle elementen in één keer goed te beoordelen. De omschrijving van verschillende elementen was hierbij helder, maar er werden regelmatig bepaalde elementen niet geobserveerd. Deze punten zijn vooraf gedeeld met de tweede onderzoeker. Eenmaal is bewust een opname overnieuw bekeken. Omdat vlak voor het bekijken van een van de sterkere sessies net twee zwakkere sessies bekeken waren, ontstond bij de score van een sterkere sessie het gevoel dat deze wat te positief werd gescoord. Bij de nieuwe observatie zijn daarna inderdaad een paar elementen in score omlaag bijgesteld. Dit opnieuw bekijken is een voorbeeld van een vorm van intra-observator betrouwbaarheid zoals beschreven door Baarda et al. (2009, p. 291).

13

De Indeling en het kleurgebruik van de zeven-punts Likert-schaal staan vermeld in bijlage 8. 28

7.2.

Controlerende observatie door tweede onderzoeker

Voor het verhogen van de betrouwbaarheid van de uitkomsten heeft ook een tweede onderzoeker alle geselecteerde sterkere en zwakkere sessies op NTS gescoord. Er is daarmee dan sprake van inter-observatorbetrouwbaarheid (Baarda et al., 2009, p. 291). Vooraf is afgesproken dat een sessie alleen voldoende overeenkomt als, na uitwisseling van de argumenten, de scores op de afzonderlijke elementen niet meer dan één punt op de Likert-schaal verschillen. Wel is daarbij vooraf bepaald dat alleen wanneer de bevindingen overeenkomen, de sessie mocht worden meegenomen in het onderzoek. In het andere geval zouden de onderzoekers een nieuwe sessie moeten selecteren en beoordelen uit de eerder op effectiviteit gescoorde reeks.

7.3.

Vergelijk scores eerste en tweede onderzoeker

In bijlage 14.1 staat een overzicht van de initiële scores van beide onderzoekers. Daarbij staat aangegeven wat het verschil in de scores is. Hierbij was vooraf in 85% van de gevallen geen (46%) of één (39%) punt verschil. In 4% was er een verschil van twee punten en in 11% een verschil in het wel of niet geobserveerd hebben van een element. Deze score was uitgangspunt voor het onderlinge overleg. Doel van het vergelijk was daarbij om te komen tot een gezamenlijke score. Net als bij de beoordeling van de effectiviteit is ook hier gebruik gemaakt van een Likert-schaal. De gebruikte Likert-schaal kent een ordinale verdeling waardoor er niet zonder meer met gemiddelden mag worden gewerkt. Na overleg tussen de eerste en tweede onderzoeker is besloten om dezelfde werkwijze te hanteren als voor de scores op effectiviteit. Dat wil zeggen dat in dit geval de elementen binnen de categorie wel mogen worden gemiddeld voor dit kwalitatieve onderzoek. In het ingevulde voorbeeld van een observatieformulier (bijlage 13.2) is dan ook per categorie de gemiddelde score van de bijhorende elementen genomen.

Volgorde

Tegelijkertijd staan in de diverse figuren met de weergave van de scores van de NTS wel gemiddelden weergegeven. Door het ontbreken van informatie over het relatieve belang van de afzonderlijke categorieën is dit middelen alleen een methode om een visuele of globale rangschikking te doen. Het middelen van de vijf categorieën tot één gemiddelde NTS geeft dus geen correcte indeling op de Likert-schaal. Om toch een visuele of globale rangschikking te kunnen doen is er in één figuur (figuur 5) wel gewerkt met een gemiddelde van de vijf categorieën. In alle andere analyses waarbij de NTS met de effectiviteit worden vergeleken is geen gemiddelde van de NTS gebruikt. Een samenvatting van de gemiddelde score vooraf en achteraf is weergegeven in figuur 5.

+1 +2 +3 +4 -4 -3 -2 -1

Vooraf EvL BG Gem. Nr. Gem. 6,1 4 6,2 6,0 8 6,1 5,9 25 6,0 5,7 6 5,1 3,7 31 3,7 3,4 12 3,6 3,3 11 3,3 2,9 30 3,2

Nr. 25 6 8 4 11 31 30 12

Achteraf Gemiddelde Gem. Nr. 6,1 25 6,0 8 5,9 6 5,5 4 3,6 31 3,6 11 3,3 12 3,2 30

Figuur 5: Samenvatting vergelijk scores onderzoekers NTS

Hierna zijn de scores onderling besproken. Hierbij is vooral gesproken over de scores die twee of meer punten van elkaar verschilden. In alle gevallen is na discussie consensus bereikt tot een verschil van maximaal één punt. Daarmee was het niet nodig sessies uit te sluiten of extra sessies te beoordelen. Na overleg was er in 56% van de gevallen geen verschil en daarmee in 44% één punt verschil. Een gedetailleerd overzicht van de scores na vergelijk staat in bijlage 14.2. 29

In zijn algemeenheid scoorde de eerste onderzoeker de sessies een beetje lager dan de tweede onderzoeker. Bij het overleg over de scores was er deze keer minder discussie op de inhoud. In dit overleg betrof het vooral het wederzijds aandragen van gedetailleerde observaties die of door de ene of door de andere onderzoeker over het hoofd waren gezien of anders werden geïnterpreteerd. Voor het vervolg van het onderzoek is in de overzichten het gemiddelde van de beide scores meegenomen.

7.4.

Analyse observatie NTS

Met het afronden van de observaties op NTS zijn alle stappen van de methodologie doorlopen. Daarvoor was in de eerste hoofdstukken een set met NTS bepaald op basis van literatuuronderzoek en verificatie door deskundigen. Hierna is een selectie gemaakt van sterkere en zwakkere sessies. Het definitieve resultaat van de observaties is het vergelijk van de NTS ten opzichte van de effectiviteit. De samenvatting van dit vergelijk op categorie niveau staat weergegeven in figuur 6. De details per sessie van de categorieën staan in bijlage 15. De scores van zowel de effectiviteit als de NTS zijn beoordeeld op een zeven-punts14 Likert-schaal. Bij de interpretatie van de vergelijkingen dient de beperking van het middelen van de ordinale Likertschaal te worden meegenomen.

Image building

Wrapping up the meeting

Situation awareness

Decisionmaking

Communicatio n

Team working

Leadership

NTS (Flin et al., 2008)

Gemiddelde Effectiviteit

Effectiviteit (Van der Haar et al., 2013)

Sterkste vier 

5,9

5,9

5,9

5,9

5,9

6,0

5,8

6,0

Zwakste vier 

3,6

3,9

3,3

3,8

3,6

3,2

3,1

3,3

Figuur 6: Samenvatting vergelijk Effectiviteit met NTS

Het vergelijk van de NTS met de effectiviteit, zoals weergegeven in figuur 6, leidt tot onderstaande bevindingen. De NTS hebben effect op het resultaat: De belangrijkste constatering van deze analyse is dat bij de vier sterkste sessies alle vijf NTS hoog scoren en respectievelijk bij de vier zwakste sessies alle vijf laag scoren. Anders geformuleerd betekent dit dat er een indicatie is dat wanneer de onafhankelijke variabele NTS hoog scoort de afhankelijke variabele Effectiviteit daardoor hoger is en andersom. Hieruit kan worden geconcludeerd dat er een indicatie is dat de NTS effect hebben op het resultaat. In het verlengde hiervan is het daarmee van belang om bij opleiden, trainen en oefenen aandacht aan de NTS te besteden. Er zijn geen NTS die beduidend meer of minder effect hebben op het resultaat: Uit figuur 6 kan worden geconstateerd dat er geen specifieke NTS categorieën zijn die beduidend meer of minder effect hebben op het resultaat. Daarmee is er ook een indicatie dat bij opleiden, trainen en oefenen alle categorieën van de NTS aandacht behoeven.

14

De Indeling en het kleurgebruik van de zeven-punts Likert-schaal staan vermeld in bijlage 8. 30

Naast de categorieën zijn ook over de elementen en de details van de sessies (weergegeven in figuur 7) nog een aantal beschouwingen te maken.

Nummer

Situation awareness

Decision-making

Communication

Team working

Managing workload and resources

Planning and prioritising

Maintaining standards

Using authority

Co-ordinating activities

Exchanging information

Solving conflicts

Supporting others

Identifying and addressing barriers to communication

Receiving information, especially by listening

Including context and intent during information exchange

Sending information clearly and concisely

Outcome review

Selecting and implementing options

Considering options

Defining problem

-

Anticipating future state

Gathering information

Interpreting information

NTS (Flin et al., 2008)

Leadership

Sterkste vier 4

6,0

5,5

5,0

-

5,5

4,0

6,5

N

5,5

5,5

6,5

N

5,5

6,0

5,5

5,0

5,5

5,5

5,5

N

25

6,5

6,0

5,5

-

7,0

N

6,0

N

6,5

5,5

6,0

N

6,0

N

5,5

6,0

6,5

6,0

6,5

N

8

6,0

6,0

N

-

5,5

N

6,0

6,0

6,5

5,5

6,0

6,0

6,5

N

5,5

6,0

6,0

6,0

6,0

N

6

6,0

6,0

6,0

-

5,5

N

6,0

6,0

6,5

6,0

5,5

N

6,0

N

5,5

N

6,5

5,5

6,0

N

6,1

5,9

5,5

-

5,9

4,0

6,1

6,0

6,3

5,6

6,0

6,0

6,0

6,0

5,5

5,7

6,1

5,8

6,0

N

31

3,5

4,5

4,0

-

4,5

3,5

3,5

N

3,0

3,5

4,0

N

3,5

3,0

3,5

3,5

3,5

3,0

3,5

N

11

3,0

4,0

4,0

-

5,0

3,5

3,5

4,0

3,5

4,0

3,0

N

2,5

N

3,5

3,0

3,5

3,0

4,5

N

12

4,5

4,0

3,5

4,5

2,5

2,5

3,5

2,5

4,0

3,0

N

2,5

N

3,0

3,5

2,5

3,5

3,0

N

30

4,0

3,5

3,5

-

4,0

4,0

2,5

N

1,5

3,0

3,5

N

2,5

3,0

4,0

2,5

2,5

3,5

3,0

N

3,8

4,0

3,8

-

4,5

3,4

3,0

3,8

2,6

3,6

3,4

N

2,8

3,0

3,5

3,1

3,0

3,3

3,5

N

Gemiddelde  Zwakste vier

Gemiddelde 

Figuur 7: Details scores NTS

Niet geobserveerd (‘N’): In de details van figuur 7 is te zien dat er regelmatig elementen niet geobserveerd zijn (‘N’). Een mogelijke reden hiervoor kan zijn dat deze NTS een basis set zijn en nog niet zijn toegespitst op de rol van OL. Dit kan een indicatie zijn om deze elementen niet te gebruiken bij eventuele verdere ontwikkeling van een NTS observatie-set voor de OL. ‘Selecting and implementing options’ scoort bij de zwakste vier sessies het laagst: Binnen de categorie ‘Decision-making’ kan bij de zwakste vier sessies worden geconstateerd dat het element ‘Selecting and implementing options’ het laagst scoort (zie in figuur 7). Ondanks dat het relatieve belang hiervan door de ordinale schaal niet hard is, hebben de onderzoekers, mede vanuit de observaties, het idee dat het concretiseren en toewijzen van acties een aandachtspunt is. ‘Sending information clearly and consciously’ scoort bij de zwakste vier sessies het laagst: Binnen de categorie ‘Communication’ kan bij de zwakste vier sessies worden geconstateerd dat het element ‘Sending information clearly and consciously’ het laagst scoort (zie in figuur 7). Ondanks dat het relatieve belang hiervan door de ordinale schaal niet hard is, hebben de onderzoekers, mede vanuit de observaties, het idee dat het kort en bondig zijn een aandachtspunt is.

31

7.5.

Gebruik observatieformulier NTS

Voor het observatieformulier NTS zijn de categorieën en elementen, zoals weergegeven in tabel 3.2., gebruikt uit Flin et al. (2008, p. 11). Dit gebruik is niet uitgewerkt in Flin et al. (2008). Daarom staan voor eventuele toekomstige gebruikers in deze paragraaf een aantal algemene bevindingen weergegeven. Verder zal dit observatieformulier worden vergeleken met de vereiste eigenschappen voor een beoordelingssysteem uit tabel B.3. van bijlage 3: 

 



  





Een aantal elementen van de NTS (zie figuur 7) zijn als ‘Not observed’ gescoord. Dit kan een indicatie zijn om deze elementen te onderzoeken op hun bruikbaarheid (tabel B.3.) bij eventuele verdere ontwikkeling van een NTS observatie-set voor de OL. De gebruikte elementen zijn meestens eenvoudig en goed bruikbaar (zie tabel B.3.); Het element ‘Supporting others’ van de categorie ‘Team working’ is bij de observatie wat ruimer genomen. In de leidinggevende rol van een OL wordt namelijk niet letterlijk geholpen of hulp aangeboden. De ondersteuning in die rol zit meer in verbaal en non-verbaal aanmoedigen en in ruimte geven. Wellicht kan na verder onderzoek een meer passende omschrijving worden gegeven om daarmee ook de gevoeligheid (zie tabel B.3.) te verbeteren; Het element ‘Using authority’ uit de categorie ‘Leadership’ is lastig in te schatten. Zowel wat er precies mee wordt bedoeld, als de inschatting van het juiste niveau. Een passende omschrijving kan zowel de gevoeligheid als de validiteit van de constructie verhogen (tabel B.3.); Uit de voorstaande punten volgt de aanbeveling om de elementen voor gebruik van een toelichting te voorzien. Met de toelichting is het systeem voldoende gevoelig (zie tabel B.3.); De zeven-punts Likert-schaal heeft voor de onderzoekers prettig gewerkt; Hoewel dit instrument overzichtelijk in het gebruik is, behoeft het observeren van gedrag behoorlijke aandacht. Bij video-observatie kan een minder ervaren observator dit formulier goed gebruiken omdat er meerdere malen kan worden herhaald. Wanneer er geen video-opnames kunnen worden gemaakt en gedrag dus in één keer moet worden geobserveerd, is voor deze basisopzet (zie tabel B.3.) meer ervaring vereist; In alle gevallen zijn de twee onderzoekers, na discussie, tot overeenkomende scores (56% geen verschil, 44% één punt verschil) gekomen. Hiermee is er een redelijke consistentie tussen de beoordelaars (zie tabel B.3.); Alles overziend is dit instrument goed bruikbaar. Zeker wanneer een aantal elementen die in dit onderzoek niet regelmatig werden geobserveerd niet meer hoeven worden gescoord.

32

8.

Beantwoording onderzoeksvraag

Voor dit onderzoek is in drie stappen data verzameld. Allereerst is er literatuuronderzoek naar NTS gedaan. De uitkomsten van het literatuuronderzoek zijn, als tweede stap, in een interview voorgelegd aan deskundigen. Als laatste stap zijn de uitkomsten van het literatuuronderzoek en de interviews gebruikt om middels video-observaties empirisch onderzoek te doen naar het effect van de NTS op de effectiviteit van een ROT-overleg. De resultaten van de drie stappen geven bij elkaar de informatie om de deelvragen en daarmee de hoofdvraag in dit hoofdstuk te beantwoorden.

8.1.

Beantwoording deelvragen

De onderzoeksvraag wordt ondersteund door drie deelvragen die hieronder worden beantwoord: I.

Op welke wijze kan het resultaat van een overleg van een Regionaal Operationeel Team worden bepaald?

Het resultaat van het ROT kan worden bepaald met een door Van der Haar et al. (2013) ontwikkelde methode. Uit het literatuuronderzoek (zie §5.) blijkt dat zij een instrument hebben ontwikkeld en gevalideerd dat betekenisvolle uitspraken kan doen over de effectiviteit van het ROT. Dit instrument bestaat uit twee onderdelen waarvan het onderdeel ‘Team meeting outcome’ (Van der Haar et al., 2013, p. 265) goed past bij een ROT-overleg. Dit onderdeel met de onderliggende categorieën ‘Image building’ en ‘Wrapping up the meeting’ staat, met de onderliggende elementen, vermeld in tabel 8.1. Tijdens de observaties zijn deze verwerkt in een observatieformulier zoals weergegeven in bijlage 9.1. Tijdens de observaties bleek dit instrument voor dit onderzoek goed bruikbaar. Tabel 8.1. Onderdeel: Team meeting outcome (Van der Haar et al., 2013, p. 265)

Categorieën Image building

Elementen The team managed to create a shared image of the situation in a short time The image reflected the situation and its dilemma's The image of the situation was realistic The image of the situation was unambiguous The decisions, advices and assignments for the units are based on the actual own image and the overall image of the situation

Wrapping up the meeting

The decisions are translated into an assignment for a specific professional or a team The assignments are given to the relevant team or person Information in the plot of the team at the end of the meetings was relevant for: development and effects of the incident; risks for the rescue services and others on scene; approach; people and material needed

33

II.

Welke set van Non-Technical Skills van de Operationeel Leider heeft het grootste effect op het resultaat van een overleg van een Regionaal Operationeel Team?

De combinatie van het literatuuronderzoek en de interviews met de deskundigen geeft aan dat de set NTS van Flin et al. (2008, p. 11), zoals weergegeven in tabel 8.2., van belang is voor een efficiënte en veilige taakuitvoering en daarmee kan worden gebruikt voor dit onderzoek. De video-observaties hebben vervolgens ook empirisch aangetoond dat er een indicatie is dat deze set van NTS van de OL van belang zijn voor de effectiviteit een ROT-overleg van een oefenincident in de VRNHN. Als verdere toelichting hierop kan worden aangegeven dat uit de literatuur (zie §3.1.) verschillende lijsten met gedragingen naar voren kwamen die voor verschillende doeleinden zijn ontwikkeld. Zo zijn er onder andere lijsten voor persoonlijke ontwikkelplannen, voor kwaliteitseisen en om succesvol te kunnen functioneren. Van deze lijsten wordt de set Flin et al. (2008, p. 11) voor dit onderzoek als meest passend beschouwd. Deze set beschrijft de niet technische vaardigheden die bijdragen aan een veilige en efficiënte taakuitvoering van personen die werkzaam zijn in hoog-risico beroepen. De niet technische vaardigheden worden al geruime tijd toegepast in de luchtvaart. Daarbij is deze set afgebakend en samenhangend gericht op de NTS en sluit daarmee goed aan bij de onderzoeksvraag en de lacune in fundamenteel onderzoek (Timmermans, 2012, p. 23). Vervolgonderzoek (zie §3.2.) gaf geen aanwijzingen dat er in deze set onderdelen zijn die beduidend meer of minder effect op het resultaat hebben. Alleen op basis van het feit dat het onderzoek over oefenomstandigheden gaat, maakt dat er delen van de set (stress en vermoeidheid) weggelaten zijn. Deze bevindingen zijn door de deskundigen in de interviews bevestigd (zie §4.2.). Tijdens de observaties zijn de overgebleven vijf categorieën uit deze set (zie tabel 8.2.), met onderliggende elementen, verwerkt in een observatieformulier zoals weergegeven in bijlage 13.1. Uit de observaties (zie §7.4.) blijkt dat er een kwalitatieve relatie is tussen de NTS en de effectiviteit. Hiermee is er een duidelijke indicatie dat deze set met NTS aantoonbaar effect heeft op het resultaat van het ROT-overleg. Tabel 8.2. Gebruikte categorieën en onderliggende elementen voor observatie NTS

Categorie

Elementen

Situation awareness

Gathering information Interpreting information Anticipating future state

Decision-making

Defining problem Considering options Selecting and implementing options Outcome review

Communication

Sending information clearly and concisely Including context and intent during information exchange Receiving information, especially by listening Identifying and addressing barriers to communication

Team working

Supporting others Solving conflicts Exchanging information Co-ordinating activities

Leadership

Using authority Maintaining standards Planning and prioritising Managing workload and resources

34

III.

Kan er binnen de geselecteerde set van Non-Technical Skills een reductie plaatsvinden van onderdelen die minder bijdragen aan het effect op het resultaat van een overleg van een Regionaal Operationeel Team bij een oefenincident in de Veiligheidsregio Noord-Holland Noord?

De analyse van de video-observaties van de NTS (zie §7.4.) geeft geen indicatie dat er een duidelijk onderscheid is in de mate van bijdrage van de specifieke onderdelen. De combinatie met het literatuuronderzoek en de mening van de deskundigen maakt dat in dit onderzoek wordt gesteld dat er een indicatie is dat de specifieke onderdelen allen in gelijke mate van belang zijn en er daarmee geen reductie van de geselecteerde set kan plaatsvinden.

8.2.

Beantwoording onderzoeksvraag

De hoofdvraag van dit onderzoek luidt: Welke Non-Technical Skills van de Operationeel Leider hebben het grootste effect op het resultaat van een overleg van het Regionaal Operationeel Team bij een oefenincident in de Veiligheidsregio Noord-Holland Noord? Dit onderzoek toont, voor het eerst, aan dat er een indicatie is dat de NTS van de OL van belang zijn voor de effectiviteit een ROT-overleg van een oefenincident in de VRNHN. In dit onderzoek is geen duidelijk onderscheid geconstateerd in het relatieve belang van de diverse NTS. Hiermee is er een indicatie dat alle NTS in gelijke mate van belang zijn. Bij dit onderzoek zijn daarbij de vijf NTS van Flin et al. (2008) gebruikt. Deze vijf NTS zijn: 1. Situation awareness; 2. Decision-making; 3. Communication; 4. Team working; 5. Leadership.

8.3.

Conclusie

Timmermans (2012, p. 23) geeft aan dat er, voor zover hij heeft kunnen nagaan, binnen de hulpverlening nog geen fundamenteel onderzoek is gedaan naar de menselijke factor als oorzaak van falen. Inmiddels is door Van der Haar (2014) aangetoond dat de menselijke factor ‘Constructief conflict’ effect heeft op de effectiviteit van de hulpverlening. Dit onderzoek toont nu, voor het eerst, ook aan dat er een indicatie is dat de NTS van de OL van belang zijn voor de effectiviteit een ROToverleg. In dit onderzoek is verder geen duidelijk onderscheid geconstateerd in het belang van de diverse NTS. Hiermee is er een indicatie dat alle NTS in gelijke mate van belang zijn. Dit is, geredeneerd vanuit de didactische wens om het aantal aandachtspunten te beperken, een tegenvallende conclusie. Tegelijkertijd is deze constatering, dat het aantoonbaar effect heeft wanneer al deze NTS op niveau zijn, wel waardevol en hopelijk bemoedigend voor opleidingen, trainingen en oefeningen. De combinatie van bovenstaande constateringen leidt tot de conclusie dat bij het opleiden, trainen en oefenen van de OL alle NTS van Flin et al. (2008) een belangrijke plaats moeten krijgen. Dit omdat de NTS aantoonbaar bijdragen aan het resultaat van een ROT en zo de kans op falen door toedoen van de menselijke factor beperken.

35

9.

Aanbevelingen

Dit onderzoek toont, voor het eerst, aan dat er een indicatie is dat de NTS van de OL van belang zijn voor de effectiviteit van een ROT-overleg van een oefenincident in de VRNHN. Deze constatering heeft twee kanten. Om te beginnen staat hier duidelijk dat het hier een indicatie betreft. De beperking in tijd en middelen van een thesis maakt dat de conclusie pas verder kan gaan dan een indicatie wanneer er vervolgonderzoek is gedaan. Tegelijk maakt de inzet, de kwaliteit en de tijd die besteed is aan dit onderzoek wel duidelijk dat hier de juiste richting is gevonden en er een goede kans is dat vervolgonderzoek tot hetzelfde resultaat leidt. Samengevat leidt dit tot de eerste aanbeveling om vervolg onderzoek te doen naar de NTS van de OL en daarmee ook nadere invulling te geven aan de lacune in fundamenteel onderzoek binnen de hulpverlening naar de menselijke factor als oorzaak van falen. Hieronder volgen de andere aanbevelingen voor onder andere opleiden, trainen en oefenen, de OL en de kwaliteit en uitbreiding van het onderzoek.

9.1.

Opleiden, trainen en oefenen

Besteed bij opleiden, trainen en oefenen van de OL aandacht aan NTS: Omdat de NTS aantoonbaar bijdragen aan het resultaat van een ROT en zo de kans op falen door toedoen van de menselijke factor beperken, is het van belang dat bij het opleiden, trainen en oefenen van de OL de NTS van Flin et al. (2008) een belangrijke plaats krijgen. Hierbij is het noodzakelijk om aan alle NTS uit de set aandacht te besteden. Gebruik een observatieformulier voor het meten van de effectiviteit van een ROT: Tijdens dit onderzoek is gebleken dat het observatieformulier (zie bijlage 9.1) dat is gebaseerd op Van der Haar et al. (2013) goed bruikbaar is voor het meten van de effectiviteit van het ROT. Het objectieve en wetenschappelijke karakter van dit observatieformulier geven een goede basis voor de nabesprekingen. Omdat hiermee niet personen maar het (team)resultaat wordt besproken is dit enerzijds een ‘veilige’ methode en vraagt dit anderzijds bij het bespreken om een kritische blik van alle gezamenlijke teamleden. Het advies is dan ook dit observatieformulier regelmatig te gebruiken. Gebruik een observatieformulier voor het meten van de NTS van een OL: Het observatieformulier voor NTS (zie bijlage 13.1) dat is gebaseerd op Flin et al. (2008) is goed bruikbaar en geeft in ieder geval objectief relevante bespreekpunten. Tegelijkertijd is deze lijst nog niet uitgekristalliseerd en vergt het gebruik wat meer vaardigheid. Daarom wordt geadviseerd deze set wel te gebruiken, maar dan met een selectief karakter en inachtneming van de beperkingen van de set. Zie toe op het concretiseren en toewijzen van acties door de OL: Binnen de categorie ‘Decision-making’ kan bij de zwakste vier sessies worden geconstateerd dat het element ‘Selecting and implementing options’ het laagst scoort. Deze score, gecombineerd met de observaties van beide onderzoekers, maakt dat wordt geadviseerd bij oefeningen toe te zien op het concretiseren en toewijzen van acties door de OL. Zie toe op het kort en bondig formuleren door de OL: Binnen de categorie ‘Communication’ kan bij de zwakste vier sessies worden geconstateerd dat het element ‘Sending information clearly and consciously’ het laagst scoort. Deze score, gecombineerd met de observaties van beide onderzoekers, maakt dat wordt geadviseerd bij oefeningen toe te zien op het kort en bondig zijn door de OL.

36

9.2.

Operationeel Leider

Train en oefen continue met NTS: Voor de OL gelden in grote lijnen de aanbevelingen zoals die hiervoor geformuleerd zijn voor opleiden, trainen en oefenen. Het advies is om hier ook zelf continue aan te werken, immers “leiders worden geboren. Goede leiders worden gemaakt” (Kroon, 2012). Als er tijd is om het (nog) beter te doen, gebruik die tijd dan ook: Bij een van de observaties is opgevallen dat het overleg relatief snel klaar was en er ruimte was om een (nog) effectievere inzet te draaien. Dit leidt tot het advies om wanneer er tijd is deze ook te gebruiken. Neem kennis van het belang van Focus, Positie innemen/afstemmen en Emotionele resonantie: Hoewel dat geen deel van dit onderzoek is, staan in de slotbeschouwing van §11. nog aanvullende passages over het belang van focus, het positie innemen/afstemmen en de emotionele resonantie.

9.3.

Verbeteren kwaliteit onderzoek

Elke observatie door minimaal twee onderzoekers laten doen: Voor een onderzoek in het kader van een thesis zijn de beschikbare tijd en middelen meestal beperkt. Toch waren er door de relatie met de dissertatie van dhr. Groot twee onderzoekers beschikbaar en kon elke opname door twee onderzoekers worden bekeken. Hierdoor konden de onderzoekers elkaar waar nodig aanvullen en corrigeren. Als aanbeveling is het in ieder geval verstandig om, net als bij dit onderzoek, elke observatie door minimaal twee onderzoekers te laten doen. Verschillende onderzoekers voor observeren effectiviteit en voor NTS: Bij dit onderzoek is de keuze gemaakt om de twee beschikbare onderzoekers, voor onderlinge aanvulling en correctie, beide video’s op effectiviteit en op NTS te laten observeren. Bij deze opzet scoren de onderzoekers dezelfde video’s op zowel de variabele Effectiviteit als op de variabele NTS. Hierbij wordt het risico gelopen dat een onderzoeker bij het opnieuw scoren beïnvloed wordt door de score van de eerdere observatie. Daarom wordt aangeraden om bij vervolgonderzoek de verschillende variabelen door verschillende onderzoekers te laten scoren. Niet van te voren weten of de NTS van een sterkere of zwakkere inzet wordt beoordeeld: Bij dit onderzoek is bewust gekozen om voor de beoordeling op NTS een verdeling te maken van zwakkere en sterkere sessies. Omdat de onderzoekers van te voren wisten van welke categorie zij de NTS observeerden, kunnen zij hierdoor mogelijk beïnvloed zijn. Het bevorderd de objectiviteit van het onderzoek wanneer de onderzoekers niet van te voren weten welke categorie zij beoordelen. Voor onderzoek realistische omstandigheden creëren: Hoe realistischer de omstandigheden zijn, hoe reëler het verkregen beeld is. Optimaal is natuurlijk het waarnemen bij echte incidenten. Ook is bij de observaties in dit onderzoek sociaal wenselijk gedrag naar publiek of verstoring door publiek geconstateerd. Hieruit volgt de suggestie geen of zo min mogelijk mensen toe te laten die er normaal ook niet bij zijn (‘Train as you fight, fight as you train’). Ook de zichtbaar aanwezige cameraopstelling kan het gedrag hebben beïnvloed. Hierbij past de suggestie van Baarda et al. (2009, p. 266) voor een onopvallende camera. Alle beschikbare geschikte video-opnames analyseren op NTS: Afsluitend voor de aanbevelingen over de kwaliteit kan nog worden gesteld dat van de 17 beschikbare sessie er acht geanalyseerd zijn en daarmee nog negen sessies beschikbaar zijn voor analyse. Wanneer er tijd is om ook deze te analyseren, wordt de basis robuuster en komen er mogelijk nog andere constateringen beschikbaar.

37

9.4.

Vervolgonderzoek rond OL

Nader onderzoek naar relatie NTS met onderdeel ‘Result of the emergency response at the scene’: Dit onderzoek gebruikt één onderdeel van het instrument voor het meten van de effectiviteit zoals die door Van der Haar et al. (2013) is uitgewerkt. Dat betreft hier het onderdeel ‘Team meeting outcome’. Vervolgonderzoek naar de relatie van de NTS met het andere onderdeel ‘Result of the emergency response at the scene’ (zie bijlage 7) kan het relatieve of absolute belang van de NTS of specifieke categorieën daarvan verder onderbouwen. Nader onderzoek naar relatie NTS met categorie ‘Coorporation with the tactical team’: In het verlengde van het vorige advies staat in Van der Haar et al. (2013, p. 267) ook beschreven dat binnen het onderdeel ‘Team meeting outcome’ de categorie ‘Coorporation with the tactical team’ niet verder is uitgewerkt. Het zou erg interessant zijn dit onderdeel, als het is uitgewerkt, ook te betrekken bij het onderzoek. Breng factoren in die onderzoek en analyse op stress en vermoeidheid mogelijk maken: In de passage over aanbevelingen voor de kwaliteit werd al gerefereerd naar zo realistisch mogelijke omstandigheden. Daar waar in die passage beschreven staat dat de verstorende factoren, als camera’s en publiek, zo veel mogelijk moeten worden gereduceerd, past hier de suggestie om juist storende factoren te introduceren die analyse op stress en vermoeidheid mogelijk maken. Breid onderzoek uit met Flexibiliteit en Assertiviteit: In dit onderzoek is er een relatie gelegd tussen de basis NTS van de OL en de effectiviteit van het ROT-overleg. De deskundigen (zie §4.2.) adviseren om dit onderzoek voor de OL uit te breiden met Assertiviteit en Flexibiliteit. Ontwikkel de set NTS voor de OL verder uit: Dit onderzoek heeft een start gemaakt voor een set met uitgewerkte NTS voor een OL die aantoonbaar bijdragen aan het resultaat van een ROT en zo de kans op falen door toedoen van de menselijke factor beperken. Dit leidt tot het advies om de set NTS voor de OL verder te ontwikkelen.

9.5.

Vervolgonderzoek naar andere factoren

Vervolgonderzoek naar andere schakels in de hulpverleningsketen: De OL in het ROT is maar een van de schakels in de hulpverleningsketen en daarom zou er ook naar het effect van NTS in de andere gremia in het systeem, bijvoorbeeld in het CoPI, moeten worden gekeken. Tegelijkertijd gaat dit onderzoek over de OL en passen hier daarmee vooral de adviezen over factoren direct rondom de OL. Vervolgonderzoek naar werkomstandigheden en ondersteunende middelen: Niet de observaties maar het gezond verstand genereren adviezen naar onderzoek over het effect van de werkomstandigheden. Licht, geluid, opstelling, zichtlijnen, voorbereide agenda’s, voorbereide plannen, deuropeningen, vorm en plaatsing schrijfborden en projectoren zijn zo een paar factoren die effect kunnen hebben op de algehele prestatie. Een centraal onderzoek naar de werkomstandigheden en welke middelen nu wel of niet daadwerkelijk effectiviteit verhogend werken, kan alle veiligheidsregio’s helpen. Vervolgonderzoek naar Algemeen Commandanten en CRM: Gedeeltelijk vanuit de observatie, maar ook al ingegeven door de ingezette CRM lijn en deels vanuit het gezonde verstand, kan vervolgonderzoek naar het effect van de NTS van het team van de Algemeen Commandanten in het ROT worden geadviseerd. Hier past ook het advies van de deskundigen (zie §4.2.) om dit onderzoek uit te breiden naar CRM.

38

Betrek de verslaglegger en informatiemanager in vervolgonderzoek: Specifiek uit de observaties van dit onderzoek komt nog een aanvullend advies. Hoewel er niet op is gescoord, is het beide onderzoekers opgevallen dat de rol van de verslaglegger en de rol en houding van de informatiemanager duidelijk effect hebben op het resultaat. Een verslaglegger die ter zake kundig is en de juiste acties en toewijzing daarvan filtert uit het overleg, geeft de OL ruimte om op andere zaken te letten. Voor de informatiemanager geldt dat deze vaak als eerste het beeld schetst en daarmee de toon zet. Daarnaast heeft deze informatiemanager over het algemeen de ruimte om wat afstand te nemen en de verschillende informatie te overzien. De juiste mate van assertiviteit van de informatiemanager (ergens tussen passiviteit en agressiviteit in) is daarbij kwaliteit verhogend. Al met al redenen om te adviseren aan deze functionarissen in vervolgonderzoek aandacht te besteden.

9.6.

Afsluitende suggestie

Tot slot past hier ook nog een advies, dan wel compliment, aan de VRNHN om vooral door te gaan op de ingeslagen weg waarin ruimte en aandacht is voor het effect van de menselijke factor bij het optreden van het individu en van het team als geheel.

39

10.

Discussie

De belangrijkste kritische rode draad in dit onderzoek is de beperking in tijd en middelen van een thesis. Deze beperking in tijd en middelen maakt dat de conclusies pas verder gaan dan een indicatie wanneer er vervolgonderzoek is gedaan. Hiervoor zijn dan ook aanbevelingen gedaan. Tegelijk maakt de inzet, de kwaliteit en de tijd die besteed is aan dit onderzoek wel duidelijk dat hier de juiste richting is gevonden en er een goede kans is dat vervolgonderzoek tot resultaat leidt. De conclusies en aanbevelingen die in de hoofdstukken hiervoor zijn gemaakt, zijn gebaseerd op duidelijke scores of op duidelijke observaties. Naast deze duidelijke scores zijn er ook constateringen te maken die richting of wellicht zelfs binnen de grenzen van de beperkingen van de ordinale Likertschaal komen. Zo zijn er ook gevoelsmatige observaties die moeilijk te staven zijn met scores of voorbeelden. In dit hoofdstuk worden een aantal van deze constateringen toch vermeld en voorzien van een mogelijke verklaring. Zeer wel mogelijk kan de constatering en verklaring ter discussie worden gesteld. Tegelijkertijd geeft dit toekomstige onderzoekers de gelegenheid om zelf te bepalen of zij zich hierdoor willen laten prikkelen. De eerste constateringen worden gedaan naar aanleiding van de eerder behandelde samenvatting van het vergelijk van de effectiviteit met de NTS. Deze samenvatting staat nogmaals in figuur 8 van dit hoofdstuk aangegeven.

Image building

Wrapping up the meeting

Situation awareness

Decisionmaking

Communicatio n

Team working

Leadership

NTS (Flin et al., 2008)

Gemiddelde Effectiviteit

Effectiviteit (Van der Haar et al., 2013)

Sterkste vier 

5,9

5,9

5,9

5,9

5,9

6,0

5,8

6,0

Zwakste vier 

3,6

3,9

3,3

3,8

3,6

3,2

3,1

3,3

Figuur 8: Samenvatting vergelijk Effectiviteit met NTS

Bij de zwakste sessies scoren ‘Situation awareness’ en ‘Decision-making’ binnen de NTS iets hoger: In figuur 8 is zichtbaar dat bij de zwakste sessies binnen de NTS de categorieën ‘Situation awareness’ en ‘Decision-making’ iets hoger scoren (gemiddeld 0,56 hoger) dan ‘Communication’, ‘Team working’ en ‘Leadership’. Deze hogere scores van ‘Situation awareness’ en ‘Decision-making’ zijn mogelijk te verklaren doordat deze categorieën een duidelijk onderdeel zijn van de structuur van Beeldvorming, Oordeelsvorming en Besluitvorming (BOB). Het feit dat de OL’s hierin getraind worden, verklaart mogelijk de hogere scores van deze categorieën. ‘Situation awareness’ en ‘Decision-making’ scoren vergelijkbaar met Effectiviteit: Een andere constatering is dat ‘Situation awareness’ en ‘Decision-making’ zowel bij de sterkere als bij de zwakkere sessies vergelijkbaar scoren met de categorieën van de effectiviteit (‘Image building’ en ‘Wrapping up the meeting’). Ze scoren dezelfde ordegrootte en bij de zwakkere sessies zit een overeenkomend verloop. Deze overeenkomst is met inachtneming van de beperkingen van de ordinale schaal niet heel hard, maar is wel een indicatie voor de mogelijkheid dat de benoemde categorieën een bepaalde overeenkomst hebben.

40

De overeenkomsten in de scores kunnen mogelijk worden verklaard doordat de uitkomstmaten dicht bij elkaar liggen. In tabel 10.1. en 10.2. staan de categorieën met onderliggende elementen naast elkaar weergegeven. Hierin is te zien dat ‘Image building’ en ‘Situation awareness’ beiden gaan over informatie verzameling en beeldvorming. Voor ‘Wrapping up the meeting’ en ‘Decision-making’ is zichtbaar dat het gaat over besluiten en de implementatie hiervan. Het kan hierbij dus zijn dat er een ongewenste relatie is tussen de meting van het resultaat en de meting van de NTS. Dit betekent dat in een vervolgonderzoek hier mogelijk aandacht aan moet worden besteed. Tabel 10.1. Vergelijk elementen uit ‘Image building’ met die van ‘Situation awareness’

Effectiviteit: ‘Image building’

NTS: ‘Situation awareness’



The team managed to create a shared image of the situation in a short time



Gathering information



The image reflected the situation and its dilemma's The image of the situation was realistic The image of the situation was unambiguous The decisions, advices and assignments for the units are based on the actual own image and the overall image of the situation



Interpreting information



Anticipating future state

  

Tabel 10.2. Vergelijk elementen uit ‘Wrapping up the meeting’ met die van ‘Decision-making’

Effectiviteit: ‘Wrapping up the meeting’

NTS: ‘Decision-making’



The decisions are translated into an assignment for a specific professional or a team



Defining problem



The assignments are given to the relevant team or person Information in the plot of the team at the end of the meetings was relevant for: development and effects of the incident; risks for the rescue services and others on scene; approach; people and material needed



Considering options



Selecting and implementing options



Outcome review



De navolgende constateringen worden gedaan naar aanleiding van de eerder behandelde detail scores van de NTS. Deze samenvatting staat nogmaals in figuur 9 van dit hoofdstuk aangegeven.

Nummer

Situation awareness

Decision-making

Communication

Team working

Managing workload and resources

Planning and prioritising

Maintaining standards

Using authority

Co-ordinating activities

Exchanging information

Solving conflicts

Supporting others

Identifying and addressing barriers to communication

Receiving information, especially by listening

Including context and intent during information exchange

Sending information clearly and concisely

Outcome review

Selecting and implementing options

Considering options

Defining problem

-

Anticipating future state

Gathering information

Interpreting information

NTS (Flin et al., 2008)

Leadership

Sterkste vier 4

6,0

5,5

5,0

-

5,5

4,0

6,5

N

5,5

5,5

6,5

N

5,5

6,0

5,5

5,0

5,5

5,5

5,5

N

25

6,5

6,0

5,5

-

7,0

N

6,0

N

6,5

5,5

6,0

N

6,0

N

5,5

6,0

6,5

6,0

6,5

N

8

6,0

6,0

N

-

5,5

N

6,0

6,0

6,5

5,5

6,0

6,0

6,5

N

5,5

6,0

6,0

6,0

6,0

N

6

6,0

6,0

6,0

-

5,5

N

6,0

6,0

6,5

6,0

5,5

N

6,0

N

5,5

N

6,5

5,5

6,0

N

6,1

5,9

5,5

-

5,9

4,0

6,1

6,0

6,3

5,6

6,0

6,0

6,0

6,0

5,5

5,7

6,1

5,8

6,0

N

31

3,5

4,5

4,0

-

4,5

3,5

3,5

N

3,0

3,5

4,0

N

3,5

3,0

3,5

3,5

3,5

3,0

3,5

N

11

3,0

4,0

4,0

-

5,0

3,5

3,5

4,0

3,5

4,0

3,0

N

2,5

N

3,5

3,0

3,5

3,0

4,5

N

12

4,5

4,0

3,5

4,5

2,5

2,5

3,5

2,5

4,0

3,0

N

2,5

N

3,0

3,5

2,5

3,5

3,0

N

30

4,0

3,5

3,5

-

4,0

4,0

2,5

N

1,5

3,0

3,5

N

2,5

3,0

4,0

2,5

2,5

3,5

3,0

N

3,8

4,0

3,8

-

4,5

3,4

3,0

3,8

2,6

3,6

3,4

N

2,8

3,0

3,5

3,1

3,0

3,3

3,5

N

Gemiddelde  Zwakste vier

Gemiddelde 

Figuur 9: Details scores NTS 41

‘Considering options’ wordt relatief vaak als niet geobserveerd (‘N’) gescoord: Daar waar de niet geobserveerde elementen (‘N’) meestens redelijk verdeeld zijn over de sterkste vier en de zwakste vier, valt op dat dit in één geval niet zo is. Dit betreft het element ‘Considering options’ onder de categorie ‘Decision-making’ (zie in figuur 9). Deze is bij de zwakste vier in alle gevallen wel gescoord, maar bij de sterkste vier in slechts 25% van de gevallen. Daar waar deze elementen wel gescoord zijn, scoren zij ten opzichte van de andere elementen binnen deze categorie ook relatief laag. Wat de reden voor het niet overwegen van opties ook is, feit blijft dat het weinig is gedaan bij deze sterkere inzetten. Dit terwijl deze inzetten relatief snel klaar waren en er geen grote tijdsdruk op die overleggen lag. Er was dus tijd voor het overwegen van opties. Los van de score is het daarnaast aannemelijk dat het overwegen van de gekozen optie of zelfs het overwegen van andere opties, mits daar tijd voor is, kwaliteit verhogend werkt. Hoewel tijd nemen voor het overwegen van opties in strijd is met de wens tot een kort overleg, kan het interessant zijn te onderzoeken welke mogelijkheden hier zijn. Daarnaast moet dan, binnen deze paradox, worden bepaald wanneer het overwegen van de opties tekort, voldoende of teveel is. ‘Exchanging information’ scoort relatief laag bij de sterkere inzetten en hoog bij de zwakkere inzetten: Binnen de categorie ‘Team working’ heeft het element ‘Exchanging information’ bij de sterkste vier de laagste score en bij de zwakste vier de hoogste score (zie in figuur 9). Mogelijk is hiervoor de verklaring gelegen in de observatie dat bij deze zwakste vier sessies de OL meer aan het zenden dan aan het ontvangen was en andersom. Deze observatie komt overigens niet duidelijk terug in de score bij de categorie ‘Communication’ in het element ‘Receiving information, especially by listening’ (zie in figuur 9). Aanvullend op deze constatering ligt hier nog wel een kans om het niveau eenvoudig nog hoger te krijgen. Zoals hiervoor beschreven was de OL in de sterkere sessies meer gericht op ontvangen dan op zenden. Daarbij was het zichtbaar dat de OL de teamleden uitnodigde tot inbreng van informatie en probeerde de OL het team het werk te laten doen. Tegelijkertijd is de OL ook onderdeel van het team en is ook deskundig op bijvoorbeeld proces of bestuurlijk niveau. Wanneer de OL er in slaagt om de inbreng van het team op hetzelfde niveau te houden en er tegelijkertijd in slaagt op de juiste manier de juiste aanvullende informatie in te brengen, kan het niveau op nog meer worden verhoogd.

42

11.

Slotbeschouwing

Aanleiding voor dit onderzoek was de verwondering na een recente oefenreeks van het ROT. Hierin is opgevallen dat gelijke scenario’s bij verschillende OL’s behoorlijk verschillende resultaten opleverden. Wat te verwachten viel, maar nu ook zeer aannemelijk is gemaakt, is dat het optreden van de OL rechtstreeks effect heeft op dit resultaat. Hoewel in dit onderzoek is geobserveerd dat de andere teamleden ook effect hebben op het resultaat, is er toch de indruk dat de rol van de OL sterk bepalend is voor het resultaat van het ROT. Zijdelingse observaties laten zien dat verschillende personen en teams onder bepaalde OL's duidelijk anders optreden. Deze observaties onderstrepen het belang om goede OL's te selecteren en deze goed op te leiden, te trainen en te oefenen. Soms is ook vertrouwen nodig om een instrument te gebruiken. De methode van Van der Haar et al. (2013) om effectiviteit te meten is gebaseerd op onderzoek op een CoPI en wordt in dit onderzoek gebruikt voor het ROT. Hoewel in de dissertatie van Van der Haar (2014, p. 124) duidelijk staat dat het onderzoek ook opgaat voor het ROT, was hier voor de onderzoekers eerst nog een mondelinge bevestiging voor nodig (Van der Haar, 2014, 10 november). Wanneer het instrument niet past, is het immers binnen de beperkt beschikbare tijd best zonde wanneer 33 video’s opnieuw moeten worden bekeken. In dit geval heeft het vertrouwen geleid tot de constatering dat dit deel van de methode (‘Team meeting outcome’) goed bruikbaar is voor het ROT. Zonder dit te nu te onderbouwen is de verwachting dat het andere deel van de methode (‘Result of emergency response’) een kritischere beschouwing nodig heeft bij gebruik voor een ROT. Tijdens de literatuurstudie komen ook andere onderwerpen voorbij die effect hebben op het functioneren van een leider. Deze zijn net iets lastiger te plaatsen in observatie elementen, maar niet minder aanwezig. Tegelijkertijd vallen met deze kennis in het achterhoofd wel andere dingen op tijdens de observaties van de video’s. Ter beschouwing worden drie hiervan (Focus, Positie innemen/afstemmen en Emotionele resonantie) in dit hoofdstuk besproken. Hierbij dient ook nog te worden gezegd dat leiderschap een lastig onderwerp is en door Flin (1996, p. 226) zelfs als “vaag” (“nebulous”) wordt beschreven. De eerste is het belang van focus, als zijnde de binnenste aandachtscirkel van Eberspächer (Leduc, 2014; L. Mulder, persoonlijke communicatie, 28 oktober 2014). Hoewel de gedane observaties subjectief zijn, is de beleving dat een OL die is gefocust en zich niet laat afleiden beter de lijn vasthoudt. Hoewel dit voor een deel valt onder de NTS categorie ‘Leadership’, bij bijvoorbeeld ‘Maintaining standards’ of ‘Planning and prioritising’, is dit toch net even anders en wordt er niet specifiek op geobserveerd. Wellicht is het interessant om hier in een volgend onderzoek aandacht aan te besteden. Het tweede punt heeft te maken met het element ‘Using authority’ uit de categorie ‘Leadership’ van de NTS. Het is zonder verdere toelichting lastig te begrijpen wat ‘de juiste wijze van gezag gebruiken’ betekent. Een mogelijk aanknopingspunt hiervoor is wellicht te vinden in Vonk (2012). Hierin wordt een leiderschapsmodel gebruikt dat uitgaat van drie componenten: ‘ik-sterkte’, ‘empathie’ en ‘zelfkritiek’. Leiderschap begint hierin met het innemen van positie (‘ik-sterkte’). Vervolgens stemt de leider zijn/haar positie af (‘empathie’) met de anderen. Daarmee wordt kracht omgezet in natuurlijk gezag. Zelfkritiek is nodig om van elke situatie te leren om steeds accurater de juiste afstemming tussen ‘ik-sterkte’ en ‘empathie’ te vinden. Vanuit de observaties in dit onderzoek wordt herkend dat in de sterkere sessies subtiel maar duidelijker de leiderschapspositie wordt ingenomen. De juiste toon maar ook het juiste geluidsniveau bij het openen of hervatten van sessies zijn hiervan voorbeelden. Het kan zeker nuttig zijn om middels een observatieformulier over dit punt objectief en onderbouwd feedback te geven.

43

De derde en laatste is tijdens de observaties nog duidelijker zichtbaar geweest, maar tegelijk het meest lastig hard te maken. De aandacht voor dit onderwerp komt vanuit een thesis over ‘Sociaal intelligent leiderschap’ van Dijkman (2009). Hierin wordt de term ‘Resonantie’ geïntroduceerd. Door bewust en onbewust gedrag ontstaat hierbij tussen mensen of in de groep een natuurlijke, welhaast onbewuste, vloeiende manier van samenwerken en elkaar aanvoelen. De mensen zijn in contact of, nog mooier, in verbinding met elkaar waarbij er een emotionele resonantie ontstaat. Of dit nu onder ‘gezag’, ‘empathie’ of ‘teamwork’ past is lastig te kwalificeren. Bij de observaties is duidelijk gevoeld dat er bij de sterkere inzetten meer resonantie is dan bij de zwakkere. Er zijn ook duidelijke voorbeelden van bewuste acties van de OL om in verbinding te komen met het team. Als voorbeeld gebruikten de OL’s bij alle sterkere sessies de voornamen van de teamleden, waar bij de zwakkere sessies de OL’s de teamleden bij hun functie aanspraken. Ook valt bij de sterkere inzetten op dat de OL’s al voor de opening sociale interactie met de teamleden hebben, waar bij de zwakkere sessies er geen of minder openlijke sociale interactie is. Hoewel dit tastbare voorbeelden zijn, zijn er ook minder tastbare, maar minstens zo belangrijke, componenten als uitstraling, reputatie, zelfvertrouwen en aanvoelen. Zoals hiervoor al staat is een hele thesis besteed aan deze Emotionele en Sociale intelligentie. Ook hier geldt dat het nuttig zou zijn wanneer hierop middels een observatie formulier objectief en onderbouwd feedback kan worden gegeven. Dit onderzoek toont nu, voor het eerst, ook aan dat het zeer aannemelijk is dat de Non-Technical Skills van de Operationeel Leider een effect hebben op het resultaat van een overleg van het Regionaal Operationeel Team. Samen met het onderzoek van Van der Haar (2014) is er daarmee een start gemaakt om invulling te geven aan de lacune in onderzoek naar de menselijke factor als oorzaak van falen in de hulpverlening. Dit onderzoek sluit dan ook af met de wens dat deze onderzoeken de poorten voor de hulpverleningsdiensten verder hebben geopend om door te gaan op de ingeslagen weg van ‘high-risk’ organisaties naar ‘high-reliability’ organisaties.

44

Bijlage 1: Informatiebronnen Bijlage 1.1:

Literatuurlijst

Averst, E. (2014a). Evaluatieformulier waarnemer ROT 8 september 2014. Alkmaar: Veiligheidsregio NHN Averst, E. (2014b). Evaluatieformulier waarnemer ROT 15 september 2014. Alkmaar: Veiligheidsregio NHN Averst, E. (2014c). Evaluatieformulier waarnemer ROT 22 september 2014. Alkmaar: Veiligheidsregio NHN Baarda, D.B., Goede de, M.P.M. & Teunissen, J. (2009). Basisboek Kwalitatief Onderzoek: Handleiding voor het opzetten en uitvoeren van kwalitatief onderzoek (2nd. ed.). Groningen: Noordhoff Uitgevers Bijlsma, P. (2013). Crew Resource Management in crisisteams. Geraadpleegd op 28 september 2014, op www.infopuntveiligheid.nl/Publicatie/DossierItem/73/5298/crew-resource-management-in-crisisteams.html Devitt K.R. & Borodzicz E.P. (2008). Interwoven leadership: the missing link in multi-agency major incident response. Journal of Contingencies and Crisis Management, 16(4), 208-216. Geraadpleegd op 16 oktober 2014, op http://ssudl.solent.ac.uk/1518/1/JCCM_551.PDF Dijkman, L. (2009). Sociaal intelligent leiderschap. Geraadpleegd op 28 september 2014, op www.infopuntveiligheid.nl/Publicatie/DossierItem/73/1148/sociaal-intelligent-leiderschap-rol-en-belang-inoperationeel-overleg.html Fletcher. G., Flin, R., Mc George, P., Gravin, R., Maran, N. & Patey R. (2004). Rating non-technical skills: developing a behavioural system for use in anaesthesia. Cognitive Technical Work, 6(3), 165-171. Geraadpleegd op 17 oktober 2014, op www.abdn.ac.uk/iprc/documents/rating_NTS_dev_a_beh_marker_sys.pdf Flin, R. (1996). Sitting in the hot seat. Chichester: John Wiley & Sons Ltd Flin, R., O'Connor, P. & Crichton, M. (2008). Safety at the Sharp End; A Guide to Non-Technical-Skills. Aldershot: Ashgate. Groot, B.J.A. (2014a). Onderzoeksvoorstel Bernard Groot (No. 1.0). Geraadpleegd op 9 september 2014, op http://crisislab.nl/wordpress/wp-content/uploads/Onderzoeksvoorstel-Bernard-Groot3.pdf Haar, S. van der, Segers, M. & Jehn, K.A. (2013). Measuring the effectiveness of emergency management teams: scale development and validation. International Journal of Emergency Management, 9(3), 258-275. Olney: Inderscience Publishers Haar, S. van der (2014). Getting on the Same Page: Team Learning and Team Cognition in Emergency Management Command-and-control Teams. Leiden: Universiteit Leiden Hendriks van de Weem, C.J. (2009). Competenties voor crisismanagement. Crisis: Studies over crisis en crisisbeheersing. Deventer: Kluwer Korps Landelijke Politiediensten (2010). [Brand Derco Alkmaar op 10 december 2010] [Photograph]. Alkmaar: Veiligheidsregio NHN Kroon, M. (2012). Leiderschap onder vuur (3rd. ed.). Utrecht: UHB Leduc, R. (2014). Training mentale kracht [College sheets]. Geraadpleegd op 11 november 2014, op https://extranet.infopuntveiligheid.nl/vk/mcpm4/Boeken%20en%20artikelen/Leduc%20Mentale%20kracht.pdf Maljaars, R. (2014). De valkuil van de burgemeester. Geraadpleegd op 28 september 2014, op www.infopuntveiligheid.nl/Publicatie/DossierItem/73/5300/de-valkuil-van-de-burgemeester-een-onderzoeknaar-de-crisisvaardigheden-van-de-burgemeester-tijdens-en-na-de-crisis.html Martens, S. (2002). Wat maakt een operationeel leider competent. Geraadpleegd op 30 november 2013, op www.infopuntveiligheid.nl/Publicatie/DossierItem/73/2370/wat-maakt-een-operationeel-leider-competent-.html Martens, S. (2010a). ROT oefening, 4 oktober 2010 [Videotape]. Alkmaar: Veiligheidsregio NHN Martens, S. (2010b). ROT oefening, 25 oktober 2010 [Videotape]. Alkmaar: Veiligheidsregio NHN Martens, S. (2010c). ROT oefening, 8 november 2010 [Videotape]. Alkmaar: Veiligheidsregio NHN 45

Martens, S. (2010d). ROT oefening, 15 november 2010 [Videotape]. Alkmaar: Veiligheidsregio NHN Martens, S. (2010e). ROT oefening, 22 november 2010 [Videotape]. Alkmaar: Veiligheidsregio NHN Martens, S. (2010f). ROT oefening, 29 november 2010 [Videotape]. Alkmaar: Veiligheidsregio NHN Martens, S. (2011a). ROT oefening, 3 januari 2011 [Videotape]. Alkmaar: Veiligheidsregio NHN Martens, S. (2011b). ROT oefening, 17 januari 2011 [Videotape]. Alkmaar: Veiligheidsregio NHN Martens, S. (2011c). ROT oefening, 24 februari 2011 [Videotape]. Alkmaar: Veiligheidsregio NHN Martens, S. (2011d). ROT oefening, 7 maart 2011 [Videotape]. Alkmaar: Veiligheidsregio NHN Martens, S. (2011e). ROT oefening, 14 maart 2011 [Videotape]. Alkmaar: Veiligheidsregio NHN Martens, S. (2011f). ROT oefening, 4 april 2011 [Videotape]. Alkmaar: Veiligheidsregio NHN Ministerie van Binnenlandse Zaken en Koninkrijksrelaties (2010a), Regeling personeel Veiligheidsregio’s. Geraadpleegd op 29 augustus 2014, op wetten.overheid.nl/BWBR0027840/geldigheidsdatum_29-08-2014 NVBR (2006). Werkboek competentiegericht oefenen. Geraadpleegd op 7 oktober 2014, op www.brandweerkennisnet.nl/publish/pages/1311/werkboek_competentiegericht_oefenen1.pdf Salas, E., Burke, C.S. & Samman, S.N. (2001). Understanding command and control teams operating in complex environments. Information, Knowledge, Systems Management, 2(4), 311-323. Amsterdam: IOS Press Saunders, M., Lewis, P. & Thornhill, A. (2004). Methoden en technieken van onderzoek (5th. ed.). Amsterdam: Pearson Education Benelux Timmermans, B. (2012). Human factors in de hulpverlening, ramp- en crisisbestrijding: Lessons learned uit de luchtvaart. Den Haag: Sdu Uitgevers Verbeek, E. (2014). Evaluatieformulier waarnemer ROT 29 september 2014. Alkmaar: Veiligheidsregio NHN Vonk J.P. (2012). Drie redenen waarom u (g)een leider bent. Zwolle: Vonk

Bijlage 1.2:

Bibliografie

Goleman, D. (1996). Emotionele intelligentie, Emoties als sleutel tot succes (22nd. ed.). Amsterdam: Uitgeverij contact Goleman. D. (1998). Emotionele intelligentie met Daniel Goleman [Videotape]. Geraadpleegd op 9 oktober 2014, op https://video.politieacademie.nl/Play.aspx?id=A2ROSPaMImaZZaWpli4JDq15 Goleman, D. (1999). Emotionele intelligentie, In de praktijk (5th. ed.). Amsterdam: Uitgeverij contact Groot, B.J.A. (2014b). Competenties: symbool om incompetentie te verhullen? De geschiedenis van de competenties van de operationeel leider (No. 0.9). Manuscript in preparation. Aduard: Buro 3x Veilig Ministerie van Binnenlandse Zaken en Koninkrijksrelaties (2010b), Besluit personeel Veiligheidsregio’s. Geraadpleegd op 29 augustus 2014, op wetten.overheid.nl/BWBR0027841/geldigheidsdatum_29-08-2014 Ministerie van Binnenlandse Zaken en Koninkrijksrelaties (2010c), Besluit Veiligheidsregio’s. Geraadpleegd op 29 augustus 2014, op wetten.overheid.nl/BWBR0027844/geldigheidsdatum_29-08-2014 Ministerie van Binnenlandse Zaken en Koninkrijksrelaties (2010d), Wet Veiligheidsregio’s. Geraadpleegd op 29 augustus 2014, op wetten.overheid.nl/BWBR0027466/geldigheidsdatum_29-08-2014 Vonk, J.P. (2009). Neem nooit competente mensen aan ... en andere ideeën over zinvol competentiemanagement. Geraadpleegd op 14 oktober 2014, op www.petervonk.com/wpcontent/plugins/downloads-manager/upload/vonk-e-book.pdf

46

Bijlage 1.3: Respondent Braakhekke, E Haar, S. Van der

Organisatie Politieacademie School of Business and Economics

Bijlage 1.4: Respondent Averst, E. ter Braakhekke, E Groot, B Krom, A. Mulder, L.

Geïnterviewde personen Functie Decaan / Docent Assistant Professor

Locatie Alkmaar Maastricht

Datum 26 nov. 2014 10 nov. 2014 20 nov. 2014 5 dec. 2014

Locatie Alkmaar Alkmaar Assen Alkmaar Warmenhuizen

Datum 25 sep. 2014 17 nov. 2014 3 okt. 2014 15 okt. 2014 28 okt. 2014

Respondenten

Organisatie VRNHN Politieacademie GHOR Drenthe VRNHN Politieacademie

Functie Senior Beleidsmedewerker Decaan / Docent Senior Beleidsmedewerker Projectleider Coördinator / Docent

47

Bijlage 2: Samenstelling ANTS-systeem In §3.1. staat beschreven dat er een flink aantal stappen moeten worden doorlopen om te komen tot een wetenschappelijk onderbouwde set met NTS. Een voorbeeld hiervan is de aanpak die is gekozen door Fletcher et al. (2004) om te komen tot een set NTS voor gebruik in de anesthesiologie (ANTSsysteem). Hieronder staat voor de beeldvorming in grote lijnen puntsgewijs beschreven hoe dit instrument tot stand is gekomen:    

             

Onderzoek naar eerder onderzoek en onderzoek naar fouten rapporten; Verzamelen van beschikbare lijsten van vergelijkbare professies; Gegevens combineren in een eerste lijst; Interviewen deskundigen over hun werkzaamheden; o Open vragen naar algemene beschrijving van handelingen op kritische momenten; o Open vragen naar gedetailleerde beschrijving van handelingen op kritische momenten; o Gerichte vragen naar handelingen op kritische momenten; o Gerichte vragen naar benodigde competenties. Rangschikken eerste uitkomsten gaf 19 categorieën die allen belangrijk werden gevonden; Detail onderzoek alle interviews gaf 116 non-technical items; Deze 116 zijn gecombineerd tot 8 categorieën; Categorieën zijn beoordeeld op bruikbaarheid (bijvoorbeeld: observeerbaar, geen overlap); Uitkomsten bediscussieerd met onderzoeksteam; Uitkomsten onderverdeeld in categorieën met onderliggende elementen, met daar onder weer ‘behavioural markers’; Deze nieuwe concept lijst is getoetst tegen de eerder verzamelde gegevens; Met het onderzoeksteam zijn aanpassingen gedaan en is een definitief prototype opgesteld; Uitwerking / aanvulling prototype met behavioural markers voor alle elementen; Eerste evaluatie van totale lijst; Opleiden beoordelaars met deze lijst; Beoordelaars hebben bruikbaarheid lijst getoetst op zes video’s; Analyse mening van beoordelaars; Beperkte aanpassingen op inhoud, wel aanpassing van schaal.

48

Bijlage 3: Eigenschappen beoordelingssysteem In §3.1. staat beschreven dat een systeem dat wordt gebruikt om te beoordelen betrouwbaar en valide moet zijn. Naast de betrouwbaarheid en validiteit geven Flin et al. (2008, p. 277) nog een aantal andere eisen, die gezamenlijk in meer detail uitgewerkt staan in tabel B.3. Tabel B.3. Beschrijving belangrijke eigenschappen van een goed beoordelingssysteem (Flin et al., 2008, p. 277)

Eigenschap Gevoeligheid

Beschrijving Het systeem moet gebaseerd zijn op waarneembaar gedrag dat goed van slecht gedrag onderscheidt.

Betrouwbaarheid

De metingen moeten consistent en stabiel zijn. Hiervoor zijn drie aspecten te onderscheiden: 1. Stabiliteit over tijd: Als iets later nog eens wordt gemeten, moeten er dezelfde uitkomsten uitkomen. 2. Interne consistentie: De elementen van een onderdeel moeten daadwerkelijk bijdragen aan het meten van dat onderdeel. 3. Consistentie tussen beoordelaars: Verschillende beoordelaars moeten dezelfde uitkomsten geven.

Validiteit

De uitkomsten moeten maar op één manier te interpreteren zijn. Hierin zijn twee aspecten te onderscheiden: 1. Validiteit van het uiterlijk: De elementen moeten de beoordelaar het gevoel geven dat ze het bijhorende onderdeel meten. 2. Validiteit van de constructie: De schaal moet daadwerkelijk meten wat het zegt te meten.

Structuur

Er moet een minimale overlap tussen de elementen zijn.

Transparantie

De uitkomsten moeten inzichtelijk en begrijpelijk zijn voor degenen die worden beoordeeld.

Bruikbaarheid

Het systeem moet simpel en eenvoudig in het gebruik zijn.

Basisopzet

Het systeem moet passen bij het ervaringsniveau van degenen die het gebruiken.

49

Bijlage 4: Analyse informatiebronnen In deze bijlage staat het overzicht van de resultaten van het onderzoek van de beschikbare informatiebronnen. Alle vermeldingen over het relatieve of absolute belang van de categorieën van NTS staan hierin vermeld. In de tabel worden kleuren gebruikt om zichtbaar te maken welke categorieën bijdragen aan de deelconclusies uit §3.2. De verklaring van de kleuren staat hieronder. Deelconclusie a) Deelconclusie c) Deelconclusie d)

Benoeming dat er geen duidelijke verschillen zijn Duidelijke vermelding van belang Relatie met prestatie

Situation awareness

Decision-making

Bijlsma (2013)

Hoe beter oriëntatie hoe beter prestatie.

Essentieel bij TRM

Bijlsma (2013) Bijlsma (2013)

Belangrijk tegen fouten

Belangrijk tegen fouten

Bijlsma (2013) Bijlsma (2013)

Oorzaak rampen

Bijlsma (2013)

Belangrijkste factor human errors

Bijlsma (2013) Bijlsma (2013) Braakhekke (17 nov. 2014) CRM Training

Essentieel

Oorzaak rampen

Communication

Flin (1996) Flin (1996) Flin (1996) Flin (1996) Flin (1996) Flin (1996)

Managing stress

Coping with fatigue

Belangrijk tegen fouten

Ook essentieel: foutbeheer

Belangrijk tegen fouten Ook volgerschap

Oorzaak rampen

Overig

Ook Assertiveness & Adaptability/ Flexibility

Oorzaak rampen

Belangrijk voor CRM

Voor flexibiliteit is communicatie en leiderschap belangrijk

Onderdeel factor situational aware human errors

Analyse onderdeel factor situational aware human errors

Gefaald in Haren Kritische factor in HRO EQ: Goleman: Empathie en soc. Skills Niet onbelangrijk

No. 1

No. 2

Flin et al. (2008)

Flin (1996)

Leadership

Belangrijk voor team. Ook essentieel: werkverdeling

Dijkman (2009) Dijkman (2009) Dijkman (2009) Flin et al. (2008)

Team working

No. 3

No. 4

Belangrijk voor teamwerk

Basic skill incident command Key personality

EQ: Goleman: Zelfkennis / Zelfbeheersing Niet onbelangrijk Resonantie met leider No. 5

No. 6

No. 7

Interactie tussen team en leider maakt het verschil (resonantie / EQ) Basic skill incident command Key personality

Basic skill incident command Key personality (stability)

Offshore 5 Offshore 2 (42%) Offshore 3 Offshore 1 Offshore 4 (21%) Besluiten onder (38%) (51%) (33%) Overzicht druk Technical Skills Offshore vragenlijst, de correlaties van de diverse eigenschappen met de prestatie zijn heel bescheiden en verschillen maar weinig. Bescheiden correlatie uit test Psychologisch Fundament Splitpen ‘incident command’

Bescheiden correlatie uit test Psychologisch Fundament

Psychologisch Fundament

Vermelding concentratie

50

Situation awareness

Decision-making

Flin (1996)

Communication

Team working

Fout in teamwerk door ontbreken.

Leadership

Managing stress

Groot (3 okt. 2014) Gesprek

"Wendbaarheid is ook belangrijk. Wordt vaak vergeten." Benoemd de 7 skills van Flin et al. (2008) Benoemt dat het lastig is om dé factor te benoemen.

Beinvloed teamfunctioneren

Hendriks van de Weem (2009) Meer succes voor goed teamwerk: Mental Models

Maljaars (2014)

Voor BGM minder 10%

Meer succes voor goed teamwerk: ‘Closed loop’

Voor BGM belangrijkste: 32%

Meer succes voor goed teamwerk: Gelijk vertrouwen

Voor BGM minder: 14%

Oordeelsvorming 25% en daadkracht 19%

Maljaars (2014)

Benadrukt eigenschappen leiderschap: extravert, vriendelijk, zorgvuldig, stabiel, intellectueel, Rede kunnen houden Een van de 5 kern competenties

Mulder (28 okt. 2014) CRM Training Van der Haar (2014) Van der Haar (2014)

Ervaring, Overige kerncomp.: helicopterview, creativiteit, sensitiviteit Aandacht op focus (aandachtscirkels)

"Iemand die iets wel of niet zegt"

Cruciaal: Shared understanding Aantoonbaar van waarde

Teamleren constructief conflict

Vonk (2012) Salas et al. (2001)

Primaire taak voor commandand-control teams

Salas et al. (2001)

Karakteristiek voor heterogene groep Karakteristiek voor stressvolle omgeving Vitaal voor team performance

Salas et al. (2001) Salas et al. (2001)

Timmermans (2012)

Flexibiliteit beïnvloedt teamfunctioneren

Ook volger schap

Hendriks van de Weem (2009)

Martens (2002)

Overig

Fout in teamwerk door ontbreken coördinatie Leiderschap is te vaag om te beoordelen.

Flin (1996)

Hendriks van de Weem (2009) Hendriks van de Weem (2009) Hendriks van de Weem (2009)

Coping with fatigue

Primaire taak voor commandand-control teams (ontwikkelen en implementeren plannen)

Een van de 5 kern competenties

Leider moet uitnodigen tot discussie Positie, Empathie, Reflectie Primaire taak voor commandand-control teams (planning)

Karakteristiek voor heterogene groep Karakteristiek voor stressvolle omgeving Vitaal voor team performance

Karakteristiek voor stressvolle omgeving Vitaal voor team performance

Karakteristiek voor stressvolle omgeving Vitaal voor team performance (coördineren)

Vitaal voor team performance

Zwaarte punt training

51

Bijlage 5: Vragenlijst aan deskundigen De uitkomsten van het literatuuronderzoek en de gekozen set van NTS zijn in een interview voorgelegd aan twee deskundigen. Vooraf aan het interview is een document opgesteld en opgestuurd met daarin een onderbouwing van de totstandkoming van het voorstel en met een aantal vragen over de set met NTS. Deze vragen staan hieronder weergegeven: 1. Wat vindt u van de keuze van de basis set van Flin, O’Conner & Crichton (2008)? 2. Wat vindt u van het reduceren van de basis set met stress en vermoeidheid? 3. Herkent u de overgebleven categorieën als relevant voor het functioneren van personen (in dit geval de operationeel leider) in de praktijk? 4. Zijn er naar uw mening een of meerdere categorieën binnen deze set die beduidend meer belangrijk zijn dan de anderen? Zo ja: a. Welke zijn dat dan? b. Kunt u aangeven waarom? 5. Zijn er naar uw mening een of meerdere categorieën binnen deze set die beduidend minder belangrijk zijn dan de anderen? Zo ja: a. Welke zijn dat dan? b. Kunt u aangeven waarom? 6. Ontbreken er naar uw mening categorieën die minstens zo belangrijk of belangrijker zijn dan de voorgestelde categorieën? Zo ja: a. Welke zijn dat dan? b. Kunt u aangeven waarom? 7. Heeft u in algemene zin nog opmerkingen over de samenstelling van de voorgestelde set van categorieën? 8. Heeft u in algemene zin nog opmerkingen over de totstandkoming van de voorgestelde set van categorieën?

52

Bijlage 6: Totstandkoming scorelijst Effectiviteit In §5. staat beschreven dat in dit onderzoek de methode van Van der Haar et al. (2013) wordt gebruikt om het resultaat van een ROT-overleg te kunnen bepalen. Hieronder staat voor de beeldvorming in grote lijnen puntsgewijs beschreven hoe dit instrument tot stand is gekomen: 

 

   

       

Literatuuronderzoek naar effectiviteit. Dit gaf een driedeling: o Performance effectiveness (kwantiteit en kwaliteit output); o Attitudinal outcome (teamtevredenheid, commitment); o Behavioural outcomes (afwezigheid en veilig gedrag). Indicatie dat meetbaarheid vooral in ‘Performance’ zit; (Schriftelijk) Interview van 32 deelnemers met drie open vragen: o Wat is het doel van dit team? o Waarom waren bepaalde inzetten sterk en wat is er toen gebeurd? o Waarom waren bepaalde inzetten zwak en wat is er toen gebeurd? Analyse en rubricering antwoorden; Met onderzoeksteam terugbrengen van 372 uitspraken naar specifieke gerelateerde categorieën; Opvallend was dat de meeste categorieën onder ‘Performance effectiveness’ vielen en niet onder ‘Attitudinal outcome’ of ‘Behavioural outcome’; De categorieën zijn ondergebracht in vier onderdelen: 1. Team meeting process; 2. Team meeting outcome; 3. Emergency management process at the scene; 4. Result of the emergency response at the scene. Omdat het onderzoek gaat over het resultaat zijn de proces items (1 en 3) weg gelaten; De overgebleven 83 elementen zijn in workshops met professionals verder bediscussieerd; Na discussie en verdere analyse bleven 28 elementen over; De 28 elementen zijn ondergebracht in de twee overgebleven onderdelen binnen zes categorieën; Deze onderverdeling is getest bij een reeks van realistische trainingen in het land (met 50 teams, 224 deelnemers en 336 externe beoordelaars); Omdat hier geen tactische teams meededen is een categorie die kijkt naar het overleg met het tactische team (‘Cooperation with the tactical team’) niet verder beoordeeld; De uitkomsten van de overige 24 elementen zijn verder statistisch onderzocht; Na deze statistische analyse bleven 21 elementen over, die verdeeld zijn over twee onderdelen en vijf categorieën, zoals weergegeven in tabel 5.1. van §5. en in tabel B.7. van bijlage 7.

53

Bijlage 7: Effectiviteit: ‘Result of the emergency response at the scene’ Een belangrijk doel van dit onderzoek betreft het bepalen van de bijdrage van de NTS aan het resultaat van een ROT-overleg. Om het resultaat van het ROT te bepalen is een door Van der Haar et al. (2013) ontwikkelde methode gebruikt. Dit instrument bestaat uit twee onderdelen (Van der Haar et al., 2013, pp. 265-266) waarvan het onderdeel ‘Team meeting outcome’ (zie tabel 5.1.) wordt gebruikt in dit onderzoek. Het andere onderdeel van het instrument is ‘Result of the emergency response at the scene’ en gaat over de daadwerkelijke uitvoering van de acties en de uitwerking daarvan. Bij de oefeningen van deze video-opnames was de daadwerkelijke uitvoering geen deel van de opzet en is daarmee ook niet gefilmd. Dit maakt dat dit onderdeel niet past bij de opzet van deze oefening en daarmee ook niet is gebruikt in dit onderzoek. Voor de volledigheid staat dit onderdeel wel vermeld in deze bijlage in tabel B.7. Tabel B.7. Effectiviteit: ‘Result of the emergency response at the scene’ (Van der Haar et al., 2013, p. 266)

Categorieën Quality of actions

Elementen The coordination of each unit is adjusted to the coordination of the other units The actions on scene are justified The actions on scene are adequate The actions on scene are coordinated On scene safety of professionals is taken into account On scene safety of civilians / companies is taken into account.

Goal achievements

The source is reduced efficiently and effectively The crisis is controlled There is a fast stabilisation Stabilisation happened safely

Error rate

There are no unnecessary victims There is no unnecessary damage Based on what is happening and has happened, the media can report positively

54

1

2

3

4

5

6

7

Zeer oneens

Oneens

Beetje oneens

Niet eens / Niet oneens

Beetje eens

Eens

Zeer eens

Bijlage 8: Indeling en kleurgebruik zeven-punts Likert-schaal

Naast deze zeven punten is ook de categorie ‘Niet geobserveerd / Not observed’ gebruikt. Deze is dan aangegeven met een ‘N’. Deze is gebruikt om aan te geven dat het betreffende element niet is waargenomen maar tegelijkertijd ook niet werd gemist of noodzakelijk was. Wanneer dit laatste het geval was, dan is er een lagere score toegekend.

55

The decisions are translated into an assignment for a specific professional or a team.

The decisions, advices and assignments for the units are based on the actual own image and the overall image of the situation.

The image of the situation was unambiguous.

The image of the situation was realistic.

The image reflected the situation and its dilemma's.

The team managed to create a shared image of the situation in a short time.

Element

Observation on performance

Information in the plot of the team at the end of the meetings was relevant for: development and effects of the incident; risks for the rescue services and others on scene; approach; people and material needed * 1 Zeer oneens; 2 Oneens; 3 Beetje oneens; 4 Niet eens/Niet oneens; 5 Beetje eens; 6 Eens; 7 Zeer Eens; N Not observed

* Rating

Category rating and debriefing notes

Bijlage 9.1:

Wrapping up the The assignments are given to the relevant team or person. meeting

Image building

Category

Bijlage 9: Score-formulieren Effectiviteit Blanco score-formulier Effectiviteit

56

* Rating

2

3

4

4

5

5

5

Element

The team managed to create a shared image of the situation in a short time.

The image reflected the situation and its dilemma's.

The image of the situation was realistic.

The image of the situation was unambiguous.

The decisions, advices and assignments for the units are based on the actual own image and the overall image of the situation.

The decisions are translated into an assignment for a specific professional or a team.

The assignments are given to the relevant team or person.

Observation on performance

Het valt op dat OL ingrijpt / aanvult op beeld en acties van zijn eigen mono-discipline

3,6

Category rating and debriefing notes

Er zijn wat halve samen dubbel acties. Richting lijkt goed, duidelijkheid ontbreekt.

Eerst worden acties uitgegeven door personen aan te kijken, gelukkig later ook door ze te benoemen.

De beeldvorming was onvoldoende, daardoor zijn niet alle noodzakelijke acties gedaan. Andersom is met het beeld dat er was redelijk geacteerd.

Er zijn een paar acties waarbij om verduidelijking wordt gevraagd. Tegelijk blijft een hoop vaag.

4,3

Omdat vorige keer acties niet heel Wat opvalt is dat behoefte aan duidelijk zijn weggezet, is er ook geen beeldvorming afgekapt wordt. beeld van omvang.

Door bovenstaande acties ontbreekt best wel veel info. (punt xx, punt yy)

Beeldvorming wordt niet afgemaakt. Wordt onderbroken door iets van oordeelsvorming/scenario denken.

Door ontbreken info niet alle Information in the plot of the team at the end behorende acties gedaan. of the meetings was relevant for: development and effects of the incident; risks 3 for the rescue services and others on scene; approach; people and material needed * 1 Zeer oneens; 2 Oneens; 3 Beetje oneens; 4 Niet eens/Niet oneens; 5 Beetje eens; 6 Eens; 7 Zeer Eens; N Not observed

Wrapping up the meeting

Image building

Category

Nr. 31

3,6 4,3

Bijlage 9.2: Voorbeeld ingevuld score-formulier Effectiviteit

57

Bijlage 10: Scores Effectiviteit door eerste onderzoeker

Image unambigous

Actions based on image

Decision for specific team

Assignments to relevant team

Information in plot relevant

7,0

6,0

6,0

6,0

6,0

7,0

6,0

7,0

6,0

6,0

6,0

6,0

6,0

6,0

7,0

7,0

5,0

5,0

6,0

7,0

6,0

6,0

7,0

7,0

5,0

6,3

6,0

6,0

5,0

6,0

N

7,0

6,0

6,0

5,8

6,0

6,0

6,0

5,0

6,0

6,0

6,0

7,0

5,0

5,8

5,6

6,0

6,0

5,0

6,0

6,0

5,0

6,0

7,0

5,0

10

5,8

5,6

6,0

7,0

5,0

6,0

5,0

5,0

6,0

6,0

6,0

16

5,4

5,8

5,0

7,0

5,0

6,0

6,0

5,0

5,0

5,0

5,0

23

5,2

5,4

5,0

5,0

5,0

6,0

6,0

5,0

5,0

6,0

4,0

1

4,8

5,2

4,3

6,0

6,0

4,0

4,0

6,0

4,0

4,0

5,0

21

4,8

5,0

4,7

5,0

4,0

5,0

6,0

5,0

6,0

3,0

5,0

9

4,7

5,4

4,0

4,0

6,0

6,0

6,0

5,0

3,0

3,0

6,0

11

4,3

4,6

4,0

6,0

4,0

5,0

4,0

4,0

3,0

4,0

5,0

12

4,1

4,6

3,7

4,0

5,0

5,0

4,0

5,0

3,0

3,0

5,0

31

4,0

3,6

4,3

2,0

3,0

4,0

4,0

5,0

5,0

5,0

3,0

30

3,6

3,6

3,7

3,0

4,0

4,0

3,0

4,0

3,0

4,0

4,0

15

6,3

N

6,3

N

N

N

N

N

7,0

6,0

6,0

26

5,7

N

5,7

N

N

N

N

N

6,0

7,0

4,0

17

5,0

N

5,0

N

N

N

N

N

5,0

5,0

N

14

4,7

N

4,7

N

N

N

N

N

5,0

6,0

3,0

6,3

6,6

6,0

4

6,3

6,2

6,3

25

6,2

6,0

6,3

6

6,2

6,0

6,3

5 & 15*1 3

6,0

5,8

5,9

13

Alles lager dan vijf

8

Alles zes of hoger

7,0

6,0

Gemiddelde Wrapping up the meeting

6,0

6,0

Gemiddelde Image building

6,0

6,0

Gemiddelde Effectiviteit

7,0

Nummer

Image realistic

Wrapping up the meeting

Image reflects dilemma's

Image building Image in short time

Effectiviteit (Van der Haar et al., 2013)

5

5,8

5,8

N

6,0

6,0

5,0

6,0

N

N

N

N

27

5,8

5,8

N

6,0

5,0

5,0

7,0

N

N

N

N

33

4,8

4,8

N

5,0

5,0

5,0

4,0

N

N

N

N

19

3,0

3,0

N

2,0

3,0

4,0

3,0

N

N

N

N

2

N

N

N

N

N

N

N

N

N

N

N

22

N

N

N

N

N

N

N

N

N

N

N

32

N

N

N

N

N

N

N

N

N

N

N

24

N

N

N

N

N

N

N

N

N

N

N

7

N

N

N

N

N

N

N

N

N

N

N

18

N

N

N

N

N

N

N

N

N

N

N

28

N

N

N

N

N

N

N

N

N

N

N

29

N

N

N

N

N

N

N

N

N

N

N

20

N

N

N

N

N

N

N

N

N

N

N

*1) Sessie 5 werd vroegtijdig onderbroken en in sessie 15 voortgezet.

58

Bijlage 11: Vergelijk scores Effectiviteit onderzoekers Verschillen scores15 Effectiviteit voor vergelijk

Bijlage 11.1:

Nr.

Nr.

Nr.

Nr.

Nr.

Nr.

15

8

25

6

11

31

12

30

6 0 6

7 2 5

7 1 6

6 0 6

6 1 5

EvL Verschil BG

6 0 6

6 1 5

6 0 6

6 1 5

6 1 5

7 1 6

EvL Verschil BG

5 0 5

6 1 5

7 1 6

6 0 6

6 0 6

EvL Verschil BG

6 2 4

4 0 4

5 1 4

4 1 3

EvL Verschil BG

2 -3 5

3 -2 5

4 0 4

EvL Verschil BG

4 2 2

5 2 3

EvL Verschil BG

3 0 3

4 1 3

6,2

Gemiddelde Totaal

6 0 6

Wrapping up the meeting 6 7 6 0 2 0 6 5 6

Gemiddelde Wrapping Up The Meeting

7 1 6

7 1 6

Gemiddelde Image Building

EvL Verschil BG

Image building 6 6 0 0 6 6

Assignments to relevant team

6 0 6

Information in plot relevant

Decision for specific team

6 0 6

Actions based on image

EvL Verschil BG

Image realistic

Image reflects dilemma's

Nr.

4

Image in short time

Nr.

Image unambigous

Voor de onderlinge vergelijking

Gemiddelden 6,3 6,3

6,0

5,7

5,8

6 1 5

6,6

6,0

6,3

5,8

5,3

5,6

7 1 6

5 0 5

6,0

6,3

6,2

5,4

5,7

5,5

7 1 6

7 2 5

5 0 5

6,0

6,3

6,2

5,6

5,3

5,5

4 1 3

3 1 2

4 2 2

5 2 3

4,6

4,0

4,3

3,6

2,3

3,0

4 -1 5

5 0 5

5 0 5

5 0 5

3 -1 4

3,6

4,3

4,0

4,8

4,7

4,7

5 3 2

4 1 3

5 2 3

3 0 3

3 1 2

5 3 2

4,6

3,7

4,1

2,6

2,3

2,5

4 1 3

3 0 3

4 2 2

3 1 2

4 3 1

4 2 2

3,6

3,7

3,6

2,8

1,7

2,2

De kleuren van de Likert-schaal (zie bijlage 8) zijn wat minder fel gemaakt om de verschil-scores duidelijker uit te laten komen. 59

Bijlage 11.2:

Scores16 Effectiviteit na vergelijk

Nr.

Nr.

Nr.

Nr.

16

6

11

31

12

30

7 1 6 6,5

EvL Verschil BG Gemiddelde

7 1 6 6,5

6 0 6 6,0

6 0 6 6,0

6 1 5 5,5

7 1 6 6,5

6 0 6 6,0

6 1 5 5,5

EvL Verschil BG Gemiddelde

6 0 6 6,0

6 1 5 5,5

6 0 6 6,0

6 1 5 5,5

6 1 5 5,5

7 1 6 6,5

EvL Verschil BG Gemiddelde

5 0 5 5,0

6 1 5 5,5

7 1 6 6,5

6 0 6 6,0

6 0 6 6,0

EvL Verschil BG Gemiddelde

6 1 5 5,5

4 0 4 4,0

5 1 4 4,5

4 1 3 3,5

EvL Verschil BG Gemiddelde

4 -1 5 4,5

4 -1 5 4,5

4 0 4 4,0

EvL Verschil BG Gemiddelde

4 1 3 3,5

4 1 3 3,5

EvL Verschil BG Gemiddelde

3 0 3 3,0

4 1 3 3,5

Wrapping up the meeting 6 7 6 1 1 0 5 6 6 5,5 6,5 6,0

6,2

Gemiddelde Totaal

6 0 6 6,0

Gemiddelde Wrapping Up The Meeting

Image building 6 0 6 6,0

Gemiddelde Image Building

6 0 6 6,0

Information in plot relevant

6 0 6 6,0

Assignments to relevant team

EvL Verschil BG Gemiddelde

Image realistic

Actions based on image

Nr.

25

Image unambigous

Nr.

8

Image reflects dilemma's

Nr.

4

Image in short time Nr.

Decision for specific team

Na de onderlinge vergelijking

Gemiddelden 6,3 6,3

6,0 6,1

5,7 6,0

5,8 6,1

6 1 5 5,5

6,4

6,0

6,2

5,8 6,1

5,3 5,7

5,6 5,9

7 1 6 6,5

5 -1 6 5,5

6,0

6,3

6,2

5,4 5,7

6,0 6,2

5,7 5,9

7 1 6 6,5

6 1 5 5,5

5 0 5 5,0

6,0

6,0

6,0

5,6 5,8

5,3 5,7

5,5 5,7

4 1 3 3,5

3 1 2 2,5

4 1 3 3,5

5 1 4 4,5

4,6

4,0

4,3

3,8 4,2

3,0 3,5

3,4 3,9

4 -1 5 4,5

4 -1 5 4,5

4 -1 5 4,5

5 0 5 5,0

3 -1 4 3,5

4,0

4,0

4,0

4,8 4,4

4,7 4,3

4,7 4,4

5 1 4 4,5

4 1 3 3,5

5 1 4 4,5

3 0 3 3,0

3 1 2 2,5

4 1 3 3,5

4,4

3,3

3,9

3,4 3,9

2,7 3,0

3,0 3,5

4 1 3 3,5

3 0 3 3,0

3 1 2 2,5

3 1 2 2,5

3 1 2 2,5

3 1 2 2,5

3,4

3,0

3,2

2,8 3,1

2,0 2,5

2,4 2,8

De kleuren van de Likert-schaal (zie bijlage 8) zijn wat minder fel gemaakt om de verschil-scores duidelijker uit te laten komen. 60

Bijlage 12: Details scores Effectiviteit

Nummer

Image building

Information in plot relevant

Assignments to relevant team

Decision for specific team

Actions based on image

Image unambigous

Image realistic

Image reflects dilemma's

Image in short time

Gemiddelde Wrapping up the meeting

Gemiddelde Image building

Gemiddelde Effectiviteit

Effectiviteit (Van der Haar et al., 2013)

Wrapping up the meeting

Sterkste vier 4

6,1

6,1

6,0

6,0

6,0

6,0

6,0

6,5

5,5

6,5

6,0

25

5,9

5,7

6,2

6,0

5,5

6,0

5,5

5,5

6,5

6,5

5,5

8

5,9

6,1

5,7

6,5

6,0

6,0

5,5

6,5

6,0

5,5

5,5

6

5,7

5,8

5,7

5,0

5,5

6,5

6,0

6,0

6,5

5,5

5,0

5,9

5,9

5,9

5,9

5,8

6,1

5,8

6,1

6,1

6,0

5,5

31

4,4

4,4

4,3

4,5

4,5

4,0

4,5

4,5

4,5

5,0

3,5

11

3,9

4,2

3,5

5,5

4,0

4,5

3,5

3,5

2,5

3,5

4,5

12

3,5

3,9

3,0

3,5

3,5

4,5

3,5

4,5

3,0

2,5

3,5

30

2,8

3,1

2,5

3,0

3,5

3,5

3,0

2,5

2,5

2,5

2,5

3,6

3,9

3,3

4,1

3,9

4,1

3,6

3,8

3,1

3,4

3,5

Gemiddelde  Zwakste vier

Gemiddelde 

61

Managing workload and resources

Planning and prioritising

Maintaining standards

Using authority

Co-ordinating activities

Exchanging information

Solving conflicts

Supporting others

Identifying and addressing barriers to communication

Receiving information, especially by listening

Including context and intent during information exchange

* Rating

Observation on performance

* 1 Zeer oneens; 2 Oneens; 3 Beetje oneens; 4 Niet eens/Niet oneens; 5 Beetje eens; 6 Eens; 7 Zeer Eens; N Not observed

Leadership

Team working

Communication

Sending information clearly and concisely

Outcome review

Selecting and implementing options

Considering options

Defining problem

-

Anticipating future state

Interpreting information

Gathering information

Element

Category rating and debriefing notes

Bijlage 13.1:

Decision-making

Situation awareness

Category

Bijlage 13: Score-formulieren NTS Blanco score-formulier NTS

62

Bijlage 13.2:

Voorbeeld ingevuld score-formulier NTS

Nr. 31

Interpreting information

5

Anticipating future state

4

-

-

Defining problem

4

Considering options

4

Selecting and implementing options

4

Outcome review

N

Sending information clearly and concisely

3

Including context and intent during information exchange

3

Receiving information, especially by listening

4

Identifying and addressing barriers to communication

N

4,3

4

Schuift lange termijn bewust vooruit en wordt niet behandeld. Daarmee "N"? Doet niks met opmerking over mogelijke uitbreiding.

OL start met een redelijke Vijf acties: 1. Actie aa 2. Actie bb samenvatting. Minder duidelijk vervolg, 3. Actie cc 4. Actie dd. 5. Actie 4,0 op einde goede samenvatting ee. problemen. Niet echt gezien. Beetje op proces Toewijzing onderzoek andere partijen aan (notulen door verslaglegger of IM, ACxx voelt niet helemaal goed. ACxx wel/geen planningsstaf). sputtert ook. Dit had OL best kunnen overwegen. OL wijst op einde acties heel duidelijk OL adresseert vraag om geluidswagens toe. Dit wordt wat afgezwakt doordat door ACxx aan ACyy niet. Heeft OL niet planningsstaf dat ook moet gaan gehoord? Toewijzing onderzoek andere bekijken. Implementeert prio (21:35) partijen aan ACxx (14:40) voelt niet helemaal door aan te kijken. Kan strakker. goed. Niet gezien. N.v.t. Opening is duidelijk. Verdere opdracht minder ("wat betreft het" of "scenariodenken" of "wat betekent het". Heeft veel woorden nodig om IM iets uit te leggen. Is zelf niet helder over wat "uitwerk team" gaat doen. Wordt gered door ACxx. Zegt 'dank' maar klinkt mechanisch. Geen intentie. Brengt context waarom eerst, rest later. Onderbreekt partner zonder uit te leggen waarom. Benoemt plaatsnaam eerder incident zonder uitleg. Wel context. Idee dat OL redelijk (doet alsof) deze luistert. Schrijft veel tijdens luisteren. Kan je dan goed luisteren? Lijkt het vaak niet te begrijpen en vraagt om verheldering. Niet gezien. N.v.t. Zegt soms (mechanisch) 'dank', knikt bescheiden, gebruikt geen voornamen maar disciplinenaam. Neemt hinderlijk over van ACxx (9:56). Kijkt niet erg aan. Doet op einde wat onhandig tegen IM en onderbreekt op 4:56 partner wat onhandig. Op 22:45 zit ACxx duidelijk ergens mee (niet eens met planningsstaf: 'zij doen ons werk over"). Daar doet OL niets mee.

Supporting others

3

Solving conflicts

3

Exchanging information

N

Stelt vraag maar vult het zelf in. Moeilijk te beoordelen.

Co-ordinating activities

4

OL doet een poging ACyy en Defensie te koppelen.

Using authority

3

9:43 zit zo te kijken naar beeldscherm, dat hij niet oplet en anderen een discussie starten. Wordt af en toe wat storend onderbroken.

Maintaining standards

3

Planning and prioritising

5

Managing workload and resources

N

4,0

Gathering information

Category rating and debriefing notes

Observation on performance

Na IM bewust naar partner als Mijn gevoel is dat OL meer naar belangrijkste. Gaat vervolgens niet bevestiging zoekt dan naar door naar anderen. Onderbreekt 4,3 informatie. partner (4:46) had deze meer geweten? Vertaalt vraag IM naar scenariokaart. Om 21:01 zegt ACxx af te stemmen met OL probeert alleen multi te pakken. ACyy. Gaat volgens mij over ander Vergist zich wat in de vijf punten. Voor onderwerp. Interpreteert OL niet goed. mijn gevoel is meer detail nodig. Andere partner wordt goed ingeschat.

3,3

3,3

* Rating

Om 14:40 wijst OL actie toe aan ACxx (inventariseren betrokken partijen). ACyy zegt hierop wat, wat door OL niet gehoord wordt.

3,3

OL moet wachten op verslaglegger. Deze tijd gebruikt OL niet om relatie met team op te bouwen. Hoeft niet, helpt wel.

3,3

Element

3,7

Roept wel hoofdlijnen, maar spreekt AC-en niet aan op mono afdwalen. Zegt niks van onderbroken worden. Onderbreekt partner Houdt daarmee Partner benoemt als activiteit te willen lijn. Roept 'Laten we het op hoofdlijnen uitzoeken wat oorzaak crisis X is. Heeft houden.". Geeft duidelijk iedereen volgens mij geen prio. OL grijpt i.e.g. niet in. beurten. Prioriteert niet zelf. Moet uit team komen. Niet gezien. N.v.t.

3,7

Leadership

Team working

Communication

Decision-making

Situation awareness

Category

* 1 Zeer oneens; 2 Oneens; 3 Beetje oneens; 4 Niet eens/Niet oneens; 5 Beetje eens; 6 Eens; 7 Zeer Eens; N Not observed

63

4

8

25

6

11

31

12

30

Nr.

Nr.

Nr.

Nr.

Nr.

Nr.

Nr.

Nr.

6 0 6

6 0 6

7 1 6

6 0 6

3 0 3

4 1 3

5 1 4

4 0 4

EvL Verschil BG

EvL Verschil BG

EvL Verschil BG

EvL Verschil BG

EvL Verschil BG

EvL Verschil BG

EvL Verschil BG

Gathering information

EvL Verschil BG

-

Anticipating future state

Interpreting information

3 -1 4

4 0 4

5 1 4

4 0 4

6 0 6

6 0 6

3 -1 4

3 -1 4

4 0 4

N x 4

6 0 6

4 -2 6

N 0 N

-

-

-

-

-

-

-

Defining problem

4 0 4

5 1 4

4 -1 5

5 0 5

5 -1 6

7 0 7

5 -1 6

6 1 5

Selecting and implementing options

Considering options 4 0 4

3 1 2

4 1 3

3 -1 4

N 0 N

5 x N

N 0 N

3 1 2

3 1 2

4 1 3

3 -1 4

6 0 6

6 0 6

6 x N

Decision-making 4 7 0 1 4 6

Outcome review N x 2

4 1 3

N x 3

N x 4

N x 6

N 0 N

6 0 6

N 0 N

Sending information clearly and concisely 1 -1 2

2 -1 3

3 0 3

4 1 3

6 -1 7

6 -1 7

7 1 6

6 1 5

Receiving information, especially by listening

Including context and intent during information exchange 3 0 3

4 0 4

3 -1 4

4 0 4

6 0 6

6 1 5

6 1 5

2 -2 4

3 0 3

4 0 4

2 -2 4

6 1 5

6 0 6

6 0 6

Communication 6 7 1 1 5 6

Identifying and addressing barriers to communication N 0 N

N 0 N

N 0 N

N 0 N

N 0 N

N 0 N

N x 6

N 0 N

2 -1 3

2 -1 3

3 -1 4

2 -1 3

6 0 6

6 0 6

7 1 6

7 2 5

Exchanging information

3 0 3

N 0 N

3 x N

N 0 N

N 0 N

N 0 N

N 0 N

4 0 4

3 0 3

N x 4

3 -1 4

5 -1 6

5 -1 6

5 -1 6

Team working 6 6 x 1 N 5

Co-ordinating activities N x 2

4 1 3

4 1 3

N x 3

N x 6

6 0 6

6 0 6

N x 5

Using authority 2 -1 3

2 -1 3

3 -1 4

3 -1 4

6 -1 7

6 -1 7

6 0 6

6 1 5

Planning and prioritising

Maintaining standards 3 -1 4

4 1 3

3 0 3

3 0 3

5 -1 6

6 0 6

6 0 6

3 0 3

3 0 3

5 2 3

5 1 4

6 0 6

7 1 6

6 0 6

Leadership 6 7 1 2 5 5

Managing workload and resources N x 3

N 0 N

N 0 N

N 0 N

N 0 N

N 0 N

N 0 N

N 0 N

Situation Awareness 4,0

3,3

4,0

4,0

3,7

4,3

3,7

3,5

6,0

6,0

6,0

5,7

6,0

6,0

5,3

5,7

Team Work

Communication

Decision Making 3,0

3,7

2,8

3,8

3,5

4,0

4,3

3,7

6,0

5,5

6,5

6,0

6,0

5,7

5,0

3,0

2,0

3,3

3,0

3,7

3,3

3,7

3,3

6,0

6,0

6,0

6,0

5,8

6,3

5,3

3,0

3,0

3,0

3,0

3,7

3,3

3,3

2,5

6,0

5,5

6,0

5,7

6,0

6,0

5,0

Gemiddelden 5,7 6,3 6,3

Leadership 3,3

2,7

3,0

3,0

3,3

3,7

3,7

3,7

6,3

5,7

6,3

6,3

6,0

6,0

5,0

6,3

Bijlage 14.1:

6 0 6

Situation awareness 6 5 1 0 5 5 -

Supporting others

17

Solving conflicts

Voor de onderlinge vergelijking

Bijlage 14: Vergelijk scores NTS onderzoekers Verschillen scores17 NTS voor vergelijk

De kleuren van de Likert-schaal (zie bijlage 8) zijn wat minder fel gemaakt om de verschil-scores duidelijker uit te laten komen.

64

4

8

25

6

11

31

12

30

Nr.

Nr.

Nr.

Nr.

Nr.

Nr.

Nr.

Nr.

6 0 6 6,0

6 0 6 6,0

7 1 6 6,5

6 0 6 6,0

3 0 3 3,0

4 1 3 3,5

5 1 4 4,5

4 0 4 4,0

EvL Verschil BG Gemiddelde

EvL Verschil BG Gemiddelde

EvL Verschil BG Gemiddelde

EvL Verschil BG Gemiddelde

EvL Verschil BG Gemiddelde

EvL Verschil BG Gemiddelde

EvL Verschil BG Gemiddelde

Gathering information

EvL Verschil BG Gemiddelde

Anticipating future state

Interpreting information

3 -1 4 3,5

4 0 4 4,0

5 1 4 4,5

4 0 4 4,0

6 0 6 6,0

6 0 6 6,0

6 0 6 6,0

3 -1 4 3,5

3 -1 4 3,5

4 0 4 4,0

4 0 4 4,0

6 0 6 6,0

5 -1 6 5,5

N 0 N N

Situation awareness 6 5 1 0 5 5 5,5 5,0

-

-

-

-

-

-

-

-

-

Defining problem 4 0 4 4,0

5 1 4 4,5

4 -1 5 4,5

5 0 5 5,0

5 -1 6 5,5

7 0 7 7,0

5 -1 6 5,5

6 1 5 5,5

Selecting and implementing options

Considering options 4 0 4 4,0

3 1 2 2,5

4 1 3 3,5

3 -1 4 3,5

N 0 N N

N 0 N N

N 0 N N

3 1 2 2,5

3 1 2 2,5

4 1 3 3,5

3 -1 4 3,5

6 0 6 6,0

6 0 6 6,0

6 0 6 6,0

Decision-making 4 7 0 1 4 6 4,0 6,5

Outcome review N 0 N N

4 1 3 3,5

N 0 N N

4 0 4 4,0

6 0 6 6,0

N 0 N N

6 0 6 6,0

N 0 N N

Sending information clearly and concisely 1 -1 2 1,5

2 -1 3 2,5

3 0 3 3,0

4 1 3 3,5

6 -1 7 6,5

6 -1 7 6,5

7 1 6 6,5

6 1 5 5,5

Receiving information, especially by listening

Including context and intent during information exchange 3 0 3 3,0

4 0 4 4,0

3 -1 4 3,5

4 0 4 4,0

6 0 6 6,0

6 1 5 5,5

6 1 5 5,5

3 -1 4 3,5

3 0 3 3,0

4 0 4 4,0

3 0 3 3,0

6 1 5 5,5

6 0 6 6,0

6 0 6 6,0

Communication 6 7 1 1 5 6 5,5 6,5

Identifying and addressing barriers to communication N 0 N N

N 0 N N

N 0 N N

N 0 N N

N 0 N N

N 0 N N

6 0 6 6,0

N 0 N N

2 -1 3 2,5

2 -1 3 2,5

3 -1 4 3,5

2 -1 3 2,5

6 0 6 6,0

6 0 6 6,0

7 1 6 6,5

6 1 5 5,5

Supporting others

18

Exchanging information

3 0 3 3,0

N 0 N N

3 0 3 3,0

N 0 N N

N 0 N N

N 0 N N

N 0 N N

4 0 4 4,0

3 0 3 3,0

3 -1 4 3,5

3 -1 4 3,5

5 -1 6 5,5

5 -1 6 5,5

5 -1 6 5,5

Team working 6 6 0 1 6 5 6,0 5,5

Solving conflicts

Na de onderlinge vergelijking

Co-ordinating activities 3 1 2 2,5

4 1 3 3,5

4 1 3 3,5

3 0 3 3,0

N 0 N N

6 0 6 6,0

6 0 6 6,0

5 0 5 5,0

Using authority 2 -1 3 2,5

2 -1 3 2,5

3 -1 4 3,5

3 -1 4 3,5

6 -1 7 6,5

6 -1 7 6,5

6 0 6 6,0

6 1 5 5,5

Planning and prioritising

Maintaining standards 3 -1 4 3,5

4 1 3 3,5

3 0 3 3,0

3 0 3 3,0

5 -1 6 5,5

6 0 6 6,0

6 0 6 6,0

3 0 3 3,0

3 0 3 3,0

4 1 3 3,5

5 1 4 4,5

6 0 6 6,0

7 1 6 6,5

6 0 6 6,0

Leadership 6 6 1 1 5 5 5,5 5,5

Managing workload and resources N 0 N N

N 0 N N

N 0 N N

N 0 N N

N 0 N N

N 0 N N

N 0 N N

N 0 N N

Situation Awareness 4,0 3,7

3,3

4,0 4,0

4,0

3,7 4,0

4,3

3,7 3,7

3,7

6,0 6,0

6,0

6,0 6,0

6,0

6,0 6,0

6,0

5,3 5,5

5,7

Team Work

Communication

Decision Making 3,3 3,5

3,7

2,8 3,3

3,8

3,7 3,8

4,0

4,3 4,0

3,8

6,0 5,8

5,7

6,5 6,5

6,5

6,0 5,8

5,7

5,0 5,3

3,0 2,7

2,3

3,3 3,2

3,0

3,7 3,5

3,3

3,3 3,5

3,7

6,0 6,0

6,0

6,0 6,0

6,0

5,8 6,0

6,3

5,3 5,8

3,0 3,0

3,0

3,0 3,0

3,0

3,5 3,4

3,3

3,3 3,0

2,7

6,0 5,8

5,5

6,0 5,8

5,7

6,0 6,0

6,0

5,3 5,5

Gemiddelden 5,7 6,3 5,8

Leadership 3,3 3,0

2,7

3,0 3,0

3,0

3,3 3,3

3,3

3,7 3,7

3,7

6,3 6,0

5,7

6,3 6,3

6,3

6,0 6,0

6,0

5,0 5,5

6,0

Bijlage 14.2: Scores18 NTS na vergelijk

De kleuren van de Likert-schaal (zie bijlage 8) zijn wat minder fel gemaakt om de verschil-scores duidelijker uit te laten komen.

65

Bijlage 15: Details vergelijk Effectiviteit met NTS

Image building

Wrapping up the meeting

Situation awareness

Decision-making

Communication

Team working

Leadership

NTS (Flin et al., 2008)

Gemiddelde Effectiviteit

Effectiviteit (Van der Haar et al., 2013)

4

6,1

6,1

6,0

5,5

5,3

5,8

5,5

5,5

25

5,9

5,7

6,2

6,0

6,5

6,0

5,8

6,3

8

5,9

6,1

5,7

6,0

5,8

6,0

6,0

6,0

6

5,7

5,8

5,7

6,0

5,8

6,0

5,8

6,0

5,9

5,9

5,9

5,9

5,9

6,0

5,8

6,0

31

4,4

4,4

4,3

4,0

3,8

3,5

3,4

3,3

11

3,9

4,2

3,5

3,7

4,0

3,5

3,0

3,7

12

3,5

3,9

3,0

4,0

3,3

3,2

3,0

3,0

30

2,8

3,1

2,5

3,7

3,5

2,7

3,0

3,0

3,6

3,9

3,3

3,8

3,6

3,2

3,1

3,3

Nummer Sterkste vier

Gemiddelde  Zwakste vier

Gemiddelde 

66

Bijlage 16: Lijst van afkortingen AC ANTS BG BOB BZK CoPI CRM EvL KLPD MCPM NHN NTS NVBR OL ROT VRNHN

Algemeen Commandant Anaesthesiology Non-Technical Skills Bernard Groot Beeldvorming - Oordeelsvorming - Besluitvorming Binnenlandse Zaken Commando Plaats Incident Crew Resource Management Erik van Leeuwen Korps Landelijke Politiediensten Master of Crisis and Public Order Management Noord-Holland Noord Non-Technical Skills Nederlandse Vereniging voor Brandweerzorg en Rampenbestrijding Operationeel Leider Regionaal Operationeel Team Veiligheidsregio Noord-Holland Noord

67