Handleiding voor de Calculator for Effects of Safety Measures (Effectiviteitberekening)

CESaM 1.0

Handleiding voor de Calculator (Effectiviteitberekening)

for

Effects

of

Safety

Measures

RA-2004-48

Frank Van Geirt, Erik Nuyts Onderzoekslijn infrastructuur en ruimte

DIEPENBEEK, 2012. STEUNPUNT VERKEERSVEILIGHEID.

VLAAMSE STICHTING VERKEERSKUNDE

Documentbeschrijving Rapportnummer:

RA-2004-48

Titel:

CESaM 1.0

Ondertitel:

Handleiding voor de Calculator for Effects of Safety Measures (Effectiviteitberekening)

Auteur(s):

Frank Van Geirt, Erik Nuyts

Promotor:

Rob Cuyvers

Onderzoekslijn:

infrastructuur en ruimte

Partner:

Provinciale Hogeschool Limburg

Aantal pagina’s:

30

Trefwoorden:

Effectiviteit, CESaM, software

Projectnummer Steunpunt:

2.2.1

Projectinhoud:

Berekeningssoftware voor effectiviteit infrastructurele verkeersveiligheidsmaatregelen

Uitgave: Steunpunt Verkeersveiligheid, december 2004.

Steunpunt Verkeersveiligheid Universitaire Campus Gebouw D B 3590 Diepenbeek T 011 26 81 90 F 011 26 87 11 E [email protected] I www.steunpuntverkeersveiligheid.be

van

Inhoudsopgave

1.

INLEIDING ................................................................................ 6

1.1

Doel

6

1.2

Functioneel plaatje

6

1.3

Terminologie

6

1.3.1

Applicatie ...................................................................................... 6

1.3.2

Databestand .................................................................................. 7

1.3.3

Effectiviteitbestand ......................................................................... 7

1.3.4

Metabestand .................................................................................. 7

1.3.5

Module.......................................................................................... 7

1.4

Beperkingen van dit document

7

2.

INSTALLATIE EN OPSTARTEN............................................................ 8

2.1

Installatie

8

2.2

Opstarten van CESaM

8

2.3

Macro beveiliging in Excel

9

2.4

Modules

3.

DATABESTAND ......................................................................... 11

3.1

Inleiding

11

3.2

Bestandsformaat

11

3.3

Bestandsopmaak

11

3.4

Betekenis van de verschillende parameters

12

10

3.4.1

Maatregel Naam ............................................................................12

3.4.2

Maatregel Start Periode en Maatregel Eind Periode ............................12

3.4.3

Maatregel periode .........................................................................13

3.4.4

Locatie type..................................................................................13

3.4.5

Locatie naam ................................................................................14

3.4.6

Lengte .........................................................................................14

3.4.7

Ongevalsdata ...............................................................................14

4.

MODULE: CONTROLE .................................................................. 15

4.1

Doel

5.

MODULE: EDITEER DATABESTAND ................................................... 16

5.1

Doel

6.

MODULE: SJABLOON DATABESTAND................................................. 17

6.1

Doel

17

6.2

Werkwijze

17

7.

MODULE: EFFECTIVITEIT ANALYSE .................................................. 18

7.1

Doel

18

7.2

Acties

18

Steunpunt Verkeersveiligheid

15 16

3

RA-2004-48

7.2.1

Input ...........................................................................................18

7.2.2

Berekeningen en resultaten ............................................................18

7.2.3

Voorbereiding meta-analyse ...........................................................18

7.3

Resultaten

18

7.4

Interpretatie van de resultaten en de bijbehorende opmerkingen

19

7.4.1

Odds ratio’s ..................................................................................19

7.4.2

Regressie naar het gemiddelde .......................................................19

7.4.3

Aantallen ongevallen .....................................................................20

7.4.4

De geschatte effectiviteitindex ........................................................20

7.5

Weergave van de data en de bijbehorende opmerkingen

20

8.

MODULE: META-ANALYSE ............................................................ 21

8.1

Doel

21

8.2

Resultaten

21

8.3

Interpretatie van de resultaten en de bijbehorende opmerkingen

22

8.3.1

Berekeningen ...............................................................................22

8.3.2

Resultaten en opmerkingen ............................................................22

8.3.3

Trechterdiagram ...........................................................................23

9.

MODULE: EINDE ....................................................................... 24

9.1

Doel en werkwijze

10.

HET GEHEEL IS GROTER DAN DE SOM VAN DE DELEN .............................. 25

10.1

Samenwerken via CESaM

11. 12. 13. 14.

VERDERE INFORMATIE................................................................. 26 DANKBETUIGING ....................................................................... 27 LITERATUURLIJST ...................................................................... 28 BIJLAGE A .............................................................................. 29

14.1

Probleemstelling: wanneer vervangen door welk getal?

29

14.2

Plaatsen in de berekening waar nullen vervangen worden

29

24 25

14.2.1

Odds-ratio ................................................................................29

14.2.2

Effectiviteit ...............................................................................29

14.2.3

Meta-analyse.............................................................................29

Lijst van figuren Figuur 1: Functioneel plaatje. .................................................................................. 6 Figuur 2: Hoofdscherm in CESaM. ............................................................................ 8 Figuur 3: Opties scherm. ........................................................................................ 9 Figuur 4: Beveiligingsscherm. ................................................................................. 9 Figuur 5: Macro melding bij opstarten van CESaM applicatie. .....................................10 Figuur 6: Voorbeeld van databestand. .....................................................................11


4

RA-2004-48

Figuur 7: Foute configuratie van vergelijkingsgroep in databestand. In dit geval bevat de vergelijkingsgroep slechts 1 locatie. ........................................................................14 Figuur 8: Positieve afsluiting van controle module. ...................................................15 Figuur 9: Sjabloon voor een databestand. ...............................................................17 Figuur 10: Voorbeeld van effectiviteitrapport. ..........................................................19 Figuur 11: Voorbeeld van een meta-analyse rapport. ................................................21 Figuur 12: Voorbeeld van een trechterdiagram van een meta-analyse. ........................22 Figuur 13: Hypothetisch voorbeeld zoals een trechterdiagram van een meta analyse er best zou uitzien. ...................................................................................................23


5

RA-2004-48

1.

INLEIDING

1.1

Doel

CESaM is een acroniem voor Calculator for Effects of Safety Measures. Het is een applicatie voor de berekening van de effectiviteit van een maatregel. De effectiviteit wordt gemeten als het relatief aantal overblijvende ongevallen. Een effectiviteitindex gelijk aan 1 wil zeggen dat er noch een stijging noch een daling van het aantal ongevallen was. Een effectiviteitindex van 0.7 wil zeggen dat er nog 70% van de ongevallen overblijven en dat er dus een daling was van 1 - 70% = 30%. Deze methodiek werkt niet voor het aantal gewonden of het aantal doden, en evenmin voor vermindering van snelheid, verkorting van wachttijden of lengtes van files. De reden hiervoor is vrij technisch. Het komt er op neer dat aantal ongevallen, en aantal slachtoffers, en lengtes van files en wachttijden om een weg te kunnen oversteken andere statistische verdelingen hebben. De verdeling die gebruikt wordt in de berekeningmodule van CESaM is specifiek voor aantal ongevallen. Dit document beschrijft de installatie, de werking en de resultaten van de applicatie. Deze applicatie heeft 2 doelen: 

bepaling effectiviteit van een maatregel op een bepaalde locatie;



uitvoeren van een meta-analyse van een maatregel op diverse locaties.

De handleiding is van toepassing op CESam v1.0.

1.2

Functioneel plaatje

Figuur 1: Functioneel plaatje.

1.3

Terminologie

1.3.1 Applicatie Hiermee wordt het CESaM programma bedoeld. De applicatie is het geheel van de modules.


6

RA-2004-48

1.3.2 Databestand Dit is het bestand met de basis data voor de maatregel en de ongevallen. 1.3.3 Effectiviteitbestand Dit is het resultaat van de effectiviteit module. Bron is het databestand. 1.3.4 Metabestand Dit is het resultaat van de meta-analyse. Bron zijn diverse effectiviteitbestanden. 1.3.5 Module Dit is een onderdeel van de applicatie CESaM.

1.4

Beperkingen van dit document

De CESaM applicatie is ontwikkeld in Microsoft Office Excel 2003. Alle voorbeeld schermen in dit document zijn bijgevolg ook gemaakt op basis van deze versie. Indien de gebruiker met een andere versie van Excel werkt (bvb 97, 2000, 2002), is het mogelijk dat sommige schermen afwijken.


7

RA-2004-48

2.

INSTALLATIE

2.1

Installatie

EN OPSTARTEN

De applicatie is ontwikkeld in Excel VBA (Visual Basic for Applications). Dit is de macro taal (programmeeromgeving) in de verschillende Microsoft Office pakketten. Zowel de invoer als uitvoer bestanden zijn in Excel formaat. De enige benodigde software is dus Microsoft Excel (onderdeel van Office). De applicatie kan om het even waar op de computer geplaatst worden. Er is geen nood aan een specifieke folder. Het is echter raadzaam om een specifieke folder aan te maken (b.v. c:\cesam) en daar alle bestanden (applicatie, databestanden, resultatenbestanden, documentatie, …) betreffende de effectiviteitberekeningen te bewaren.

2.2

Opstarten van CESaM

Om de applicatie op te starten is het voldoende het Excel bestand “CESaM.xls” te openen. Je krijgt dan een scherm vergelijkbaar zoals in Figuur 2 te zien.

Figuur 2: Hoofdscherm in CESaM.


8

RA-2004-48

2.3

Macro beveiliging in Excel

Het is mogelijk dat Excel dusdanig is geconfigureerd dat er geen macro’s geopend kunnen / mogen worden. In dat geval moet op de Excel instellingen van de pc van de gebruiker volgende setting nagekeken worden (het probleem dat zich dan stelt heeft in se niets met de applicatie te maken). In het menu: Extra – Opties. Het Opties scherm opent zich. Selecteer het tabblad “Beveiliging”. Op dit tabblad klik je op “Macrobeveiliging”. Vervolgens dien je het beveiligingsniveau op “Gemiddeld” te zetten en de applicatie opnieuw op te starten.

Figuur 3: Opties scherm.

Figuur 4: Beveiligingsscherm.


9

RA-2004-48

Bij de setting “Gemiddeld” vraagt Excel of eventuele macro’s mogen geopend worden of niet. Zie hiervoor Figuur 5. Wanneer de setting “Laag” wordt geselecteerd, zal deze vraag niet gesteld worden. De “Laag” setting wordt echter om veiligheidsredenen afgeraden. De gebruiker heeft dan helemaal geen controle meer en loopt het risico macrovirussen binnen te halen.

Figuur 5: Macro melding bij opstarten van CESaM applicatie.

2.4

Modules

Er zijn verschillende modules in deze applicatie: 

Controle databestand: lay-out controle van een invoerbestand;



Editeer databestand: hiermee wordt een databestand geopend zodat de gebruiker eventuele aanpassingen kan doorvoeren;



Sjabloon databestand: hiermee wordt een standaard databestand sjabloon getoond;



Effectiviteit: bepaling van de effectiviteit voor een maatregel op één locatie;



Meta-analyse: bepaling van de effectiviteit van meerdere locaties;



Einde: afsluiten van de applicatie.

Deze modules worden verder in de tekst uitgelegd.


10

RA-2004-48

3.

DATABESTAND

3.1

Inleiding

In dit hoofdstuk beschrijven we de vorm van het databestand. Dit is het bestand met de ruwe data nodig om de effectiviteit te berekenen. Dit bestand moet voldoen aan een welbepaalde structuur. Wanneer hier niet aan voldaan is, zal de effectiviteiten module niet of onnauwkeurig werken. De applicatie biedt een module om de correctheid van het databestand te controleren. Op deze manier kan de gebruiker zeker stellen dat eventuele “rare” resultaten niet te wijten zijn aan een foutieve vorm van het databestand.

3.2

Bestandsformaat

De data voor de effectiviteitbepaling moet opgeslagen worden in Microsoft Excel formaat. Omdat in één Excel bestand meerdere werkbladen voorkomen, moet het blad waarop de input voor de effectiviteitberekening staat een specifieke naam hebben. De applicatie zoekt naar een werkblad met de naam “Berekening Effectiviteit” (let op de hoofdletters !).

3.3

Bestandsopmaak

Op Figuur 6 is de opmaak te zien waar het invoerbestand moet aan voldoen.

Figuur 6: Voorbeeld van databestand. De locatie van de verschillende data elementen liggen vast. Hier volgt een overzicht. De velden van het type “Data” zijn variabel. De velden van het type “Titel” zijn vast en mogen niet gewijzigd worden. Het maakt geen verschil uit voor de werking van CESaM maar we stellen voor om redenen van duidelijkheid zoveel mogelijk de vaste gegevens een zwarte kleur en de variabele gegevens een blauwe kleur te geven.

Cel

Type data

Waarde

Vorm

A1

Titel

“Algemeen”

String

B1

Titel

“Maatregelnaam”

String


11

RA-2004-48

C1

Data

String

B2

Titel

C2

Data

B3

Titel

C3

Data

B3

Titel

“MaatregelPeriode”

String

C4

Data

0 (niet), 1 (wel)

Integer

A10

Titel

“Ongevallen”

String

B10

Titel

“LocatieType”

String

C10

Titel

“Naam”

String

D10

Titel

“Lengte”

String

“MaatregelStartPeriode”

String Double

“MaatregelEindPeriode”

String Double

Tabel 1: Opbouw van het databestand.

3.4

Betekenis van de verschillende parameters

3.4.1 Maatregel Naam Dit is de naam van een maatregel. Deze naam wordt gebruikt voor de titels van de rapporten. Er is nagenoeg geen beperking in lengte. Een cel in Excel kan 32767 tekens bevatten en deze in de formulebalk weergegeven. In de cel zelf worden maximaal 1024 tekens weergegeven. Voorbeelden: 

Onbemande camera



Conflictvrij kruispunt



Rotonde

3.4.2 Maatregel Start Periode en Maatregel Eind Periode De “maatregel start periode” is het jaartal of de maand waarin gestart werd met de invoering van de maatregel. De “maatregel eind periode” is het jaartal of de maand waarin de maatregel volledig ingevoerd was en men terug in een normale wegsituatie kwam. In de meeste gevallen zal de ongevallen data op jaarbasis gebruikt worden. De applicatie is echter iets flexibeler opgebouwd. Ook maand gegevens of zelfs daggegevens kunnen verwerkt worden. Belangrijk is dat de periode (dag, maand, jaar) constant gehouden wordt binnen één analyse. Het formaat van de toegelaten perioden is: -

jaar: JJJJ

-

maand: JJJJMM

-

dag: JJJJMMDD


12

RA-2004-48

Opmerking: gebruik van de dagperiode is nog niet volledig getest en geïmplementeerd. Het aantal periodes is vrij in te vullen. De enige grens is de grens van een Excel blad. Dit betekent dat tot ongeveer 250 periodes er geen probleem is. Voor meer periodes is de applicatie niet voorzien. 

Ook als je in dagen of in maanden rekent, moeten de waarden integers zijn. De module “Effectiviteit” gaat bij de berekening na of een tijdsomschrijving op rij 10 kleiner is dan de waarde van MaatregelStartPeriode. Als dat zo is, dan wordt de kolom toegekend aan de periode voor de maatregel. Als de waarde groter is dan MaatregelEindPeriode dan wordt de kolom toegekend aan de periode na de maatregel. Hou hiermee rekening bij de naamgeving van de tijdstitels. B.v. 1996 is kleiner dan 2001, maar ‘96’ is groter dan ‘01’. Als je met maanden rekent: 199612 is kleiner dan 199701, maar 121996 is groter dan 011997. In beide voorbeelden zullen bij de tweede benaming de jaren op verkeerde wijze toegekend worden aan de voor- of naperiode.



Stel dat je gegevens hebt van drie jaar voor de maatregel, 1996, 1997, 1999, maar dat de gegevens van 1998 verloren zijn gegaan of onbetrouwbaar zijn. Laat dat jaar dan ook weg in de titels.



Als je van een jaar geen volledige gegevens hebt, maar het toch wil gebruiken, dan moet je de beschikbare gegevens ophogen tot het niveau van een jaar. In de statistische berekening wordt er van uit gegaan dat alle velden een gelijkwaardige tijd beschrijven. Heb je voor 10 maanden bv. 5 ongevallen, dan vul je in dat er dat jaar 5*(12/10) = 6 ongevallen waren.

3.4.3 Maatregel periode In de meeste gevallen wordt de periode waarin de maatregel is ingevoerd niet meegenomen in de berekeningen. De reden is dat er geen ongevallendata beschikbaar is, of dat de ongevallen gedeeltelijk een andere oorzaak hebben dan de vorige jaren, doordat er wegwerkzaamheden uitgevoerd worden. De maatregel periode wordt aangegeven met een start en eind tijdstip. De invoering van een maatregel kan over meerdere jaren of maanden lopen. Wanneer de invoer periode echter zeer kort wordt, bvb invoering nieuwe wet, dan is de mogelijkheid nodig om de maatregel invoer periode toch ook mee te nemen. Hiervoor wordt een schakelaar gebruikt. Standaard wordt de periode niet meegenomen en heeft deze parameter de waarde 0. Wanneer de periode meegenomen wordt in de berekeningen moet de parameter de waarde 1 krijgen. In dat geval worden alle waarden tussen of gelijk aan MaatregelStartPeriode en MaatregelEindPeriode toegekend aan de periode vóór het uitvoeren van de maatregel

3.4.4 Locatie type Deze variabele geeft een code weer waardoor de applicatie weet of een locatie de te onderzoeken locatie is of een vergelijkingslocatie. Twee codes zijn toegelaten: L en V. Dit zijn vaste waarden en moeten hoofdletters zijn. L: te onderzoeken locatie. V: vergelijkingslocaties. Er kan maar één “L” locatie zijn. De “L” locatie kan GEEN combinatie zijn van meerdere locaties met maatregels. De gebruikte formules mogen niet voor geaggregeerde data gebruikt worden. De L-locatie moet eerst staan in de lijst.


13

RA-2004-48

Het aantal leden in de vergelijkingsgroep is vrij te bepalen. Iedere locatie moet een code hebben. De applicatie zoekt verder tot een “leeg veld” wordt tegengekomen in kolom B. Alle eventueel volgende locaties worden niet meegenomen (zie Figuur 7).

Figuur 7: Foute configuratie van vergelijkingsgroep in databestand. In dit geval bevat de vergelijkingsgroep slechts 1 locatie.

3.4.5 Locatie naam Dit is een tekstueel veld ter aanduiding van de locaties. De benaming wordt enkel gebruikt om de leesbaarheid van de rapporten te verbeteren. Er zijn dan ook geen eisen naar lengte of vorm.

3.4.6 Lengte Dit stelt de lengte van de weg voor. Indien het over “puntlocaties” gaat, zoals kruispunten, waarbij de lengte niet van belang is, dient overal “1” ingevuld te worden.

3.4.7 Ongevalsdata De waarden van de periodes (b.v. 2000, 2001, …2003) staan achter elkaar in rij 10. De module ‘Effectiviteit’ leest gegevens in tot aan de eerste blanco cel op rij 10. Er mogen geen lege velden voorkomen in de ongevaldata zelf. Ofwel neemt men de plaats waarvan ongevalsdata ontbreken niet mee, ofwel neemt men de periode waarvan data ontbreken niet mee, ofwel maakt men schatting voor het veld waarvan er geen ongevaldata zijn. Of dergelijke schatting verantwoord is, moet door de gebruiker ingeschat worden.


14

RA-2004-48

4.

MODULE: CONTROLE

4.1

Doel

Met behulp van de module “Controle databestand” is het mogelijk na te gaan of het databestand voldoet aan de gestelde eisen. Titels en data worden gecontroleerd op correctheid en positie. We raden aan om deze module te gebruiken voor elk bestand waaruit men een effectiviteit wil berekenen. Wanneer het bestand goed bevonden is, wordt een melding “Databestand [Naam bestand] is OK” gegeven (Figuur 8).

Figuur 8: Positieve afsluiting van controle module. Bij een eventueel probleem word(t)(en) de foute cel(len) en de foutmelding vermeld.


15

RA-2004-48

5.

MODULE: EDITEER

5.1

Doel

DATABESTAND

Het doel van deze functie is de gebruiker toe te laten een databestand te openen. Eens het databestand geopend is, kan de gebruiker via de normale weg in Excel het bestand wijzigen en opnieuw opslaan.


16

RA-2004-48

6.

MODULE: SJABLOON

6.1

Doel

DATABESTAND

Met deze knop is het mogelijk een voorbeeld databestand te openen. Een nieuw Excel bestand wordt aangemaakt en de nodige namen en titels worden reeds ingevuld. Voorbeeld data wordt in blauw ingevuld. De gebruiker kan op basis van dit bestand een echt databestand samenstellen en onder een andere naam bewaren. Een voorbeeld van het sjabloon is te zien in Figuur 9.

Figuur 9: Sjabloon voor een databestand.

6.2

Werkwijze

Na het aanklikken van de knop

wordt een nieuw Excel bestand aangemaakt met de naam “CESaM_databestand_sjabloon.xls”. Indien het bestand al een eerdere keer is aangemaakt, zal volgende of gelijkaardige melding getoond worden.

Hierop dient men “Ja” te klikken en het sjabloon zal aangemaakt en getoond worden.


17

RA-2004-48

7.

MODULE: EFFECTIVITEIT

7.1

Doel

ANALYSE

Deze module laat toe om de effectiviteit van een maatregel op een bepaalde locatie te berekenen.

7.2

Acties

7.2.1 Input Als invoer data is een databestand nodig. Wanneer de knop “Effectiviteitrapport” wordt aangeklikt, verschijnt er een scherm om een databestand te selecteren en te openen. Slechts 1 bestand tegelijkertijd kan worden geselecteerd. 7.2.2 Berekeningen en resultaten De module genereert een nieuw Excel bestand en noemt het standaard “eff_output.xls”. Alle nodige berekeningen worden uitgevoerd en weggeschreven naar het nieuwe uitvoer bestand. Wanneer de berekening klaar is, kan men dit resultaat wegschrijven. Er wordt aangeraden om het bestand een nieuwe naam te geven zodat andere analyses achteraf de gegevens niet overschrijven. 7.2.3 Voorbereiding meta-analyse Indien men de resultaten van de effectiviteitberekening wenst te gebruiken voor een meta-analyse met andere locaties, dan is het noodzakelijk om in de uitvoerbestanden geen wijzigingen te doen wat betreft de plaats van de gegevens in het Excel bestand.

7.3

Resultaten

De gebruiker moet zich echter realiseren dat de effectiviteit wordt gemeten als het relatief aantal overblijvende ongevallen. Deze methodiek werkt dus niet voor het aantal gewonden of het aantal doden, en evenmin voor vermindering van snelheid, verkorting van wachttijden of lengtes van files. De reden hiervoor is vrij technisch. Het komt er op neer dat aantal ongevallen, en aantal slachtoffers, en lengtes van files en wachttijden om een weg te kunnen oversteken andere statistische verdelingen hebben. De verdeling die gebruikt wordt in de berekeningmodule van CESaM is specifiek voor aantal ongevallen. De formules achter de berekeningswijze worden in dit document niet uitgelegd. De algemene beschrijving van de methodiek, zowel de vorm als de uitleg achter de formules, is uitgewerkt in het Steunpuntrapport van Nuyts en Cuyvers (2003). Voor de studie van de onbemande camera’s was een bijkomende formule nodig omdat de klassieke berekening van de variantie niet correct is als er wegen van verschillende weglengte gebruikt worden in eenzelfde vergelijkinggroep. Deze bijkomende formule van gewogen varianties en de uitleg bij de concrete toepassing op de onbemande camera’s is uitgewerkt in het Steunpuntrapport van Nuyts (2004). In de rekenmodule van CESaM is nog een extra formule voorzien voor periodes waar er geen ongevallen waren. Theoretisch is dit probleem minder van belang, en bij de onbemande camera’s deed het probleem zich niet voor. Maar in andere situaties zullen er wel periodes zijn met nul ongevallen. De formules die nodig zijn voor deze aanpassing zijn gegeven in Bijlage A. Steunpunt Verkeersveiligheid

18

RA-2004-48

Figuur 10: Voorbeeld van effectiviteitrapport.

7.4

Interpretatie opmerkingen

van

de

resultaten

en

de

bijbehorende

7.4.1 Odds ratio’s De eerste drie resultaten over de odds-ratio’s (odds-ratio’s, gemiddelde odds-ratio, standaard afwijking odds-ratio) geven aan in hoeverre de vergelijkingsgroep inderdaad vergelijkbaar is met de locatie waar een maatregel is uitgevoerd. De gemiddelde odds-ratio zou 1 moeten zijn. Een afwijking van 10% wordt toegelaten. De standaard afwijking van de odds-ratio dient kleiner te zijn dan 0.20. 7.4.2 Regressie naar het gemiddelde De volgende vier resultaten (µ(v+l) #ong/jaarkm; variantie (v+l); overdispersieparameter (k); gewicht vergelijkingsgroep (w)) geven aan in hoeverre de vergelijkbare groep bruikbaar is voor de regressie naar het gemiddelde. Overdispersie: De berekening van de overdispersie, en de uiteindelijke effectiviteit, is slechts zinvol als het gemiddelde van het aantal ongevallen van de vergelijkbare groep (= vergelijkingsgroep samen met locatie met de maatregel, voor het uitvoeren van de maatregel) kleiner is dan de variantie van de vergelijkbare groep. Indien de variantie kleiner is, dan is de berekeningswijze FOUT. De berekende effectiviteit is NIET BETROUWBAAR.


19

RA-2004-48

7.4.3 Aantallen ongevallen De volgende vier getallen (Lvoor regr gem, Lna, Vi voor, Vi na) geven het aantal ongevallen van voor en na de maatregel, telkens voor de locatie met de maatregel (L) en de vergelijkingsgroep (V). De vergelijkingsgroep zou best 150 ongevallen en beter nog 300 ongevallen bevatten zowel voor als na het uitvoeren van de maatregel.

7.4.4 De geschatte effectiviteitindex De laatste vijf resultaten (Effectiviteitindex, BI 95% (onderste), BI 95% (bovenste), BI 99% (onderste), BI 99% (bovenste)) geven de uiteindelijke informatie over de geschatte effectiviteitindex: de schatting van effectiviteitindex, de standaardafwijking op deze schatting en de onder- en bovengrens van het 95% en 99% betrouwbaarheidsinterval op de effectiviteitindex. Een effectiviteitindex gelijk aan 1 wil zeggen dat er noch een stijging noch een daling van het aantal ongevallen was. Een effectiviteitindex van 0.7 wil zeggen dat er nog 70% van de ongevallen overblijven en dat er dus een daling was van 1 - 70% = 30%. Invloed van de maatregel. De effectiviteitindex verschilt significant op 5% van 1 als 1 niet in het 95%-betrouwbaarheidsinterval ligt en verschilt significant op 1% van 1 als 1 niet in het 99%-betrouwbaarheidsinterval ligt.

7.5

Weergave van de data en de bijbehorende opmerkingen

De inputdata worden samen met het aantal in de analyse gebruikte jaren onderaan het werkblad weergegeven. Op deze manier heeft de gebruiker één werkblad waar alle relevante informatie in staat. Bij de opmerkingen krijgt de gebruiker feedback over het aantal gebruikte jaren. De periode zou data moeten hebben van zeker 3 jaar voor en 3 jaar na het uitvoeren van de maatregel. Bij de opmerkingen gaat de applicatie er van uit dat de data opgegeven zijn in jaren.


20

RA-2004-48

8.

MODULE: META-ANALYSE

8.1

Doel

Met behulp van de module “Meta-analyse rapport” is het mogelijk om een globale effectiviteit te bepalen van een maatregel die toegepast is op diverse locaties. Verder genereert deze module ook een trechterdiagram van de resultaten. Na het klikken van de knop komt een scherm om bestanden te selecteren. In de metaanalyse is het mogelijk meerdere bestanden tegelijkertijd te selecteren. Alle berekeningen worden verder automatisch uitgevoerd en een eindrapport wordt getoond.

8.2

Resultaten

Van de meta-analyse is een algemene beschrijving van de methodiek uitgewerkt in het Steunpuntrapport van Nuyts en Cuyvers (2003). Details over de concrete toepassing voor onbemande camera’s zijn gegeven in het Steunpuntrapport van Nuyts (2004).

Figuur 11: Voorbeeld van een meta-analyse rapport.


21

RA-2004-48

Figuur 12: Voorbeeld van een trechterdiagram van een meta-analyse.

8.3

Interpretatie opmerkingen

van

de

resultaten

en

de

bijbehorende

8.3.1 Berekeningen Het eerste blok van de resultaten in het werkblad “MetaRapport” is per locatie een overzicht van de gebruikte waarden. De eerste zes waarden (Li na; Li voor regr gem; Vi na; Vi voor; Eff en si²) zijn waarden die per locatie reeds berekend waren bij de individuele berekeningen. wi is het gewicht van een locatie in de berekening van de globale effectiviteitindex. 8.3.2 Resultaten en opmerkingen De resultaten spreken voor zich: respectievelijk de effectiviteitindex en de grenzen van het 95% en 99% betrouwbaarheidsinterval. Een meta-analyse op zich heeft weinig voorwaarden. De enige voorwaarde is dat de input betrouwbaar is. Het is b.v. best mogelijk om een meta-analyse te maken van slechts twee resultaten. De enige opmerking betreft dan ook het significantieniveau van het resultaat.


22

RA-2004-48

8.3.3 Trechterdiagram In het werkblad “Trechterdiagram” verschijnt een trechterdiagram. Het doel van een trechterdiagram is een visuele controle van de geldigheid van de analyse. Er zijn twee mogelijke problemen bij de meta-analyse van effectiviteitstudies die men visueel kan onderkennen. Het eerste probleem dat zich kan voordoen is dat de maatregel wezenlijk verschillende effecten heeft in verschillende situaties. Dan moet men niet op zoek gaan naar één gemiddeld effect op metaniveau, maar naar twee of meer gemiddelde effecten, nl. één per groep van situaties. Een tweede mogelijk probleem is het voorkomen van publication bias. Resultaten die tegen de stroom ingaan, of die niet overeenkomen met de verwachtingen worden misschien niet gepubliceerd. Het gemiddelde effect wordt als gevolg van deze vertekening meestal overschat. Door het maken van een trechterdiagram kan men beide vertekeningen zien. In een meta-analyse krijgt elke studie een gewicht, dat grotendeels bepaald wordt door het aantal waarnemingen dat er in die studie gebruikt zijn (Nuyts en Cuyvers, 2003). Hoe meer waarnemingen, hoe zwaarder een studie weegt. In een trechterdiagram wordt het effect dat in de studie gevonden werd (dit kan zowel de effectiviteit als de effectiviteitindex zijn), uitgezet tegen het gewicht van de studie. Als de data inderdaad gegroepeerd mogen worden, dan ziet de figuur er uit als een omgekeerde trechter.

trechter diagram: gewicht versus effect 35 30 gewicht

25 20 15 10 5 0 0

0,2

0,4

0,6

0,8

1

1,2

1,4

1,6

effect

Figuur 13: Hypothetisch voorbeeld zoals een trechterdiagram van een meta analyse er best zou uitzien. De ‘top’ van een trechterdiagram bestaat uit de studie met het grootste gewicht. Dit is ook de studie met de meeste data en op dat gebied dus de meest betrouwbare. In bovenstaand voorbeeld heeft de top een gewicht van 30 en vond die studie een effect van 0,8. Bij een groep van data waarbij het verantwoord is om een overkoepelend effect te berekenen, mag er slechts één top zijn. Deze top moet min of meer in het midden liggen. Indien de studies absoluut niet samengevoegd mogen worden, ontstaat er een brede band, en geen trechter. Indien de maatregel in bepaalde situaties een ander effect heeft, dan bekomen we een figuur met twee toppen (bimodaliteit). Bij publicatie bias ontbreekt meestal de rechterkant van de figuur: minder gunstige resultaten zijn weggelaten.


23

RA-2004-48

9.

MODULE: EINDE

9.1

Doel en werkwijze

Met de knop

kan men de CESaM applicatie afsluiten. Alle andere

Excel bestanden blijven geopend.


24

RA-2004-48

10.

HET

GEHEEL IS GROTER

DAN DE SOM VAN DE

DELEN

10.1

Samenwerken via CESaM

Een aantal gebruikers zullen resultaten vinden die interessant lijken, maar niet significant zijn. Of resultaten waarbij de vergelijkinggroep te klein is. Of de odds ratio’s die over heel de lijn afwijken van 1. Of berekeningen die vast lopen wegens problemen met overdispersie. Of …. Maar deze berekeningsapplicatie heeft als voordeel dat de verschillende gebruikers effectiviteiten berekend hebben op dezelfde methode. Bovendien laat de output eenvoudig toe om resultaten samen te voegen. De verschillende gebruikers kennen echter elkaar vaak niet. Het Steunpunt Verkeersveiligheid kan echter functioneren als een gemeenschappelijk aanspreekpunt. Resultaten over dezelfde maatregel die individueel niet significant waren, kunnen bij samenvoegen wel significant worden. Vergelijkingsgroepen voor een bepaalde maatregel die op zich te klein zijn, kunnen soms bij andere vergelijkingsgroepen voor dezelfde maatregel toegevoegd worden. Dit is natuurlijk al minder evident, en het veronderstelt dat er effectief samenspraak is tussen het Steunpunt en de andere betrokkene. Maar dat is ook de bedoeling. De onderzoekers van het Steunpunt zijn bereid om waar nodig naar diepere informatie te vragen en te zoeken, om de vergelijkbaarheid zo goed mogelijk te krijgen. Door het oprichten van dergelijk netwerk kunnen vragen van de verschillende betrokkenen aan elkaar doorgegeven worden, en de resultaten van de verschillende partners verbeteren het algemene beeld over de effectiviteit van de maatregelen. Het resultaat is een situatie waarbij alle partijen voordeel doen. Een eerste stap in deze richting is het onderzoek naar onbemande camera’s. De data van de lokale verkeerspolitie van Antwerpen zijn geanalyseerd in 2004. Het is de bedoeling om in 2005 analyses te doen van data van de lokale verkeerspolitie van GOAZ (GenkOpglabbeek-As-Zutendaal). Beide resultaten, op dezelfde manier verwerkt, zullen dan in een meta analyse samengevoegd worden en zo een algemener beeld geven, zonder dat de individuele feed-back verloren gaat. Contactadres is te vinden in hoofdstuk 11. 11.


25

RA-2004-48

11.

VERDERE

INFORMATIE

Bij problemen of verdere vragen kan U contact opnemen met: Frank Van Geirt:

[email protected] Tel 011/24.92.11

Erik Nuyts:

[email protected] Tel 011/24.92.13

Steunpunt Verkeersveiligheid Universitaire Campus, gebouw E 3590 Diepenbeek


26

RA-2004-48

12.

DANKBETUIGING

De applicatie CESaM is uitgewerkt door Provinciale Hogeschool Limburg en het Steunpunt Verkeersveiligheid, en is gefinancieerd door de het Ministerie van de Vlaamse Gemeenschap en de Vlaamse Stichting Verkeerskunde.


27

RA-2004-48

13.

LITERATUURLIJST

Elvik, R. (1997). Effects on Accidents of Automatic Speed Enforcement in Norway. Transportation Research Record: 1595, 14-19. Elvik, R., Amundsen, F.H. & Hofset, F. (2001). Road Safety Effects of Bypasses. Transportation Research Record: 1758, 13-20. Fleiss, J.L., Levin, B. & Paik, M.C. (2003). Statistical Methods for Rates and Proportions. Third Edition. John Wiley & Sons, New Jersey. Nuyts, E., Cuyvers, R. (2003). Effectiviteitsmeting bij Voor-Na studies met een vergelijkingsgroep. Steunpunt Verkeersveiligheid. Provinciale Hogeschool Limburg, Diepenbeek. RA-2003-22. Nuyts, E., (2004). Effectiviteit van onbemande camera’s. Een case study uit het stadsgewest Antwerpen. Steunpunt Verkeersveiligheid. Provinciale Hogeschool Limburg, Diepenbeek. RA-2004-XX. In revisie.


28

RA-2004-48

14.

BIJLAGE A

14.1

Probleemstelling: wanneer vervangen door welk getal?

Nullen in de dataset zijn relevant: het is realistisch dat er op bepaalde locaties geen ongevallen voorkomen. Deze nullen zijn dus een weergave van de werkelijkheid. Maar bij de berekeningen gaan er zaken fout als men deelt door nul. Dit moet opgevangen worden.

14.2 Plaatsen worden

in

de

berekening

waar

nullen

vervangen

Nullen worden niet vervangen tenzij om delen door nul te voorkomen. 14.2.1

Odds-ratio

Om na te gaan of de vergelijkingsgroep aangepast is aan de locatie met een maatregel wordt de odds-ratio berekend:

odds ratio 

Vergelijking 1

Lt

Lt  1  Lt * Vt  1 Vt Lt  1 * Vt Vt  1

Als Lt-1 of Vt gelijk is aan 0, wordt 0.5 toegevoegd aan alle vier de aantallen (Fleiss et al., 2003). Deze 0.5 is niet zomaar een getal. Haldane (1956, geciteerd in Fleiss et al., 2003) heeft aangetoond dat van alle mogelijke waarden van a, de keuze a=0.5 de vertekening van de schatting van de variantie (zie Vergelijking 3) de kleinste is. De toevoeging van 0.5 wordt nu b.v. algemeen gebruikt in de medische literatuur. 14.2.2

Effectiviteit

De berekening van de effectiviteit is opnieuw een ratio van twee breuken:

Lna EFF 

Vergelijking 2

Lvoor, regr gem Vna

Vvoor

De variantie van de logaritme van de effectiviteitindex, die we eveneens gebruiken in de berekening, is: Vergelijking 3

s² 

1 1 1 1    . Lna Lvoor, regr gem Vna Vvoor

S² wordt onberekenbaar als één van de vier getallen 0 is. Dus wordt, zowel voor de effectiviteitindex als voor de variantie van ln(EFF), 0.5 toegevoegd aan alle vier de aantallen indien één van de vier getallen 0 is (Fleiss et al., 2003; Elvik, 1997; Elvik et al, 2001).

14.2.3

Meta-analyse

Dezelfde redenering doet zich voor bij de berekening van de gewichten in een metaanalyse, waar het gewicht gelijk is aan 1/s² (zie Vergelijking 3).


29

RA-2004-48

Handleiding voor de Calculator for Effects of Safety Measures (Effectiviteitberekening)

Recommend Documents