rapport Governance rankings geanalyseerd Een overzicht van de meta-fiches

Governance rankings geanalyseerd Een overzicht van de meta-fiches

Annex > bij SBOV-rapport “Interna tionale vergelijkingen vergeleken: Een meta-analyse van rangschikkingen van publieke sectoren”

rapport > Maarten Luts, Wouter Van Dooren & Geert Bouckaert

> D/2008/10106/007 - Annex

Universiteit Antwerpen Onderzoeksgroep Management en Bestuur Prinsstraat 13B- 2000 Antwerpen Prof. dr. Ria Janvier Tel: 0032 3 204 10 50 Fax: 0032 3 204 10 80 [email protected] www.ua.ac.be/psw Hogeschool Gent Departement Handelswetenschappen en Bestuurskunde Voskenslaan 270B - 9000 Gent Prof. dr. Filip De Rynck Tel: 0032 9 242 42 07Fax: 0032 9 243 87 96 [email protected] Universiteit Gent Centrum voor Lokale Politiek Faculteit Politieke en Sociale Wetenschappen Universiteitstraat 8BB - 9000 Gent Prof. dr. Herwig Reynaert Tel: 0032 9 264.68.71 Fax: 0032 9 264.67.04 [email protected] www.CLP.UGent.be K.U.Leuven Instituut voor de Overheid Parkstraat 45 bus 3609 - 3000 Leuven Prof. dr. Annie Hondeghem Prof. dr. Geert Bouckaert (algemeen coördinator) Tel: 0032 16 32 32 70 Fax: 0032 16 32 32 67 [email protected] www.publicmanagementinstitute.be

Universiteit Hasselt SEIN, Instituut voor Gedragswetenschappen Agoralaan B-3590 Diepenbeek Prof. dr. Johan Ackaert Tel: 0032 11 26 86 74 Fax: 0032 11 26 86 79 [email protected] www.uhasselt.be/sein

Steunpunt beleidsrelevant onderzoek - bestuurlijke organisatie Vlaanderen Parkstraat 36 bus 3606 - B-3000 Leuven - België Tel: 0032 16 32 36 10 - Fax: 0032 16 32 36 11 - E-mail: [email protected] - URL: www.steunpuntbov.be D/2008/10106/007 - Annex © Steunpunt beleidsrelevant onderzoek - bestuurlijke organisatie Vlaanderen   Niets uit deze uitgave mag, zelfs gedeeltelijk, openbaar gemaakt worden, gereproduceerd, vertaald of aangepast, onder enige vorm ook, hierin begrepen fotokopie, microfilm, bandopname behoudens uitdrukkelijke en voorafgaande toestemming van de uitgever. Dit rapport vermeldt de mening van de auteur en niet deze van de Vlaamse overheid. De Vlaamse overheid kan niet aansprakelijk worden gesteld voor het gebruik dat wordt gemaakt van de in deze bekendmaking opgenomen gegevens.

Inleiding Deze afzonderlijke annex hoort bij het onderzoeksrapport 'Internationale vergelijkingen vergeleken: Een meta-analyse van rangschikkingen van publieke sectoren (Maarten Luts, Wouter Van Dooren en Geert Bouckaert, 2008)' dat de output vormt van het B-project 'Internationale vergelijkingen vergeleken' bij het tweede Steunpunt Bestuurlijke Organisatie Vlaanderen.

In die hoedanigheid maakt het deel uit van de empirische analyse die uitgevoerd werd op een selectie van internationale rangschikkingen van publieke sectoren, ook wel governance rankings genaamd. Aan de hand van een standaard analyseinstrument, de meta-fiche, hebben de auteurs in het empirische luik van het project een beschrijvende en beoordelende evaluatie opgemaakt van acht hoogaangeschreven governance rankings. We geven de lijst van de governance rankings uit onze selectie hier nog even mee.

− −

− − − − − −

The Worldwide Governance indicators (World Bank Institute) The World Competitiveness Yearbook (International Institute Management Development) The Global Competitiveness Index (World Economic Forum) The Corruption Perceptions Index (Transparency International) The Country Risk Briefing (Economist Intelligence Unit) The Country Policy and Institutional Assessments (World Bank) The International Country Risk Guide (PRS Group) The Public Sector Performance (European Central Bank)

for

Voor elk van deze acht governance rankings hebben we een beoordeling opgemaakt op basis van 33 kwaliteitscriteria, die verder onderverdeeld kunnen worden in 14 onderzoekscomponenten, die tot slot uitmonden in 3 kwaliteitsdimensies. We hebben daarbij elke ranking op drie verschillende niveaus trachten te evalueren. Ten eerste op rankingniveau, waarbij we een 1

doorlichting hebben gemaakt van de totaalrangschikking die op periodieke basis door de ranker in kwestie wordt geproduceerd. Voor de Public Sector Performance (European Central Bank) bijvoorbeeld, bespreken we daarbij de totale Public Sector Performance-meting die de landen te beurt valt. Ten tweede hebben we in de meta-fiches de component, de pijler of de indicator geanalyseerd, die als onderdeel van de meting van de publieke sector binnen elke ranking in een of andere hoedanigheid een quotering maakt van de prestaties van het overheidsapparaat (performantie, effectiviteit of efficiëntie). In het voorbeeld van de Public Sector Performance als governance ranking hebben we op dit niveau de meting van de 'Administrative Performance' doorgelicht, een van de zeven indicatoren onder de Public Sector Performance-score. Tot slot hebben we ten derde op een nog lager niveau ook elke basisvariabele (indicator) die onderdeel uitmaakt van de meting van de overheidsprestaties (performantie, effectiviteit of efficiëntie) beschreven en beoordeeld als onderdeel van de meting van het performantieniveau van het overheidsapparaat.

In wat volgt worden de governance ranking uit onze selectie een voor een besproken. In eerste instantie bieden we zicht op de meting van de werking van het overheidsapparaat, zoals het onderdeel uitmaakt van de geaggregeerde index die de basis vormt van de governance ranking. We beperken ons daarbij niet enkel tot het meegeven van het label dat door de producent aan deze meting gegeven wordt. Belangrijker nog dan dat, hebben we immers ook onderzocht welke componenten, factoren en indicatoren gebruikt worden om tot een meting van het performantieniveau van de overheid te komen. In tweede instantie geven we vervolgens een uitgewerkte versie van de meta-fiche, waarin deze meetmethode beschreven en beoordeeld wordt aan de hand van de 33 vooropgestelde kwaliteitscriteria.

2

Tabel 1: Meta-fiche van het World Competitiveness Yearbook (International Institute for Management Development): Government Efficiency Hoofdindicator

Dimensies

Componenten

Indicatoren

Government Efficiency Public finance Government budget surplus/deficit Government budget surplus/deficit Total general government debt Total general government debt Total general government debt - real growth Central government domestic debt Central government foreign debt Interest payment Management of public finances Total reserves General government expenditure Fiscal Policy Collected total tax revenues Collected personal income tax Collected corporate taxes Collected indirect tax revenues Collected capital and property taxes Collected social security contribution Effective personal income tax rate Corporate tax rate on profit Consumption tax rate Employee’s social security contribution rate Employer’s social security contribution rate Real personal taxes Real corporate taxes Tax evasion Institutional Framework Central Bank Real short-term interest rate Cost of capital Interest rate spread Country credit rating Central bank policy Exchange rate stability State Efficiency Policy direction of the government Legal and regulatory framework Adaptability of government policy Government decisions Political parties Transparency Public service Bureaucracy Bribing and corruption Business Legislation Openness Customs' authorities Protectionism Public sector contracts International transactions Foreign investors Capital markets Investment incentives Competition and Regulations Government subsidies Subsidies State ownership of enterprises Competition legislation Product and service legislation Price controls Parallel economy Regulation intensity Ease of doing business Creation of firms Start-up days Labor Regulations Labor regulations Unemployment legislation Immigration laws Societal Framework Justice Personal security and private property Risk of political instability Social cohesion Income distribution - lowest 20% Income distribution - highest 20% Discrimination Females in parliament Female positions Gender income ratio Harassment

3

Kwaliteitscriteria

Conceptuele dimensie

Ranking: The World Competitiveness Yearbook: De IMD Business School doet aan de hand van meer dan 300 criteria een meting van de competitiviteit van 55 landen. 246 criteria worden gebruikt ter aggregatie van één competitiviteitsindex die de positie van de landen op het vlak van de competitiviteit bepaalt. In vergelijking met andere soortgelijke indices, kiest IMD voor een groot aantal criteria en bijgevolg voor een kleiner aantal gecoverde landen. De opgenomen landen zijn bovendien zo goed als allemaal ontwikkelde/geïndustrialiseerde landen. Competitiviteit wordt door de producent omschreven als "de mate waarin een land het klimaat weet te scheppen en te onderhouden dat economische groei voor de bedrijven en welvaartsverhoging voor de bevolking met zich meebrengt".

4

Omschrijving/Definitie

Validiteit

De component die de overheidswerking onder de loep neemt, is 'Government efficiency' (naast Economic performance, Business efficiency en Infrastructure één van de vier subfactoren van competitiviteit). Er is geen werkdefinitie voorzien voor het concept 'government efficiency'. De inhoud dient afgeleid te worden uit de indicatoren die gebruikt worden voor de meting. De overheidsfinanciën, het belastingsbeleid, het institutionele kader, de bedrijfswetgeving en de samenlevenigssamenstelling vormen de variabelen onder deze component. Het gaat om een combinatie van objectieve en subjectieve variabelen. In de totale meting opteert de producent voornamelijk voor harde data om tot de index te komen. 2/3 van de gebruikte indicatoren (harde data) kwantificeren onderdelen van de competitiviteit. Deze data komen uit internationale, nationale en regionale bronnen die nationale statistieken opmaken. 1/3 van de indicatoren (zachte data) komen uit een survey, aangezien het hier gaat om competitiviteitsthema's die niet gemakkelijk te meten zijn (denk maar aan managementpraktijken, corruptie, levenskwaliteit, bureaucratie, e.a.). Deze data komen uit de Executive Opinion Survey die IMD uitvoert bij alumni en managers die nu aan het hoofd staan van een bedrijf in één van de geselecteerde landen (3.700 respondenten in totaal, 44 bedrijven voor België). 50 partnerinstellingen in de onderzochte landen brengen deze informatie aan en garanderen de betrouwbaarheid en relevantie ervan. Voor ons land gaat het om het het Verbond van Belgische Ondernemingen (VBO).

Conceptuele validiteit

Een goede overheid wordt door het Institute for Management and Development opgevat als een overheid die een gunstige omgeving weet te scheppen voor binnen- en buitenlandse bedrijven. De overheid moet er vooral voor zorgen zo min mogelijk hindernissen op te werpen voor de individuele bedrijven om op nationaal en internationaal vlak met elkaar te concurreren. De competitiviteitsindex mag dan wel voor 2/3 bestaan uit harde data, de ‘government effectiveness’ is voor 60% opgebouwd uit zachte, subjectieve indicatoren. De overheidsefficiëntie in een land is een moeilijk te kwantificeren concept, waardoor de component voor een groot deel gequoteerd wordt op basis van surveyvragen uit de Executive Opinion Survey. De representativiteit van de antwoorden moet echter genuanceerd worden aangezien het enkel om bedrijfsleiders gaat die ondervraagd werden. Daarenboven put IMD voornamelijk uit haar alumnibestand om respondenten te selecteren. Dat zorgt voor een bias, aangezien multinationals hierdoor sterk oververtegenwoordigd zijn. Ten slotte geeft het bijzonder lage aantal respondenten voor België (44) aan dat de resultaten met betrouwbaarheidsproblemen kampen. De indicatoren die aan de basis liggen van de competitiviteitsmeting worden op een overzichtelijke manier kenbaar gemaakt. De index is eveneens vrij beschikbaar online, de individuele scores, analyses en time series zijn echter enkel tegen betaling te raadplegen. Er is voorts geen theoretische onderbouw; geen governance theorie die aan de grondslag van de conceptuele keuzes ligt. Good governance komt overeen met het scheppen van een nationaal klimaat waarin bedrijven niet gehinderd worden in het vrij concurreren op nationaal en internationaal vlak. --> Dat 'nationaal klimaat' wordt op vier vlakken gemeten: - economic performance - government efficiency - business efficiency - infrastructure

Overheidsomschrijving

overheidsomschrijving

Aard van de indicator

Individuele/ Geaggregeerde indicator(en)

Een 'government' wordt immers aanzien als 'a national environment which enhances or hinders the ability of enterprises to compete domestically or internationally' en wordt ook dusdanig geoperationaliseerd. 'Government efficiency' wordt als een drijvende kracht achter een competitieve economie gezien. Dit concept wordt geconstrueerd aan de hand van vijf subcomponenten: - Public finance - Fiscal policy - Institutional framework - Business legislation - Societal framework De 'Government Efficiency'-component is een geaggregeerde variabele, die 71 individuele indicatoren onder zich telt. Deze individuele variabelen zijn verder gegroepeerd aan de hand van subcomponenten en factoren.

5

6

Significantieniveau (Statistische) revisie Aantal (onderliggende) bronnen

Betrouwbaarheidsmarge

Statistische kwaliteit Dataoorsprong

Technische dimensie

Observaties/ Datapunten

Objectieve/Subjectieve indicator(en)

Objectieve en subjectieve indicatoren: Het World Yearbook of Competitiveness bestaat voor 2/3 uit harde data en 1/3 uit zachte data. Dit is een bewuste keuze voor meer objectieve cijfers en meteen ook de reden waarom er 'slechts' 55 landen werden opgenomen in de rangschikking. IMD ziet in deze mix de ideale conceptuele validiteit: "Harde data analyseren competitiviteit zoals het gemeten wordt, terwijl zachte data competitiviteit meten zoals het ervaren wordt; samen levert dit een perfect beeld op van de algemene competitiviteit." De harde data komen van internationale, nationale en regionale organisaties en bronnen (o.a. OECD, World Bank, WTO, UNESCO, IMF en de 50 partnerinstellingen). De individuele bronnen worden echter niet per indicator vrijgegeven. De zachte data komen uit de zelf afgenomen Executive Opinion Survey bij 3.700 internationale bedrijfsleiders (de meeste alumni van de IMD Business School). Voor de 'Government Efficiency'-component geldt deze verdeling niet. Meer dan de helft van de indicatoren (38/71) die geaggregeerd worden in deze component zijn van subjectieve aard. Dit is een gevolg van het feit dat deze indicatoren vaak variabelen nagaan die moeilijk meetbaar/kwantificeerbaar zijn. 1 'IMD World Competitiveness Yearbook' Index per land 'Government Efficiency'-component 5 subcomponenten 8 factoren 71 indicatoren uitgevoerd in 55 landen Er worden geen significantieniveaus bekendgemaakt. Meetfouten worden dus niet expliciet in rekening gebracht.

Geen betrouwbaarheidsniveau weergegeven voor de surveydata. Betrouwbaarheid van vergelijkingen moeilijk in te schatten dus. Het kleine aantal respondenten voor België (44) doet echter een zwakke betrouwbaarheid. Er is geen één statistische onafhankelijke en officiële autoriteit ingesteld om de correctheid van de data en de statistieken na te gaan. IMD tracht op een andere manier wel de betrouwbaarheid van haar cijfers aan te tonen: "de samenwerking met 50 partnerinstellingen over de hele wereld helpt ervoor te zorgen dat de data zo betrouwbaar en relevant mogelijk zijn." Deze partners (zoals het VBO in België) worden geacht garant te staan voor de relevantie en betrouwbaarheid van de nationale statistieken die worden verstrekt (zowel harde als zachte data). De harde data komen uit verschillende externe internationale, nationale en regionale bronnen (voornamelijk de OECD, World Bank, WTO, UNESCO, IMF en de 50 partnerinstellingen). De zachte data daarentegen zijn van eigen hand; ze komen rechtstreeks uit de zelf afgenomen survey onder bedrijfsleiders: de Executive Opinion Survey onder -in totaal- 3.700 bedrijfsleiders.

Landensamenstelling

55 landen over de wereld; veelal (Westerse) geïndustrialiseerde landen, België incluis. Landen waar voldoende data voor beschikbaar zijn, worden opgenomen in de meting.

Regio's Periodiciteit van de publicatie Punctualiteit Beschikbaarheid en transparantie van de indicatoren/data

Databeschikbaarheid

Timeframe

Ontstaan

Analyse-eenheid

Er werden geen regio's in de databron opgenomen. Hoewel Taiwan en Hong Kong door de Verenigde Naties niet werden erkend als staat, zijn ze toch terug te vinden in de ranking. In het verleden, nl. 2003/2004/2005, werden regio's opgenomen in het World Competitiveness Yearbook. Zo staan onder andere Zhejiang, Bavaria, Catalonië, Ile-De-France, Schotland, Rhon-Alps, Maharashtra, Lambardije en Sao Paolo in de ranking van 2003 en 2004. Vlaanderen kreeg en krijgt geen plaats in de ranking. Een individueel rapport is mogelijk, bovendien erg kostelijk, maar zou geen deel uitmaken van het World Competitiveness Yearbook. Ontstaan in 1989, oorspronkelijk als partnerschap tussen de IMD en het WEF (World Economic Forum). Sindsdien een constante meting.

Jaarlijkse publicatie (in mei van elk jaar).

Beschikbaar in het jaar van onderzoek zelf. IMD gaat er prat op de eerste data als vroegste op de markt te brengen. In mei worden reeds de (onvolledige) resultaten van het jaar zelf gepubliceerd. Indicatorenniveau: De index/ranking van de landen is beschikbaar. De componenten en de subfactoren worden vrijgegeven. De lijst van alle 71 onderliggende criteria is ook beschikbaar, waaronder ook de opgenomen surveyvragen uit de Executive Opinion Survey. De databronnen voor de harde data worden niet tot op individueel indicatorenniveau bekendgemaakt. Dataniveau: De index/ranking van de landen is vrij beschikbaar online. Daarnaast is er een commerciële beschikbaarheid van scores op de vier componenten, alsook de subfactoren en de scores op de individuele harde criteria en de country-level gemiddelden van de antwoorden op de individuele surveyvragen Zekere beschikbaarheid van de indicatoren; het is duidelijk op welke basis de criteriascores worden gegeven en hoe een land aan een bepaalde indexscore en bijhorende ranking komt. --> overzichtelijke beschikbaarheid van indicatoren en variabelen. --> data zijn niet allemaal vrij beschikbaar --> theoretische onderbouw: geen governance theorie aan de grondslag van de conceptuele keuzes. Ook de gelijke weging, als de constructie van de index worden niet onderbouwd.

7

Toegang Aflaadbaar Leermogelijkheid Wegings-factoren Samplegrootte

Duurzaamheid 8

Index/ranking van de landen is vrij beschikbaar online. Ook de methodologie en de indicatoren zijn kosteloos te raadplegen. Daarnaast is er een commerciële beschikbaarheid voorzien van de individuele scores op de vier componenten, alsook de subfactoren en de scores op de individuele harde criteria en de country-level gemiddelden van de antwoorden op de individuele surveyvragen. Prijs: jaarlijks 3.656 euro voor een volledige toegang per jaar. Ja, mogelijkheid om data in Excel af te laden. Mogelijkheid wordt geboden om met de data te werken door o.a. andere wegingsfactoren te gebruiken of slechts met een selectie van de criteria of de landen te werken. Zo kan een klantgerichte nieuwe rangschikking opgemaakt worden, 'My Ranking' genaamd. Leereffecten zijn beperkt: De onduidelijke mix van harde en zachte data in één ranking is moeilijk te interpreteren. De data worden niet vrij beschikbaar gesteld. Bovendien zijn de respondenten die het zachte deel van de data uitmaken geen doorsnee van de bevolking, maar enkel behorend tot de toplaag van de economie. Het aantal respondenten is erg gering. Aan de andere kant worden leereffecten vergemakkelijkt door te werken met customized rankings (waarbij de consument zijn eigen ranking kan samenstellen aan de hand van zelfgekozen criteria, wegingsfactoren, landenselectie en tijdspanne). Ook de diepteanalyses in de country profiles (algemene performantie-indicatoren, uitdagingen, positieve en negatieve punten, vorderingen en achteruitgang en relevante vergelijkingen), reiken de consument een reeks mogelijkheden om een degelijke analyse te maken van (de competitiviteit van) een land. Zelf stelt IMD het: "Hoe een score verbeteren? Men moet de specifieke omgeving, het waardesysteem en cultureel erfgoed van een land in overweging nemen om voor een land uit te maken wat aanvaardbaar is en wat niet en om de juiste beleidsconclusies te trekken teneinde de economie te versterken." De competitiviteitsindex is opgesplitst in 4 domeinen, die elk onderverdeeld zijn in 5 subfactoren. Elke subfactor, onafhankelijk van het aantal criteria dat er onder valt, krijgt een vaste weging mee van 5%. Deze gelijke weging wordt echter niet onderbouwd en is niet zo vrijblijvend als ze doet vermoeden. Een gelijke weging is immers een (normatieve) keuze. Elke component wordt hierin evenwaardig geapprecieerd. (Licht) stijgende landensamenstelling: 46 (1996) 46 (1998) 49 (2000) 49 (2002) 51 (2003) 51 (2004) 51 (2005) 53 (2006) 55 (2007) Het aantal landen is eerder beperkt door het feit dat de rangschikking voor 2/3 gebaseerd is op harde data. Deze objectieve cijfers zijn echter maar voor een beperkt aantal landen vrij en betrouwbaar te verkrijgen, waardoor IMD ervoor kiest slechts deze landen mee op te nemen in de competitiviteitsmeting.

Model Berekeningsmethode Consistentie Aard van respondenten Bias(es) Onderbouwde respondentenkeuze

Survey-eigenschappen

Er werden enkele methodologische veranderingen doorgevoerd in de laatste jaren. Hierdoor is het moeilijk om een vergelijking over de jaren te maken. Ook de constante wijziging van de landensamenstelling, zorgt ervoor dat de positie van een land enkel relatief te benaderen is. Een stijging of daling van de score kan immers net zo goed het gevolg zijn van het toevoegen of wegvallen van een land in de ranking. De 'Government Efficiency'-component vormt een aggregatie van 71 onderliggende indicatoren, die onderverdeeld zijn in 5 subcomponenten. De subcomponenten hebben elk een aandeel van 0,2 in de componentenscore, de component kent een weging van 0,25 in de overall score. Over de berekening van de harde data wordt geen verdere informatie vrijgegeven. De zachte data worden van een 0-6-schaal naar een 0-10verdeling getransformeerd. De gemiddelde score van alle vragen wordt hiervoor gebruikt als input. Geen informatie

Bedrijfsleiders van alle soorten over de wereld. Het gaat om executives die hun basis hebben in één van de onderzochte landen zelf. IMD stemt zelf dat de landensamples steeds representatief zijn voor de bedrijfssamenstelling van het land. Dit moet verzekerd worden door de partnerinstellingen in de verschillende landen die toezien op onder andere deze representativiteit. In de praktijk zijn de respondenten echter voor een groot deel alumni van de IMD Business School en kennen ze een oververtegenwoordiging van multinationals. De grootte van de samples is evenredig met het GDP. Dit komt echter neer op een gering aantal van 44 respondenten in België. Economische bias: Enkel personen uit de bedrijfswereld worden bevraagd (bedrijfsleiders). Daarenboven is het grootste deel van de respondenten alumnus van de IMD Business School, een reëel gevaar op non-representativiteit dus. Oververtegenwoordiging van multinationals en grote bedrijven. De producent, IMD, argumenteert dat de bias/subjectiviteit van de surveyantwoorden beperkt blijft door de rijke internationale ervaring die de bedrijfsleiders bezitten. Hierdoor getuigen hun evaluaties van een goede inschatting en kennis van het bedrijfsklimaat waarin ze moeten opereren. Niettemin geeft IMD toe dat deze surveydata meer volatiel zijn dan de harde data. Ze worden immers meer beïnvloed door culturele of sociale waarden of traditioneel erfgoed. IMD kiest er echter bewust voor deze bias niet te proberen corrigeren, aangezien ze geloven "dat de remedie wel eens slechter zou kunnen uitdraaien dan het probleem". Opportunistische oplossing om IMD alumni te nemen. De overige bedrijven worden aangereikt door de partnerinstelling in het land van onderzoek. Voor België is dat het Verbond van Belgische Ondernemingen.

9

Aantal respondenten Aard van vragen Aard producent Invalshoek

Producent Visie

Het aantal bedrijven per land, wordt niet vrijgegeven. Voor België ligt dat aantal op 44. De indicatoren zijn over het algemeen goed omschreven. De vragen uit de Executive Opinion Survey houden het midden tussen concrete en vage bewoordingen.

Institute for Management and Development: Een onafhankelijke non-profit organisatie; tevens een onderwijs- en onderzoeksinstelling (Lausanne, Zwitserland).

Economische invalshoek: minimalistisch opvatting van de overheid. De voornaamste taak van de overheid bestaat er in bedrijven de welvaart laten verhogen en trachten niet in de weg te lopen van de economie.

Doelstelling(en)

Doelstelling(en) Doelgroep

De ranking wordt omschreven als een tool dat door managers en beleidsmakers kan gebruikt worden bij het evalueren van het ondernemingsklimaat van een land, bij het ondersteunen van internationale investeringsbeslissingen of het meten van de impact van bepaalde beleidsbeslissingen.

User(s)

Politiek-administratieve dimensie 10

3.700 bedrijfsleiders (respons rate van tussen de 10 en 15%) worden opgenomen in de Executive Opinion Survey, in elk land een representatief staal van de bedrijfswereld in dat land (zowel binnenlandse als buitenlandse firma's). De grootte van de sample van de landen is in overeenstemming met met hun GDP. Bovendien worden er quota's voorzien zodat elke sector (primaire secundaire en tertiaire sector) een correcte vertegenwoordiging kennen. Er is geen representativiteit van kleine en grote bedrijven, wat de facto leidt tot een oververtegenwoordiging van multinationals.

Samengevat: Voor de bedrijfswereld: Om het economische klimaat in een land na te gaan; om investeringsplannen en vestigingsoverwegingen te maken. Voor de beleidsmakers: Om beleidsprestaties te benchmarken en na te gaan hoe andere landen het er vanaf brengen. Voor de academische wereld: Om te begrijpen en te analyseren hoe landen (en niet enkel bedrijven) concurreren in een wereldeconomie. De rangschikking wordt voornamelijk geconsumeerd door bedrijfsleiders, en pas in tweede instantie door overheden en academici. In totaal zijn ongeveer 3.000 klanten geabonneerd op dit product.

Tabel 2: Meta-fiche van de Worldwide Governance Indicators (World Bank Institute): Government Effectiveness Worldwide Governance Indicators: Government Effectiveness Government Effectiveness Risk

Operations Risk Index: Bureaucratic delays

Domestic Political Risk: Government Instability Domestic Political Risk: Government Ineffectiveness Domestic Political Risk: Institutional Failure Quality of bureaucracy / institutional effectiveness Excessive bureaucracy / red tape Bureaucracy Bureaucratic Quality. Measures institutional strength and quality of the civil service, assess how much strength and expertise bureaucrats have and how able they are to manage political alternations without drastic interruptions in government services, or policy changes. Good performers have somewhat autonomous bureaucracies, free from political pressures, and an established mechanism for recruitment and training. Bureaucracy : An assessment of the quality of the country’s bureaucracy. The better the bureaucracy the quicker decisions are made and the more easily foreign investors can go about their business. Policy consistency and forward planning How confident businesses can be of the continuity of economic policy stance - whether a change of government will entail major policy disruption, and whether the current government has pursued a coherent strategy. This factor also looks at the extent to which policy-making is far-sighted, or conversely aimed at shortterm economic advantage. Based on your experiences, how easy or difficult is it to obtain household services (like piped water, electricity or telephone)? Based on your experiences, how easy or difficult is it to obtain an identity document (such as birth certificate, driver's license or passport)? Government handling of health services government handling of education system How problematic are telecommunications for the growth of your business How problematic is electricity for the growth of your business. How problematic is transportation for the growth of your business. Competence of public sector personnel Quality of general infrastructure Quality of public schools Time spent by senior management dealing with government officials Wasteful government expenditure Satisfaction with public transportation system Satisfaction with roads and highways Satisfaction with education system Trust in government Government economic policies do not adapt quickly to changes in the economy The public service is not independent from political interference Government decisions are not effectively implemented Bureaucracy hinders business activity The distribution infrastructure of goods and services is generally inefficient Policy direction is not consistent Consensus Building (MI) Governance Capability (MI) Effective Use of Resources (MI) Global E-governance Index Policies to improve efficiency of public sector Budget Management Efficiency of Public Expenditures Management of public debt Competence of civil service Budget Management Efficiency of Public Expenditures Management of public debt Allocation & management of public resources for rural development Management of external debt Quality public administration Budget Management Efficiency of revenue mobilization / public expenditures

11

Kwaliteitscriteria


Ranking: The Worldwide Governance Indicators rapporteren en rangschikken geaggregeerde, alsook individuele governance indicatoren voor 212 landen gedurende de periode 1996-2006. De landen worden dus beoordeeld op 6 ‘uitverkoren dimensies’ van governance:

12


Validiteit

De component 'Government effectiveness' is één van de zes World Wide Governance Indicators. De producent omschrijft het als "de ruimte die de overheid krijgt om op een efficiënte manier goede beleidslijnen te formuleren en uit te voeren". 'Government Effectiveness' wordt immers als een cruciaal onderdeel van goed bestuur aanzien door het World Bank Institute. De 'Government effectiveness' component van de WGI wordt berekend aan de hand van louter subjectieve indicatoren. De 'Government effectiveness' wordt door het World Bank Institute vastgesteld aan de hand van 49 verschillende indicatoren, die verzameld werden uit 18 diverse databronnen. Zo worden de meningen gecombineerd van een groot aantal respondenten uit bedrijfs-, bevolkings en expertensurveys. De individuele databronnen die aan de basis liggen van de geaggregeerde indicatoren zijn van diverse oorsprong; onderzoeksinstellingen, denktanken, NGO’s en internationale organisaties.

De zes componenten van de Worldwide Governance Indicators zijn echter zwak en vaag gedefinieerd en hun omschrijving komt niet voort uit een onderliggende theorie over governance. Dit alles wijst op een uiterst gebrekkige transparantie. Er wordt ook een omgekeerde zingeving gebruikt: de surveys en expert assessments, kortom de onderliggende primaire databronnen, geven inhoud aan de WGI. Aangezien de primaire bronnen variëren per land, verschilt de betekenis van de scores dus tussen de landen en over de jaren heen. Hierdoor worden appelen en peren met elkaar vergeleken. Bovendien wordt niet governance, maar de governanceinschatting door de WGI gemeten. Stuk voor stuk komen de data immers voort uit subjectieve indicatoren, die een bevraging doen bij diverse stakeholders. Het gebruik van dergelijke subjectieve indicatoren vergroot het risico dat niet governance, maar het governance-imago van een land wordt weergegeven in de score. Er is geen onderliggende theorie van governance die duidelijk maakt waarom net deze zes componenten als WGI worden gekozen, waarom net deze 33 databronnen werden uitverkoren en waarom bepaalde indicatoren wel en andere niet werden geselecteerd.


In tegenstelling tot de claim die het World Bank Institute legt op het gebruik van bevolkingsbevragingen in de totstandkoming van de WGI, wijzen de feiten uit dat de data vooral gestoeld zijn op de visie van respondenten uit de economische wereld. De data die –rechtstreeks of onrechtstreeks- de visie van de private sector vertegenwoordigen, zijn sterk oververtegenwoordigd. De 'Government Effectiveness'-component bestaat uit een samenrapen van indicatoren uit 18 onderliggende databronnen. De producent laat na aan te geven op basis waarvan de indicatoren zijn geselecteerd. Er mag dan wel een grote beschikbaarheid zijn van indicatoren, methodologie en data, er is weinig of geen theoretische onderbouwing voorzien van de conceptuele keuzes die gemaakt worden. De grote hoeveelheid en diversiteit van indicatoren en onderliggende databronnen zorgt ook voor een conceptuele chaos. Het is voor de gebruiker nog moeilijk te begrijpen wat nu in feite door de WGI gemeten wordt.

13

14

overheidsomschrijving Individuele/Geaggregeerde indicator(en)



Governance: "de tradities en instellingen op basis waarvan de macht in een land wordt uitgeoefend. Dit houdt onder meer het systeem in waarop regeringen verkozen, gecontroleerd en vervangen worden; de ruimte die de overheid krijgt om op een efficiënte manier goede beleidslijnen te formuleren en uit te voeren; en het respect die de burger en de staat opbrengen voor de instellingen die de economische en sociale interactie tussen beide in goede banen moeten leiden.” Good governance: "Bestuur dat gekenmerkt wordt door voorspelbare, transparante en onderbouwde beleidsvoering; een administratie doordrongen van professioneel ethos; een uitvoerende tak van de overheid die verantwoordelijk is voor haar daden; een sterke civil society die deelneemt aan het openbare leven; en dit alles onder een rule of law." Government effectiveness: "De ruimte die de overheid krijgt om op een efficiënte manier goede beleidsbeslissingen te formuleren en uit te voeren". Geaggregeerde component: De 'Government effectiveness'-component is één van de zes Worldwide Governance Indicators. De score is een aggregatie van 49 onderliggende indicatoren, die afkomstig zijn uit 18 verschillende databronnen. Voordeel: - "Een voordeel van de geaggregeerde indicatoren is het feit dat ze ons toelaten een diverse waaier aan informatie, die voor elk land beschikbaar is, op een compacte manier samen te vatten en op die manier vergelijkingen tussen landen en over de tijd heen te maken." - Bredere country coverage mogelijk. - 'Averaging out' en bijgevolg reduceren van meetfouten. - Mogelijkheid om betrouwbaarheidsmarges te construeren. Nadeel: - Door te veel informatie in één score te willen steken, rijst er een probleem van complexiteit: Het aantal en de diversiteit van indicatoren, geproduceerd en geconceptualiseerd door anderen, maken het uiterst moeilijk, zoniet onmogelijk voor de users om een score van een land correct te interpreteren. - Moeilijk in te schatten wat het effect zal zijn van hervormingen in een bepaald domein voor de totale geaggregeerde governance score van dat land.

Nadeel: - Wordt een reële situatie beoordeeld of een imago? - Invloed van waarden- en normensystemen alsook crisismomenten, culturele en sociale achtergrondeffecten. - Groter risico op biases. - Oververtegenwoordiging van de economische wereld. 212 landen opgenomen in de ranking. 18 databronnen worden gebruikt voor de samenstelling van deze component. 18 organisaties liggen aan de basis van het verzamelde cijfermateriaal. 49 individuele variabelen (surveyvragen en indicatoren) worden geaggregeerd tot de totale score van Government effectiveness. Margins of error worden aan een significantieniveau van .90 berekend. Is een van de enige governance rankings die een significantieniveau invoert waardoor (een deel van) de meetfouten in rekening worden gebracht. Expliciete vermelding (samen met Transparency International's Corruption Perceptions Index, de enige governance ranking die er gewag van maakt). "Deze betrouwbaarheidsintervals geven de range aan waarin het voor 90% zeker is dat de 'ware governance score' valt." De standard error voor de Government Effectivenesscomponent bedraagt 0,22. Geen officiële onafhankelijke statistische revisie.

Aantal (onderliggende) bronnen

(Statistische) revisie


Voordeel: - De percepties hebben geen last van een 'time lag' die er soms wel is bij objectieve indicatoren. - Meer landen in de ranking opgenomen. - Meten moeilijk meetbare concepten binnen het governancedomein.

18 databronnen liggen aan de basis van de data gebruikt voor de Government effectiveness-score Deze data zijn afkomstig van 18 verschillende organisaties. Het aantal bronnen per land varieert van 8 tot 13 (in 1996 was dat nog een verhouding van 3 tot 6).

212 landen en (autonome) regio's. Landensamenstelling

Statistische kwaliteit Dataoorsprong Analyseeenheid

Technische dimensie

Significantieniveau


Objectieve/Subjectieve indicator(en)

Subjectief/perceptions-based: Meet de percepties van Government effectiveness van diverse stakeholders. The World Bank Institute kan hierdoor een dergelijk groot aantal landen opnemen in de ranking.

15

Regio's Punctualiteit

Timeframe

Periodiciteit van de publicatie

Ontstaan

Tussen de 212 gecoverde landen, zitten ook een aantal nietonafhankelijke staten: Puerto Rico, Hong Kong, West Bank/Gaza, Martinique, Frans Gyana + een aantal kleine onafhankelijke entiteiten: Monaco, San Marino en Andorra. Regio's of deelstaten vinden geen afzonderlijke plaats in deze ranking. Vlaanderen krijgt dan ook geen plaats in deze ranking. Eerste publicatie: 1996.

1996-2000: tweejaarlijks 2002-2006: jaarlijks dus: 1996-1998-2000-2002-2003-2004-2005-2006 (#8) De World Governance Indicators 2006 werden gepubliceerd in juli 2007 (onderliggende databronnen meestal van 2006, soms van 2005).

Veel informatie, weinig transparantie.

16

Beschikbaarheid en transparantie van de indicatoren/data

Databeschikbaarheid

Laatste publicatie, 'Governance Matters VI' bevat een annex waarin alle onderliggende databronnen met respectievelijke indicatoren en gebruikte variabelen (vragen) worden vrijgegeven. Veel informatie. De transparantie is duidelijk de hoogte in gegaan in vergelijking met enkele jaren terug. De aanhoudende kritiek van buitenaf heeft de World Bank ertoe aangezet individuele data en methodologie kenbaar te maken. Indicatorenniveau: Governance-ranking (één Gov-score): onbestaande Governance Indicator (component): ja Databron: ja Variabelen/indicatoren: ja Dataniveau: Governance-ranking (één Gov-score): niet van toepassing Governance Indicator (component): ja + margin of error Databron: ja, één genormaliseerde score per databron per land Variabelen/indicatoren: nee gewichten: nee Transparantie: gebrekkig --> hoge mate van complexiteit; de hoeveelheid en diversiteit van databronnen/indicatoren zorgen voor een moeilijke interpretatie, vage concepten --> gebrek aan reproduceerbaarheid; scores voor de individuele indicatoren, noch wegingsfactoren worden meegegeven --> theoretische onderbouw: geen governance theorie aan de grondslag van de conceptuele keuzes

Toegang Aflaadbaar Leermogelijkheid Wegingsfactoren

Duurzaamheid

World Governance Indicators: Op geaggregeerd niveau volledig beschikbaar, kosteloos te raadplegen. Genormaliseerde scores van onderliggende datasets worden per land, per WGI in bijlage gedetailleerd en overzichtelijk weergegeven. Op de website worden ook de genormaliseerde scores per databron, per land gedetailleerd en overzichtelijk weggegeven; uitzonderingen (3); World Bank’s Country Policy and Institutional Assessment (CPIA), The African Development Bank’s CPIA en The Asian Development Bank’s CPIA. Deze databronnen hebben een beperktere toegang. De mogelijkheid is voorzien om de ruwe data af te laden in Microsoft Excel: Governance Score (Governance Indicator), onderliggende dataset (genormaliseerde score). Individuele indicatoren niet; doorverwijzing website databron (verder afhankelijk van de databron). De leermogelijkheden zijn beperkt. De producent, het World Bank Institute, moet schoorvoetend toegeven dat de relevantie van de WGI eerder beperkt is voor concrete beleidsvoering. "The aggregate indicators can in some circumstances be a rather blunt tool for policy advice at the country level. We expect that the provision of the underlying data will help users in identifying - and acting upon - more specific aspects of governance that may be problematic in a given country." De leereffecten worden beperkt door: - Het niet vrijgeven van de datascores op de verschillende individuele indicatoren. - De problematische vergelijkingen tussen veel landen wegens de verschillende bronnensamenstelling (is afhankelijk van de beschikbaarheid). - Moeilijke vergelijkbaarheid over de jaren heen vanwege de verschillende landensamenstelling (afhankelijk van de beschikbaarheid). - Relatief grote margins of error die het aantal zinvolle vergelijkingen vermindert (tot minder dan 50% significante vergelijkingen). - Het ontbreken van 'actionable' indicatoren; het is niet duidelijk hoe scores te verbeteren zijn? Over de jaren heen een relatief consistente weging aangehouden. WGI gebruikt precisieweging, WGI met precisieweging versus gesimuleerde WGI met gelijke weging levert een correlatie van 0.99 op. (voordeel van precisieweging: levert veel kleinere margins of error op). Uit een onderzoek van de auteurs van de WGI zelf, blijkt dat de scores redelijk onafhankelijk zijn van het wegingsschema. Problematisch is wel dat voor elk ander land een andere weging wordt toegepast (afhankelijk van het aantal bronnen, dat deel uitmaakt van de WGI van het land), wat de vergelijkbaarheid verder aantast.

17

Samplegrootte Model Berekeningsmethode Consistentie

18

Stijgende landensamenstelling: 194 (1996) 199 (1998) 202 (2000) 202 (2002) 203 (2003) 210 (2004) 210 (2005) 212 (2006) Het model heeft door de jaren heen enkele aanpassingen gekregen; in concreto zijn er databronnen bijgekomen en afgevallen. Ook de landensamenstelling is geëvolueerd, wat eveneens een invloed op de berekeningsmethode heeft gehad. Een wijziging van een landscore over de jaren heen kan dus even goed te wijten zijn aan het toevoegen van een nieuw land aan de ranking of een wijziging van de methodologie. Per land worden de WGI berekend op basis van de beschikbare scores op de indicatoren van de aangewezen onderliggende databronnen. De onderliggende scores worden per databron genormaliseerd en via het wegingsschema 'unobserved components model' omgerekend tot één WGI-score (per component) Unobserved Components Model --> wegingsfactoren op basis van de precisie van de databron Het idee hierachter: de auteurs geloven dat de governance score van elke onderliggende primaire databron voor een land een 'unobserved' signaal van 'true governance' in dat land is, en dat hoe meer die score correleert met de meerderheid van de scores, hoe beter ze overeenstemt met een meting van 'true governance' en hoe groter het gewicht van die databron bijgevolg moet zijn. reliability of measures (the prospect that the same data collection process would always produce the same data): Gebrek aan reproduceerbaarheid van de data ('reproducibility'): Het is praktisch onmogelijk om de scores te herberekenen en zo de consistentie na te gaan. De scores van de individuele indicatoren van de onderliggende databronnen worden immers niet vrijgegeven door de WBI. De WBI geeft bovendien enkel de algemene score per databron in herschaalde vorm mee. Ook de wegingsfactoren worden niet individueel vrijgegeven.

De producenten van de onderliggende databronnen, worden door het World Bank Institute onderverdeeld in vier categorieën van 'data-providers' Commercial Business Information Providers: aandeel in de bronnen: 0.46 aandeel in de gewichten: 0.65 Surveys of firms or households aandeel in de bronnen: 0.20 aandeel in de gewichten: 0.12

Public Sector Data Providers: aandeel in de bronnen: 0.27 aandeel in de gewichten: 0.14 Aard van respondenten


Non-governmental Organisation Providers: aandeel in de bronnen: 0.17 aandeel in de gewichten: 0.09

Let vooral op het grote gewicht dat expert assessments en firm surveys (samen de private sectorvisie) innemen in vergelijking met household surveys, die in tegenstelling tot wat de WGI probeert hoog te houden een marginaal aandeel krijgen toegewezen! Verder geen bijkomende informatie meegegeven betreffende representativiteit van de respondenten. Ook geen informatie over de keuze voor deze of gene databron of respondentenaandeel.

19

Subjectieve indicatoren: meten een perceptie en zijn dus mogelijks beïnvloed(baar) door het imago van een land of andere biases

Aard van vragen

Aantal respondenten

Onderbouwde respondentenkeuze

Bias(es)

Bias in de richting van business elite: Van de 18 gebruikte databronnen zijn er 6 'commercial business information providers' (aka risk rating agencies, met als voorname klanten zakenlui) en 6 cross-country surveys bij bedrijven (BPS, GCS, PRC en WCY). Totaal van 12 dus. Hoewel de commercial business information providers 'slechts' een relatief aandeel van 0,46 hebben in de gebruikte databronnen, krijgen ze een weging van 0,65 bij de berekening van de aggregate indicators. Van de 1.845 country level data points voor de Government effectiveness-component komt bijna de helft van 'commercial business information providers'. De surveys of firms gelden voor een aandeel van 0,20 in de gewichten. Deze dataverstrekkers rapporteren immers typisch voor veel grotere landensamples dan andere surveys, hebben grotere budgetten voor hun datavergaring en zijn gemakkelijker in de uitvoering. Bovendien zorgt het aggregatieproces dat de WGI hanteert er nog eens extra voor dat deze bronnen aan invloed winnen. (structurele en methodologische oorzaak) --> bias in de richting van de private sector en een vermoedelijke overrepresentatie van mannen (economische wereld) --> vooral pro-markt, pro-liberalisering

20

Ook andere biases worden in vele kritieke aangehaald. Vooral het feit dat de WGI gestoeld zijn op diverse andere databronnen, die hun eigen - vaak onduidelijk en verborgen - biases kennen, zorgt ervoor dat het voor gebruikers haast onmogelijk is deze vooringenomenheden duidelijk te onderscheiden en in rekening te brengen. Zo worden onder andere milieubeschermende maatregelen en arbeidsrechten steevast als negatief voor de markt gezien door vele raters. Of je hier akkoord mee gaat is nog betwistbaar, maar feit is dat deze biases aan het oog van vele users voorbijgaan. Geen informatie meegedeeld betreffende de representativiteit van de respondenten. Ook geen informatie over de keuze voor deze of gene databron.

Geen informatie over vrijgegeven. Het gaat immers over 18 verschillende onderliggende databronnen die hun eigen surveys hebben gebruikt.

8 surveys: zowel vaag als concreet geconstrueerde surveyvragen (meestal met een puntenschaal). Afhankelijk van de databron die aan de basis ligt van de indicator.

Aard producent

Producent

Invalshoek

Visie

Beleidsvisie van ontwikkelingsexperten Een governance-pijler vormen naast de exclusief-economische indicatoren (maar pas op: private sector bias duidelijk aanwezig) Doel: 1. versterken van governance 2. ontwikkelingshulp gewetensvol alloceren Beleidsincentief: De governance in de landen proberen te verbeteren via de bekendmaking van de prestatiecijfers ('naming and shaming' & 'horse races'). Beleidsinstrument: Als informatie-instrument bij de allocatie ontwikkelingshulp (niet door de World Bank zelf (CPIA), wel o.a. door de US (MCC)). Verhogen transparantie en accountability donoren: Een rechtmatiging van de toegewezen steun creëren en zo de transparantie en accountability van nationale en multilaterale steuntoewijzing te verbeteren. Doelstelling(en)

Doelstelling(en)

Politiek-admini-stratieve dimensie

The World Bank Institute: 'The capacity development arm' van de World Bank, een multilaterale financiële instelling Nota Bene: "De WGIs, die een product zijn van decennialang onderzoekswerk, zijn geen officiële World Bank Ranking en komen dus niet noodzakelijk overeen met de officiële standpunten van de Bank."

Onderzoeksinput: Als input bij wetenschappelijk kwantitatief onderzoek. Media-input: Als basisonderdeel voor de pers die de performantie van een land willen duiden (horse races).

21

De World Bank Institute stelt: "Naast de Amerikaanse overheid (MCA), steunen ook veel andere donor-regeringen, zoals de Nederlandse, op de WGI om de kwaliteit van de 'governance' in de hulpontvangende landen in kaart te brengen. Ook risk rating agencies en NGO's maken er gebruik van." En verder: "WBI programma's zijn gericht op gebruikers zoals overheidsofficials, beleidsmakers, stafleden van nietgouvernementele organisaties, journalisten, academici en andere ontwikkelingsspecialisten, net zoals middelbare schoolleerkrachten en studenten, andere jeugdorganisaties en de World Bank staff zelf" Investeerders: De Internationale investeerders gebruiken de WGI als back-up voor hun traditionele macro-economische country-risk indicatoren, die in het verleden kostelijke financiële crisissen niet hebben kunnen voorspellen. In deze functie worden de scores gebruikt bij het afwegen van investeringsbeslissingen in het buitenland. Donoren: Donorlanden of -organisaties hopen er de ontwikkelingslanden mee te identificeren en te belonen, die hun governance systematisch (en relatief) verbeteren. Organisaties en agentschappen: Deze instellingen hanteren de WGI om de transparantie en consistentie te verbeteren in hun criteria bij het bepalen van geschiktheid van een land voor het verkrijgen van ontwikkelingshulp. Analisten: Deze specialisten gebruiken de WGI in hun kwantitatieve Governance-studies.

22

Doelgroep

User(s)

Journalisten: De pers en de media hunkeren naar WGI, en andere Governance Rankings, om te rapporteren in termen van ‘horse races’ tussen landen. Promotie governance: Ontwikkelingslanden, business associatons, NGO's en andere stakeholders hopen er - rechtsreeks en onrechtstreeks - de lokale governance mee vooruit te helpen (hoewel de WGI hier niet geschikt voor zijn).

Tabel 3: Meta-fiche van de Country Risk Briefing (Economist Intelligence Unit): Government Effectiveness Risk Hoofdindicator prestatievermogen van de overheid Government Effectiveness Risk

Indicatoren Policy formulation Quality of bureaucracy Excessive bureaucracy/red-tape Vested interests/cronyism Corruption Accountability of public officials Human rights

23

Kwaliteitscriteria De Country Risk Briefing van the Economist Intelligence Unit doet een uitgebreide vaststelling en een twee-jaar-voorspelling van diverse risicofactoren in 150 landen. De nadruk van de meting ligt op het kwantificeren van risico's voor bedrijven die zich in het buitenland (willen) vestigen. Op die manier tracht EIU commerciële bankiers, institutionele investeerders en bedrijfsleiders die investeren in zowel ontwikkelingslanden als ontwikkelde landen, economisch, financieel en politiek advies te verlenen. De overall score staat voor het algemene 'operating risk'.


De Country Risk Briefing voorziet in een diepte- en periodieke analyse van de risico's in 150 landen. Aan de hand van tien componenten en in totaal 66 indicatoren krijgt elk onderzocht land een risicoscore opgeplakt. Oorspronkelijk was de kredietwaardigheid en economische en financiële stabiliteit in ontwikkelingslanden de belangrijkste focus. Maar door de grote mondiale vraag zijn de laatste jaren ook veel Westerse landen aan de landenlijst toegevoegd.

24


Validiteit

De component die de overheidswerking onder de loep neemt, is 'government effectiveness': naast veiligheid, politieke stabiliteit, wettelijk en reguleringskader, macro-economie, buitenlandse handel en financiën, financiële markt, belastingsbeleid, infrastructuur en arbeidsmarkt één van de tien componenten die de producent opneemt in de meting van het 'operating risk' in de verschillende landen. Het gaat om een subjectieve inschatting van in-house experten. Onder government effectiveness, de effectiviteit van de overheid, vallen zeven indicatoren. Ten eerste wordt het overheidsbeleid ten aanzien van nationale en internationale bedrijven getoetst. Een liberale koers staat daarbij voorop. Ten tweede wordt de kwaliteit van de bureaucratie nagegaan. Onder andere de competentie, de werkijver en de verloning worden hierbij in rekening gebracht. Ten derde wordt red tape gemeten. Hier wordt een inschatting gedaan van de belemmerende werking van de bureaucratie. Ten vierde wordt vriendjespolitiek beoordeeld. De mate waarin gevestigde waarden en cronyisme het besluitvormingsproces in private en publieke sector verstoren, vormt de kern van deze meting. Ten vijfde wordt de corruptie onder de loep genomen. De corruptie onder overheidsfunctionarissen speelt hierbij een centrale rol. Ten zesde voert men een onderzoek uit naar de verantwoordingsmogelijkheden bij het overheidspersoneel. De accountability van de overheid wordt bij dezen nagegaan. Ten zevende en laatste worden de mensenrechten onder de aandacht gebracht. Een land waarvan ingeschat wordt dat het in de nabije toekomst beschuldigd kan worden van ernstige schendingen van de mensenrechten, scoort op deze indicator slechte punten.

Conceptuele validiteit Overheidsomschrijving Individuele/ Geaggregeerde indicator(en) Objectieve/Su bjectieve indicator(en) Observaties/ Datapunten Significantieniveau

Overheidsomschrijving Aard van de indicator Statistische kwaliteit

Technische dimensie

De ranking die The Economist Intelligence Unit opmaakt, quoteert de landen op basis van de investeringsrisico's die in de landen ingeschat worden. Experten binnen de organisatie geven een beoordeling van de risico's op tien verschillende domeinen. Risico's op het vlak van de (fysieke)veiligheid, de politieke (in)stabiliteit, de government effectiveness, het wettelijke en reguleringskader, de macro-economie, de buitenlandse handel en het financieel verkeer, de financiën, het belastingsbeleid de arbeidsmarkt en de globale infrastructuur worden in rekening gebracht bij het rangschikken van de landen. De landen krijgen uiteindelijk een overall risk score tussen 0 en 100. Naast deze nominale rangschikking, voert de producent ook een ordinale rangschikking in, waarbij de landen een risk rating meekrijgen tussen A (laag risico) en E (hoog risico). De 'government effectiveness' spitst zich voornamelijk toe op 'een voor bedrijven genegen beleidsvoering'. De experten moeten hun inschatting geven van de mate waarin er politieke, financiële en economische risico's spelen voor opererende bedrijven in de verschillende landen. De component 'government effectiveness' moet dus ook vanuit deze optiek bekeken worden. Het gaat om een inschatting, aangezien risico's moeilijk of niet direct meetbaar zijn en dus van subjectieve aard zijn. 130 analisten staan wereldwijd in contact met 650 correspondenten om de reële situatie zo accuraat mogelijk in te schatten en navenante scores te geven. Desalniettemin gaat het om louter subjectieve inschattingen van experten die zich niet in de gecoverde landen bevinden. Een goede overheid moet vanuit de optiek van de Country Risk Briefing gezien worden als een land waarin de overheid stabiliteit weet te verzekeren. Een goede overheid zorgt er immers voor dat de bedrijven zonder te veel onzekerheden, hindernissen of risicofactoren kunnen ondernemen en dat de markt haar werk kan doen.

De ranking is gestoeld op tien risicocomponenten die in totaal op basis van 66 indicatoren ingeschat worden. De risicocomponent 'government effectiveness' telt zeven individuele onderliggende indicatoren.

Subjectief: expert assessment In-house-experten geven een subjectieve beoordeling aan de individuele variabelen.

150 landen (ontwikkelde landen en ontwikkelingslanden) worden geanalyseerd op basis van de politieke, financiële en economische risico's die er schuilgaan.

Er wordt geen significantieniveau meegegeven; meetfouten worden niet in rekening gebracht.

25


Geen betrouwbaarheidsintervallen berekend.

26

Aantal (onderliggende) bronnen Landensamenstelling Regio's Periodiciteit van de publicatie Punctualiteit

Timeframe

Ontstaan

Analyse-eenheid

Dataoorsprong


Geen onafhankelijke review van de data en de statistieken. Regionale expertenpanels voeren wel een officiële review uit op de expertscores.

Eigen data, quotering op basis van in-house expertise en in-country intelligence.

150 landen (Westerse en Derde Wereldlanden), België incluis.

Er worden geen regio's in de databron opgenomen. De regionale component past niet in het plan van de producent en wordt als te energieverslindend en kostelijk beschouwd.

Opgericht in 1997 als een vertakking van de Britse zakenkrant The Economist (deel van The Economist Group).

Een update van de data is voorzien op dagelijkse basis. Aangezien de Westerse landen minder risicoschommelingen kennen, gebeurt hier de update op minder regelmatige basis.

De scores worden dagelijks online bijgewerkt. Er is dus een directe beschikbaarheid (online).

Beschikbaarheid en transparantie van de indicatoren/data Toegang Aflaadbaar Leer-mogelijkheid

Dataniveau: (Commerciële) beschikbaarheid tot basisniveau van de individuele indicatoren. De totaalscores worden wel vrij gepubliceerd (overall score). Niet transparant en onduidelijk hoe men tot indicatoren van de diverse risico-indicatoren komt. Individuele datascores worden niet publiekelijk bekend gemaakt. Methodologisch worden er geen evaluatiecriteria meegegeven, daardoor niet gestaafde, onduidelijke - haast arbitraire - scores vanwege de experten. --> methodologisch bouwwerk wordt niet uitgeklaard, ook een theorie achter de wegingsfactoren ontbreken --> gebrek aan reproduceerbaarheid; scores worden op basis van onduidelijke grondslagen bepaald --> theoretische onderbouw: geen governance theorie aan de grondslag van de conceptuele keuzes Geen vrije toegang tot de data, maar commerciële beschikbaarheid: 5,500 pond/user per jaar voor een volledige toegang tot de country risk briefing van alle landen.

Ja, de data zijn aflaadbaar in Excel.

Uiterst beperkte leermogelijkheden: - Gebrekkige informatie betreffende de individuele indicatoren die tot de country scores leiden. - Gebrekkige transparantie in het tot stand komen van de political risks. - Moeilijk inspelen op expert assessments, wegens het subjectieve karakter. - Groot deel van de analisten bevindt zich niet in de onderzoekslanden. Geen informatie met betrekking tot de wegingsfactoren vrijgegeven.

Samplegrootte

Duurzaamheid

Wegingsfactoren

Databeschikbaarheid

Indicatorenniveau: Beschikbaarheid tot basisniveau van de individuele indicatoren De component en de onderliggende indicatoren worden bekend gemaakt.

Stijgende landensamenstelling: 120 (1996) - data van 1997 120 (1998) 120 (2000) 120 (2002) 120 (2003) 125 (2004) 127 (2005) 150 (2006)

27

Model Berekeningsmethode Consistentie Aard van respondenten

De reviews van de regionale expertpanels moeten ervoor zorgen dat de consistentie over de jaren heen en tussen de verschillende regio's bewaard wordt.

Expert assessment: 130 in-house analisten maken vanuit hun expertise de scores op, geholpen door in-country correspondenten. Nadien is er nog een review ingebouwd door in-house regionale specialistenpanels.

Risk rating agency: Bias in de richting van de private sector. Commercial business information provider: Economische bias, commerciële belangen. Neen.

28

Aantal respondenten Aard producent Invalshoek

Aard van vragen

Producent Visie

Politiek-administratieve dimensie



Bias(es)

130 in-house experten maken een kwalitatieve analyse van de risicosituatie in de diverse landen. Ze gebruiken daarvoor beschikbare informatie, alsook analyses van contactpersonen ter plaatse. The Economist Intelligence Unit beheert een netwerk van 650 correspondenten op wereldwijde schaal om informatie betreffende de individuele landen te verzamelen. Subjectieve inschatting van 7 indicatoren, die samen het de 'government risk'-component van de overall risk score uitmaken.

130 in-house specialisten. Ongeveer 650 in-country correspondenten zorgen voor input.

Geconcretiseerde concepten in verband met economische, financiële en politieke risicofactoren. Er wordt ook een 'first-level guidance' meegegeven aan de hand waarvan de experten hun score moeten opbouwen. Deze wordt echter niet voor elke component beschikbaar gesteld en is ook niet publiekelijk verkrijgbaar. Economist Intelligence Unit: Een 'commercial business information provider' (Londen, UK) die business-to-business informatie aan klanten aanbiedt en country intelligence opmaakt voor geïnteresseerde klanten. The Economist Intelligence Unit is een deel van The Economist Group, die de Britse zakenkrant The Economist uitgeeft en dus ook belangen heeft in de bekendheid van de Country Risk Briefing, alsook de oplagecijfers van het gelieerde dagblad. De EIU en the Economist zijn wel twee afzonderlijke organisaties. Overwegend economische en financiële invalshoek. De staat wordt als niet belemmerende factor in het nationale en internationale handelsverkeer opgevat.

Doelstelling(en)

Doelstelling(en)

User(s)

Doelgroep

De EIU biedt met haar Country Risk Service een commercieel product aan haar klanten aan. Voornamelijk commerciële belangen, alsook het bestendigen van de oplage van de gelieerde krant The Economist liggen aan de grondslag van de publicatie van deze governance scores. Overheden, ministeries, internationale organisaties, universiteiten, internationale bedrijven en banken zijn de voornaamste afnemers van dit product.

29

Tabel 4: Meta-fiche van de Global Competitiveness Index (World Economic Forum): Government Inefficiency Hoofdindicator prestatievermogen van de overheid

Indicatoren

Government Inefficiency

Wastefulness of government spending Burden of government regulation Efficiency of legal framework Trasparency of government policymaking

30

Kwaliteitscriteria Het World Economic Forum onderzoekt in haar Global Competitiveness Report 'de mate waarin nationale overheden hun burgers kunnen voorzien van economische welvaart’. In algemene termen wordt een onderzoek ingesteld naar het 'business operating environment' in de verschillende landen. Competitiviteit wordt in deze analyse opgevat als de waaier aan instellingen, beleid, en factoren die het productiviteitsniveau van een land bepalen'.


In totaal worden in het GCR van 2007 131 landen gerangschikt. De pijlers krijgen een verschillende weging per land, waarbij de wegingsfactor wordt vastgesteld in verhouding met het belang van de pijler in de economische ontwikkelingsfases waarin het land zich bevindt.


Validiteit

Het WEF bouwt het Global Competitiveness Report op aan de hand van subjectieve (2/3) en objectieve (1/3) indicatoren. In totaal worden 116 variabelen gemeten, die in 12 ‘competitiviteitspijlers' zijn onder te brengen (Institutions, Infrastructure, Macroeconomic stability, Health and Primary Education, Higher Education and Training, Goods market efficiency, Labor market efficiency, Financial market sophistication, Technological Readiness, Market size, Business Sophistication, and Innovation). De harde data komen van diverse internationale bronnen. De soft data komen uit de zelf afgenomen Executive Opinion Survey, die een onderzoek instelt bij meer dan 11.000 'top management business executives'. De subcomponent 'Government inefficiency' is een onderdeel van de component Public institutions, dat dan weer een onderdeel vormt van de Institutions-pijler. De overheidsbestedingen, regulering, het wettelijke kader en de transparantie van het beleid zijn de indicatoren die de efficiëntie van de overheid moeten in kaart brengen. Op deze manier is 'Government inefficiency' een miniem onderdeel in de algemene meting van de competitiviteit van een land. Afgaand op de wegingsfactoren, telt de subcomponent voor -afhankelijk van het ontwikkelingsstadium waarin het land zich bevindt- 2,25%, 1,5% of 0,75% mee in de totale indexscore.

31

Het World Competitiveness Report, opgesteld door het World Economic Forum, doet een meting van de competitiviteit van 131 landen. Door het groot gedeelte subjectieve indicatoren, gaat het veeleer om een inschatting dan om een meting. De representativiteit van de respondenten is echter problematisch. Het gaat immers enkel om de economische wereld die bevraagd wordt. Bovendien zijn de samplegroottes te klein om van een representatieve afspiegeling te spreken. Zo komen de data voor België van slechts een 40-tal respondenten.

32

Overheidsomschrijving Individuele/ Geaggregeerde indicator(en) Objectieve/ Subjectieve indicator(en) Observaties/ Datapunten Significantieniveau

Statistische kwaliteit

Technische dimensie




De indicatoren zijn niet op basis van een governance-theorie geselecteerd. De keuze voor de variabelen rust eerder op beschikbaarheid dan op conceptuele gronden. De methodologie wordt jaarlijks significant gewijzigd en ook de landensamenstelling varieert in ieder rapport. Dit zorgt ervoor dat er geen comparabiliteit is. De subcomponent 'Government inefficiency' die hier onder de loep wordt genomen, steunt op vier indicatoren die allen van subjectieve aard zijn. Het kleine aantal respondenten (voor België een 40-tal) en de inachtneming van de perceptions bias, maakt dat de data weinig betrouwbaar zijn. België staat er om bekend een negatiever imago te hebben op het vlak van overheidsefficiëntie. De kans dat dit imago zich weerspiegelt in een negatieve beoordeling, is zeker niet uit te sluiten. Een goede overheid moet in eerste instantie voorzien in economische welvarendheid. De marktcomponent van de index is de laatste jaren beduidend in belang gestegen (zwaardere weging). Een efficiënte overheid daarentegen moet een efficiënte overheidsbesteding vertonen, de lasten verlagen voor bedrijven en burgers, een accuraat wettelijk systeem op poten zetten en transparantie van het beleid verzekeren. De subcomponent 'Government inefficiency' is een onderdeel (20%) van de Public institutions-component, dat dan weer een deel (75%) vormt van de Institutions-pijler. De Institutions-pijler is een onderdeel (25%) van de Basic requirements-sectie. Dit is één van de drie secties (met variabele weging) onder de overall score. Subjectief: 'Government inefficiency' wordt volledig in subjectieve indicatoren geoperationaliseerd. Bedrijfsleiders in de landen uit het onderzoek wordt gevraagd een inschatting te doen van de indicatoren. De zachte data (2/3 van de data of 80 indicatoren) komen uit de Global Competitiveness Survey (ook wel Executive Opinion Survey genaamd), die zakenlui over de ganse wereld bevraagt. In totaal worden 11.406 'business people' ondervraagd in de Global Competitiveness Survey. 131 landen zijn in de ranking opgenomen.

Er worden geen meetfouten in rekening gebracht. Een significantieniveau wordt dan ook niet meegegeven.

Betrouwbaarheidsmarge (Statistische) revisie Aantal (onderliggende) bronnen Punctualiteit


Ontstaan

Regio's

Landensamenstelling

Dataoorsprong Analyse-eenheid Timeframe

Het WEF voorziet niet in betrouwbaarheidsintervallen die significante vergelijkingen mogelijk maken.

Er is geen statistische revisie voorzien. De Partnerinstellingen in de verschillende landen, die samenwerken met het WEF, moeten toezien op de consistentie en betrouwbaarheid van de aangeleverde data. Voor België is dat de Vlerick Management School.

Eigen data en andere internationale bronnen: Voor de zachte data wordt de World Competitiveness Survey gebruikt die data bevat van de 'Executive Opinion Survey'. Voor België gaat het om een 40-tal respondenten uit de bedrijfswereld.

131 landen over de wereld, België incluis. Samen wordt ongeveer 98 % van het World's Gross Domestic Product (GDP) gecoverd.

Er werden geen regio's in de databron opgenomen. Moesen, Bowen en De Witte hebben de GCR-data van 2005 herberekend voor Vlaanderen. Dit bleek een erg moeizame, tijdrovende, kostelijke en moeilijk uit te voeren oefening. Op basis van vergelijkbare data en proxies, kwamen de onderzoekers uit bij een 19e plaats voor Vlaanderen ten opzichte van een 31e plaats voor België in dat jaar. Deze oefening heeft vooral aangetoond dat het zo goed als onmogelijk is om op dit moment een aangepaste score voor Vlaanderen te berekenen; er is een groot gebrek aan vergelijkbare data. Professor Klaus Schwab publiceerde in 1979 het eerste Global Competitiveness Report, met begeleidende ranking (met 16 landen). De subcomponent 'Government inefficiency' wordt pas de laatste twee jaar opgenomen in de Index. Twee van de vier onderliggende indicatoren zijn pas sinds de laatste versie opgenomen. Jaarlijkse publicatie.

Beschikbaar in het jaar van onderzoek zelf. September 2006 publicatie van cijfers 2006.

33

Beschikbaarheid en transparantie van de indicatoren/data Toegang Aflaadbaar Leermogelijkheid

Databeschikbaarheid 34

Indicatorenniveau: Geen vrije beschikbaarheid tot basisniveau van de individuele indicatoren. Online wordt enkel de geaggregeerde index ter beschikking gesteld. Tegen betaling kunnen ook onderliggende indicatoren geconsulteerd worden. Dataniveau: Beschikbaarheid tot op het niveau van het land (één cijfer als Global Competitiveness Index) vrij toegankelijk. Tegen betaling kunnen ook de individuele scores geconsulteerd worden. De transparantie is de laatste jaren verbeterd. Pijlers worden bekendgemaakt. De methodologie, berekeningsmethode en visie worden explicieter kenbaar gemaakt. De gestandaardiseerde vragenlijst wordt nog niet in zijn geheel vrijgegeven. Geen conceptuele theorie die aan de basis van de normatieve keuzes ligt. --> Eerder beperkte beschikbaarheid van indicatoren en variabelen, groeiende transparantie van de data. --> Methodologisch bouwwerk is duidelijk. --> Theoretische onderbouw: geen governance theorie aan de grondslag van de conceptuele keuzes. Neen: commerciële beschikbaarheid van het Global Competitiveness Report dat de data incorporeert. Country level aggregates zijn vrij beschikbaar online, onderliggende data moeten bij het rapport betaald worden: 65 Britse Pond. Ja, aflaadbaarheid van de geaggregeerde data: in Excel.

De leermogelijkheden zijn uiterst beperkt. De Globaal Competitiveness Index vertoont een ingewikkelde mix van objectieve en subjectieve indicatoren. De subjectieve indicatoren meten een 'opinie' van de business people en vertonen dus mogelijks een bias. De beperkte representativiteit van de zachte data (die het grootste deel van de GCI uitmaken), werpt vragen op ten aanzien van de generaliseerbaarheid van de resultaten. Hierdoor moet er omzichtig omgesprongen worden met conclusies. Vergelijkbaarheid over de jaren heen is moeilijk door de verandering van landensamenstelling en grote wijzigingen in de methodologie. De vergelijkbaarheid tussen de landen wordt eveneens bemoeilijkt door het ontbreken van betrouwbaarheidsintervallen. Ook de variabele weging voor de landen maakt het moeilijk alle landen met elkaar te vergelijken.

De wegingsfactoren verschillen van land tot land; de pijlers krijgen een verschillende weging per land (in functie van het belang van de pijler in de economische ontwikkelingsfase waarin het land zich bevindt). Dit zorgt ervoor dat vergelijking tussen alle landen onderling bemoeilijkt wordt, aangezien een verschillende score ook op een verschillende wijze tot stand is gekomen.

Berekeningsmethode Consistentie Aard van respondenten Bias(es)


Duurzaamheid

Model

Samplegrootte

Wegingsfactoren

De wegingsfactoren zijn wel duidelijk weergegeven, maar ze missen elke onderbouwing. De subcomponent 'Government inefficiency' is een onderdeel (20%) van de Public institutions-component, dat dan weer een deel (75%) vormt van de Institutions-pijler. De Institutions-pijler is een onderdeel (25%) van de Basic requirements-sectie. Dit is één van de drie secties (met variabele weging) onder de overall score. Stijgende landensamenstelling: 58 (1996) 59 (1998) 76 (2000) 88 (2002) 102 (2003) 104 (2004) 117 (2005) 126 (2006) 131 (2007) Het model, de structuur van de index, wordt klaar en duidelijk weergegeven. De verschillende secties, pijlers en componenten hebben een eigen weging in de algemene score. De weging van de secties varieert voor de landen afhankelijk van het ontwikkelingsstadium van het land. Andere wegingsmethode per land afhankelijk van de ontwikkelingsfase waarin het land zich bevindt (gemeten op basis van het GDP per capita).

De consistentie van de data over de jaren heen komt in het gedrang door de wijzigingen die aangebracht zijn aan de landensamenstelling en -belangrijker- de methodologie.

Top management business executives/Business leaders (vertegenwoordigen hun bedrijf). Gemiddeld komt een derde van de respondenten uit kleine bedrijven (<101 werknemers), voor België is dit zelfs bijna de helft. In algemene termen komt 90% uit de private sector (waarvan 4/5 in nationale handen en 1/5 in buitenlandse handen), de overige bedrijven zijn state-owned. Voor België is dit bijna 100%. Economische bias: Zo goed als alleen personen uit de bedrijfswereld worden bevraagd. Er moet ook rekening gehouden worden met een inherente perception bias die met Surveys samenhangt. Respondenten in land x kunnen immers een (ante-hoc) algemene positievere of negatievere kijk hebben op de competitiviteit en de indicatoren die ermee samenhangen. België zou wel eens in dit scenario kunnen bevinden en nadeel ondervinden van haar negatief overheidsimago.

35

Onderbouwde respondentenkeuze Aantal respondenten Aard van vragen Aard producent Doelstelling(en) Doelgroep

Invalshoek

Producent Visie Doelstelling(en) User(s)

Politiek-administratieve dimensie 36

Neen. De grootte van de samples hangt wel af van het GDP van het land. Het gaat meestal over ervaren business leaders die "een goede kijk moeten hebben op de nationale en internationale competitiviteit".

Meer dan 11.000 respondenten (11.406), verspreid over de 131 gecoverde landen.

Weinig informatie. Relevant materiaal met betrekking tot de methodologie wordt slechts gedeeltelijk ter beschikking gesteld. Vragen zijn vrij direct gesteld. Elke surveyvraag wordt op een schaal van 1 tot en met 7 beoordeeld. Er zijn ook duidelijk standaardrichtlijnen met betrekking tot de toekenning van elke score. World Economic Forum: Een internationale non-gouvernementele organisatie (onder de auspiciën van de Zwitserse overheid), die tracht om bedrijven, overheden, academici en media samen te brengen om economische, sociale en politieke problemen aan te pakken.

Economische invalshoek: Percepties en bevindingen van de bedrijfswereld over het economische klimaat. De marktcomponent wint aan invloed de laatste jaren. Zoals het World Economic Forum het stelt: 'Het Rapport heeft als doel overheden te helpen bij het identificeren van hindernissen voor economische groei en hen bij te staan in de formulering van een beter economisch beleid. Bedrijven moet het helpen bedrijfsstrategieën uit te tekenen en investeringsbeslissingen te nemen. De academische wereld is gebaat bij de ranking in het opstellen van analyses van het ondernemingsklimaat en de vergelijking met andere landen." Voornamelijk bedrijven, maar ook beleidsmakers, onderzoekers en media. Ook andere internationale organisaties maken gebruik van de WCIdata: onder andere de World Bank, USAID en Transparency International maken gebruik van deze cijfers.

Tabel 5: Meta-fiche van de Country Performance and Institutional Assessments (World Bank): Quality of Public Administration Hoofdindicator prestatievermogen van de overheid

Indicatoren

Quality of Public Administration

Policy coordination and responsiveness

Service delivery and operational efficiency

Merit and ethics

Pay adequacy and management of the wage bill

37

Kwaliteitscriteria De Country Policy and Institutional Assessments (CPIA) meten 'de kwaliteit van het huidige beleid en het institutionele kader van een land'. In concreto quoteert de World Bank jaarlijks een 140-tal landen (2006) op basis van 17 subcomponenten op het vlak van economische, sociale en politieke prestaties van de zogenaamde IDA-landen. Die 'kwaliteit' die wordt geanalyseerd, is terug te brengen tot 4 grote clusters (componenten): Economisch management, structureel beleid, beleid ter bevordering van sociale inclusie en gelijkheid, en management van de overheidssector en instellingen. Waar de meting voornamelijk op focust, is 'het beleid en de instellingen die streven naar armoedevermindering, duurzame groei en een efficiënte aanwending van ontwikkelingshulp".


CPIA speelt een belangrijke rol in de allocatie van IDA-middelen naar de low-income landen; De IDA-middelen worden immers toegewezen op basis van de IDA Country Performance Rating van een land (die een afleiding van de CPIA betreft) en daarnaast nog maar voor een klein deel op basis van het Per Capita Gross National Income (GNI) Het gaat om een inschatting van de beleidsprestaties en het institutioneel kader dat de Derde Wereldlanden neerzetten. Factoren die buiten de invloed van de overheid vallen (zoals economische groeicijfers) worden eerder buiten beschouwing gelaten. Duurzame groei, armoedebestrijding en een efficiënte aanwending van de ontwikkelingssteun zijn prioritaire objectieven.

38


Validiteit

Eén van de zestien subcomponenten is: 'Quality of public administration'. De indicator, die onder de cluster 'Public Sector Management and Institutions' is ondergebracht, onderzoekt de overheidskwaliteit in een 140-tal landen. Meer bepaald gaat de subcomponent na in welke mate de werknemers van de centrale overheid (met inbegrip van onderwijzers, welzijnswerkers en politie) gestructureerd zijn om overheidsbeleid uit te tekenen en te implementeren, en op een doelgerichte manier diensten aan de burger aan te bieden. De centrale overheid waar sprake van is, houdt de centrale uitvoerende macht in, alsook alle ministeries en administratieve departementen, met inbegrip van autonome agentschappen. Het leger, staatsbedrijven en subnationale overheden vallen hier buiten. De variabele wordt beoordeeld op een schaal van 1 tot en met 6. Experten van de World Bank krijgen standaard richtlijnen mee om een differentiatie te maken tussen de verschillende scoreniveaus. De sleuteldimensies die in acht genomen worden bij deze quotering, zijn beleidscoördinatie, dienstverlening en organisatorische structuren, aanwerving en verloning, en loonkostmanagement en aangepaste lonen. De experten moeten een score voor elke dimensie voorzien, gepaard gaande met een verklaring.

De indicatoren die de World Bank in de Country Policy and Institutional Assessments onderzoekt, doen een kwantitatieve inschatting van de gecoverde landen op het vlak van het beleid en het institutionele kader met het oog op duurzame groei en armoedebestrijding en de mate waarin efficiënt omgegaan wordt met de ontwikkelingsgelden. Experten van de World Bank zelf, onderverdeeld in country teams, beoordelen 17 subcomponenten op een schaal van 1 tot en met 6. De CPIA wordt gebruikt als diagnostisch instrument bij de allocatie van IDA-middelen aan de arme landen. 16 subcomponenten, verdeeld over 4 grote clusters - Economic Management, Structural Policies, Policies for Social Inclusion/Equity en Public Sector Management and Institutions leveren de landen een score op, die de basis vormt voor de verdeling van goedkope leningen en andere financiële steun vanwege de IDA-instellingen. Hier wordt dan nog de Portfolio Performance als 17e subcomponent aan toegevoegd. De CPIA drijft op een expertenquotering, waarbij in-country specialisten van de World Bank zelf -bijgestaan door een reviewsysteem- inschatten hoe goed/slecht de onderzochte landen op de 17 subcomponenten scoren. Het is de bedoeling om met deze indicatoren landen met een goed beleid en effectief institutioneel kader te belonen met extra concessieleningen. Het goede bestuur moet op haar beurt ook de effectiviteit en efficiëntie van de ontwikkelingssteun ten goede komen.

overheidsomschrijving



Daar waar de onderliggende data in een nabij verleden nog geheim werden gehouden, heeft een koerswijziging van de World Bank in 2005 er voor gezorgd dat de individuele datascores nu wel beschikbaar gemaakt worden. Althans voor de landen die IDA-steun krijgen (77 landen). Ook moeten de experten aangeven hoe hoog elke individuele dimensie scoort, voorzien van een schriftelijke motivatie. De subcomponent 'Quality of Public Administration' is één van de 16 subcomponenten van de CPIA. Experten moeten op een schaal van 1 tot en met 6 aangeven in welke mate ze inschatten dat het land beschikt over een goed werkende administratie die goed scoort op zaken zoals beleidscoördinatie, dienstverlening, rekrutering en loonkostmanagement. Zes onderliggende niveaus moeten de experten helpen bij het toekennen van een score (1-6) aan de indicator 'Quality of Public Administration'. Een goede overheid is er een die een beleid voert en een institutioneel kader instelt dat duurzame groei en armoedebestrijding nastreeft en efficiënt omgaat met de ontwikkelingsgelden. In feite wordt van de lenende landen verlangd een beleid na te streven dat overeenstemt met de visie van de World Bank: neoliberale economische beleidsmaatregelen en sterke instellingen (die o.a. property rights beschermen) en een ondernemingsvriendelijk klimaat scheppen. Een kwalitatief goede overheidsadministratie wordt afgemeten aan de hand van volgende maatstaven: a. policy coordination and responsiveness b. service delivery and operational efficiency c. merit and ethics d. pay adequacy and management of the wage bill

39

Individuele/ Geaggregeerde indicator(en) Objectieve/ Subjectieve indicator(en)



1 subcomponent (aan de hand van 6 onderliggende scoreniveaus (1-6)), onderverdeeld in de cluster Public Sector Management and Institutions voor 136 landen. 4 onderliggende dimensies (indicatoren) worden in rekening gebracht bij de toekenning van een datascore voor de 'Quality of Public Administration'.


Significantieniveau

Geen significantieniveau bekendgemaakt.


Technische dimensie 40

Geaggregeerde subcomponent: Het gaat om één van de vier subcomponenten onder de 'Public Sector Management and Institutions'-cluster. De score wordt toegekend, na een scoring door de experten van vier onderliggende dimensies. De zes onderliggende niveaus worden klaar en duidelijk omschreven en moeten de experten bijstaan in de toekenning van een score op een schaal van 1 t.e.m. 6. Subjectief: het gaat om expert assessments vanwege experten binnen de World Bank.

Het Global Monitoring Report van de World Bank (2005) vermeldt een margin of error van 0,24 voor de overall scores. Voorts waarschuwt de World Bank voor al haar indicatoren in de CPIA voor 'substantiële margins of error', waardoor vergelijkingen tussen landen 'enkel met de gepaste voorzichtigheid dienen gemaakt te worden'.

Er is geen third-party monitoring voorzien, ondanks het risico van druk op de WB country Desk Staff vanwege landen die geen te lage score verlangen, zeker sinds de data publiek gemaakt worden. Wel is er een systeem van checks and balances op de toegekende scores ingesteld om de betrouwbaarheid en consistentie van de expertenscores en gelieerde data te verzekeren.


Dataoorsprong


In 2004 heeft de World Bank de opdracht gegeven aan een extern panel van economici, wetenschappers en beleidsmakers om de scores en de methodologie van de CPIA eens onder de loep te nemen Conclusies: - De CPIA criteria focussen op de juiste zaken en produceren robuuste resultaten. - Constatatie van een overlap bij sommige criteria, waarop de methodologie werd herzien. - Steun voor de idee van een beoordeling op basis van geïmplementeerd beleid ipv intentieverklaringen. - Steun voor het systeem van allocatie op basis van de professionele beoordelingen van World Bank experten in plaats van op basis van externe indicatoren. - Een sterke aanbeveling voor het vrijgeven van de CPIA scores voor landen die in aanmerking komen voor IDA. Er is wel een systeem van reviews voorzien in het scoringssysteem (checks and balances): 1) Benchmarking fase a. Landenteams doen een voorstel van score voor elke criteria voor elk 'benchmarking country', voorzien van een geschreven motivatie. b. De voorstellen worden voorgelegd aan de (6) respectievelijke Regional Chief Economists. c. Nadien volgt een review door een sectorexpert buiten de regio (stafleden binnen de World Bank). d. De uiteindelijke scores worden vastgelegd op een tweedaagse meeting van vertegenwoordigers van de regio's, de Netwerken en het Centraal Departement (gebruik makend van de geschreven motivaties, de beschikbare externe indicatoren en andere relevante informatie). 2) Tweede fase a. Landenteams stellen scores voor de overige landen voor, voorzien van een geschreven motivatie. b. Deze voorstellen worden herbekeken door de respectievelijke Chief Economists binnen de (6) Operationele Regio's van de World Bank. c. Nadien volgt een review door een sectorexpert buiten de regio (stafleden binnen de World Bank). d. Finale review door de Netwerken en Centrale Departementen. Eigen data: de staf van de World Bank geeft een subjectief beoordelingscijfer voor elk criteria in elk land. De scores komen tot stand op basis van een reeks individuele indicatoren, persoonlijke observaties en subjectieve beoordelingen gebaseerd op landinformatie (o.a. de Country Economic Reports, Public Expenditure Review en een Poverty Assessment) van de World Bank of andere organisaties, gecombineerd met externe, publiek beschikbare indicatoren.

41

Landensamenstelling

Er werden geen regio's in de databron opgenomen. Regio's

Analyse-eenheid

136 landen, België niet.

42

Punctualiteit Beschikbaarheid en transparantie van de indicatoren/data

Databeschikbaarheid

Timeframe


Ontstaan

De CPIA werd voor het eerst uitgevoerd in 1977.

Jaarlijkse publicatie.

Vertraagde beschikbaarheid; de CPIA van 2005 werden bijvoorbeeld pas in juni 2006 bekend gemaakt.

Indicatorenniveau: Zowel de overall CPIA score, als de 4 onderliggende clusters, als de 17 criteria, als de basisvragen worden online ter beschikking gesteld. Dataniveau: De overall scores, de ranking, de individuele criteriascores en de clustergemiddelden worden vanaf juni 2006 (data van 2005) bekendgemaakt voor de IDA-landen (dus enkel low income countries). Zekere beschikbaarheid van de indicatoren; het is duidelijk op welke basis de criteriascores worden toegekend en hoe een land aan een bepaalde totaalscore komt. Bovendien worden de 17 subcomponenten ook duidelijk en welomlijnd omschreven. Ook de verschillende scoringsniveaus krijgen een standaardomschrijving mee. --> grote beschikbaarheid van indicatoren. Het model van de ranking is transparant. --> de data zijn vrij beschikbaar en consulteerbaar. Al geldt dat enkel voor de data na 2005, bovendien enkel voor de IDA landen. --> theoretische onderbouw: geen governance theorie aan de grondslag van de conceptuele keuzes.

Samplegrootte

Duurzaamheid

Wegingsfactoren

Leermogelijkheid

Aflaadbaar

Toegang

Ja, sinds 2006 worden de data vrij beschikbaar gesteld voor de IDA landen. Gefaseerde toegankelijkheid: - Voor 2000 werden de data van de CPIA volledig binnenskamers gehouden (op vraag van de landen zelf!). - In 2000 is de World Bank begonnen met het vrijgeven van de CPIA-scores, de clusterscores en de country portfolio and ICPscores, te zeggen per kwintiel en enkel voor de IDA-landen. - In juni 2006 (betreffende de CPIA van 2005) werden de CPIAscores voor het eerst in detail publiek gemaakt. Enkel de data van de IDA-landen worden echter ter beschikking gesteld; voor deze low income countries wordt bekendgemaakt: --> de scores op de 17 subcomponenten, de clustergemiddeldes en de overall score --> de portfolio score --> de governance score --> de overall IDA country performance rating Ja, de data zijn aflaadbaar in Excel.

De CPIA criteria zijn 'actionable': ze zijn zo opgesteld dat er concrete lessen uit kunnen getrokken worden. De criteria verlangen conformering, aangezien de CPIA-scores een aanzienlijke invloed hebben op de toewijzing van vitale financiële steun voor de IDA-landen. In principe komt dit overeen met een post hoc-conditionaliteit van de IDA-steun. De 4 clusters die samen de overall CPIA countryscore uitmaken, hebben een gelijke weging, alsook de criteria binnen de clusters. Zoals eerder vermeld, is er een zekere evolutie geweest in de berekeningsmethode van de CPIA-score. Relatief stabiele landensamenstelling: 131 (1996) 136 (1998) 136 (2000) 136 (2002) 136 (2003) 135 (2004) 134 (2005) 136 (2006)

43

44

Aard van respondenten

Surveyeigenschappen

Consistentie

Berekeningsmethode

Model

Sinds zijn ingebruikname in 1976 zijn er een aantal aanpassingen aangebracht aan het model dat aan de basis ligt van de Country Policy and Institutional Assessments. De updates en veranderingen weerspiegelen de evolutie die het denken rond ontwikkeling heeft doorgemaakt. De belangrijkste wijziging is die van de onderliggende indicatoren; - Van 1999 tot 2003, deed het CPIA een meting van 20 verschillende dimensies, die in 4 grote categorieën onderverdeeld werden. - In 2004 (nadat een onafhankelijke commissie een kwaliteitscontrole op de CPIA had uitgevoerd) werd dit aantal gereduceerd tot 16 subcomponenten, die in 4 gelijkwegende clusters werden onderverdeeld en een portfolio-indicator. De criteria hebben een evolutie doorgemaakt van een grotendeels macro-economische focus naar een toevoeging van governanceaspecten, met een sterkere nadruk op sociale en structurele dimensies. Landen worden beoordeeld op basis van hun huidige beleidspositie en krijgen aan de hand van bepaalde richtlijnen een navenante score. De scores van een kleine, representatieve sample van landen (benchmarking phase) gelden als referentiepunt voor de scores van andere landen (second phase). Elke land wordt op 17 individuele variabelen (die onderverdeeld zijn in 4 gelijkwegende clusters) beoordeeld op een schaal van 1 (laag) tot 6 (hoog). De staf - die de scores moet toebedelen - wordt in haar taak geholpen door richtlijnen over de ratings, welomschreven definities van de criteria en een gedetailleerde beschrijving van elk scoringsniveau. In het gefaseerd scoringssysteem, is het doel van de benchmarking fase om de scores voor elk criteria op een correct niveau te brengen. Zo tracht de World Bank de consistentie te bewaren zowel over de landen heen, als tussen de verschillende regio's (de sample omvat zowel goed als slecht presterende landen uit de 6 operationele regio's) Aangezien de CPIA een cijfer plakken op de kwaliteit van het beleid en de instellingen van een land -duurzame conceptenverschillen de scores jaar na jaar gemiddeld gezien niet erg veel van elkaar. Het extern panel (bestaande uit experten, academici en beleidsmakers) dat in 2004 een review uitvoerde van de CPIA, kwam tot de conclusie dat de resultaten over de jaren heen een zekere mate van robuustheid vertoonden. Stafleden van de World Bank: experten en economici.


Bias(es)

In-house experten die niet in het land van beoordeling verblijven: risico bestaat dat ze eerder afgaan op imago dan op persoonlijke bevindingen. Experten: in ieder geval onderworpen aan verschillende biases. Een andere veelgehoorde kritiek op de CPIA betreft de vermeende neoliberale bias; criteria zijn immers in overeenstemming met de Private Sector Development Strategy van de World Bank zelf. Neen, de keuze voor expert assessment wordt niet onderbouwd.

Aard producent Invalshoek

Producent Visie

Politiekadministratieve dimensie

Aard van vragen

Aantal respondenten

Geen informatie.

De criteria meten observeerbare facetten van het beleid of van instellingen. De onderliggende (4) vragen zijn expliciet en gedetailleerd; ze vormen een leidraad voor de toekenning van de scoreniveaus. World Bank: multilaterale ontwikkelingsbank (Washington, US).

Aid targetting: de CPIA spelen een cruciale rol in de allocatie van IDA-middelen van de World Bank instellingen. Door de financiële steun performance-based te maken hoopt de World Bank enerzijds beleid dat armoedereductie en economische groei voortbrengt, te steunen. Anderzijds is het een manier om de ontwikkelingshulp op een verantwoorde en transparante manier toe te wijzen.

45

46

Doelstelling(en)

Doelstelling(en)

User(s)

Doelgroep

Enerzijds is het de visie van de World Bank om op deze manier goed beleid en sterke instellingen te steunen, die op hun beurt positieve groei en armoedereductie met zich mee moeten brengen; dus eigenlijk gaat het om een post-hoc conditionaliteit. Anderzijds helpen de scores de verdeling van concessieleningen (WB's IDA) en fondsen van de World bank onder de low-income countries: hier speelt een verantwoordingsfunctie ten opzichte van de donorlanden en de IDA-landen zelf mee. Daarbuiten worden de scores ook nog voor secundaire doeleinden binnen de World Bank gebruikt, o.a.; - om haar financiële tussenkomsten beter te kunnen sturen, - bij het maken van risicoanalyses en ander intern onderzoek, - bij de uittekening van het Bank's Country Assistance Strategy Program en bij de country-policy dialogen, - bij het inschatten van het portfolio risico door de Quality Assurance Group van de World Bank, - bij het identificeren van landen die extra aandacht nodig hebben bij vertrouwelijke standaarden en governance, - om achtergrond te verschaffen aan de Country Assistance Evaluations van de Independent Evaluation Group van de World Bank, - om de schuldsituatie van bepaalde landen te kunnen inschatten, - om input te voorzien voor het onderzoek over de determinanten van economische groei en armoedereductie, - als input voor de nieuwe Global Monitoring Reports van de World Bank. World Bank zelf: voor allocatie van de IDA-middelen. Donorlanden: accountability voor hun aandeel in de IDA. De gerangschikte landen hopen op basis van de CPIA-data hun performantie op te krikken opdat ze aanspraak kunnen maken op meer goedkope leningen van de World Bank en IDA-instellingen. Ook andere multilaterale instellingen - al dan niet verbonden met de World Bank - zoals de Asian Development Bank en de African Development Bank maken gebruik van de CPIA bij de allocatie van (financiële) steun aan arme landen.

Tabel 6: Meta-fiche van de Public Sector Performance (European Central Bank): Administrative Performance Hoofdindicator prestatievermogen van de overheid

Indicatoren

Administrative Performance

Corruption Red Tape Quality of judiciary Shadow economy

47

Kwaliteitscriteria De European Central Bank berekent de zogenaamde Public Sector Performance voor 23 geïndustrialiseerde landen. Het is een alomvattende rangschikking, die naast de effectiviteit ook de efficiëntie van de overheid nagaat. Bovendien combineert de meting bestuurs- met beleidselementen. De meting, die in algemene termen de kwaliteit van de overheid moet benaderen, is gebaseerd op 7 subcomponenten en 15 indicatoren in totaal. Een eerste deel, het "Opportunity indicators"-gedeelte, neemt onder andere de administratie, het onderwijs, de gezondheidszorg en de infrastructuurskwaliteit in rekening. Tot het tweede deel behoren de 'Musgravian indicators'; allocatie, herverdeling en stabiliteit worden daar nagegaan.


De som van de zeven componenten (die aan de hand van een gelijke weging worden vastgesteld) vormt de Public Sector Performance van de landen. Het gaat om een relatieve indicator, aangezien de data genormaliseerd worden. De Public Sector Performance (effectiviteit), die in deze studie gemeten wordt, kan gedefinieerd worden als 'de outcome die de overheid produceert'. De keuze voor de onderliggende componenten is selectief en niet onderbouwd. Ook het beperkt aantal indicatoren, doet twijfels rijzen over de betrouwbaarheid van de meting. Waarom bepaalde aspecten wel en andere dan weer niet onder de meting vallen, is voorts erg onduidelijk. Tot slot krijgt de verschillende weging van de indicatoren nergens een degelijke verantwoording.

48


Validiteit

De administratieve component is een onderdeel van de 'Opportunity Indicators' van de Public Sector Performance. Deze indicatoren trachten de kwaliteit van de interactie te meten tussen het fiscale beleid in de verschillende landen en het marktproces en de individuele opportuniteiten die het schept. 'Administrative performance of government' wordt gemeten aan de hand van vier indicatoren. De corruptie (de mate waarin bedrijfsleiders inschatten dat er corruptie in een land aanwezig is), red tape (de lasten en de regulering in de opinie van bedrijfsleiders), de kwaliteit van het juridisch systeem (op basis van het vertrouwen dat bedrijfsleiders justitie toedichten) en de schaduweconomie (schatting van het percentage van het BBP dat aan illegale transacties en taksontduiking opgaat).

De Public Sector Performance van de European Central Bank is een effectiviteitsmeting van de overheid in 23 westerse landen. In een tweede gedeelte doet de studie ook een berekening van de efficiëntie van de publieke sector door de effectiviteit af te zetten tegen de overheidsuitgaven (percentage van het BBP dat de overheid uitgeeft).

Overheidsomschrijving Individuele/ Geaggregeerde indicator(en) Objectieve/ Subjectieve indicator(en) Observaties/ Datapunten Significantieniveau Betrouwbaarheidsmarge


Technische dimensie




De Prestatiemeting van de overheid omvat zowel bestuurselementen als beleidsfactoren. Het gaat echter duidelijk om een selectief deel van de overheid dat gemeten wordt. De keuze voor deze of gene indicator wordt nergens verantwoord en ook de differentiële weging krijgt geen onderbouwing. Daarnaast stellen critici dat de meting geen rekening houdt met het feit dat landen met een grote overheid (veel inkomsten en uitgaven) steevast een slechtere score behalen op diverse indicatoren. De effectiviteit van de administratie wordt vastgesteld op basis van vier indicatoren: corruptie, red tape, kwaliteit van het justitiële apparaat en de grootte van de schaduweconomie. De eerste drie indicatoren worden gemeten op subjectieve wijze. Een survey van de WEF bevat drie subvragen over de te meten concepten. Het gaat echter om de opinie van bedrijfsleiders en managers, dus bestaat de mogelijkheid dat het imagoprobleem van een overheid rechtstreeks weerspiegeld worden in een negatieve score voor dergelijk indicatoren. Public Sector: een goede overheid moet voorzieningen treffen op het vlak van onderwijs, gezondheidszorg, infrastructuur en over een goede administratieve werking beschikken. Daarnaast moet ze voorzien in een goede sociale verdeling, economische stabiliteit verzorgen en goede economische prestaties neerzetten. Geaggregeerde indicator: De administratieve component is een gemiddelde van de vier onderliggende indicatoren. Samen met de zes andere componenten vormt dit onderdeel de Public Sector Performance.

Zowel objectieve als subjectieve indicatoren worden gebruikt om tot de Public Sector Performance te komen. De 4 indicatoren die onder de administratieve component liggen, zijn van subjectieve aard. Corruptie, red tape en kwaliteit van het justitiële apparaat worden aan de hand van surveys bij bedrijfsleiders vastgesteld. De schaduweconomie berust op een schatting van Schneider (2002). 4 indicatoren, geaggregeerd in de component 'Administrative (performance)'.

Er worden geen meetfouten in rekening gebracht, dus ook geen significantieniveau bekend gemaakt.

Er worden geen meetfouten berekend, dus is er ook geen sprake van betrouwbaarheidsintervallen. De minieme verschillen tussen een aantal landenscores moeten dan ook met de nodige voorzichtigheid geïnterpreteerd worden.

49

(Statistische) revisie Aantal (onderliggende) bronnen Landensamenstelling

Data voor de indicatoren corruptie, red tape en de kwaliteit van het justitiële apparaat komen van het WEF. De inschatting van de schaduweconomie komt van Schneider (2002).

23 geïndustrialiseerde landen, België incluis.

Er werden geen regio's opgenomen in deze rangschikking.

Punctualiteit


Ontstaan

Regio's

Dataoorsprong Analyse-eenheid Timeframe 50

Er is geen officiële (statistische) onafhankelijke review ingesteld om de data en de methodologie van de producent na te gaan.

De meting werd in 2003 uitgevoerd; aan de hand van cijfers voor de jaren 1990 en 2000. Het ging om een eenmalige oefening.

Het ging om een eenmalige oefening voor de jaren 1990 en 2000.

Niet van toepassing.

Ranking: De begeleidende paper bij de 'Public Sector Performance: An international comparison' geeft een duidelijk overzicht van de methodologie, de componenten en de indicatoren.

Data: De data worden zowel in basisvorm als in genormaliseerde toestand vrijgegeven. De overall score, de componenten en de indicatoren krijgen individuele scores mee. Er is een grote mate van beschikbaarheid van data en indicatoren. Er is ook een grote transparantie met betrekking tot de meetmethode. De auteurs maken in annex immers voor elke indicator bekend uit welke databron de cijfers komen. Het is echter volstrekt onduidelijk op welke basis de componenten en indicatoren geselecteerd werden. Er is nergens sprake van een governance theorie die aan de basis ligt van de normatieve keuzes. Bovendien nemen de indicatoren vaak slechts een deel van het te meten concept voor hun rekening. Zo kan men terecht de vraag opwerpen of de gehele administratie afgerekend mag worden op de omvang van de schaduweconomie. Slechts enkele overheidsdiensten zijn gelast met het bestrijden van illegale transacties of taksontduiking. De overige drie indicatoren zijn van subjectieve aard en bevestigen bij negatieve scores eerder het imagoprobleem van een overheid, dan waterdicht vast te stellen dat de administratie slecht werk verricht. Tot slot kan men de vaststelling doen dat administratie (op basis van deze vier indicatoren) dus wel op een erg enge manier wordt opgevat. De indicatoren en data zijn kosteloos te verkrijgen.

Leermogelijkheid

Databeschikbaarheid

Aflaadbaar

Toegang


Indicatoren: De indicatoren zijn duidelijk weergegeven tot op het basisniveau. Ook de meetmethode, de databron en de wegingsfactoren worden meegegeven.

Nee, de data zijn niet aflaadbaar.

De onduidelijke selectie van componenten en indicatoren om de Public Sector Performance vast te stellen, roept veel vragen op. Bovendien is de representativiteit van de indicatoren lang niet altijd gegarandeerd. De verschillen tussen 1990 en 2000 zijn onderlinge verschillen. Er kan niet vastgesteld worden of de situatie van een land op zichzelf verbeterd, dan wel verslechterd is. Er is geen opvolging van de meting voorzien, leereffecten zullen dus niet afgemeten kunnen worden aan de hand van een verbeterde Public Sector Performancescore. De administratieve component heeft een hoog subjectief gehalte. Een slechte score op de administratieve component duidt veeleer op een imagoprobleem van het land in kwestie. Of er ook daadwerkelijk een effectiviteitsprobleem is met de administratie, kan niet worden vastgesteld aan de hand van deze meting.

51

Wegingsfacto ren Samplegrootte

Er wordt gekozen voor gelijke (gemiddelde-)weging. De vier indicatoren krijgen eenzelfde gewicht toebedeeld in de aggregatie van de administratieve component. Dit systeem van gemiddeldeweging is echter niet waardevrij, desalniettemin wordt het systeem niet onderbouwd. Evolutiemeting: 23 landen (1990) 23 landen (2000)

Berekeningsmethode Consistentie Bias(es)


Duur-zaamheid

Model

Aan de hand van een gelijke weging wordt een gemiddelde getrokken van de onderliggende 4 indicatoren. Elke individuele indicator wordt genormaliseerd. Het model gebruikt tevens een gelijke weging om de 7 componenten te aggregeren. In de begeleidende rapporten geven de auteurs aan dat er een zekere robuustheid bestaat; ook met andere wegingssystemen blijven de conclusies ongeveer dezelfde. De totaalscore is een sommatie van de onderliggende componenten. Elke component is een gemiddelde van de onderliggende indicatoren.

Er bestaat een zekere consistentie tussen beide metingen.

De respondenten in de databronnen die aan de basis liggen van de subjectieve indicatoren komen uit de World Competitiveness Index (WEF) en in het geval van de schaduweconomie van Schneider (2002). Het WEF legt haar vragen in een survey voor aan bedrijfsleiders en managers. Het is met andere woorden de economische elite die bevraagd wordt. De subjectieve indicatoren (administratieve component) geven de opinie weer van een selectief publiek; bedrijfsleiders en managers. Het imagoprobleem duikt dan ook op bij de meting van deze indicatoren.

52

Onderbouwde respondentenkeuze Aantal respondenten


De studie van de European Central Bank gebruikt externe databronnen om haar data te bekomen. Waarom net deze databronnen werden verkozen boven andere, wordt niet onderbouwd. Voor de subjectieve component, komen de data uit de World Competitiveness Yearbook van het World Economic Forum en vanwege de studie van Schneider (2002): ' The size and development of the shadow economies of 22 transition and 21 OECD countries.' Het WEF werkt met een survey, die het voorlegt aan bedrijfsleiders en managers. Het gaat dus om een inschatting vanwege de economische elite. De keuze wordt niet onderbouwd, maar ligt in het verlengde van de economische invalshoek die WEF beoogt. Niet van toepassing.

Aard van vragen

Vragen zijn vrij direct gesteld. Elke surveyvraag wordt op een schaal van 1 tot en met 7 beoordeeld. Er zijn ook duidelijk standaardrichtlijnen met betrekking tot de toekenning van elke score. European Central Bank: Europese financiële instelling die de bewaking van de euro op zich neemt.

Aard producent Invalshoek Doelgroep

Doelstelling(en)



De subjectieve indicatoren komen uit externe databronnen. De drie eerste indicatoren (corruptie, red tape en justitieel apparaat) komen uit het World Competitiveness Yearbook vanwege het WEF.

De Public Sector Performance zelf is een alomvattende meting, die zowel beleid als bestuur in beschouwing neemt. De 'Musgravian Indicators' zijn eerder economisch getint, daar waar de 'Opportunity Indicators' meer de quality of life trachten in te schatten. De administratieve component legt stevig de nadruk op het bestrijden van corruptie, illegale transacties en administratieve lasten. Hiervoor is nood aan een sterk justitieel apparaat. De performance of the public sector van nationale economieën wordt als een cruciale factor beschouwd in het nastreven van de doelstellingen die in de Lissabon-agenda zijn vastgesteld. In 2000 onderstreepten de EU-lidtaten in Lissabon immers de ambitie om de meest competitieve economie ter wereld te worden. Deze studie moet landen aan de hand van best practices helpen om de prestaties van hun publieke sector te verbeteren. Openbare studie die de voortgang van het beleid in kaart brengt en de individuele lidstaten in staat moet stellen om leereffecten te creëren.

53

Tabel 7: Meta-fiche van de Corruption Perceptions Index (Transparency International): Corruption Perceptions Index Hoofdindicator prestatievermogen van de overheid Corruption Perceptions Index

Indicatoren Corruptie en belangenvermenging, alsook anticorruptiemaatregelen en resultaten. Corruptie en belangenvermenging, alsook anticorruptiemaatregelen en resultaten. De mate waarin de overheid corruptie kan bestraffen en bestrijden. Corruptie en belangenvermenging, alsook anticorruptiemaatregelen en resultaten. Het misbruik van een publieke functie voor private (of partij) voordelen. De mate waarin corruptie binnen de overheid bestaat, ingeschat door de bevolking en uitgebracht door de media. Daarenboven wordt ook de implementatie van anticorruptie initiatieven beoordeeld. De ingeschatte mate van corrupte ambtenaren, gaande van kleinschalige bureaucratische corruptie (zoals het betalen van steekpenningen aan lage ambtenaren) tot grootschalige politieke corruptie (zoals het ontvangen van smeergeld bij het verlenen van grote openbare contracten). Steekpenningen, smeergeld en corruptie bestaan? Corruptie, gaande van het omkopen van ministers tot beïnvloeding van lage ambtenaren. Hoe erg schat je het probleem van corruptie in de overheid in? "Corruption control". Dit houdt onder andere om corruptie in de wetgevende macht, de juridische macht, de uitvoerende macht en de belastingsdiensten. Aspecten over de toegang tot rechtbanken en overheidsdiensten zijn ook opgenomen. Niet aangegeven betalingen of steekpenningen voor ambtenaren.

54

Kwaliteitscriteria



Transparency International maakt sinds 1995 jaarlijks een rangschikking op basis van de gepercipieerde corruptie in de publieke sector van vele landen over de wereld. De laatste ranking plaatste 180 landen ten opzichte van elkaar. De producent baseert zich op externe databronnen om tot een Corruption Perceptions-score te komen. In totaal werden 14 databronnen geselecteerd van in totaal 12 verschillende internationale organisaties en instellingen. De voorwaarde voor de inclusie van een databron is dat die bron de laatste twee jaar een meting moet gedaan hebben van het algemene corruptiepeil (frequentie en/of grootte van smeergeld) in publieke en politieke sectoren. Bovendien moeten er ten gevolge van die meting een internationale rangschikking opgemaakt zijn. Het zijn allemaal subjectieve indicatoren die aan de basis van de uiteindelijke meting liggen. Zowel expertenanalyses als bevragingen van business leaders liggen aan de basis van de meting. In totaal zijn het dus 12 verschillende surveys (waarbij die van het IMD en het PERC van twee verschillende jaren worden gebruikt, wat in totaal 14 bronnen geeft) die aan de basis van de Corruption Perceptions Index liggen. Samen rangschikken ze landen op basis van de gepercipieerde mate van corruptie bij ambtenaren en politici. Het gaat bijgevolg zowel om administratieve als om politieke corruptie. De Corruption Perceptions Index doet een meting van de vermeende corruptie in de publieke sector. Corruptie wordt opgevat als misbruik van publieke macht ten gunste van persoonlijke of private voordelen. Aangezien het ontbreken van corruptie een belangrijke kwaliteitsdimensie voor een overheid is, is deze ranking van Transparency International een belangrijke internationale rangschikking van publieke sectoren. De Corruption Perceptions Index baseert zich volledig op externe bronnen. Bovendien worden er uitsluitend subjectieve indicatoren gebruikt om de ranking samen te stellen. Transparency International is erg duidelijk hierover, het pretendeert niet om de werkelijke omvang van corruptie in een score om te zetten.


Validiteit

Voor de aggregatie van de corruptiescore, gebruikt deze producent 14 onderliggende databronnen. Uit deze zorgvuldig geselecteerde databronnen worden de surveyvragen gelicht die een bevraging doen naar de gepercipieerde corruptie en/of een inschatting betreffen van de omvang van het probleem. 5 internationale organisaties en 7 privé bedrijven (waarvan er 2 voor 2 jaar worden gebruikt) liggen aan de basis van de data. het gaat zowel om expertenanalyses als om bevragingen van zakenlui. Er zijn zowel respondenten uit de landen zelf, als externe specialisten of getuigen die in de bevraging betrokken worden. Dit afhankelijk van de onderliggende databron. De 14 indicatoren werden niet op basis van een governance of corruptietheorie geselecteerd, maar werden in de meting opgenomen op basis van beschikbaarheid. Transparency International heeft er duidelijk voor gekozen om een 'survey of surveys' op te stellen, een synthetiserende indicator met alle voorhanden indicatoren. De methodologie wordt jaarlijks significant gewijzigd en ook de landensamenstelling varieert in ieder rapport. Dit zorgt ervoor dat er slechts beperkte comparabiliteit is.

55

Overheidsomschrijving Individuele/ Geaggregeerde indicator(en) Betrouwbaarheidsmarge (Statistische) revisie Aantal (onderliggende) bronnen

Er is geen officiële autoriteit ingesteld om de statistieken na te gaan. Er is daarentegen wel een intern en extern revisiesysteem voorzien om fouten op te vangen en biases weg te werken. Voor de opinion polls van bedrijfsleiders en managers wordt de score van een land gebaseerd op de opiniescores van de laatste twee jaren. De expertenpolls worden verondersteld voldoende peer review ondergaan te hebben en worden zo overgenomen. 14 onderliggende surveys worden gebruikt. 12 verschillende organisaties dragen bij aan de datagaring van deze bevragingen.

Landensamenstelling


Subjectieve indicatoren: Aangezien de perceptie van de corruptie gemeten wordt, baseert de Corruption Perceptions Index zich op diverse onderliggende surveyvragen. Zowel experten, als bedrijfsleiders mogen hun inschatting geven over de corruptie in hun land. Het gaat zowel om inwoners als buitenstaanders. 14 surveyvragen worden voor elk van de 180 onderzochte landen nagegaan. Afhankelijk van het land zijn er tussen de 3 en 11 aangewende surveys voor de landenscore. De surveys zijn gebaseerd op een bevraging bij een bepaalde groep respondenten. De grootte hiervan is eveneens afhankelijk van de databron. Ja, Transparency International neemt de meetfouten in rekening en geeft een betrouwbaarheidsinterval aan een significantieniveau van 90% vrij.

Dataoorsprong

Significantieniveau

Observaties/D atapunten

Objectieve/ Subjectieve indicator(en)

Overheidsomschrijving Aard van de indicator

Geaggregeerde indicator: Aan de basis van deze meting liggen 14 externe surveys die peilen naar de gepercipieerde corruptie in de publieke sector van een land.

Ja, samen met het World Bank Institute een van de enige producenten van governance rankings om betrouwbaarheidsintervallen te berekenen. Deze 'confidence intervals' geven aan welke vergelijking wel en welke niet gerechtvaardigd zijn vanuit wetenschappelijk oogpunt.

Analyseeenheid


Een goede overheid moet corruptie aan banden leggen. Corruptie wordt gedefinieerd als 'misbruik van publieke macht voor persoonlijke of private doeleinden'. Dit omvat zowel politieke als administratieve corruptie. Vooral vriendjespolitiek, het valselijk afsluiten van publieke contracten en met smeergeld betaalde ambtenaren en politici worden in deze rangschikking ingeschat.

180 landen, België incluis.

Regio's

Er worden geen regio's in deze rangschikking van publieke sectoren opgenomen.

Punctualiteit

Timeframe


Ontstaan

De meting van de Corruption Perceptions Index ontstond in 1995.

De Corruption Perceptions Index wordt op jaarlijkse basis gepubliceerd.

De Corruption Perceptions Index wordt elk jaar in de herfst uitgebracht en bevat surveys die van het jaar zelf tot twee jaar terug gaan.

Toegang Aflaadbaar

Databeschikbaarheid


Indicatorenniveau: De ranking wordt duidelijk omschreven. De onderliggende databronnen, alsook de gebruikte indicatoren (surveyvragen) worden overzichtelijk openbaar gemaakt. Dataniveau: De ranking wordt voor elk land bekend gemaakt. Ook de onderliggende databronnen, de oorsprong van elke individuele score wordt bekendgemaakt. De totaalscore voor elk land wordt publiekelijk bekendgemaakt, alsook het aantal gebruikte surveys en het bijhorende betrouwbaarheidsinterval. De individuele datascores worden echter niet vrijgegeven. Daarvoor moet men een beroep doen op de onderliggende databronnen zelf. Op die manier zijn verschillende basisscores moeilijk of enkel tegen betaling beschikbaar. De transparantie is de laatste jaren verbeterd. De geselecteerde databronnen worden kenbaar gemaakt. Ook de methodologie en score-interpretatie van deze bronnen wordt overzichtelijk meegegeven. De indicatoren- noch de bronnenselectie berust echter op een theorie. Beschikbaarheid is het selectiecriterium. --> Vrij goede beschikbaarheid van indicatoren en data. Individuele scores worden wel niet vrijgegeven. --> Methodologisch bouwwerk is duidelijk. --> Theoretische onderbouw: geen theorie aan de grondslag van de conceptuele keuzes. Vrije toegang tot de ranking, de landenscores, het aantal onderliggende surveys en betrouwbaarheidsmarge. Individuele scores per indicator worden door Transparency International niet vrijgegeven. Sommige daarvan zijn vrij te raadplegen op de website van de producent van de onderliggende bron, anderen zijn enkel tegen betaling te verkrijgen. Neen, de data zijn enkel op de website en in een pdf-file verkrijgbaar.

57

De belangrijkste verdienste van Transparency International is het op de internationale agenda plaatsen van thema corruptie. Sinds haar oprichting in 1995, heeft de Corruption Perceptions Index erg veel mediabelangstelling gekregen, wat het thema aan belang heeft doen inwinnen. Bovendien creëert die belangstelling een druk op overheden van slecht presterende landen om beter te doen. In het verleden sprongen er vooral de voorbeelden van Zuid-Korea, Hong Kong, Singapore, Bangladesh en Nigeria er bovenuit. Het shamingprincipe van de ranking zette deze landen aan van corruptiebestrijding een prioriteit te maken.

58

Berekeningsmethode Consistentie

Duurzaamheid

Model

Samplegrootte

Wegingsfactoren

Leermogelijkheid

Concreet biedt de ranking weinig aanknopingspunten voor vooruitgang. Transparency International kan via haar scores wel aangeven dat er een corruptieprobleem is, maar biedt weinig informatie over hoe de situatie te verbeteren. De producent stelt in haar rapport zelf: "the Corruption Perceptions Index is a ranking and cannot be used as a measure of national performance in the fight against corruption". Aangezien de scores en ranking enkel een uitspraak doen over de relatieve performantie, kan er bijvoorbeeld niet ingeschat worden of bepaalde maatregelen hun vruchten hebben afgeworpen of niet. Bovendien kan de aanpak van sluimerende corruptie er op korte termijn toe leiden dat de corruptie meer zichtbaar wordt en dus de perceptie van corruptie doen stijgen. Dit geeft een vertekend beeld. De 14 indicatoren (surveyvragen) worden genormaliseerd en aan een gemiddeldetrekking onderworpen.

90 (2000) 91 (2001) 102 (2002) 133 (2003) 146 (2004) 159 (2005) 163 (2006) 180 (2007) Transparency International baseert zich in deze survey volledig op externe databronnen. Er werden 14 indicatoren geselecteerd, van deze data wordt een gemiddelde getrokken voor de eindscore te bepalen. De verschillende individuele scores worden genormaliseerd.

De methodologie verandert elk jaar sterk door het opnemen en afstoten van andere onderliggende bronnen. In 2007 werden 3 nieuwe bronnen aan de selectie toegevoegd. Ook de landensamenstelling verandert elk jaar, waardoor de relatieve scores mogelijks veranderen zonder een reële verandering van de gepercipieerde corruptie.


De aard van de respondenten is afhankelijk van de gebruikte databron. Het gaat om twee groepen van respondenten: de experten en de economische elite.

Verschillende auteurs hebben in het verleden de Corruption Perceptions Index een private sectorbias verweten. Dit kwam omdat een groot aandeel van de gebruikte surveys van private en commerciële bedrijven afkomstig waren. Dit is in de laatste jaren vrij goed opgevangen. In de meting van 2007 worden 5 onafhankelijke bronnen opgenomen tegenover 9 private sector polls.

De meeste metingen van de onderliggende databronnen gebeuren op basis van experten-analyses die in contact staan met lokale correspondenten voor informatie. Deze bronnen baseren zich op de expertenscores en hebben mogelijks te lijden onder een expertenbias. Een kleiner deel van de databronnen, doen een bevraging bij inwoners van het land dat beoordeeld wordt. Hier schuilt het gevaar op 'home-country-bias'. Inwoners hebben soms een vertekend beeld van de binnenlandse situatie. Afhankelijk van de databron.

Aard producent

Aard van vragen

Aantal respondenten

Niet meegedeeld.

Invalshoek

Producent Visie

Politiekadministratieve dimensie



Bias(es)

Er is ook een economische bias waar te nemen, aangezien de surveys volledig berusten op bevragingen van bedrijfsleiders en managers.

Het gaat meestal om goed omschreven en welomlijnde vragen. Ook dit is echter afhankelijk van de onderliggende databron.

In 1993 als NGO opgestart. Het gaat om een internationale organisatie (gevestigd in Berlijn) die als algemene doelstelling heeft om corruptie in de wereld aan de kaak te stellen en te bestrijden.

Legt zich volledig toe op corruptiebestrijding. Bij gebrek aan harde data over de omvang van corruptie, focust Transparency International op de perceptie van corruptie in de wereld. Het maakt daarbij enkel gebruik van surveys onder experten en bedrijfsleiders. Public opinion polls worden uit de meting geweerd.

59

Doelstelling(en) Doelgroep

Doelstelling(en) User(s) 60

Het wil een interne en externe druk creëren om corruptie in de wereld terug te drijven. Het hoopt via een systeem van shaming and blaming overheden aan te zetten tot maatregelen om de corruptie in te dijken.

De Corruption Perceptions Index is een wijdverspreide ranking, die vooral gebruikt wordt door investeerders, donoren, analisten en academici. De grote belangstelling voor de jaarlijkse rangschikking zorgt ook dat overheden op internationale schaal de Corruption Perceptions Index met argusogen volgen.

Tabel 8: Meta-fiche van de International Country Risk Guide (Political Risk Services Group): Bureaucratic Quality Hoofdindicator prestatievermogen van de overheid

Indicatoren

Bureaucratic Quality

How would you assess the bureaucratic Quality?

61

Kwaliteitscriteria

Beschrijving De International Country Risk Guide, uitgegeven door Political Risk Services, quoteert een groot aantal landen op het vlak van de financiële, economische en politieke risico's voor internationale bedrijven en financiële instellingen.


De ICRG stelt een overall risk score op voor elk land, die kan opgesplitst worden in een Financial Risk Index, een Economical Risk Index en een Political Risk Index. Onder deze laatste component is 'Bureaucratic Quality' één van de 12 individuele indicatoren. De financiële en economische component worden samengesteld op basis van objectieve data, terwijl de politieke component door de experten op basis van subjectieve analyses wordt gescoord. De overall score verdeelt de landen in categorieën gaande van 'Very Low Risk' (80 tot 100 punten) tot 'Very High Risk' (0 tot 49.5 punten). Er wordt voorzien in een actuele risicoanalyse, een vooruitblik van één jaar en een vijf-jaar-voorspelling.

62


Validiteit

Indicator: ‘Bureaucratic Quality’ valt onder de Political Risk Index, één van de drie componenten (met een weging van 0.50 de belangrijkste) die samen de Overall Risk Score uitmaken. Het is een peiler van de politieke stabiliteit van elk land. De omschrijving van de producent: de indicator meet de institutionele sterkte en de kwaliteit van de ambtenarij, meet hoeveel macht en expertise ambtenaren hebben en onderzoekt ten slotte in welke mate politieke veranderingen/wijzigingen (drastisch) oponthoud in overheidsdiensten of beleidsuitvoering met zich meebrengt. Goede performers hebben een zo goed als autonome administratie, onafhankelijk van politieke druk en een duurzaam mechanisme van rekrutering en opleiding. Hoge punten (laag risico): landen waarin de bureaucratie de macht en de expertise bezit om te regeren zonder drastische beleidsveranderingen of oponthoud in de overheidsdiensten. Lage punten (hoog risico): wanneer een regeringsverandering radicale gevolgen heeft in termen van beleidsformulering en invulling van dagdagelijkse administratieve functies.

De indicator ‘Bureaucratic Quality’ wordt ingeschat door experten op basis van ‘verzamelde bronnen en informatie betreffende de politieke situatie in de verschillende landen’. Deze experten, die uit de staf van de PRS Group komen, trachten dus in te schatten wat de institutionele sterkte is van de landen en geven een subjectieve beoordeling van de kwaliteit van de ambtenarij. Daarnaast wordt ook ingeschat hoeveel macht en expertise ambtenaren hebben en hoe goed ze kunnen omgaan met politieke veranderingen/wijzigingen zonder dat drastisch oponthoud in de overheidsdiensten of bij de beleidsuitvoering daarvan het gevolg is.

Overheidsomschrijving Individuele/ Geaggregeerde indicator(en) Objectieve/ Subjectieve indicator(en)




Hoge punten (laag risico) worden toegekend aan landen waarin de bureaucratie de macht en de expertise bezit om te regeren zonder drastische beleidsveranderingen of oponthoud in overheidsdiensten. Lage punten (hoog risico) zijn voorbehouden in het geval dat een regeringsverandering radicale gevolgen met zich meebrengt in termen van beleidsformulering en dagdagelijkse administratieve functies. Aangezien het om een expert assessment van het begrip ‘Bureaucratic Quality’ gaat, is het oppassen of het imago niet sterker doorweegt dan de reële situatie bij de toekenning van de scores. Een expertscore is ook niet reproduceerbaar. Al heeft de producent van deze ranking wel oog voor dit probleem. ICRG geeft immers de informatie en de data mee op basis waarvan de experten de risicoscores toekennen, bovendien geeft ze de subjectieve interpretaties van de informatie vrij, alsook de data die de experten daarvoor gebruikten. De data vertonen al bij al een redelijke transparantie: er is een goede beschikbaarheid van indicatoren en data, een duidelijk uitgewerkte methodologie en dito omschrijving van de begrippen, evaluatiecriteria en scores. Er ligt echter ook hier geen conceptuele theorie aan de basis van de normatieve keuzes. Een goed scorend land op politiek (risico-)vlak: wanneer een regeringsverandering geen radicale gevolgen heeft in termen van beleidsformulering en invulling van dagdagelijkse administratieve functies.

Individuele indicator: één van de twaalf gewogen indicatoren die samen The Political Risk Index uitmaken.

Subjectief: expert assessment op basis van subjectieve analyses.

63

Observaties/ Datapunten Significantieniveau Betrouwbaarheidsmarge

Geen betrouwbaarheidsinterval kenbaar gemaakt.

Landensamenstelling



Niet van toepassing.

Eigen data. De aangestelde experts vertalen voor de financiële en economische component objectieve data in risk scores. Wat de politieke component betreft, worden subjectieve analyses van beschikbare informatie in risk points omgezet. Deze subjectieve evaluatie wordt gemaakt op basis van verzamelde bronnen en informatie betreffende de politieke situatie in de respectievelijke landen. 140 landen, België incluis.

Er werden geen regio's in de databron opgenomen.

Ontstaan

Ontstaan in 1980 op initiatief van de uitgevers van International Reports, een wekelijkse nieuwsbrief over internationale economie en financiën.

Maandelijkse update (sinds 1984). Periodiciteit van de publicatie

Timeframe

Geen statistisch nazicht. Wel een 'peer review' voorzien per regio en per domein.

Regio's

Statistische kwaliteit Dataoorsprong Analyse-eenheid


22 individuele indicatoren en 15 subindicatoren, verdeeld over drie componenten (financieel, economisch en politiek) in 140 landen.

Punctualiteit

De WBI gebruikt voor haar jaarlijkse samenstelling van de WGI de data van december. Indicatorenniveau: Beschikbaarheid tot basisniveau van de individuele indicator (en eventuele subindicator). 'Bureaucratic quality' als een van de twaalf indicatoren die samen de Political Risk Rating uitmaken Dataniveau: (Commerciële) beschikbaar tot op het niveau van de individuele indicator ('Bureaucratic quality') ICRG geeft bovendien de informatie en de data mee op basis waarvan de experten de risk scores toekennen met daarbij de subjectieve interpretatie van de informatie en de data door de experten. Redelijke transparantie; goede beschikbaarheid van indicatoren en data, duidelijke methodologie en omschrijving van de begrippen, evaluatiecriteria en scores. Geen conceptuele theorie die aan de basis van de normatieve keuzes ligt. --> Methodologisch bouwwerk wordt overzichtelijk en volledig meegegeven. --> Gebrek aan reproduceerbaarheid; scores worden op basis van onduidelijke grondslagen gecreëerd. --> Theoretische onderbouw: geen governance theorie aan de grondslag van de conceptuele keuzes. Commerciële beschikbaarheid: Tegen een prijs van 7.940 $ per jaar voor een volledige toegang.

Toegang


De scores worden gepubliceerd binnen de maand na het beëindigen van het kwartaal.

Databeschikbaarheid

Leermogelijkheid

Duurzaamheid

Wegingsfactoren

Aflaadbaar

Geen informatie.

Leereffecten worden mogelijk gemaakt: ICRG geeft de informatie en de data vrij, op basis waarvan de experten de risk scores toekennen. Ook de subjectieve interpretatie van de informatie en de data vanwege de experten wordt beschikbaar gemaakt. Ook de grote beschikbaarheid van indicatoren en data, en precieze omschrijving van de basisindicatoren hebben een positieve invloed op de leereffecten onder de onderzochte landen. De wegingsfactoren worden kenbaar gemaakt. Weging is afhankelijk van het aantal risicopunten dat aan elke individuele variabele wordt toegekend. Zo krijgt 'Bureaucratic quality' 4 risicopunten (op een totaal van 100 voor de Political Risk Index en 200 voor de Overall Risk Score) toebedeeld. De puntentoewijzing wordt wel nergens onderbouwd.

65

Samplegrootte Aard van respondenten

Consistentie

Berekeningsmethode

Model

Stabiele landensamenstelling: 130 (1996) 140 (1998) 140 (2000) 140 (2002) 140 (2003) 140 (2004) 140 (2005) 140 (2006) Geen informatie.

Voor de Risk Score van 'Bureaucratic Quality' (onder de Political Risk Index): Experts uit de International Country Risk staff maken hun subjectieve analyse van de beschikbare informatie en data over de politieke situatie (risico's) in de respectievelijke landen en kennen op basis daarvan een cijfer toe van 0 tot 4. 4 'risk points' komen overeen met het kleinste potentiële risico. Belangrijk is dat zowel de informatie en data die gebruikt werden in de beoordelingen worden meegegeven, alsook de interpretatie van de experten. De consistentie wordt op twee manieren gevrijwaard. Enerzijds is er een regionale en onderwerpsreview op elke subjectieve score van de experten. Anderzijds is er een standaardlijst van pre-set vragen voorzien om elke Political Risk Indexcomponent op dezelfde basis te quoteren. De Political Risk Service Staff en de ICRG editors.

66

Onderbouwde respondentenkeuze Aantal respondenten


Bias(es)

Risk rating agency: Bias in de richting van de private sector. Commercial business information provider: Economische bias, commerciële belangen. Neen, geen verantwoording.

Geen informatie.

Aard van vragen Aard producent Invalshoek Doelstelling(en) Doelgroep



In detail geformuleerde begrippen worden gemeten. Beoordeling op basis van een standaardevaluatie (pre-set questions).

The Political Risk Service Group (Syracuse, US): Sinds 1979 voorziet de PRS Group bedrijven met informatie die ze nodig hebben in hun buitenlandse ondernemingen. Het gaat om een commercial business information provider: een bedrijf dat tegen betaling risicoanalyses aan belanghebbende cliënten aanbiedt.

Overwegend politieke, alsook economische en financiële invalshoek. Vooral de stabiliteit van een land wordt onderzocht. De mate waarin een land eenzelfde koers blijft varen onafhankelijk van de regeringssamenstelling. De PRS Group tracht met deze International Country Risk Guide cliënten bij te staan in het uittekenen van een economisch beleid in het buitenland en in het opstellen van een risicostrategie voor de toekomst. De politieke, financiële en economische stabiliteit in het land en de daaraan verbonden risico's bepalen het positieve of negatieve advies voor ondernemingen in het buitenland. Onder de cliënten bevinden zich institutionele investeerders, banken, multinationals, importeurs, exporteurs, shipping concerns en anderen.

67

Wouter Van Dooren is professor Bestuurskunde aan de Universiteit Antwerpen en postdoctoraal onderzoeker aan het Instituut voor de Overheid, K.U.Leuven. Geert Bouckaert is gewoon hoogleraar aan de Faculteit Sociale Wetenschappen van de K.U.Leuven, directeur van het Instituut voor de Overheid en promotor-coördinator van het Steunpunt Bestuurlijke Organisatie Vlaanderen (SBOV). Zijn onderzoeksinteresses situeren zich vooral op het domein van prestatiemeetsystemen en financiële beleids- en beheerscycli in de overheid.

D/2008/10106/007 - Annex

Foto cover K.U.Leuven

>

Contact: Maarten Luts K.U.Leuven Instituut voor de Overheid Steunpunt Bestuurlijke Organisatie Vlaanderen Parkstraat 45 bus 3606 BE 3000 Leuven + 32 16 32 36 10 [email protected]

> M. Luts, W. Van Dooren, G. Bouckaert > Internationale rangschikkinen gerangschikt

Maarten Luts is verbonden aan het Instituut voor de Overheid, K.U.Leuven. Hij werkte als wetenschappelijk medewerker aan het B-project “Internationale vergelijkingen vergeleken” onder het Steunpunt Bestuurlijke Organisatie Vlaanderen. Momenteel werkt hij mee aan het B-project “De efficiënte overheid geanalyseerd” en is hij coördinator van het Public Management Programme.

rapport Governance rankings geanalyseerd Een overzicht van de meta-fiches

Recommend Documents