EUROPESE REKENKAMER. Handleiding doelmatigheidscontrole 2015

NL

EUROPESE REKENKAMER

Handleiding doelmatigheidscontrole 2015

HANDLEIDING DOELMATIGHEIDSCONTROLE OVERZICHT

HOOFDSTUKKEN VAN DE HANDLEIDING DOELMATIGHEIDSCONTROLE

Bladzijde

Bladzijde 2

Algemene inleiding

Bladzijde 7

Hoofdstuk 1 - Kader voor de doelmatigheidscontroles van de Europese Rekenkamer

Bladzijde 15

Hoofdstuk 2 - Aanpak van de doelmatigheidscontrole en de drie E's

Bladzijde 32

Hoofdstuk 3 - Planning van de controle

Bladzijde 61

Hoofdstuk 4 - Onderzoeksfase

Bladzijde 77

Hoofdstuk 5 - Verslagleggingsfase

Bladzijde 97

Gedetailleerde inhoudsopgave

Contact

Richtlijnen, beste praktijken, voorbeelden, ondersteuning en begeleiding bij de toepassing van deze Handleiding doelmatigheidscontrole vindt u bij de eenheid CEAD SAM van de Europese Rekenkamer (ERK). Bekijk de intranetsite van CEAD SAM of stuur ons een e-mail: SAM CONTACT/ECA of [email protected]

Wij hebben geen bezwaar tegen reproductie en verspreiding van deze handleiding; daartoe hoeft geen specifieke toestemming te worden verkregen van de ERK.

Algemene inleiding - blz. 1

HANDLEIDING DOELMATIGHEIDSCONTROLE ALGEMENE INLEIDING

Hoofdstukken van de Handleiding doelmatigheidscontrole

INHOUD

Doel en inhoud van de Handleiding doelmatigheidscontrole

Algemene inleiding

Structuur Hoofdstuk 1: Kader voor de doelmatigheidscontroles van de Europese Rekenkamer

Lijst van begrippen en technische termen

Hoofdstuk 2: Aanpak van de doelmatigheidscontrole en de drie E's

Hoofdstuk 3: Planning van de controle

Hoofdstuk 4: Onderzoeksfase

Hoofdstuk 5: Verslagleggingsfase

Contact

Neem voor meer informatie contact op met: Europese Rekenkamer - kamer CEAD Eenheid Controlemethodologie en ondersteuning (SAM) E-mail: SAM CONTACT/ECA of [email protected]


DOEL EN INHOUD VAN DE HANDLEIDING DOELMATIGHEIDSCONTROLE De Handleiding doelmatigheidscontrole maakt deel uit van een door de Rekenkamer uitgebrachte reeks procedures en richtsnoeren. Het doel ervan is: Doel - Kwaliteit

Inhoud

Professionele oordeelsvorming is essentieel

en 'moet'-zinnen zijn verplicht.

1

•

een hoge kwaliteit te helpen bereiken bij doelmatigheidscontroles, en

•

de professionele vaardigheden van de controleurs op dit gebied te bevorderen.

De handleiding werd opgesteld om te voorzien in de behoeften van controleurs en het controlemanagement. Er wordt in algemene termen beschreven hoe doelmatigheidscontroles behoren teworden gepland, verricht en gerapporteerd. De handleiding is gebaseerd op algemeen aanvaarde beginselen van de doelmatigheidscontrole, zoals aangegeven in de normen en richtsnoeren voor 1 de doelmatigheidscontrole van INTOSAI , alsook op de bestaande goede praktijken op dit gebied. Zij spoort ertoe aan, in elke fase van de controle oordeelkundig te werk te gaan; dat is van essentieel belang gezien de verscheidenheid van mogelijke controleonderwerpen, doelstellingen en op dit gebied beschikbare methoden voor de verzameling en analyse van gegevens. De procedures voor de doelmatigheidscontrole zijn geformuleerd in "moet"zinnen; ze zijn gebaseerd op de controlebeleidslijnen van de Rekenkamer en dienen te worden uitgevoerd.

ISSAI 300 Fundamental principles of performance auditing (grondbeginselen van doelmatigheidscontrole), ISSAI 3000 Implementation Guidelines for Performance Auditing: Standards and guidelines for performance auditing (uitvoeringsrichtsnoeren voor doelmatigheidscontrole: normen en richtsnoeren voor de doelmatigheidscontrole) en ISSAI 3100 Performance Audit Guidelines – Key Principles (richtsnoeren voor doelmatigheidscontrole - essentiële beginselen). Algemene inleiding - blz. 3

STRUCTUUR De handleiding bestaat uit vijf hoofdstukken. De eerste twee hoofdstukken bevatten het noodzakelijke achtergrondmateriaal; de hoofdstukken 3 tot 5 bevatten meer gedetailleerde richtlijnen voor elke fase van een doelmatigheidscontrole: planning, onderzoek en rapportage. De handleiding is als volgt gestructureerd: HOOFDSTUK 1 beschrijft de context van de doelmatigheidscontrole in de EUinstellingen en het mandaat en de doelstellingen van de Rekenkamer voor dergelijke controles. HOOFDSTUK 2 schetst de aanpak van de doelmatigheidscontrole, de toepassing van de begrippen economie (zuinigheid), efficiëntie en effectiviteit op het terrein van de EU en de essentiële kenmerken van een goede doelmatigheidscontrole. HOOFDSTUK 3 geeft een uiteenzetting van de planning van de controle, waaronder het Audit Planning Memorandum (controleplan). HOOFDSTUK 4 beschrijft de onderzoeksfase van de controle en met name de uitvoering van de controle, de communicatie van de controlebevindingen en de regelingen inzake controlemanagement en kwaliteitsbeheersing. HOOFDSTUK 5 behandelt de verslaglegging, met inbegrip van het ontwerpen, opstellen, reviseren, goedkeuren en verspreiden van het verslag, alsmede de follow-up ervan.


LIJST VAN BEGRIPPEN EN TECHNISCHE TERMEN Enkele van de onderstaande definities zijn gebaseerd op die in deel 6 van de collectie MEANS van de Europese Commissie, welke het methodologisch kader vormt voor evaluaties op het gebied van het structuurbeleid. Deze begrippen gelden ook op andere terreinen, waar de gebruikte terminologie kan verschillen. DIRECT BETROKKENE

Persoon of organisatie die rechtstreeks geraakt wordt door de interventie. Ook de term "begunstigde" wordt vaak gebruikt. Direct betrokkenen ontvangen steun, diensten en informatie en benutten de faciliteiten die mede dankzij de interventie tot stand zijn gebracht (bijv. landbouwers die gebruikmaken van een irrigatienetwerk dat in het kader van een ontwikkelingsproject is aangelegd).

EXOGENE FACTOR

Van de overheidsinterventie losstaande factor die geheel of ten dele de bij de betrokkenen waargenomen veranderingen (resultaten en impact) teweeg heeft gebracht (bv. weersomstandigheden, ontwikkelingen in de economische situatie, prestaties van contractanten, gedrag van begunstigden).

IMPACT

Sociaaleconomische gevolgen op langere termijn die enige tijd na de voltooiing van een interventie waargenomen kunnen worden en die van invloed kunnen zijn op de direct betrokkenen bij een interventie of op indirect betrokkenen die buiten de reikwijdte van de interventie vallen en er voor- of nadeel van ondervinden.

INDIRECT BETROKKENE

INPUT

Persoon of organisatie die niet rechtstreeks te maken heeft met de interventie maar er wel door wordt beïnvloed via direct betrokkenen, hetzij in positieve zin (bv. iemand die een baan krijgt doordat een ander in het kader van een interventie vervroegd kon uittreden), hetzij in negatieve zin (bv. bedrijven die klanten verliezen aan andere bedrijven die gebruikmaken van netwerken voor technologieoverdracht die door een innovatieactie zijn opgezet). De financiële, personele en materiële middelen die worden ingezet bij de uitvoering van een interventie.

INTERVENTIE

Elke actie of operatie van welke aard ook (beleidslijn, programma, maatregel of project) die door een overheid of een andere organisatie wordt verricht. Bij een interventie gehanteerde middelen zijn subsidies, leningen, rentesubsidies, garanties, financieringsvormen zoals deelneming in aandelenkapitaal of risicodragend kapitaal.

MAATREGEL

Het basiselement van programmabeheer in het kader van een beleidslijn; een maatregel omvat een aantal gelijksoortige projecten en werkt met een welbepaald budget. Voor elke maatregel is er meestal een apart beheersapparaat.

BEHOEFTE

Probleem of moeilijkheid waarmee de betrokken groepen te kampen hebben en dat/die door de overheidsinterventie moet worden opgelost of overwonnen.


DOELSTELLING

UITKOMST

OUTPUT

Uiteenzetting vooraf van de gerealiseerde uitkomsten die met een interventie beoogd worden. Er dient onderscheid te worden gemaakt tussen algemene, tussentijdse, onmiddellijke en operationele doelstellingen: •

een algemene doelstelling betreft de algemene impact van een interventie en is doorgaans in zeer algemene termen (bv. verhoging van het ontwikkelingsniveau) omschreven in de EU-wetgeving; deze wordt door de Commissie en de lidstaten gewoonlijk vertaald in intermediaire doelstellingen welke de verwachte impact betreffen die de gefinancierde programma's in de tussentijd hebben (bv. het concurrentievermogen van ondernemingen versterken);

•

onmiddellijke doelstellingen betreffen de resultaten van een interventie voor de direct betrokkenen en worden doorgaans door de lidstaten vastgesteld in het kader van de tenuitvoerlegging van de gefinancierde programma's (bijv. de omzet van bedrijven die technologische ondersteuning ontvangen met 20 % verhogen);

•

operationele doelstellingen bepalen de te realiseren output (bv. 500 uur consultancydiensten verlenen aan kleine en middelgrote ondernemingen).

Verandering die voortvloeit uit de toepassing van een interventie en normaliter verband houdt met de doelstellingen van deze interventie. Uitkomsten omvatten resultaten en impact. Ze kunnen verwacht of onverwacht, positief of negatief zijn (bijv. een nieuwe snelweg die investeerders naar de regio lokt, maar onaanvaardbaar veel vervuiling veroorzaakt in de gebieden waar hij doorheen loopt). Hetgeen wordt geproduceerd of gerealiseerd met de voor een interventie uitgetrokken middelen (bijv. subsidies aan landbouwers, opleidingen voor werklozen, wegenbouw in een ontwikkelingsland).

BELEID

Een pakket van verschillende acties en operaties (programma's, procedures, wetgeving en regels) gericht op één enkel doel of algemene doelstelling (bijv. het Europees beleid inzake economische en sociale cohesie). Vaak neemt dit soort activiteiten in de loop van de jaren sterk toe.

PROCESSEN

Procedures en activiteiten waardoor input wordt omgezet in output (bijv. procedures om subsidies te verstrekken of projecten te selecteren voor financiering). Onder dit begrip vallen ook het genereren van beheersinformatie en de gebruikmaking daarvan door het management.

PROGRAMMA

Een gestructureerd pakket financiële, praktische en personele middelen ingezet voor het bereiken van een doelstelling of een reeks doelstellingen binnen een bepaalde tijd. Een programma heeft een welbepaald tijdschema en budget, en de doelstellingen ervan zijn vooraf vastgelegd. Het valt altijd onder de verantwoordelijkheid van een overheidsinstantie, of van meerdere overheidsinstanties die de besluitvorming delen. Programma's worden doorgaans opgesplitst in maatregelen en projecten.

PROJECT

Niet-deelbare operatie met een welbepaald tijdschema en budget onder de verantwoordelijkheid van een organisatie die zo dicht mogelijk bij het veld de aan de interventie toegewezen middelen gebruikt.

RESULTAAT

Onmiddellijke veranderingen voor de direct betrokkenen aan het einde van hun deelname aan een interventie (bijv. betere toegankelijkheid van een gebied door de aanleg van een weg, deelnemers aan opleidingen die werk hebben gevonden).


HANDLEIDING DOELMATIGHEIDSCONTROLE HOOFDSTUK 1 KADER VOOR DE DOELMATIGHEIDSCONTROLES VAN DE EUROPESE REKENKAMER


Algemene inleiding

INHOUD

1.1 Inleiding

Hoofdstuk 1: Kader voor de doelmatigheidscontroles van de Europese Rekenkamer

1.2 Doelmatigheidscontrole en goed financieel beheer in de Europese Unie 1.2.1 Doelmatigheidscontrole 1.2.2 Goed financieel beheer: Verdrag en Financieel Reglement



1.2.3 Beheersmethoden ter uitvoering van de begroting 1.2.4 Internebeheersingssysteem om tot goed financieel beheer te komen 1.2.5 Verhouding tussen doelmatigheidscontrole & financiële en nalevingsgerichte controle 1.2.6 Verhouding tussen doelmatigheidscontrole en evaluatie 1.3 Taak en doelstellingen van de Rekenkamer voor doelmatigheidscontroles


1.3.1 De wettelijke verplichtingen van de Rekenkamer Hoofdstuk 5: Verslagleggingsfase

1.3.2 Doelstellingen van de Rekenkamer

Contact


Hoofdstuk 1 - Kader voor de doelmatigheidscontroles van de Europese Rekenkamer - blz. 7

1.1 INLEIDING Dit hoofdstuk biedt een referentiekader voor de doelmatigheidscontroles van de Rekenkamer door de context van zulke controles in de Europese Unie alsmede de taak en de doelstellingen van de Rekenkamer op dit gebied te beschrijven. In de tekst wordt meestal verwezen naar de algemene begroting van de Europese Unie ('de begroting') en naar de Commissie, omdat die het voornaamste controleterrein van de Rekenkamer vormen. Niettemin geldt dit kader voor alle door de Rekenkamer te verrichten doelmatigheidscontroles, inclusief die inzake de Europese Ontwikkelingsfondsen, de agentschappen en de Europese Centrale Bank.

1.2 DOELMATIGHEIDSCONTROLE EN GOED FINANCIEEL BEHEER IN DE EUROPESE UNIE 1.2.1 Doelmatigheidscontrole

Definitie

Een doelmatigheidscontrole is een onafhankelijk, objectief en betrouwbaar onderzoek om vast te stellen of handelingen, systemen, operaties, programma’s, activiteiten of organisaties functioneren in overeenstemming met de beginselen van zuinigheid, efficiëntie en doeltreffendheid en of er 2 ruimte voor verbetering is .

1.2.2 Goed financieel beheer: Verdrag en Financieel Reglement

Verdrag

Financieel Reglement

Artikel 317 van de geconsolideerde tekst van het Verdrag betreffende de werking van de Europese Unie (VWEU) bepaalt: "De Commissie voert de begroting... uit onder haar eigen verantwoordelijkheid... en met het beginsel van goed financieel beheer. De lidstaten werken met de Commissie samen om te verzekeren dat de toegekende kredieten volgens het beginsel van goed financieel beheer worden gebruikt." Volgens artikel 30 van het Financieel Reglement (2012) van toepassing op de 3 algemene begroting van de Unie (het Financieel Reglement) omvat het concept van goed financieel beheer de beginselen zuinigheid, efficiëntie en doeltreffendheid, die als volgt worden gedefinieerd:  ZUINIGHEID betekent dat de door de instelling voor haar activiteiten ingezette middelen tijdig, in passende hoeveelheid en kwaliteit en tegen de best mogelijke prijs beschikbaar worden gesteld;  EFFICIËNTIE betekent dat de beste verhouding tussen de ingezette 4 middelen en de verkregen resultaten wordt nagestreefd;  DOELTREFFENDHEID betekent dat de gestelde doelen en de beoogde resultaten worden bereikt.

2

Beleid en normen voor de controle van de Rekenkamer 2015 en ISSAI 300.

3

PB L 298 van 26.10.2012.

4

In de context van efficiëntie en doeltreffendheid wordt de term "resultaten" gebruikt in ruime zin, dus als output, resultaten en impact (zie de woordenlijst op blz. 5-6). Hoofdstuk 1 - Kader voor de doelmatigheidscontroles van de Europese Rekenkamer - blz. 8

1.2.3 Beheersmethoden ter uitvoering van de begroting De Commissie is verantwoordelijk voor de algemene uitvoering van de begroting, waarbij het Financieel Reglement (artikel 58, 2012) drie verschillende beheersmethoden aangeeft: Direct beheer

•

op een gecentraliseerde basis; deze methode wordt vooral toegepast bij de externe maatregelen en de administratieve uitgaven en bestaat uit direct beheer onder de verantwoordelijkheid van de directoraten-generaal van de 5 Commissie ;

Gedeeld beheer (art. 59 FR)

•

door gedeeld of gedecentraliseerd beheer; gedeeld beheer houdt in dat de uitvoeringstaken aan de lidstaten worden gedelegeerd en betreft vooral de uitgaven voor landbouw- en structurele acties;

Indirect beheer (art. 60 FR)

•

door indirect beheer met derde landen en aangewezen organen, internationale organisaties, de Europese Investeringsbank, het Europees Investeringsfonds en andere organen zoals bedoeld in artikel 58, lid 1, onder c), van het FR 2012; volgens deze methode worden de uitvoeringstaken gedelegeerd aan de begunstigde landen of internationale organisaties (meestal betreft het hier externe maatregelen) of aan EUagentschappen en openbare of particuliere instanties (met name op het gebied van intern beleid).

De methode heeft aanzienlijke gevolgen voor de controle

5

Elke methode houdt een andere verdeling van taken en verantwoordelijkheden bij de uitvoering van de begroting in, en hiermee moet zorgvuldig rekening worden gehouden tijdens de planning, uitvoering en verslaglegging van een doelmatigheidscontrole.

De Commissie kan de verantwoordelijkheid voor het voorbereiden en uitvoeren van activiteiten overlaten aan de delegaties in derde landen. Hoofdstuk 1 - Kader voor de doelmatigheidscontroles van de Europese Rekenkamer - blz. 9

1.2.4 Internebeheersingssysteem om tot goed financieel beheer te komen Om redelijke zekerheid te verkrijgen dat de doelstelling van goed financieel beheer wordt gerealiseerd, moeten de Commissie en de andere gecontroleerde entiteiten een deugdelijk internebeheersingssysteem 6 invoeren . Systemen voor informatietechnologie (IT) maken deel uit van het 7 internebeheersingssysteem bij de Commissie, die het COBIT -model volgt wat betreft IT-governance bij het beheer van informatie en IT-middelen.

COSO en ABB/ABM

Vijf beheersingscomponenten

De Commissie heeft een internebeheersingssysteem ingevoerd dat berust op de vijf onderling verbonden beheersingscomponenten van COSO en op de begrippen 'Activity Based Management' (ABM) en 'Activity Based Budgeting' (ABB). BEHEERSINGSCOMPONENT

DOEL

Internebeheersingsomgeving

Zorgen voor de fundamentele organisatiestructuur, discipline en waarden van de Commissie in de context van de drie reeds beschreven methoden van begrotingsuitvoering, en aldus een passend kader scheppen om zeker te zijn van een goed beheer van de toevertrouwde middelen.

Risico-inschatting

De interne en externe risico's voor de verwezenlijking van de doelstellingen van de Commissie opsporen en analyseren. In het internebeheersingssysteem van de Commissie omvat het "prestatie- en risicobeheer" het bepalen van doelstellingen op strategisch, operationeel en tactisch niveau volgens de ABM-aanpak. Alle activiteiten moeten doelstellingen hebben die specifiek, meetbaar, haalbaar, relevant en tijdgebonden (specific, measurable, achievable, relevant, timely SMART) zijn en bij de voornaamste activiteiten moet er risicoanalyse en risicobeheer zijn.

Internebeheersingsactiviteiten

De beleidslijnen en specifieke procedures bepalen die de Commissie heeft ingevoerd om ervoor te zorgen dat de opgespoorde risico's naar behoren worden beheerd; het betreft uiteenlopende activiteiten zoals goedkeuringen, verificaties, bestudering van operationele prestaties, rapportage van uitzonderingen en supervisie.

Informatie en communicatie

Een passend kader bieden voor de vaststelling van doelstellingen en de monitoring van en de rapportage over de verwezenlijking daarvan. Onder deze component valt ook het beheersinformatiesysteem dat nodig is om financiële en niet-financiële prestatie-indicatoren vast te stellen, de verwezenlijking van de doelstellingen te meten, en ook de grondslag te leggen voor het jaarlijks activiteitenverslag.

Monitoring

Zorgen voor doorlopende prestatiebeoordeling, inclusief interne audit en evaluatie alsmede jaarlijkse beoordeling van de interne beheersing.

6

Het comité van sponsororganisaties van de Treadway-commissie (COSO) definieert interne beheersing als een proces dat door de raad van bestuur, het management en ander personeel van een entiteit wordt toegepast om redelijke zekerheid te verkrijgen over de realisatie van doelstellingen in de volgende categorieën: • doeltreffendheid en efficiëntie van de verrichtingen, • betrouwbaarheid van de financiële verslaglegging, • naleving van de toepasselijke wetten en voorschriften.

7

COBIT: Control Objectives for Information and Related Technology (Beheersingsdoelstellingen voor informatie en daarop betrekking hebbende technologie). Hoofdstuk 1 - Kader voor de doelmatigheidscontroles van de Europese Rekenkamer - blz. 10

1.2.5 Verhouding tussen doelmatigheidscontrole & financiële en nalevingsgerichte controle Doelmatigheidscontrole verschilt op vele punten van financiële controle; de voornaamste verschillen zijn samengevat in de onderstaande tabel. ASPECTEN

Doel

Beoordelen of de financiële verrichtingen wettig en regelmatig zijn uitgevoerd en of de rekeningen betrouwbaar zijn

Focus

Beleid, programma, organisatie, activiteiten en beheerssystemen

Financiële verrichtingen, boekhouding en essentiëlebeheersingsprocedures

Academische basis

Economie, politieke wetenschappen, sociologie, enz.

Accountancy en rechten

Wisselen per controle

Gestandaardiseerde procedure

Meer overgelaten aan het inzicht van de controleur. Eenmalige criteria voor een bepaalde controle

Minder overgelaten aan het inzicht van de controleur Gestandaardiseerde criteria voor alle controles bepaald in weten regelgeving

Ad hoc gepubliceerd speciaal verslag Structuur en inhoud variëren naar gelang van de doelstellingen

Jaarverslag Min of meer gestandaardiseerd

Controlecriteria

Verslagen

moet zorgvuldig worden overwogen.

Financiële en nalevingsgerichte controle

Beoordelen of de EU-middelen zuinig, efficiënt en doeltreffend zijn gebruikt

Methoden

Alomvattende controle

Doelmatigheidscontrole

Een doelmatigheidscontrole kan ook aspecten van financiële en 8 nalevingsgerichte controle omvatten, inclusief milieuoverwegingen in de 9 context van duurzame ontwikkeling . Een controle waarbij deze aspecten zijn gecombineerd, heet een "alomvattende controle". Of er een doelmatigheidscontrole dan wel een alomvattende controle wordt verricht, is een kwestie van professionele oordeelsvorming en moet van geval tot geval worden beslist. Een controleur moet zich er bewust van zijn dat een "zuivere" doelmatigheidscontrole reeds een hele opgave is en dat een alomvattende controle nog meer vergt. Een alomvattende controle moet dus altijd zeer zorgvuldig worden overwogen en alleen worden uitgevoerd ingeval duidelijk is dat het mogelijk is voldoende relevante en betrouwbare controle-informatie te verzamelen en in de verslagleggingsfase tijdig heldere en nuttige informatie te verkrijgen die van nut is voor de doelstellingen van nalevingsgerichte en/of financiële controle. De verschillende elementen dienen in het Audit Planning Memorandum en het controleprogramma duidelijk te worden onderscheiden, zodat het controleteam de verschillende controledoelstellingen binnen de controletaak duidelijk onderscheidt en er de nodige aandacht aan besteedt. Bij een overlapping tussen andere soorten controle en doelmatigheidscontrole moet de indeling van de controleopdracht worden bepaald aan de hand van 10 het hoofddoel van die controle .

8

Controlestandaarden ISSAI 4000-reeks.

9

Controlestandaard ISSAI 3100.

10

Controlestandaard ISSAI 3100. Hoofdstuk 1 - Kader voor de doelmatigheidscontroles van de Europese Rekenkamer - blz. 11

1.2.6 Verhouding tussen doelmatigheidscontrole en evaluatie Evaluatie is een belangrijk onderdeel van het internebeheersingssysteem van 11 de Commissie. Volgens de Commissie is evaluatie de beoordeling van een interventie aan de hand van resultaten en impact in het licht van de behoeften waarin ze wil voorzien. Met evaluatie wordt hoofdzakelijk beoogd:

Overeenkomsten

Verschillen

•

bij te dragen aan de vormgeving van een interventie, mede door input te leveren voor het stellen van beleidsprioriteiten;

•

bij te dragen tot een efficiënte toewijzing van middelen;

•

de kwaliteit van de interventie te verbeteren;

•

over de resultaten van de interventie te rapporteren (d.w.z. verantwoordingsplicht).

Tussen doelmatigheidscontrole en evaluatie bestaan overeenkomsten en verschillen. In beide gevallen worden de beleidsopzet, de uitvoeringsprocessen en de gevolgen daarvan onderzocht, om aldus de zuinigheid, efficiëntie en doeltreffendheid van een entiteit of activiteit te beoordelen. Beide vereisen dezelfde kennis, bekwaamheden en ervaring en werken met soortgelijke methoden voor het verzamelen en analyseren van gegevens. Het grootste verschil is de context waarin zij plaatsvinden en het doel dat ermee wordt beoogd. De doelmatigheidscontrole vindt haar grondslag in een verantwoordingskader: de Commissie en de andere betrokken instellingen en organisaties zijn verantwoordelijk voor het beheer van de EU-middelen en moeten relevante en betrouwbare informatie verstrekken waarmee ze hun prestaties in het licht van de gestelde verwachtingen aantonen en daarvoor de verantwoordelijkheid op zich nemen. Doelmatigheidscontroles worden verricht door controleurs die in alle onafhankelijkheid hun werkwijze kunnen kiezen en bepalen en de resultaten ervan meedelen aan de kwijtingverlenende autoriteit (het Europees Parlement, op aanbeveling van de Raad). Met de doelmatigheidscontroles van de Rekenkamer wordt derhalve niet beoogd, alomvattende evaluaties van de EU-activiteiten te leveren. Dat is de verantwoordelijkheid van de Commissie, de lidstaten en de andere beheerders van EU-activiteiten. Niettemin bevatten doelmatigheidscontroles doorgaans evaluatie-elementen over geselecteerde onderwerpen en worden daarin evaluatiesystemen en informatie bestudeerd met het doel de kwaliteit ervan te testen en - wanneer ze toereikend en relevant worden geacht - de evaluatiegegevens te gebruiken als controle-informatie.

11

Mededeling van de Commissie over evaluatie (SEC(2000) 1051). Hoofdstuk 1 - Kader voor de doelmatigheidscontroles van de Europese Rekenkamer - blz. 12

1.3 TAAK EN DOELSTELLINGEN VAN DE REKENKAMER VOOR DOELMATIGHEIDSCONTROLES 1.3.1 De wettelijke verplichtingen van de Rekenkamer

Verdrag

Het juridische kader voor door de Rekenkamer te verrichten doelmatigheidscontroles van EU-activiteiten is vastgelegd in het Verdrag. Artikel 287, lid 2, van de geconsolideerde tekst van het Verdrag bepaalt: "De Rekenkamer onderzoekt... of een goed financieel beheer werd gevoerd."

1.3.2 Doelstellingen van de Rekenkamer De taakomschrijving van de Rekenkamer luidt als volgt: Taak De onafhankelijke externe controleur van de EU Als de onafhankelijke externe controleur van de EU draagt de ERK bij tot een verbetering van het financieel beheer van de EU, bevordert zij de verantwoording en transparantie, en treedt zij op als onafhankelijk hoedster van de financiële belangen van de burgers van de Unie. De ERK gaat na of de begroting van de Europese Unie juist is uitgevoerd, en of de EU-middelen op wettige wijze en in overeenstemming met de beginselen van goed financieel beheer zijn ingezameld en uitgegeven. Nu Europa voor steeds grotere uitdagingen staat en de openbare financiën steeds meer onder druk staan, wordt de rol van de ERK steeds belangrijker. Rol Externe controleurs Taak en rol

In democratische samenlevingen is volledige en juiste, eenvoudig toegankelijke informatie over de uitvoering van de begroting en het beleid van essentieel belang voor doeltreffend toezicht en doeltreffende besluitvorming. Dergelijke informatie draagt bij tot goed financieel beheer en dient als basis voor de verantwoordingsplicht. Evenals de lidstaten heeft de EU een extern controleur nodig die in alle onafhankelijkheid kan waken over de financiële belangen van de burgers. De "financiële waakhond" van de EU Nu Europa voor steeds grotere uitdagingen staat en haar openbare financiën steeds meer onder druk staan, wordt de rol van de Europese Rekenkamer steeds belangrijker. De ERK waarschuwt voor risico's, verschaft zekerheid over, en verstrekt EU-beleidsmakers richtsnoeren voor de wijze waarop het beheer van openbare financiën kan worden verbeterd en hoe ervoor kan worden gezorgd dat de Europese burgers weten hoe hun geld wordt besteed. Dit is de essentie van de bijdrage van de ERK aan de versterking van de democratische legitimiteit en de duurzaamheid van de Europese Unie.

toegang tot systemen en procedures in lidstaten

De werkzaamheden van de Rekenkamer bij systeemcontroles mogen enkel een beoordeling inhouden van de systemen en procedures voor het beheer van de ontvangsten en uitgaven van de Unie. Het mandaat van de Rekenkamer strekt zich niet uit tot een controle van puur nationale procedures die enkel uit de nationale begroting zijn gefinancierd en geen verband houden met het beheer van de ontvangsten en uitgaven van de Unie. De Rekenkamer is echter wel bevoegd om onderzoeksmissies in de lidstaten te verrichten, maar alleen voor zover nodig om vast te stellen hoe de Unie haar taak van beheer van de ontvangsten en uitgaven van de Unie uitvoert. Hoofdstuk 1 - Kader voor de doelmatigheidscontroles van de Europese Rekenkamer - blz. 13

toegang tot systemen en procedures in niet-lidstaten

Er is geen duidelijke rechtsgrondslag voor de toegang van de Rekenkamer tot de systemen van derde landen, ook wanneer de EU-financieringsverordening de Commissie de bevoegdheid verleent om deskundigen de taak op te dragen om "controleactiviteiten", zoals controles ter plaatse, te verrichten. Elke beleidsverordening moet afzonderlijk worden bestudeerd. Het is echter legitiem voor de Rekenkamer om de Commissie te vragen aanwezig te mogen zijn bij dergelijke controles ter plaatse. Deze deelname is mogelijk mits de Commissie ermee instemt.

is onafhankelijke informatie te verstrekken

Zoals reeds eerder gezegd vinden de doelmatigheidscontroles van de Rekenkamer hun grondslag in een stelsel van openbare verantwoordingsplicht. De Rekenkamer beoogt dan ook, onafhankelijke informatie te verstrekken aan de kwijtingverlenende autoriteit en aan het Europese publiek als geheel over:

over de drie E's

en aanbevelingen te doen.

•

de zuinigheid, efficiëntie en doeltreffendheid (Economy, Efficiency, Effectiveness - de drie E's) waarmee de Commissie en andere gecontroleerden de EU-middelen hebben besteed, en

•

de doeltreffendheid van de prestatiebeheersystemen van de Commissie en de andere gecontroleerden, inclusief de betrouwbaarheid van de afgegeven prestatieverklaringen.

De Rekenkamer wil bijdragen tot de verbetering van het financieel beheer van de EU-middelen door aanbevelingen te doen. Deze kunnen leiden tot •

financiële besparingen,

•

betere werkmethoden,

•

voorkoming van verspilling,

•

een meer kostenefficiënte verwezenlijking van de vooraf vastgelegde doelstellingen.

Er moet, indien gepast, rekening worden gehouden met het perspectief van de 12 burger dat betrekking heeft op de prestaties van de gecontroleerde .

12

Controlestandaard ISSAI 3100, paragraaf 10. Hoofdstuk 1 - Kader voor de doelmatigheidscontroles van de Europese Rekenkamer - blz. 14

HANDLEIDING DOELMATIGHEIDSCONTROLE HOOFDSTUK 2 AANPAK VAN DE DOELMATIGHEIDSCONTROLE EN DE DRIE E's


INHOUD

2.1 Inleiding 2.2 Een controleaanpak die is toegespitst op de geleverde prestaties

Algemene inleiding

2.2.1 Rechtstreekse controle van de prestaties 2.2.2 Controle van de controlesystemen


2.3 Toepassing van de drie E's 2.3.1 Het gebruik van logische modellen bij doelmatigheidscontroles 2.3.2 Toepassing van de begrippen  Zuinigheid  Efficiëntie


 Doeltreffendheid 2.4 Essentiële kenmerken van een goede doelmatigheidscontrole 2.4.1 Tijdens het hele controleproces wordt oordeelkundig te werk gegaan 2.4.2 De methodieken zijn geschikt en worden zo gecombineerd dat ze een hele reeks gegevens bestrijken


2.4.3 Er worden controlevragen gesteld die tot conclusies kunnen leiden 2.4.4 Risico's voor de productie van het controleverslag worden geanalyseerd en beheerd 2.4.5 Er worden instrumenten gehanteerd die bijdragen tot een geslaagd controleproduct


2.4.6 De controle-informatie is toereikend, relevant en betrouwbaar als onderbouwing van de controlebevindingen 2.4.7 Reeds vanaf de planningsfase wordt gedacht aan mogelijke conclusies en aanbevelingen voor het eindverslag


2.4.8 Tegenover de gecontroleerde en andere belanghebbenden wordt een transparante aanpak gevolgd - "geen verrassingen" 2.5 Kwaliteitsbeheersing

Contact


Hoofdstuk 2 - Aanpak van de doelmatigheidscontrole - blz. 15

2.1 INLEIDING De te volgen controleaanpak moet op de meest kosteneffectieve wijze het meest zinvolle controleresultaat opleveren. Voor elke specifieke controle kan een combinatie van benaderingen worden gekozen.

2.2 EEN CONTROLEAANPAK DIE IS TOEGESPITST OP DE GELEVERDE PRESTATIES Doelmatigheidscontroles moeten informatie opleveren die is toegespitst op de geleverde prestaties en van het grootste belang is voor het Europees Parlement, de Raad, de Commissie en de andere gecontroleerden. Dit betekent dat de doelmatigheidscontroles van de Rekenkamer niet controle- of procesgeoriënteerd moeten zijn, maar moeten worden toegespitst op de geleverde prestaties en dat het effect van de controlebevindingen moet worden beoordeeld op zuinigheid, efficiëntie en doeltreffendheid. Bij doelmatigheidscontroles moeten de volgende benaderingen worden gecombineerd, waarbij naar gelang van de specifieke omstandigheden van de controle de nadruk meer op de ene of de andere moet worden gelegd: Benadering Rechtstreekse controle van de prestaties Controle van de controlesystemen

Focus Input, output, resultaten en impact Geschiktheid van de beleidslijnen en procedures die door de managers worden gevolgd voor de bevordering, monitoring en evaluatie van de prestaties

2.2.1 Rechtstreekse controle van de prestaties Deze aanpak is direct gericht op de geleverde prestaties en toegespitst op input, output, resultaten en impact, in de veronderstelling dat, wanneer de geleverde prestaties toereikend zijn, het risico van ernstige problemen bij de opzet of de uitvoering van de activiteit of de controlesystemen gering is. Met zulke controles kan bijvoorbeeld worden nagegaan of de gekozen beleidslijnen naar behoren zijn toegepast en of de beoogde doelstellingen werden bereikt, of dat beleidsbeslissingen ongewenste financiële, economische, maatschappelijke en ecologische gevolgen hebben.

Passende criteria zijn essentieel

Een direct onderzoek van de prestaties is geschikt wanneer er passende criteria bestaan om de kwantiteit en de kwaliteit, alsmede de kosten van de input, output, resultaten en impact te meten. Blijken de geleverde prestaties ontoereikend, dan worden de activiteit en de controlesystemen zo diepgaand onderzocht als nodig is om de oorzaken daarvan op te sporen.


2.2.2 Controle van de controlesystemen

Onderzoek opzet en toepassing van de systemen,

met inbegrip van de informatiesystemen.

Met deze aanpak beoogt men na te gaan of de Commissie en de andere gecontroleerden zodanige beheersen toezichtsystemen hebben opgezet en ingevoerd dat binnen de bestaande beperkingen optimale zuinigheid, efficiëntie en doeltreffendheid wordt bereikt. De controlewerkzaamheden omvatten het analyseren, bestuderen en toetsen van de voornaamste onderdelen van die systemen. Vaak zal worden onderzocht of de gekozen maatregelen overeenstemmen met de beleidsdoelstellingen en of deze laatste werden omgezet in werkplannen met operationele doelstellingen, waarvan de verwezenlijking nadien wordt gemeten. Tevens zal bij deze aanpak worden nagegaan of de bestaande systemen tijdig relevante en betrouwbare informatie opleveren over de ontwikkeling in financiële, personele en andere middelen (input), het uitvoeren van activiteiten (processen) en de productie van output; deze laatste moeten aan de hand van prestatie-indicatoren worden getoetst aan de operationele doelstellingen. Onderzocht zal worden of het optreden van afwijkingen leidt tot tijdige en passende corrigerende maatregelen om het werkplan, het inzetten van middelen en/of het verrichten van activiteiten aan te passen. Bij deze aanpak hoort vaak een onderzoek van het evaluatiesysteem en van informatie, teneinde de kwaliteit daarvan vast te stellen; wanneer de bevindingen, conclusies en aanbevelingen van de evaluatie toereikend en relevant voor de controledoelstellingen worden geacht, kunnen ze worden gebruikt als controleinformatie.

2.3 TOEPASSING VAN DE DRIE E's 2.3.1 Het gebruik van logische modellen bij doelmatigheidscontroles Bepaal de logica van de interventie

Ongeacht de aard ervan (beleidslijn, programma, maatregel, actie) kan een interventie van een overheid worden beschouwd als een geheel van financiële, organisatorische en personele middelen dat wordt ingezet om binnen een bepaald tijdsbestek een doelstelling of een aantal doelstellingen te verwezenlijken teneinde een probleem of moeilijkheid op te lossen of te ondervangen waarmee doelgroepen te kampen hebben. Het gebruik van logische modellen kan het controleteam helpen, het verband vast te stellen en te beschrijven tussen de sociaaleconomische behoeften die met de interventie worden aangepakt en de doelstellingen, input, processen, output en uitkomsten, die de resultaten omvatten (onmiddellijke veranderingen voor de direct betrokkenen aan het eind van hun deelname aan een overheidsinterventie) en impact (gevolgen op langere termijn van de interventie). Onderstaand diagram bevat een voorbeeld van een model van programmalogica.



In theorie moet het bij doelmatigheidscontroles mogelijk zijn, alle elementen en verbanden in zulke modellen te onderzoeken door te werken met de drie E's zuinigheid, efficiëntie en doeltreffendheid. 2.3.2 Toepassing van de begrippen

Baseer de te ontwikkelen controlevragen op mogelijke risico's voor het bereiken van de drie E's

De controleurs moeten de mogelijke risico's voor het realiseren van zuinigheid, efficiëntie en doeltreffendheid vaststellen en daarop de controlevragen baseren. Elk begrip is in principe even belangrijk en specifieke prioriteiten kunnen van geval tot geval worden bepaald. De controleurs worden echter aangespoord om als het maar enigszins mogelijk is de doeltreffendheid als een analyse-element te beschouwen. Bij een doelmatigheidscontrole wordt niet verwacht en moet er niet naar worden gestreefd, tegelijkertijd alle aspecten van zuinigheid, efficiëntie en doeltreffendheid uitgebreid te onderzoeken. Wel worden bepaalde kwesties in verband met zuinigheid, efficiëntie, doeltreffendheid of een combinatie daarvan bekeken naar gelang van de vastgestelde significante mogelijke risico's. Een zodanige selectiviteit vermindert het risico dat de controle al te ambitieus is. De volgende bladzijden behandelen voor elk van de begrippen zuinigheid, efficiëntie en doeltreffendheid: •

de algemene risico's voor een goed financieel beheer

•

de kwesties die bij een controle aan de orde moeten komen

•

voorbeelden van risico's in de EU-context

•

voorbeelden van controlevragen in verband met het concept

•

het richtpunt van een controle op het betrokken gebied

 Zuinigheid De zuinigheid komt in beeld wanneer bij een entiteit of een activiteit een bepaald niveau van output of resultaten met aanzienlijk minder inputkosten zou kunnen worden bereikt. Algemene risico's op dit gebied zijn onder meer:

De kosten laag houden

om de gekozen doelstellingen te bereiken

•

verspilling: middelen gebruiken die niet nodig zijn om de gewenste output of resultaten te bereiken;

•

te veel betalen: middelen verwerven die wel worden gebruikt, maar die ook tegen een lagere prijs konden worden verkregen;

•

te dure middelen aanschaffen: betalen voor input van hogere kwaliteit dan nodig is om de gewenste output of resultaten te bereiken.

Met een controle van de zuinigheid wil men dus nagaan of de meest geschikte en de goedkoopste input werd gekozen om de beoogde doelstellingen te bereiken. Deze controle betreft dus vragen als: •

verwerft de gecontroleerde de passende soort, kwaliteit en hoeveelheid middelen tegen minimale kosten?

•

beheert de gecontroleerde zijn middelen zodanig dat de totale uitgaven minimaal blijven?

•

had de interventie kunnen worden opgezet of uitgevoerd op een andere manier die minder kosten had veroorzaakt?


Voorbeeld van risico - invaliditeitspensioenregeling van de Europese instellingen Op een enkele uitzondering na bevatten de onderzochte dossiers geen enkele aanwijzing dat vooraf serieus was gezocht naar andere oplossingen, en suggesties van de raadgevend arts, hoofdzakelijk strekkend tot een verandering van post, werden vrijwel nooit overgenomen. Een alternatief voor het invaliditeitspensioen werd zelden - of te laat - geboden. Een op de vier vroegere personeelsleden in de steekproef die een invaliditeitspensioen ontvingen, was waarschijnlijk in staat geweest aan het werk te blijven indien de instelling hun geval in een vroeg stadium had ontdekt en behandeld. Dit wordt bevestigd door de antwoorden die op de vragenlijst zijn binnengekomen: 20 % van de voormalige personeelsleden denkt dat hij of zij had kunnen doorwerken indien er een alternatief was aangeboden. Op basis daarvan kan worden geschat dat er in beginsel jaarlijks ongeveer 10 miljoen euro kan worden bespaard op de nettokosten van de in het jaar toegekende invaliditeitspensioenen indien er een beleid wordt gevoerd waarbij herhaalde of langdurige afwezigheid wegens ziekte vroegtijdig wordt opgespoord en aangepakt. Voorbeelden van controlevragen in verband met de zuinigheid Rechtstreekse controle van de prestaties •

Werd bij het programma voor steun aan het mkb de gunstigste prijs betaald voor consultancydiensten?

•

Is het mogelijk de kosten van afwezigheid wegens ziekte op billijke wijze te verminderen?

Controle van de controlesystemen

waarbij vaak het accent wordt gelegd op het plaatsen van opdrachten.

•

Houdt de Commissie bij het beheer van de steunregeling voor de katoenproductie rekening met en toezicht op de kosten, inclusief die voor de consument?

•

Zijn er procedures ingevoerd om te verzekeren dat de transportkosten van voedselhulp de laagst mogelijke zijn en gunstig afsteken bij de kosten die andere donoren hebben gemaakt? Zijn deze procedures adequaat en worden ze naar behoren toegepast?

Onderzoek naar de zuinigheid brengt de controleur er vaak toe interne processen en beheersbesluiten van de gecontroleerde te bestuderen die betrekking hebben op het plaatsen van opdrachten voor goederen, werken en diensten. De controleur zal met name nagaan of de gunningsprocedure ertoe heeft geleid dat men waar voor zijn geld heeft gekregen. Zo moet bijvoorbeeld worden gecontroleerd of er gedetailleerde gebruikersvoorschriften zijn opgesteld die aangeven wat men met de aankoop van de goederen, werken of diensten verwacht te realiseren, welke kwaliteit wordt vereist in verband met de verlangde output en welk tijdschema wordt gewenst voor de levering van de goederen, werken of diensten. De controleur zal ook vaak de opstelling en toepassing van de selectie- en gunningscriteria onderzoeken.


 Efficiëntie De efficiëntie komt in beeld wanneer bij een entiteit of een interventie de hoeveelheid of kwaliteit van de output of resultaten kan worden verhoogd zonder dat er meer middelen worden gebruikt. Algemene risico's op dit gebied zijn onder meer:

De beschikbare middelen optimaal benutten

voor een maximale 'productiviteit',

•

weglekken: de gebruikte middelen leiden niet tot de gewenste output;

•

niet-optimale verhouding tussen input en output (bijv. ongunstige ratio's wat betreft de arbeidsproductiviteit);

•

langzame uitvoering van de interventie;

•

het niet vaststellen en beheersen van externe factoren, d.w.z. kosten voor personen of entiteiten buiten de werkingssfeer van de interventie of de organisatie.

Met een controle van de efficiëntie wil men dus nagaan of de gebruikte middelen in de best mogelijke verhouding staan tot de geleverde output of resultaten. Efficiëntie houdt nauw verband met het begrip 'productiviteit' en de kernvraag is of de output of resultaten bij het beschikbare middelenniveau maximaal zijn wat betreft kwantiteit, kwaliteit en timing. De controle betreft dus vragen zoals: •

zijn de output of resultaten op kosteneffectieve wijze tot stand gekomen?

•

zijn er te vermijden knelpunten of is er onnodige overlapping?

Voorbeeld van risico - Bosbouwmaatregelen in het kader van het plattelandsontwikkelingsbeleid Voor de doelstelling uitbreiding van bosgebieden zijn er verscheidene soorten grond die kunnen worden bebost. In de verordening wordt bepaald dat bij steunverlening voor de bebossing van landbouwgrond in het bezit van overheidsinstanties alleen de aanlegkosten worden gedekt; anders dan bij bebossing van grond in particulier bezit worden inkomensderving of onderhoudskosten dus niet vergoed. Theoretisch zou het dus veel efficiënter zijn, de actie toe te spitsen op land dat in handen is van de overheid, omdat aldus tegen gelijke kosten een veel grotere oppervlakte kan worden bebost.


Voorbeelden van controlevragen in verband met de efficiëntie Rechtstreekse controle van de prestaties •

Hoe verhoudt zich de kostprijs per baan gecreëerd door het EUopleidingsprogramma voor langdurig werklozen, tot die kostprijs bij andere regelingen?

•

Hadden de projecten kunnen worden uitgevoerd op een andere wijze die had geleid tot een eerdere oplevering en een betere kwaliteit?

Controle van de controlesystemen

en bestudeer de output

en/of resultaten.

•

Zijn er toereikende procedures ter rangschikking en selectie van projecten voor vervoersinfrastructuur, zodat de EU-middelen een maximale impact hebben? Zijn de gekozen criteria adequaat en worden ze toegepast zoals beoogd?

•

Hebben de EU-instellingen passende essentiële beheersinformatie over de omvang, toestand, benutting en kostprijs van hun kantoorruimte, en wordt die informatie consistent gebruikt voor de besluitvorming?

Wanneer de efficiëntie als controledoelstelling betrekking heeft op de output, zal de controleur vaak de processen onderzoeken waarmee een organisatie de input omzet in output. De beoordeling kan onder meer de berekening omvatten van de kostprijs per eenheid van de geproduceerde output (bijv. de gemiddelde kosten van een uur opleiding) of van arbeidsproductiviteitsratio's (bijv. het aantal per dag verwerkte subsidieaanvragen), en de toetsing daarvan aan erkende criteria, die kunnen worden afgeleid van vergelijkbare organisaties, eerdere perioden of normen die de gecontroleerde uitdrukkelijk heeft aanvaard. Wanneer de efficiëntie als controledoelstelling de resultaten omvat, zijn er in de regel economische instrumenten nodig ter beoordeling van de capaciteit of de mogelijkheden van een gecontroleerde entiteit, actie of programma om tegen bepaalde kosten zekere resultaten te bereiken. Zo kan een analyse van de kosteneffectiviteit worden toegepast om het netto-effect van een interventie te relateren aan de financiële input die nodig was om dat effect te bereiken; een beoordelingscriterium kan bijvoorbeeld de kostprijs per eenheid van het bereikte resultaat zijn (bijv. de kostprijs per gecreëerde baan), die dan getoetst wordt aan de als benchmark gekozen kostprijs bij andere interventies. Afhankelijk van de controleaanpak zal de controleur de betrouwbaarheid onderzoeken van de door het gecontroleerde orgaan verrichte analyse, dan wel die analyse zelf uitvoeren.


 Doeltreffendheid De doeltreffendheid komt in beeld wanneer een entiteit of een interventie niet de verwachte output, resultaten of impact oplevert. Algemene risico's op dit gebied zijn onder meer:

De opgegeven oogmerken of doelstellingen realiseren,

•

foutieve beleidsopzet, bijv. ondeugdelijke vaststelling van de behoeften, onduidelijke of onsamenhangende doelstellingen, ontoereikende middelen voor de interventie of onuitvoerbaarheid, en

•

managementfouten, bijv. niet-gerealiseerde doelstellingen, het feit dat het management geen voorrang geeft aan het bereiken van doelstellingen.

Met een controle van de doeltreffendheid wil men dus meten in hoeverre de verschillende soorten doelstellingen zijn bereikt: •

operationele doelstellingen: bij de controle wordt bekeken in hoeverre de beoogde output tot stand is gekomen en worden doorgaans de interne verrichtingen onderzocht van de organisaties die verantwoordelijk zijn voor de uitvoering van de interventie;

•

onmiddellijke doelstellingen: bij de controle wordt bekeken of de interventie duidelijke en positieve resultaten voor de direct betrokkenen had bij het einde van hun deelname en wordt doorgaans de toezichtsinformatie van de uitvoerende organisaties onderzocht en informatie ingewonnen bij de direct betrokkenen;

•

intermediaire en algemene doelstellingen: het onderzoek overschrijdt de grenzen van de gecontroleerde entiteit en is bedoeld om de impact van de overheidsinterventie te meten. Daarom moet bij de controle rekening worden gehouden met exogene factoren en dient te worden aangetoond dat de geconstateerde impact werkelijk is veroorzaakt door de overheidsinterventie en niet voortvloeit uit zulke factoren.

of ze nu operationeel zijn (output),

onmiddellijk (resultaten),

intermediair of algemeen (impact).

Voorbeeld van risico - steun voor de productie van gedroogde voedergewassen De regeling kent twee steuntarieven: een laag tarief voor voedergewassen die op natuurlijke wijze in de zon zijn gedroogd en een hoog tarief voor machinaal gedroogde gewassen, ter compensatie van de extra brandstofkosten. De differentiëring van de steuntarieven had een grote impact op de wijze waarop het voeder werd gedroogd. Ten tijde van de toetreding van Spanje tot de Gemeenschap in 1986 werd jaarlijks slechts 61 000 ton voerdergewassen kunstmatig gedroogd; in 1996/1997 werd op die manier 1 414 000 ton gedroogd, omdat de producenten het hogere steuntarief lucratiever vonden. Het jaarlijkse energieverbruik voor deze regeling in Spanje alleen zou volstaan om te voorzien in de jaarlijkse elektriciteitsbehoeften van een stad ter grootte van Alicante (285 000 inwoners). Er zijn meer dan 200 000 hectaren bos nodig voor de absorptie van het extra kooldioxide dat door het droogproces wordt geproduceerd.


Voorbeelden van controlevragen in verband met de doeltreffendheid Rechtstreekse controle van de prestaties •

Hadden de steunregelingen voor de vervroegde uittreding van oudere landbouwers en de vestiging van jonge landbouwers een duidelijke en positieve impact op de modernisering en de economische levensvatbaarheid van bedrijven in probleemgebieden?

•

Hebben de infrastructuurprojecten bijgedragen tot een betere verkeersdoorstroming met kortere reistijden en grotere veiligheid?

Controle van de controlesystemen •

Hebben de lidstaten passende maatregelen vastgesteld voor het toezicht op en de afzwakking van het milieu-effect in de suikersector en deze naar behoren toegepast?

•

Hebben de Commissie en de lidstaten ter onderbouwing van het financieringsbesluit een deugdelijke beoordeling gemaakt van de behoeften en de mogelijke voordelen van het programma inzake vroegtijdig schoolverlaten?

De controle van de doeltreffendheid zal dus gericht zijn op de output, de resultaten of de impact. •

Het kan erg moeilijk zijn om de impact van een interventie te beoordelen, m.a.w. na te gaan in hoeverre de algemene en zelfs de tussentijdse doelstellingen van die interventie zijn bereikt. Het probleem ontstaat doordat de doelstellingen gewoonlijk in zulke algemene termen zijn geformuleerd dat ze niet kunnen worden gekoppeld aan meetbare indicatoren; de verwezenlijking ervan is dus moeilijk verifieerbaar. Ook zou, als de doelstellingen duidelijker zijn geformuleerd, het verzamelen en analyseren van de vereiste controle-informatie- indien deze niet direct beschikbaar is bij de gecontroleerde - onevenredig veel controlemiddelen vergen. Daarnaast valt moeilijk uit te maken of de geconstateerde impact werkelijk voortvloeit uit de interventie, en niet uit exogene factoren. In dergelijke gevallen moet de controle-aanpak dan ook zodanig zijn dat eerst wordt nagegaan of er relevante en betrouwbare evaluatiegegevens zijn die kunnen dienen als controle-informatie.

•

Een beter haalbare controledoelstelling is vaak het beoordelen van de output of de resultaten van een interventie, d.w.z. van de mate waarin de operationele of onmiddellijke doelstellingen zijn verwezenlijkt. Mits de doelstellingen 'SMART' zijn - specifiek, meetbaar, haalbaar, relevant en tijdgebonden - overeenkomstig de aanpak van de Commissie inzake prestaties en risicobeheer, en de verwezenlijking ervan kan worden getoetst aan prestatie-indicatoren, zullen zij een duidelijk en geschikt referentiekader voor de beoordeling van de doeltreffendheid vormen.

Impact is moeilijk te beoordelen,

output of resultaten zijn gemakkelijker te beoordelen.


2.4 ESSENTIËLE KENMERKEN VAN EEN GOEDE DOELMATIGHEIDSCONTROLE De doelmatigheidscontrole verloopt in drie fasen: planning, onderzoek en rapportage. Om de doelmatigheidscontrole zoveel mogelijk te doen slagen, moeten in deze fasen bepaalde kwaliteiten aanwezig zijn. Om een kader te scheppen voor de tijdige productie van hoogwaardige controleverslagen en om overbodige werkzaamheden te vermijden, moet bij doelmatigheidscontroles de "SMARTEST"-aanpak worden gevolgd: De controleur moet zorg dragen voor het volgende: Sound judgement: tijdens het hele controleproces wordt oordeelkundig te werk gegaan. Methodologies: de methodieken zijn geschikt en worden zo gecombineerd dat ze een hele reeks gegevens bestrijken. Audit questions: er worden controlevragen gesteld die tot conclusies kunnen leiden. Belangrijk vanaf het begin tot aan het einde van de controle

Risks: risico's voor de productie van het controleverslag worden geanalyseerd en beheerd. Tools: er worden instrumenten gehanteerd die bijdragen tot een geslaagd controleproduct. Evidence: de controle-informatie is toereikend, relevant en betrouwbaar als onderbouwing van de controlebevindingen. Significant/substantive conclusions and recommendations: reeds bij de planning wordt gedacht aan belangrijke/inhoudelijke conclusies en aanbevelingen voor het eindverslag. Transparency: tegenover de gecontroleerde wordt een transparante aanpak gevolgd - "geen verrassingen". De belangrijkste aspecten van die kenmerken worden hierna beschreven.

2.4.1 Tijdens het hele controleproces wordt oordeelkundig te werk gegaan

Dit bepaalt de kwaliteit van het controlewerk en het verslag

Doelmatigheidscontrole is naar haar aard veelomvattend en vatbaar voor verschillende oordelen en interpretaties; vrijwel elk aspect ervan vereist een vakkundig oordeel en eigen initiatief. De reputatie en geloofwaardigheid van de Rekenkamer, de kosteneffectiviteit van de controle en de kwaliteit van het verslag hangen af van de vraag of er tijdens het hele controleproces oordeelkundig te werk is gegaan. Van een vakkundig oordeel moet met name blijk gegeven worden bij de vaststelling van de controledoelstellingen (ook wel de controlevragen genoemd), de keuze van relevante controlecriteria, de bepaling welke kwantiteit en kwaliteit van controle-informatie toereikend is, het komen tot controlebevindingen, het trekken van conclusies en de rapportage.


2.4.2 De methodieken zijn geschikt en worden zo gecombineerd dat ze een hele reeks gegevens bestrijken

Combineren verhoogt de kwaliteit van de controle-informatie

Een methodiek is een techniek voor het verzamelen of analyseren van gegevens die bijdraagt tot de verschaffing van controle-informatie waardoor conclusies kunnen worden getrokken uit de controlewerkzaamheden. Het is raadzaam, een aantal verschillende methodieken toe te passen om aldus een hele reeks gegevens te bestrijken en bevindingen uit verschillende bronnen te bevestigen; dit verhoogt de kwaliteit en de betrouwbaarheid van de controleinformatie waarop de controlebevindingen, conclusies en aanbevelingen berusten.

en hangt af van de controlevraag.

Voorbeelden van methodieken zijn het bestuderen van dossiers of literatuur, het voeren van gesprekken of het verrichten van enquêtes. Bij een doelmatigheidscontrole worden normaliter ook methodieken gecombineerd voor het verzamelen van kwantitatieve en kwalitatieve gegevens; kwantitatieve gegevens zijn numeriek, kwalitatieve niet. Welke combinatie van methodieken het meest geschikt is, moet worden bepaald aan de hand van het onderwerp en van de behandelde controlevragen.

2.4.3 Er worden controlevragen gesteld die tot conclusies kunnen leiden Bij doelmatigheidscontroles is het passend de controledoelstellingen weer te geven in de vorm van vragen waarop de controle antwoord moet geven. Om de controle doelgericht te maken en te voorkomen dat het controleteam werkzaamheden met een al te ambitieuze reikwijdte aangaat, moet er slechts één algemene controlevraag zijn met een beperkt aantal deelvragen waarover wordt geconcludeerd. De formulering van die vragen is doorslaggevend voor de resultaten van de controle; het zijn de fundamentele onderzoeksvragen waarop de controleurs een antwoord zoeken. Daarom moeten dubbelzinnige of vage vragen worden vermeden. De controlevragen moeten dan verder uitgesplitst worden in deelvragen, waarvan die op het laagste niveau kunnen worden beantwoord door het verrichten van specifieke controleprocedures. Alle deelvragen in de hiërarchie moeten zowel wederzijds uitsluitend als collectief uitputtend zijn (zodat ze samen volstaan om een vraag van het onmiddellijk hogere niveau te beantwoorden).


Alle vragen in de hiërarchie moeten met ja of nee kunnen worden beantwoord, zodat het controlewerk kan worden gericht op een specifiek eindproduct. Dat betekent echter niet dat "ja" of "nee" de enig mogelijke antwoorden zijn: het antwoord zal natuurlijk veel gedetailleerder zijn. Het is daarnaast ook niet de bedoeling dat de woorden "ja" of "nee" in het verslag worden opgenomen; deze aanpak is slechts een hulpmiddel om te komen tot een gedisciplineerde afhandeling van de controlevragen en tot gerichte controlewerkzaamheden. Er dienen geen controlevragen te worden gesteld die niet afdoende beantwoord kunnen worden, zoals "Beoordeel in welke mate..."; dit kan leiden tot controlewerkzaamheden die geen duidelijk omschreven reikwijdte hebben en te uitgebreid en tijdrovend worden. Om het gemakkelijker te maken een goede hiërarchie van controlevragen te ontwikkelen, moeten controleteams een zaakanalyse uitvoeren voordat ze het 13 APM opstellen . 2.4.4 Risico's voor de productie van het controleverslag worden geanalyseerd en beheerd De Rekenkamer moet ervoor zorgen dat er in het algemeen niet meer dan dertien maanden verstrijken tussen de vaststelling van het APM en de 14 vaststelling van het speciaal verslag . Deze periode begint op het moment dat het APM wordt vastgesteld (of op de latere, in het APM gespecificeerde datum waarop de controle volgens de planning zal aanvangen) en eindigt vijf dagen 15 nadat het speciaal verslag in APC -versie is vastgesteld rekening houdend met de “noodremprocedure”. Risico's voor de tijdige productie van een controleverslag van goede kwaliteit zijn onder meer: moeilijkheden bij het verkrijgen van informatie, nietbeschikbaarheid van personeel en gebrek aan medewerking van de gecontroleerde. Door een strategie voor risicobeheer op te stellen en onder de leden van het controleteam te verdelen, en er tijdens de controle naar te verwijzen, is het controleteam veel beter in staat de risico's te beheren en doeltreffend te reageren indien er problemen rijzen. In alle fasen van de controle dient het controleteam na te gaan: •

wat er mis zou kunnen gaan;

•

hoe waarschijnlijk het is dat het misgaat;

•

gaat het mis, welke weerslag dat zou hebben;

•

wat er kan worden gedaan om de kans dat het misgaat te minimaliseren;

•

hoe het risico, indien het werkelijkheid wordt, kan worden beheerd.

13

CH 324/11 van 30 september 2011 over controlekwaliteitsbeheer.

14

Artikel 163, lid 1, van het FR, dat van toepassing is vanaf 1 januari 2016, bepaalt dat de speciale verslagen van de Rekenkamer worden opgesteld en vastgesteld binnen een passende termijn die, in het algemeen, niet langer duurt dan dertien maanden.

15

APC – “Après procedure contradictoire” (na de contradictoire procedure). Hoofdstuk 2 - Aanpak van de doelmatigheidscontrole - blz. 27

2.4.5 Er worden instrumenten gehanteerd die bijdragen tot een geslaagd controleproduct Het hanteren van geschikte instrumenten zal bijdragen tot de opstelling van een realistisch plan en zal een permanente monitoring en onderzoek van de werkelijke uitvoering van dat plan vergemakkelijken. Het meest elementaire planninginstrument - het Audit Planning Memorandum (APM) - is een "contract" tussen het verantwoordelijke lid en de controlekamer. Het APM omschrijft de controle, het af te leveren product, de te gebruiken middelen en de afleveringsdatum. Het omvat een beoordeling van de risico's voor goed financieel beheer, de controlevragen, de controlecriteria, de te verzamelen of voort te brengen controle-informatie en de toe te passen methodiek. Instrumenten en activiteiten die bijdragen tot een geslaagd product zijn onder meer: •

Zaakanalyse en conclusies trekken (Issue Analysis and Drawing Conclusions, IADC) om verslagen van goede kwaliteit te produceren die duidelijk, kort en zorgvuldig zijn en impact hebben,

•

duidelijke omschrijving en mededeling van verantwoordelijkheden,

•

een werkplan met de leden van het controleteam en een tijdschema van de belangrijkste fasen,

•

monitoringinstrumenten die helpen om het werk op koers te houden,

•

voortgangsverslagen en zo nodig corrigerende maatregelen,

•

documentenbeheer voor papieren dossiers en ASSYST,

•

procedures voor kwaliteitscontrole die in alle aspecten van de controle zijn ingebouwd.

2.4.6 De controle-informatie is toereikend, relevant en betrouwbaar als onderbouwing van de controlebevindingen De tijdens de controle verzamelde informatie levert het feitenmateriaal waarop de opmerkingen en de conclusies in antwoord op de controlevragen berusten. Ze zorgt voor de overtuigende onderbouwing van een feit of onderzocht punt. Als zodanig moet controle-informatie de inhoud van een controleverslag onderbouwen, en met name alle opmerkingen en conclusies die leiden tot aanbevelingen. De verzamelde controle-informatie moet dan ook toereikend zijn (qua hoeveelheid), relevant (in het licht van de controlevragen) en betrouwbaar (objectief en betrouwbaar). Hoeveel controle-informatie van welke kwaliteit er nodig is, hangt af van het onderwerp en van de controlevragen; zij heeft meer bewijskracht als zij is verstrekt door de controleur of uit verscheidene bronnen is verkregen en bevestigd.


2.4.7 Reeds vanaf de planningsfase wordt gedacht aan mogelijke conclusies en aanbevelingen voor het eindverslag Het controleteam moet al vroeg bekijken of zijn werk waarschijnlijk duidelijke conclusies en aanbevelingen zal opleveren. Dit zal hen ertoe aanzetten vanaf het begin te denken aan de boodschap die zij hun doelgroepen vermoedelijk willen overbrengen en aan manieren om het nut en de impact van het verslag te optimaliseren. 2.4.8 Tegenover de gecontroleerde en andere belanghebbenden wordt een transparante aanpak gevolgd 16 "geen verrassingen" Het ontwikkelen van goede en correcte betrekkingen met de belanghebbenden is van essentieel belang voor het verwezenlijken van doeltreffende en doelmatige resultaten bij doelmatigheidscontroles. Aangezien doelmatigheidscontroles normaliter niet regelmatig (bijv. jaarlijks) bij dezelfde gecontroleerden plaatsvinden, kan het zo zijn dat er nog geen communicatiekanalen zijn. Daarom moeten de controleurs proberen een goede werkrelatie op te bouwen en te onderhouden met alle betrokkenen bij een controle, een open en eerlijke informatiestroom bevorderen (voor zover dat gelet op vertrouwelijkheidsvereisten mogelijk is) en gesprekken voeren in een sfeer van wederzijds respect en begrip voor de rol en verantwoordelijkheid van iedere betrokkene. Het communicatieproces tussen de controleur en de gecontroleerde begint in de planningsfase van de controle en loopt door tijdens het controleproces, door middel van constructieve interactie, bij de beoordeling van verschillende bevindingen, argumenten en perspectieven. Wanneer de controle al zo vroeg mogelijk in de planningsfase met de gecontroleerde besproken wordt, vermindert de kans op onenigheid in latere fasen van de controle. Het verschaft de gecontroleerde inzicht in het doel van de controle, de getoetste controlevragen, de te hanteren criteria en de te volgen methodologie. Aangezien er voor het gecontroleerde onderwerp vaak geen vooraf bepaalde controlecriteria zijn, is het noodzakelijk dat er een uitgebreide gedachtewisseling met de gecontroleerde entiteit plaatsvindt. Die bespreking is ook nuttig om reeds in het begin te bepalen of het onderwerp relevant is en zich voor een controle leent. Bovendien draagt het vroegtijdig opnemen van contact in feite bij tot een constructieve dialoogsfeer, die in alle fasen van het controleproces in stand moet worden gehouden. Deze benadering komt overeen met goede controlepraktijken en met de "geen verrassingen"-aanpak van de Rekenkamer. Met name de controledoelstellingen, -vragen en -criteria en de reikwijdte van de controle moeten - bij voorkeur schriftelijk - worden meegedeeld en waar mogelijk dient daarover overeenstemming te worden bereikt - idealiter tussen het verantwoordelijke lid en de bevoegde directeur-generaal van de Commissie voordat het APM aan de controlekamer wordt voorgelegd.

16

ISSAI 300 – Fundamental principles of performance auditing (grondbeginselen van doelmatigheidscontrole), paragraaf 29. Hoofdstuk 2 - Aanpak van de doelmatigheidscontrole - blz. 29

Wanneer er belangrijke controlebevindingen worden gedaan tijdens een controle, moeten deze tijdig worden meegedeeld aan de met governance belaste personen. Onverminderd het bovenstaande vereiste mogen controleurs derden schriftelijk noch mondeling informatie meedelen die zij verkrijgen tijdens de controlewerkzaamheden, tenzij dat nodig is om aan wettelijke of bestuursrechtelijke verplichtingen van de Rekenkamer te voldoen. Het reglement van orde van de Rekenkamer moet worden toegepast op dergelijke mededelingen. Indien het niet om gegevensbeveiliging of informatie van vertrouwelijke aard gaat, mogen controleurs echter wel informatie over gebreken in het beheer uitwisselen met interne auditors om ervoor te zorgen dat de geïdentificeerde tekortkomingen worden verholpen.

2.5 KWALITEITSBEHEERSING In controlestandaarden ISSAI 40 en ISQC117 worden de zes elementen van een systeem van controlebeheersing beschreven: •

Leiderschap

•

Relevante ethische voorschriften

•

Aanvaarding en continuering van relaties met de gecontroleerde en van specifieke opdrachten

•

Personeelszaken

•

Prestaties van controles en andere werkzaamheden - zie hierna

•

Monitoring - bij de Rekenkamer staat dit gelijk aan de jaarlijkse kwaliteitsborging achteraf door CEAD-A

Het vijfde element - prestaties van controles en andere werkzaamheden omvat twee hoofdaspecten: toezicht en beoordeling, en opdrachtgerichte kwaliteitsbeoordeling (EQCR - engagement quality control review). Toezicht en beoordeling is het normale toezicht door de hiërarchie op de werkzaamheden die binnen het controleteam worden uitgevoerd. Op het laagste niveau betekent dit dus dat de taakleider toezicht houdt op het werk van de teamleden en dat het lid-rapporteur toezicht houdt op het werk van de taakleider. Een controleteam kan echter afspreken met het directoraatteam van de kamer dat er extra steun wordt verleend voor het toezicht en de beoordeling, zoals advies en begeleiding door een hoofdmanager of expertise ten aanzien van het onderwerp van een beleidsdeskundige.

17

ISSAI: International Standards of Supreme Audit Institutions (internationale standaarden van hoge controle-instanties). ISQC: International Standard on Quality Control.(internationale standaard inzake kwaliteitsbeheersing). Hoofdstuk 2 - Aanpak van de doelmatigheidscontrole - blz. 30

Het tweede aspect van dit element van kwaliteitsbeheersing is EQCR, een objectieve evaluatie van de significante oordeelsvormingen van het controleteam en de conclusies die zijn getrokken bij de formulering van het verslag. Bij doelmatigheidscontroles wordt er (ten minste) een EQCR verricht in de APM-fase en de fase van de preliminaire opmerkingen. Dit wordt gedaan door personeel dat geen deel uitmaakt van het controleteam en is bedoeld om de kamer aanvullende zekerheid te verschaffen dat de controles zijn verricht in overeenstemming met de beroepsnormen en de toepasselijke vereisten uit weten regelgeving en dat de uitgebrachte verslagen passend zijn gezien de omstandigheden. In het Vademecum of General Audit Procedures – Quality Management (Vademecum Algemene controleprocedures - kwaliteitsbeheer) is de werking van de EQCR bij doelmatigheidscontroles nader beschreven.


HANDLEIDING DOELMATIGHEIDSCONTROLE HOOFDSTUK 3 PLANNING VAN DE CONTROLE


INHOUD

3.1 Inleiding 3.2 De fase van de controleplanning 3.2.1 Doel van de controleplanning

Algemene inleiding

3.2.2 Voorbereidende werkzaamheden 3.2.3 Doe kennis op over de laatste stand van zaken op het controleterrein


 Stel de doelstellingen en de logica van de interventie, alsmede de desbetreffende indicatoren vast  Stel vast welke middelen voor de interventie beschikbaar zijn gesteld  Stel vast welke verantwoordelijkheden de diverse actoren dragen  Stel vast welke essentiële beheersen controleprocessen er zijn, met inbegrip van ITsystemen  Omschrijf de informatiebehoeften voor beheer en controle



 Stel vast welke risico's er voor een goed financieel beheer bestaan 3.2.4 Geef de controle in grote lijnen weer  Houd rekening met eerdere controles en evaluaties  Denk na over de potentiële controlevragen, -criteria, -informatie, -methodologie, reikwijdte en -impact  Denk na over het tijdschema en de toegewezen middelen van de voorgestelde controle 3.2.5 Stel vast of de controle realistisch, uitvoerbaar en naar alle waarschijnlijkheid nuttig is 3.3 Het Audit Planning Memorandum 3.3.1 Doelstellingen en inhoud van het APM


 Formuleer de controlevragen  Stel de reikwijdte van de controle vast  Stel de te hanteren controlecriteria vast  Ga na welke controle-informatie vereist is en uit welke bronnen deze afkomstig is  Bepaal de te hanteren controlemethodologie


 Denk na over de potentiële opmerkingen, aanbevelingen en impact van de controle  Stel het tijdschema, de middelen en de regelingen voor toezicht en beoordeling vast  Communiceer met de gecontroleerde 3.3.2 Opstellen van het APM 3.4 Snelle speciale verslagen Bijlage I: Inhoud van een Audit Planning Memorandum (APM) Bijlage II: Plan voor het verzamelen van controle-informatie Bijlage III - Controleprogramma in grote lijnen

Contact

Neem voor meer informatie contact op met: Europese Rekenkamer - kamer CEAD Eenheid Controlemethodologie en ondersteuning (SAM) E-mail: SAM CONTACT/ECA of [email protected] Hoofdstuk 3 - Planning van de controle - blz. 32

3.1 INLEIDING

Een goede planning is van essentieel belang

Door de uiteenlopende aard van doelmatigheidscontroles krijgt de noodzaak van een goede planning bijzondere nadruk. Mede aan de hand hiervan kan worden vastgesteld of de controle lonend en haalbaar is, kunnen duidelijke en redelijke doelstellingen worden bepaald, kan een realistische en degelijke controleaanpak worden geformuleerd en kunnen de benodigde middelen worden vastgesteld. Is de controle niet goed gepland, dan bestaat het risico dat de controlewerkzaamheden niet efficiënt of doeltreffend zijn. De planning van de controle omvat: •

het overwegen van de significante risico's voor een goed financieel beheer, de mogelijke controledoelstellingen, -benaderingen en -methodologieën en van de vraag of de controle realistisch, uitvoerbaar en naar alle waarschijnlijkheid nuttig is;

•

het Audit Planning Memorandum (APM), dat wordt goedgekeurd door de controlekamer, omschrijft de reikwijdte, doelstelling(en) en methodologie van de controle, de in te zetten middelen, en de te bereiken mijlpalen van de voorgestelde controle.

en is de basis van het APM

Het volgende schema geeft de fase van de controleplanning weer; de controleplanning en het APM wordt nader omschreven in dit hoofdstuk.

Hoofdstuk 3 - Planning van de controle - blz. 33


3.2 DE FASE VAN DE CONTROLEPLANNING 3.2.1 Doel van de controleplanning

Voorbereidende werkzaamheden voor de opstelling van het APM

De Rekenkamer verwacht van de controlekamers dat zij controlevoorstellen 18 uitwerken voor elk onderwerp dat als een prioriteit wordt aangemerkt . Deze voorstellen bevatten de relevante informatie die is vereist om te kunnen uitmaken of de controle al dan niet in aanmerking komt voor opneming in het jaarlijks werkprogramma. In de voorbereidende werkzaamheden wordt deze informatie nader uitgewerkt en aangevuld, hetgeen ertoe kan leiden dat opnieuw wordt beoordeeld of de controle wordt uitgevoerd zoals reeds was gepland in het jaarlijks werkprogramma.

3.2.2 Voorbereidende werkzaamheden

Gebruikmaken van aanwezige informatie

18

De omvang van de noodzakelijke voorbereidende werkzaamheden is afhankelijk van de bij het controleteam aanwezige kennis van het controleterrein, maar moet zodanig zijn dat het APM kan worden opgesteld. Om te kunnen vaststellen of de controle realistisch, uitvoerbaar en naar alle waarschijnlijkheid nuttig is, moeten controleurs kennis opdoen over de laatste stand van zaken op het controleterrein. Indien men bekend is met het controleterrein en de mogelijke controlevragen of het onderwerp van de controle voortvloeit uit bestaande financiële of nalevingsgerichte controles, kan het onnodig zijn, voorbereidende werkzaamheden te verrichten. In dit stadium dienen geen gedetailleerde controletoetsingen te worden verricht; de nadruk moet veeleer worden gelegd op het nagaan van de beschikbaarheid van informatie en de uitvoerbaarheid van methoden.

Programmeringssysteem van de ERK - Gedetailleerde instructies en richtsnoeren: CA 073/13. Hoofdstuk 3 - Planning van de controle - blz. 35

Verrichten van voorbereidende werkzaamheden

DOE KENNIS OP OVER DE LAATSTE STAND VAN ZAKEN OP HET CONTROLETERREIN

 Stel de doelstellingen en de logica van de interventie, alsmede de desbetreffende indicatoren vast  Stel vast welke middelen voor de interventie beschikbaar zijn gesteld  Stel vast welke verantwoordelijkheden de diverse actoren dragen  Stel vast welke essentiële beheersen controleprocessen er zijn, met inbegrip van ITsystemen  Omschrijf de informatiebehoeften voor beheer en controle  Stel vast welke risico's er voor een goed financieel beheer bestaan

GEEF DE CONTROLE IN GROTE LIJNEN WEER

 Houd rekening met eerdere controles en evaluaties  Denk na over de potentiële controlevragen, -criteria, -informatie, -methodologie, -reikwijdte en -impact  Denk na over het tijdschema en de toegewezen middelen van de voorgestelde controle

STEL VAST OF DE CONTROLE REALISTISCH, UITVOERBAAR EN NAAR ALLE WAARSCHIJNLIJKHEID NUTTIG IS

Elk van deze stappen wordt in de volgende paragrafen gedetailleerd beschreven:


3.2.3 Doe kennis op over de laatste stand van zaken op het controleterrein

Omvang en bronnen van informatie lopen uiteen

De nadruk ligt op het verkrijgen van voldoende inzicht in het onderzoeksthema. Hoe dit inzicht wordt verworven, zal afhangen van de aard van het thema en de dosis kennis die bij aanvang binnen het team aanwezig is, onder meer in de vorm van informatie die beschikbaar is in de permanente dossiers en die reeds is verkregen door de financiële controleurs van de Rekenkamer. Dit kan een eenvoudige controle op stukken en één enkele brainstormsessie inhouden wanneer reeds veel over het onderwerp bekend is, of een veel uitgebreidere gegevensverzamelingsronde wanneer het onderwerp nieuw of complex is. Informatiebronnen kunnen derden zijn (wetgeving; inzichten van deskundigen in het veld; wetenschappelijke studies en onderzoek; officiële statistieken) of de gecontroleerde (taakomschrijvingen; strategische en bedrijfsplannen; jaarlijkse activiteitenverslagen en activiteitenoverzichten van de directoratengeneraal van de Commissie (DG's); organisatieschema's; interne richtsnoeren en procedurehandleidingen, en besprekingen met het management van de gecontroleerde). Controleurs wordt aangeraden, de tijd die het verkrijgen van de informatie vergt en de daaraan verbonden kosten af te wegen tegen de toegevoegde waarde ervan voor de controle.

 Stel de doelstellingen en de logica van de interventie, alsmede de desbetreffende indicatoren vast

Doelstellingen en indicatoren betreffende de interventie vormen het uitgangspunt van de controle

De Commissie beheert haar administratieve en operationele middelen aan de hand van Activity Based Management (ABM), waarbij het beheer wordt gevoerd aan de hand van "activiteiten" waarmee "beleidsterreinen" ten uitvoer worden gelegd. De ABM-activiteiten vormen de hoofdlijnen van de verantwoordingsplicht over het door de Commissie gevoerde beheer van haar activiteiten en begroting. Wil ABM kunnen dienen als grondslag voor de benadering van goed financieel beheer door de Commissie, dan moeten de 19 uitgaven zijn gebaseerd op SMART -doelstellingen. Bovendien moet er op de tenuitvoerlegging van deze doelstellingen worden toegezien door de 20 desbetreffende DG's met behulp van RACER -indicatoren inzake output en impact voor elk beleidsterrein en elke activiteit, terwijl het management wordt gevraagd maatregelen te nemen wanneer wordt geconstateerd dat de doelstellingen niet worden gehaald. Inzicht in de doelstellingen en de logica van de interventie vormt het uitgangspunt bij het plannen van een doelmatigheidscontrole. Grafische weergaven van de logica achter de interventie (input, processen en output/doelstellingen) kunnen door de gecontroleerde ter beschikking worden gesteld, of door de controleur worden opgesteld om deze gemakkelijker te kunnen begrijpen.

19

De doelstellingen moeten specifiek, meetbaar, haalbaar, relevant en tijdgebonden zijn (Specific, Measurable, Achievable, Relevant, Timely, SMART).

20

De prestatie-indicatoren moeten relevant, aanvaard, geloofwaardig, eenvoudig en degelijk zijn (Relevant, Accepted, Credible, Easy and Robust - RACER). Hoofdstuk 3 - Planning van de controle - blz. 37

 Stel vast welke middelen voor de interventie beschikbaar zijn gesteld De personele, administratieve en financiële middelen die aan het controleterrein worden toegewezen, moeten worden vastgesteld ter bevestiging van het materieel belang ervan. Dit houdt in dat de toegewezen begrotingskredieten alsmede de vastgelegde en uitbetaalde bedragen worden geanalyseerd.

 Stel vast welke verantwoordelijkheden de diverse actoren dragen

Bepaal wie verantwoordelijk is voor het beheer van de interventie,

aangezien dit van invloed is op het 'hoe' en 'waar' van de controle.

Een hoeksteen van de doelmatigheidscontrole is dat de verantwoordingsplicht van het management van de gecontroleerde uitsluitend geldt voor datgene waarover het controle heeft; het is dan ook van essentieel belang te definiëren wie de gecontroleerde is. Dit is met name relevant in gevallen van gedeeld of indirect beheer door de Commissie enerzijds en de lidstaten, begunstigde landen of internationale organisaties anderzijds. In dergelijke gevallen kan het voorkomen dat de Commissie nauwelijks rechtstreeks betrokken is bij het lopend beheer en de uitvoering van gecofinancierd optreden, hoewel zij altijd de 21 volledige verantwoordelijkheid voor het begrotingsbeheer draagt . In dit verband schrijft de Rekenkamer voor dat bij haar doelmatigheidscontroles wordt uitgegaan van het beheer van de Commissie, met inbegrip van de methoden die worden gevolgd om na te gaan of de lidstaten een adequaat beheer hebben gevoerd. Het controleteam moet nagaan wie bij de Commissie, de lidstaten, de begunstigde landen en internationale organisaties verantwoordelijk is voor het beheer van de interventie, en wel aan de hand van vraaggesprekken en het bestuderen van organisatieschema's en regelgeving.

 Stel vast welke essentiële beheersen controleprocessen er zijn, met inbegrip van IT-systemen Het controleteam moet vaststellen welke essentiële beheersen controleprocessen er zijn voor de activiteit(en) verband houdend met het mogelijke controleonderwerp. Hiertoe kunnen regelgeving en interneprocedurehandleidingen worden bekeken en vraaggesprekken worden gevoerd. Van groot belang hierbij is ook, te kijken naar de door de gecontroleerde gebruikte IT-systemen en het niveau van de geautomatiseerde interne controle.

 Omschrijf de informatiebehoeften voor beheer en controle Bekijk de criteria voor toezicht en selectie van projecten

Kijk naar IT-gegevens en de impact ervan op de controleaanpak

21

Het controleteam moet de soorten informatie en verslagen waarvan de gecontroleerde op dat moment gebruikmaakt voor beheer en controle van zijn activiteiten, vaststellen. Dit bestrijkt ook de verslagen aan de hand waarvan algemeen toezicht wordt gehouden op de activiteit en, waar dit relevant is, de projectselectiecriteria die zijn vastgesteld om te bepalen op welke basis projecten worden geselecteerd voor financiering. Bijzondere aandacht dient te worden besteed aan het vaststellen van in IT-systemen opgeslagen gegevens en de impact hiervan op de controleaanpak; het is raadzaam, in een vroeg stadium contact op te nemen met CEAD-A voor de nodige ondersteuning hierbij.

Zie artikel 287 van het VWEU. Hoofdstuk 3 - Planning van de controle - blz. 38

 Stel vast welke risico's er voor een goed financieel beheer bestaan

Inherente risico's? Internebeheersingsrisico's?

Informatie over risico's is aan tal van bronnen te ontlenen

Risico is de waarschijnlijkheid dat een gebeurtenis of handeling negatief inwerkt op de organisatie, zoals het blootstaan aan financieel verlies, reputatieverlies, of het verzuim om het beleid of het programma zuinig, efficiënt of doeltreffend uit te voeren. De verkregen informatie, zoals hierboven omschreven, biedt de controleurs een basis voor de analyse van de meest significante risico's voor de verwezenlijking van een goed financieel beheer. De voornaamste risico's kunnen inherente risico's zijn (de factoren die een goed financieel beheer bemoeilijken, hoe goed de entiteit ook wordt beheerd) of internebeheersingsrisico's (hoe goed de entiteit de prestaties beheert). Bovendien moet het controleteam vertrouwd raken met risicoanalyse en risicobeheer bij de kernactiviteiten die de betrokken DG ontplooit, zoals internecontrolenorm 6 "Risicobeheerproces" uit het internecontrolesysteem van de Commissie voorschrijft. Elementen van de ABM-cyclus - met name de jaarlijkse activiteitenverslagen en de activiteitenoverzichten - zullen een nuttige aanvullende informatiebron over risico vormen. Elk DG is verplicht, ten minste eenmaal per jaar risico's in verband met zijn kernactiviteiten systematisch te analyseren, adequate actieplannen op te stellen om deze tegen te gaan en personeel aan te wijzen dat verantwoordelijk is voor de tenuitvoerlegging van die plannen. De controleur stelt de volgende vragen: •

wat kan er misgaan?

•

hoe waarschijnlijk is het dat het mis gaat?

•

gaat het mis, welke consequenties heeft dat dan?

•

welke strategie volgt de gecontroleerde om het risico minimaal of onder controle te houden?

Risicofactoren zullen het volgende omvatten:

Richt u op de grootste risico's die zich voordoen

•

aard en complexiteit van het beleid, het programma en de verrichtingen;

•

diversiteit, consistentie en duidelijkheid van de doelstellingen en oogmerken van de entiteit;

•

bestaan en gebruikmaking van passende prestatiemetingen;

•

beschikbaarheid van middelen;

•

complexiteit van de organisatiestructuur en duidelijkheid van verantwoordelijkheden;

•

bestaan en kwaliteit van controlesystemen;

•

complexiteit en kwaliteit van beheersinformatie.

Bij de planning van de controle moet het controleteam het relatieve belang van deze risico's analyseren, waarbij de waarschijnlijkheid dat zij optreden wordt afgezet tegen de vermoedelijke impact in zowel kwantitatief als kwalitatief opzicht. Het zal zich doorgaans richten op die risico's waarvan het waarschijnlijker is dat zij zich zullen voordoen en die een grotere impact hebben wanneer zij zich materialiseren, waarbij tevens wordt gekeken naar de actie die de gecontroleerde heeft ondernomen om dergelijke risico's te ondervangen (reactie op het risico).


3.2.4 Geef de controle in grote lijnen weer  Houd rekening met eerdere controles en evaluaties

Kijk naar controleen evaluatieverslagen.

Het controleteam moet kijken naar eerdere controles en evaluaties die op het betrokken controleterrein zijn verricht, zowel ter vermijding van dubbel werk als bij wijze van follow-up van significante bevindingen en aanbevelingen die betrekking hebben op de potentiële controlevraag. Tot dergelijke controles kunnen die van de Rekenkamer behoren, van de dienst Interne audit (DIA) van de Commissie of van de interne-auditcapaciteiten (IAC) van de DG's. Eventuele evaluatieverslagen moeten hier eveneens bij worden betrokken.

 Denk na over de potentiële controlevragen, -criteria, -informatie, -methodologie, -reikwijdte en -impact

Genereren van ideeën voor potentiële controlevragen is van essentieel belang

22

Voor doelmatigheidscontroles is het passend, de controledoelstellingen te formuleren in de vorm van vragen waarop de controle een antwoord moet bieden; in het vervolg wordt dan ook uitsluitend de term "controlevragen" gebruikt. De bovengenoemde risicoanalyse zal helpen richting te geven aan zowel de potentiële controlevragen als de reikwijdte van de controle. Bij het opstellen van het APM kunnen uiteenlopende potentiële controlevragen in overweging worden genomen. De controleur kan mensen met speciale kennis van het controleonderwerp ondervragen en basisdocumenten en andere literatuur bestuderen. Het controleteam moet vervolgens bepalen welke van deze controlevragen kunnen worden beantwoord. Hiertoe wordt nagegaan of de geformuleerde vragen controleerbaar zijn, d.w.z. of er controlecriteria voorhanden zijn of kunnen worden ontwikkeld, of er controle-informatie bestaat of kan worden gegenereerd en toegankelijk is voor de controleur, en of controlemethodieken met succes kunnen worden gehanteerd om dergelijke informatie te verzamelen en te analyseren. Om dit proces te vergemakkelijken en om vast te stellen welke controlevragen efficiënter in een afzonderlijke controle zouden kunnen worden gesteld, moeten controleteams een zaakanalyse verrichten voordat zij 22 het APM opstellen. .

CH 324/11 van 30 september 2011 over controlekwaliteitsbeheer. Hoofdstuk 3 - Planning van de controle - blz. 40

 Denk na over het tijdschema en de toegewezen middelen van de voorgestelde controle

Blijf binnen de voorgeschreven termijn van 13 maanden.

Het controleteam moet nadenken over het tijdschema voor de controle, inclusief eventuele voorbereidende werkzaamheden en gelet op de beschikbare middelen. In dit kader moet eraan worden gedacht dat een controle moet worden uitgevoerd binnen dertien maanden vanaf de vaststelling van het APM (of vanaf een latere, in het APM gespecificeerde datum waarop de controle volgens de planning zal aanvangen) tot de vaststelling van het APC-verslag. De ervaring heeft geleerd dat zo realistisch mogelijk gepland moet worden hoeveel tijd er nodig is voor iedere fase van de controle, op basis van de prestaties in het verleden. Ook dient de mogelijke impact van het verslag op toekomstige wetswijzigingen in aanmerking te worden genomen. Verslagen moeten zo mogelijk zo getimed worden dat ze bijdragen aan dergelijke veranderingen; daarbij moet rekening worden gehouden met de agenda's van het Europees Parlement en de Raad. Het controleteam moet ook aandacht besteden aan de beschikbaarheid van voldoende gekwalificeerde en ervaren controleurs voor het verrichten van de voorgestelde controle.

3.2.5 Stel vast of de controle realistisch, uitvoerbaar en naar alle waarschijnlijkheid nuttig is

Informeel overleg over de voorbereidende werkzaamheden, of presentaties indien nodig

Ter waarborging van een efficiënt planningsproces dienen de voorbereidende werkzaamheden er niet toe te leiden dat er een afzonderlijk verslag aan de kamer wordt voorgelegd. In plaats daarvan moet de voorkeur worden gegeven aan informeel overleg over de voorbereidende werkzaamheden. Indien dit noodzakelijk wordt geacht, kan het verantwoordelijke lid mondeling een presentatie geven ten behoeve van de transparantie en als inbreng voor volgende discussies over het APM. De voorbereidende werkzaamheden dienen beperkt te blijven tot hetgeen noodzakelijk is om onderzoek te doen naar een realistische, uitvoerbare en nuttige controle en om deze te plannen alsmede om het APM op te stellen en te presenteren.


3.3 HET AUDIT PLANNING MEMORANDUM 3.3.1 Doelstellingen en inhoud van het APM

Standaardindeling van het APM

met een plan voor het verzamelen van controle-informatie en de grote lijnen van het controleprogramma.

In het Audit Planning Memorandum (APM) wordt de controle in detail gepland. Het APM is het "contract" tussen het verantwoordelijke lid en de controlekamer, door middel waarvan het verantwoordelijke lid zich ertoe verbindt, met behulp van de door de controlekamer ter beschikking gestelde middelen binnen de gestelde termijnen een product (de controleresultaten) te leveren dat beantwoordt aan de kwaliteitsnormen. Het APM moet de te verrichten controlewerkzaamheden, de vereiste middelen en termijnen en de verwachte impact van de controle duidelijk en beknopt weergeven. Het moet door het verantwoordelijke lid ter besluitneming aan de controlekamer worden voorgelegd met inachtneming van de in bijlage II aangegeven indeling. Uit het APM moet blijken hoe controle-informatie zal worden verkregen en geanalyseerd ter beantwoording van de controlevragen (bijv. aan de hand van een plan voor het verzamelen van controle-informatie - zie bijlage III). Het moet ook de grote lijnen bevatten van de controleprocedures voor het verzamelen en analyseren van de benodigde informatie om de controleurs in 23 staat te stellen gegronde conclusies te trekken (zie bijlage IV Grote lijnen van het controleprogramma). Laatstgenoemd onderdeel hoeft niet tot in detail te worden uitgewerkt, aangezien het mogelijk is dat sommige toetsingen pas goed kunnen worden bepaald wanneer de controlewerkzaamheden eenmaal gaande zijn en dat de vereiste gedetailleerde toetsingen in de loop van de controle veranderen. Voor een grotere efficiëntie bij de planning en een grotere creativiteit en flexibiliteit bij de uitvoering van de doelmatigheidscontrole moet het controleteam als regel vermijden te gedetailleerde of ingewikkelde APM's op te stellen.

Geen controlewerkzaamheden voordat het APM is goedgekeurd

De controletoetsingen mogen niet beginnen zolang het APM niet is goedgekeurd door de controlekamer. Pas wanneer dat is gebeurd, worden de middelen formeel toegewezen aan de controletaak. De controle moet zo worden opgezet dat ze binnen de afgesproken termijn en met de overeengekomen middelen kan worden voltooid. In onderstaand schema wordt aangegeven welke punten aan bod komen bij de gedetailleerde planning van de controle, waarvan de resultaten in het APM zullen worden opgenomen.

23

Voor praktische voorbeelden van plannen voor het verzamelen van controle-informatie en controleprogramma's voor doelmatigheidscontroles wordt verwezen naar CEAD op Intranet. Hoofdstuk 3 - Planning van de controle - blz. 42

Opzet van het APM:

GEDETAILLEERDE PLANNING VAN DE CONTROLE - TE BEHANDELEN PUNTEN

 Formuleer de controlevraag en de deelvragen  Stel de reikwijdte van de controle vast  Stel de te hanteren controlecriteria vast  Ga na welke controle-informatie vereist is en uit welke bronnen deze afkomstig is  Bepaal de te hanteren controlemethodologie  Denk na over de potentiële opmerkingen, aanbevelingen en impact van de controle  Stel het tijdschema, de middelen en de regelingen voor kwaliteitsbeheersing vast  Communiceer met de gecontroleerde

GA NA OF ER VOLDOENDE BASIS IS GELEGD VOOR DE CONTROLE

ONTWERP-APM

De voornaamste aandachtspunten voor elk van deze aspecten worden hieronder nader uitgewerkt:


 Formuleer de controlevragen 24

Zorg ervoor dat de controlevragen te beantwoorden zijn,

dat zij op één onderwerp zijn gericht,

De controlevragen moeten in het APM worden geformuleerd op basis van de resultaten van de zaakanalyse. De formulering van de controlevragen is van groot belang voor de controle en moet op rationele en objectieve overwegingen berusten. Tenzij hierbij zorgvuldig te werk wordt gegaan, kan het verzamelen van toereikende, relevante en betrouwbare controle-informatie ter beantwoording van de vragen moeilijk blijken te zijn. Om te verzekeren dat de controledoelstellingen thematisch gerelateerd, complementair en elkaar wederzijds uitsluiten, kunnen de controlevragen worden weergegeven als vragenpiramide met één overkoepelende controlevraag en een beperkt aantal deelvragen, die gericht zijn op één onderwerp en duidelijk het controleonderwerp (bijv. programma, beleid of DG) alsmede de te controleren doelmatigheidsaspecten aangeven. In het ideale geval zal het onderwerp van de controle zoveel mogelijk afzonderlijke beleidsterreinen of -onderdelen omvatten, zoals één of meer activiteiten of acties als omschreven in Activity Based Budgeting (ABB) en Activity Based Management (ABM), of afzonderlijke verrichtingen, zoals een EU-agentschap. Dit zal de controle vergemakkelijken en mede waarborgen dat het verslag praktisch en doelgericht is. Bij het formuleren van de controlevragen dient het volgende in overweging te worden genomen: Relevantie van de vragen

Is het controleonderwerp van materieel belang? Zal de mogelijke impact van de controle van materieel belang zijn? Is het belangwekkend voor de belanghebbenden (met inbegrip van de kwijtingverlenende autoriteit en het brede publiek)? Bestaan er risico's voor een goed financieel beheer?

Controleerb aarheid

Zijn de vragen te beantwoorden? Kan er een controle worden verricht en een conclusie worden getrokken gezien de beschikbaarheid van de noodzakelijke informatie, controlemethodieken, middelen en controlevaardigheden? Zijn de omstandigheden gunstig qua timing?

dat zij relevant zijn en zich lenen voor controle,

en voldoende gericht zijn op controlesystemen en/of prestaties.

De controlevragen kunnen gericht zijn op het onderzoek van controlesystemen, op rechtstreeks onderzoek van de prestaties, of op een combinatie hiervan: •

24

de controle van controlesystemen: de meeste doelmatigheidscontroles zullen onderzoek omvatten van: 

de formulering van de doelstellingen van de interventie, om te bepalen of deze realistisch, relevant en zinvol zijn;



de gehanteerde indicatoren, om te bepalen of zij de voortgang in de richting van deze doelstellingen naar behoren meten;



de IT-systemen die het beheer van programma's, projecten, enz. ondersteunen om te bepalen of deze systemen actuele, accurate en essentiële gegevens en informatie opleveren en om te beoordelen of deze gegevens en informatie juist worden gebruikt;



de onderliggende gegevens, om de betrouwbaarheid vast te stellen, en



de projectselectiecriteria die worden gehanteerd voor het toewijzen van middelen;

CEAD beschikt over richtsnoeren voor het uitwerken van controlevragen ("Guidelines for developing audit questions"). Hoofdstuk 3 - Planning van de controle - blz. 44

•

Van controlevraag naar deelvragen

rechtstreeks onderzoek van de prestaties is gericht op de verwezenlijking van de doelstellingen van de gecontroleerde. Doelstellingen, mits behoorlijk uitgewerkt, vormen de maatstaf voor de beoordeling van de prestaties van de gecontroleerde. Evenzo kunnen de indicatoren, mits behoorlijk uitgewerkt, worden gebruikt om de voortgang aan af te meten.

De controlevraag kan vervolgens worden onderverdeeld in deelvragen, die op hun beurt uiteenvallen in subdeelvragen. Doorgaans zijn er vier van dergelijke niveaus, van de hoofdcontrolevraag (niveau 1) tot aan de gedetailleerde vragen die worden beantwoord aan de hand van specifieke controleprocedures (niveau 4); deze laatste vormen de basis van de bronnen van controleinformatie. De deelvragen op elk niveau moeten onderling verschillen (elkaar wederzijds uitsluiten), maar moeten samen de voornaamste aspecten van de 25 vraag op het eersthogere niveau bestrijken (collectief uitputtend zijn) . 26

Wordt elke controlevraag uitgesplitst, dan ontstaat er een piramide . Deze dwingt tot een logisch, gedisciplineerd denkpatroon en helpt te waarborgen dat alle aspecten van een vraag of deelvraag in aanmerking worden genomen.

25

Gedetailleerder begeleiding inzake de uitwerking van controlevragen en deelvragen is te vinden in het controlerichtsnoer voor zaakanalyse en conclusies trekken (Audit Guideline on Issue Analysis and Drawing Conclusions) en het richtsnoer voor het uitwerken van controlevragen.

26

Minto B., The Minto Pyramid Principle, Ed. Minto International, Inc., 2003. Hoofdstuk 3 - Planning van de controle - blz. 45

Hoe moeten de belangrijkste controlevragen worden uitgesplitst? NIVEAU 1 Controlevraag

NIVEAU 2 Deelvraag

NIVEAU 3 Subdeelvraag

NIVEAU 4

Controleprocedures

Bronnen van controle-informatie


Voorbeeld van een ontwikkelde vragenpiramide, ontleend aan het APM inzake deconcentratie

Niveau 1: Controlevraag Niveau 2

1. Werden de delegaties goed voorbereid op gedeconcentreerd beheer?

Beheert de Commissie het deconcentratieproces met succes? Niveau 3

1.1 Werden de behoeften bij de delegaties juist ingeschat bij de voorbereiding op de deconcentratie?

1.2 Werd bij het uitvoeren van de deconcentratie voldoende tegemoetgekomen aan de behoeften van delegaties?

2. Werden de centrale diensten goed voorbereid op gedeconcentreerd beheer?

2.1 Werden de behoeften van het hoofdkantoor goed ingeschat bij de voorbereiding op de deconcentratie?

Werden de behoeften van het hoofdkantoor goed ingeschat bij de tenuitvoerlegging van de deconcentratie? 3.1 Werd er behoorlijk toezicht gehouden op de deconcentratie na de subdelegatie bij de delegaties? 3. Heeft de Commissie doeltreffende procedures voor het toezicht op de prestaties van het gedeconcentreerd beheer?

3.2 Werd er behoorlijk toezicht uitgeoefend op de deconcentratie na de subdelegatie op het hoofdkantoor?

3.3 Was het projectbeheer efficiënt?

Niveau 4 1.1.1

Duidelijke omschrijving van de door verzelfstandigde delegaties te vervullen functies?

1.1.2

Was de omschrijving van de functies in overeenstemming met het onderliggende beginsel?

1.1.3

Omschrijving duidelijk meegedeeld aan en begrepen door personeel?

1.1.4

Analyse van middelen waarover delegaties beschikken voordat deconcentratie plaatsvindt?

1.1.5

Duidelijke vaststelling van de benodigde middelen voor het uitvoeren van toekomstige activiteiten en doelstellingen van delegaties na de deconcentratie?

1.2.1

Werd er met succes, tijdig en binnen de grenzen van de begrotingsmiddelen voorzien in de behoeften van de delegaties?

1.2.2

Is de Commissie duidelijk ingegaan op de vraag of er is voorzien in behoeften (aan personeel, opleiding, begeleiding, bedrijfsruimte, IT)?

1.2.3

Deden zich problemen voor bij de voorziening in de behoeften, en werden de problemen verholpen?

2.1.1

Was er een duidelijke omschrijving van de voornaamste toezichthoudende en ondersteunende functies van het hoofdkantoor?

2.1.2

Was de omschrijving in overeenstemming met het onderliggende beginsel?

2.1.3

Werd dit duidelijk meegedeeld aan en begrepen door het personeel op het hoofdkantoor en bij de delegaties?

2.1.4

Was er sprake van een duidelijke analyse van de middelen waarover het hoofdkantoor beschikte?

2.1.5

Was er sprake van een duidelijke beoordeling van de benodigde middelen met het oog op toekomstige activiteiten en doelstellingen van het hoofdkantoor na de deconcentratie?

2.2.1

Werd er met succes, tijdig en binnen de grenzen van de begrotingsmiddelen voorzien in de behoeften van het hoofdkantoor?

2.2.2

Is de Commissie duidelijk ingegaan op de vraag of er was voorzien in de behoeften voordat de deconcentratie plaatsvond?

2.2.3

Deden zich problemen voor bij de voorziening in de behoeften, en werden de problemen verholpen?

3.1.1

Ziet de Commissie erop toe dat er ook na subdelegatie in de behoeften wordt voorzien en dat de delegaties doeltreffend functioneren als ze zijn verzelfstandigd?

3.1.2

Ziet de Commissie erop toe dat het onderliggende beginsel in acht wordt genomen?

3.2.1

Ziet de Commissie erop toe dat er ook na subdelegatie in de behoeften van het hoofdkantoor wordt voorzien?

3.2.2

Ziet de Commissie erop toe dat het onderliggende beginsel in acht wordt genomen?

3.3.1

Werd er gebruikgemaakt van projectbeheersinstrumenten voor het beheer van het algehele deconcentratieproces en was dit gebruik adequaat en doeltreffend?

3.3.2

Werden de lessen die uit de eerste en tweede deconcentratiegolf waren getrokken, toegepast op de tweede en derde golf?

3.3.3

Was er sprake van een duidelijke, accurate schatting van de kosten van deconcentratie?

3.3.4

Zijn de schattingen vergelijkbaar met de feitelijke kosten?

3.3.5

Werd er behoorlijk toezicht gehouden op en verslag gedaan van de kosten?


 Stel de reikwijdte van de controle vast De reikwijdte bakent de controle af en houdt rechtstreeks verband met de controlevragen. Met name moeten de controleurs het volgende vaststellen:

Beperk reikwijdte om te waarborgen dat de controle tot een goed einde kan worden gebracht

 WAT

te controleren programma('s), ABM-activiteit en actie(s) en begrotingsonderdelen

 WIE

door de controle te bestrijken afdelingen van de Commissie en/of andere entiteiten

 WAAR

geografische reikwijdte van de controle

 WANNEER

te bestrijken periode

De controleur zal moeten bedenken wat het leidend beginsel is voor het vaststellen van de reikwijdte. Aangezien het praktisch noch efficiënt is om alle mogelijke aspecten in één enkele controle te bestrijken, moeten de aard, de omvang en de timing van controleprocedures beperkt blijven tot een aantal punten van belang. Het gaat hierbij om zaken die verband houden met de controlevragen, kunnen worden uitgevoerd met de beschikbare middelen en know-how, en van cruciaal belang zijn voor het behalen van de beoogde resultaten van het voorwerp van de controle. Indien wet- of regelgeving of andere nalevingsvoorschriften die van toepassing zijn op de gecontroleerde een significante impact op de controlevragen zouden kunnen hebben, moet de controle zo zijn opgezet dat deze kwesties worden behandeld om de 27 controlevragen te beantwoorden .

 Stel de te hanteren controlecriteria vast

Voor de controle geschikte criteria zijn van essentieel belang om de prestaties te beoordelen

Controlecriteria zijn normen waaraan de feitelijke prestaties (geschiktheid van systemen en praktijken en de aspecten zuinigheid, efficiëntie en doeltreffendheid van activiteiten) worden afgemeten of aan de hand waarvan deze worden beoordeeld. Zij zijn nodig om de bestaande situatie te beoordelen en om tot controlebevindingen te komen (hoe het is, vergeleken met hoe het zou moeten zijn). Het is van belang dat controlecriteria zo objectief mogelijk zijn, zodat de ruimte voor subjectieve interpretatie tot een minimum wordt beperkt. Aangezien de algemene begrippen zuinigheid, efficiëntie en doeltreffendheid in het licht van het voorwerp van de controle moeten worden geïnterpreteerd, zullen de controlecriteria per doelmatigheidscontrole verschillen, en de keuze daaruit is doorgaans betrekkelijk vrij en wordt door de controleur geformuleerd. Controlecriteria moeten echter wel worden gebaseerd op erkende bronnen, en objectief, relevant, redelijk en haalbaar zijn.

Criteria zijn objectief, relevant, redelijk, haalbaar en gebaseerd op erkende bronnen

27

Het hangt van de bronnen van controlecriteria af hoeveel moeite er moet worden gedaan om te waarborgen dat zij geschikt zijn: •

criteria op basis van wet- of regelgeving of erkende beroepsnormen zijn het minst controversieel. Algemeen aanvaarde criteria kunnen ook worden ontleend aan bronnen zoals beroepsorganisaties, erkende organen van deskundigen, en vakliteratuur;

•

andere belangrijke bronnen van criteria voor doelmatigheidscontroles zijn de normen, maatstaven en toegezegde resultaten die door het management van de gecontroleerde zijn goedgekeurd, waaronder specifieke doelen of vereisten die de Commissie in het kader van ABB/ABM heeft vastgesteld;

Controlestandaard ISSAI 3100, paragraaf 14. Hoofdstuk 3 - Planning van de controle - blz. 48

•

zijn er geen criteria uit bovenstaande bronnen voorhanden, dan kan de controleur zich richten op de behaalde prestaties in vergelijkbare organisaties, beste praktijken zoals vastgesteld aan de hand van benchmarking of raadpleging, of normen die door de controleur zijn ontwikkeld op basis van een analyse van activiteiten.

Wanneer de entiteit zinvolle, specifieke maatstaven heeft vastgesteld voor het beoordelen van de eigen prestaties, moet van de voor de controle relevante maatstaven worden nagegaan of ze redelijk en volledig zijn.

en moeten waar mogelijk in overleg met de gecontroleerde worden vastgesteld.

Wanneer de criteria niet vanzelfsprekend zijn en door het management van de gecontroleerde ter discussie zouden kunnen worden gesteld, moet er zoveel mogelijk overeenstemming worden bereikt over de relevantie en aanvaardbaarheid ervan. Bij deze aanpak wordt onderkend dat het bij controle niet louter gaat om het zoeken naar gebreken waarover verslag kan worden uitgebracht. Kunnen er geen passende criteria worden vastgesteld en overeengekomen, dan kan het noodzakelijk zijn dat men de gedetailleerde controlevraag opnieuw bekijkt. Kan er nog steeds geen overeenstemming worden bereikt, dan moeten de gehanteerde criteria in het controleverslag worden toegelicht. Onder geen beding mag een controle worden verricht aan de hand van criteria die zouden kunnen leiden tot partijdige of misleidende controleresultaten.

 Ga na welke controle-informatie vereist is en uit welke bronnen deze afkomstig is

Stel vast welke controle-informatie toereikend, relevant en betrouwbaar is...

Vastgesteld moet worden welke controle-informatie vereist is om de controlevragen te beantwoorden, aan welke bronnen dergelijke informatie kan worden ontleend en of dit een zodanige vorm heeft dat het eenvoudig kan worden verzameld en geanalyseerd. Deze informatie moet als volgt zijn:  TOEREIKEND zodat de hoofdcontrolevraag volledig beantwoord kan worden  RELEVANT zodat deze betrekking heeft op de gestelde controlevraag  BETROUWBAAR in de zin van onpartijdig en overtuigend

... en denk aan de kennisgeving inzake de bescherming van persoonsgegevens bij het inwinnen van persoonsgegevens

Bronnen van controle-informatie

28

Controletaken waarbij persoonsgegevens worden gebruikt als controleinformatie moeten bijzondere aandacht krijgen. Krachtens artikel 25 van Verordening nr. 45/2001 is een "verantwoordelijke voor de verwerking" (de persoon die verantwoordelijk is voor de behandeling van persoonsgegevens) verplicht om vooraf de functionaris voor gegevensbescherming (DPO) te informeren. Het APM moet een vermelding bevatten van de behandeling van 28 persoonsgegevens . Bij twijfel dient er te worden gekeken naar de potentiële impact op de controle indien de controle-informatie niet tegen redelijke kosten kan worden verkregen, en moet worden nagegaan of er alternatieve bronnen van controle-informatie in aanmerking moeten worden genomen. Bestaat er een groot risico dat de noodzakelijke controle-informatie niet kan worden verkregen, dan zal de controlevraag moeten worden herzien.

Bijvoorbeeld: "Bevestigd wordt dat er tijdens de controle geen persoonsgegevens zullen worden behandeld" of "Bevestigd wordt dat de persoonsgegevens van X (beschrijf bijvoorbeeld de gegevenspopulatie die een door de EU gecofinancierde subsidie ontvangt) zullen worden gebruikt bij de controle. De kennisgeving aan de DPO is op (datum) gedaan en werd geregistreerd als "Data Protection treatment no XXX". De DPO aanvaardde de kennisgeving zonder opmerkingen/met de volgende opmerking(en): XXX.3." Hoofdstuk 3 - Planning van de controle - blz. 49

 Bepaal de te hanteren controlemethodologie Voor doelmatigheidscontroles kan gebruik worden gemaakt van een grote verscheidenheid van methoden, die doorgaans in de sociale wetenschappen worden gehanteerd voor het verzamelen en analyseren van controleinformatie, zoals enquêtes, vraaggesprekken, waarnemingen en schriftelijke documenten. Bij de keuze van dergelijke methoden dienen controleurs zich te laten leiden door het doel van de controle en de specifieke te beantwoorden vragen. Duidelijke, degelijke en praktische methodieken moeten worden vastgesteld om toereikende, relevante en betrouwbare controle-informatie te verkrijgen, zodat met redelijke zekerheid conclusies kunnen worden getrokken.

Kwalitatieve en kwantitatieve technieken

In verschillende controlefasen en voor verschillende doeleinden kunnen uiteenlopende methodieken worden gehanteerd (zie verscheidene controlerichtlijnen). Kwalitatieve technieken zijn met name nuttig in een vroegtijdig stadium van een controle om zaken van belang vast te stellen, de eerste ideeën uit te werken en hypothesen te stellen. Deze technieken zijn ook bijzonder geschikt wanneer sprake is van complexe problemen. Kwantitatieve analyse, die gepaard gaat met onderzoek van numerieke gegevens, is een van de sterkste controle-instrumenten voor het uitwerken van met bewijs onderbouwde conclusies. Een dergelijke analyse heeft een aanzienlijke meerwaarde voor het controlewerk, aangezien deze duidelijke maatstaven voor kosten, baten en prestaties kan bieden.

De combinatie van methoden is afhankelijk van controlevragen

Een goede doelmatigheidscontrole zal normaliter verschillende methodieken combineren om een reeks gegevens vast te leggen en bevindingen uit diverse bronnen te staven, en kwalitatieve en kwantitatieve gegevens te combineren. Deze combinatie van methodieken is noodzakelijk om deugdelijke controleinformatie te verkrijgen ter onderbouwing van de conclusies en aanbevelingen, waarbij de kwantitatieve gegevens de Rekenkamer in staat stellen het belang van haar opmerkingen en aanbevelingen aan te tonen. Het kan noodzakelijk zijn, bepaalde methoden aan een pilottest te onderwerpen om te waarborgen dat ze de controle-informatie opleveren die vereist is voor het beantwoorden van de controlevragen.

 Denk na over de potentiële opmerkingen, aanbevelingen en impact van de controle

Anticipeer op resultaten

Bedacht moet worden tot welke opmerkingen en aanbevelingen de controle waarschijnlijk aanleiding geeft. Dit zal niet alleen helpen bij het bepalen van de algemene opzet van het verslag, maar ook bij de vaststelling of de kans groot is dat de controlevragen zoals ze zijn geformuleerd, resulteren in constructieve aanbevelingen. Het controleteam moet van meet af duidelijk aangeven dat de controle het potentieel heeft om praktische aanbevelingen op te leveren, en zou voortdurend vooruit moeten kijken en in het oog moeten houden in welk stadium van de programmeringscyclus van de Commissie het controleverslag zal worden uitgebracht. Aan de hand hiervan zal de impact en het nut dat het eindverslag waarschijnlijk zal hebben, kunnen worden vastgesteld.


 Stel het tijdschema, de middelen en de regelingen voor toezicht en beoordeling vast De controleurs moeten de voor de controle benodigde personele en financiële middelen realistisch inschatten, erop toezien dat de vereiste kennis en ervaring bij het controleteam aanwezig is en, waar nodig, anticiperen op de behoefte aan externe expertise. In het APM moet worden voorzien in een kerncontroletram voor de duur van de controle, met een permanente teamleider, een waarnemend teamleider en een verantwoordelijk lid. Er moet worden overwogen of de efficiëntie zou kunnen worden vergroot en de duur van de controle zou kunnen worden verkort door de omvang van het team te vergroten. Een kerncontroleteam

En een realistisch plan is noodzakelijk,

De controle moet worden gepland en beheerd als één enkel project, van APMtot APC-stadium, met gebruikmaking van de instrumenten van de Rekenkamer voor controlebeheer en -documentatie (Audit Management System (AMS) en ASSYST II). Er moet een realistisch plan worden opgesteld dat de middelen en verantwoordelijkheden aangeeft die met elke hoofdtaak binnen de controlecyclus gepaard gaan. In het plan moet in detail worden aangegeven hoeveel middelen nodig zijn, over welke vaardigheden en deskundigheid het controleteam moet beschikken met betrekking tot het voorwerp van de controle, en of er externe expertise nodig is. Het moet tevens gedetailleerde tijdschema's bevatten voor elke fase van het controleproces (waaronder publicatie van het verslag), waarbij voor elke fase mijlpalen voor de rapportage worden vastgesteld, en de nadruk in voorkomend geval op externe termijnen ligt (bijv. het uitvaardigen van nieuwe regelgeving op het betrokken controleterrein). Als algemene regel geldt dat er niet meer dan vijf lidstaten (of begunstigde landen) ter plaatse mogen worden bezocht bij een controle. Tot de geselecteerde lidstaten moet per definitie een kleinere lidstaat (qua bevolkingsomvang, geografische omvang of hoogte van de ontvangen financiële steun) behoren. Indien afwijkingen van deze algemene regels noodzakelijk worden geacht, moet dit worden toegelicht in het APM.

waarin voor de goedkeuring van het APM tot en met de vaststelling van het verslag 13 maanden worden ingeruimd.

rekening wordt gehouden met de risico's voor de te boeken resultaten,

In het APM moet het volledige tijdschema voor de controle, vanaf eventueel noodzakelijk geachte voorbereidende werkzaamheden tot de beoogde publicatiedatum van het verslag, worden beschreven. In dit verband is het tijdschema voor een controle, vanaf de goedkeuring van het APM tot de vaststelling van het speciaal verslag (na de contradictoire procedure) dertien maanden. De ervaring heeft geleerd dat zo realistisch mogelijk gepland moet worden hoeveel tijd er nodig is voor iedere fase van de controle, op basis van de prestaties in het verleden. In uitzonderingsgevallen waarin meer tijd vereist is, moet dit tegenover de controlekamer worden gerechtvaardigd en door de controlekamer worden goedgekeurd. Significante risico's voor het welslagen van de controle en de wijze waarop deze risico's het best kunnen worden beheerst, moeten worden vastgesteld. Bij het plannen van het kritieke pad van de controle kan het helpen, mogelijke risicopunten te identificeren waar het waarschijnlijker is dat zich problemen zullen voordoen, die vertraging opleveren of ten koste van de kwaliteit dreigen te gaan. Er moet altijd rekening worden gehouden met voorzienbare knelpunten betreffende de beschikbaarheid van controleurs (die door andere controletaken in beslag kunnen worden genomen) en de consequenties van het laattijdig beschikbaar komen van controleresultaten en -verslag.


Het kan zinvol zijn, de controlewerkzaamheden ter plaatse te versnellen door een groot team in te zetten voor snelle gegevensverzameling, terwijl het formuleren en bespreken van de feiten (met name in de contradictoire procedure) door een veel kleiner team kan worden gedaan. Door na te gaan of het voor elke controleur geplande aantal weken redelijk is, wordt beter gewaarborgd dat het aantal toegewezen weken realistisch is in verhouding tot het voorgestelde tijdschema.

waarin kwaliteitsbeheersing wordt geïntegreerd,

Er moeten regelingen voor kwaliteitsbeheersing (zie het Vademecum of General Audit Procedures – Quality Management) worden vastgesteld voor toewijzing van en inzicht in de verantwoordelijkheden voor het leiden en beoordelen van, en het toezicht houden op controlewerk, het geven van tijdige feedback en regelmatige monitoring.

en dat een voortgangsverslag omvat.

Om het nodige overleg in de betrokken controlekamer mogelijk te maken en gezien de meerwaarde van het in acht nemen van de uiteenlopende zienswijzen moet in een voortgangsverslag worden voorzien dat mondeling of schriftelijk door het verantwoordelijke lid aan de controlekamer moet worden gepresenteerd. De timing van een dergelijk verslag kan per controle enigszins verschillen, maar is idealiter zo gepland dat het samenvalt met het bereiken van een belangrijke mijlpaal (bijv. het afronden van het eerste ‘blok' controlebezoeken). Het verslag moet zo mogelijk de voornaamste opmerkingen en conclusies omvatten die bij de controle reeds naar voren kwamen, alsmede de grote lijnen van het eindverslag. Het APM moet melding maken van de regelingen voor het documenteren en beheren van controleprocessen, inclusief procedures voor kwaliteitsbeheersing.

 Communiceer met de gecontroleerde Een voortdurende dialoog en wederzijds begrip tussen controleurs en personeel van de gecontroleerde, waarop in de "geen verrassingen"-aanpak van de Rekenkamer de nadruk wordt gelegd, is van essentieel belang om de in het controleverslag opgenomen conclusies en aanbevelingen ingang te doen vinden. Regelmatig contact met de gecontroleerde is essentieel

Contact met het personeel van de gecontroleerde moet zo worden gepland dat het gedurende de gehele controle wordt onderhouden, om dit personeel voortdurend op de hoogte te houden van de voortgang van de controle. Op de volgende standaardtijdstippen kan met de gecontroleerde contact worden opgenomen om onder meer de volgende zaken aan de gecontroleerde mee te delen: CONTACTPUNT

Startpunt

Oogmerk De controleurs leggen het management van de gecontroleerde entiteit uit om welke redenen zij de controle verrichten, welke vragen, reikwijdte, criteria en methodieken worden voorgesteld, het tijdschema en de werkprocedures. Ook kan het nuttig zijn, expliciet aan te geven wat niet zal worden gecontroleerd, om misvattingen of verkeerde verwachtingen bij de gecontroleerde te helpen beperken.


Vóór de controlebezoeken

De controleurs geven het personeel van de gecontroleerde uitleg over het doel van het controlebezoek, de eventueel vereiste informatie, te beleggen vergaderingen en de timing van het controlebezoek.

Van begin tot eind van het controlebezoek

De controleurs bespreken de controleprocedures met personeelsleden van de gecontroleerde, houden hen op de hoogte van de gemaakte voortgang en beleggen een afrondende vergadering om hun de vastgestelde feiten mee te delen.

Overzicht van preliminaire bevindingen

De bevindingen naar aanleiding van de controle worden gedocumenteerd en aan de gecontroleerde meegedeeld (zie hoofdstuk 4).

Precontradictoire en contradictoire procedure

Nagaan of men het eens is over de controlebevindingen (zie hoofdstuk 5).

3.3.2 Opstellen van het APM Het verantwoordelijke lid moet zich ervan vergewissen dat er voldoende basis is gelegd voor een voorstel tot het instellen van een realistische, uitvoerbare controle met toegevoegde waarde. De controlevragen en -criteria moeten worden meegedeeld en voor zover mogelijk overeengekomen, idealiter tussen het verantwoordelijke lid en de betrokken directeur-generaal van de Commissie, voordat het APM aan de controlekamer wordt gepresenteerd. Het APM dat bij de kamer wordt ingediend, is onderworpen aan EQCR, onderdeel van het kader voor kwaliteitsbeheersing van de Rekenkamer (zie paragraaf 2.5). Gedetailleerde procedures inzake de werking van EQCR zijn opgenomen in het Vademecum of General Audit Procedures – Quality Management en in door de kamers uitgebrachte praktische regelingen.

3.4 SNELLE SPECIALE VERSLAGEN Eng omschreven controleonderwerpen behandelen

Soms kan het nodig zijn, op korte termijn en in een hoog tempo controles te verrichten die niet zijn opgenomen in het jaarlijks werkprogramma. Deze controles waarvoor onmiddellijk onderzoek en rapportage vereist zijn, kunnen voortkomen uit gewijzigde omstandigheden, bijvoorbeeld een verzoek van het Europees Parlement of de Raad. Ze zijn gericht op eng omschreven controleonderwerpen en zijn bedoeld om binnen korte tijd de resultaten aan de gecontroleerden en belanghebbenden te kunnen meedelen. De doelstellingen en reikwijdte van de controletaak moeten dus beperkt van aard zijn (bijv. één enkele kwestie).

Uitzonderlijke producten

Gelet op de specifieke oorsprong ervan moeten "snelle speciale verslagen" worden beschouwd als uitzonderlijk product binnen het scala van speciale verslagen van de Rekenkamer, die niet onder het normale controleproces van de Rekenkamer vallen. Omdat zij ad hoc van aard zijn, betekent het besluit om een snel speciaal verslag op te stellen waarschijnlijk dat de planning van andere taken moet worden aangepast; dergelijke besluiten moeten worden genomen door een controlekamer of de Rekenkamer. Hoofdstuk 3 - Planning van de controle - blz. 53

waarvoor geen APM of gedetailleerde voorbereidende werkzaamheden nodig zijn

maar waarvan de gecontroleerde wel in kennis moet worden gesteld

Geen controlebezoeken

Omdat zij vlot moeten verlopen, hoeft er geen presentatie of rapportage van de resultaten van voorbereidende werkzaamheden plaats te vinden en is er ook geen APM vereist. In plaats daarvan moet het lid-rapporteur een opdrachtbrief presenteren aan de controlekamer waarin duidelijk en beknopt de noodzaak tot snelle behandeling, de te verrichten controlewerkzaamheden, de benodigde middelen en tijd alsmede de verwachte impact van de controle worden uiteengezet. In de opdrachtbrief moet in voorkomend geval ook worden aangegeven welke administratieve regelingen anders zijn voor deze controle en of deze regelingen vooraf met de relevante afdelingen van de Commissie zijn besproken. Overeenkomstig het document Beleid en normen voor de controle van de 29 Rekenkamer (CAPS) moet een overzicht van de geplande reikwijdte en het geplande tijdschema van de controle worden meegedeeld aan de gecontroleerde en moet er tijdens de controle worden gezorgd voor een daadwerkelijke communicatie in beide richtingen. Het is waarschijnlijk niet haalbaar in het kader van een snel controleproces, bezoeken te brengen aan lidstaten of derde landen. Dit hangt echter uiteindelijk af van de specifieke omstandigheden van de controle. Aangezien bij het verrichten van snelle controles nauwgezette monitoring nodig is, is het gebruik van ASSYST en AMS als hulpmiddelen ook verplicht bij deze controles. Evenzo is EQCR net zo goed van toepassing als bij andere controles, maar er mag mee worden gestart terwijl de controlewerkzaamheden al lopen.

Een snelle rapportage van de resultaten

Controlebevindingen worden niet formeel meegedeeld aan de gecontroleerde. Toch moet de gecontroleerde, voordat het verslag wordt vastgesteld, in de gelegenheid worden gesteld om op de controlebevindingen, conclusies en aanbevelingen te reageren. De bevindingen worden formeel besproken en afgehandeld via contradictoire procedures of andere kanalen en de preliminaire opmerkingen en het speciaal verslag moeten worden vastgesteld door de controlekamer (of de Rekenkamer, indien noodzakelijk).

Opstelling van het verslag

Om onnodige vertraging te voorkomen, moet de verslagleggingsfase vooraf worden gepland met directoraat CEAD-A. Het controleteam, de directeur en personeelsleden van het kabinet van het lid-rapporteur (of het lid-rapporteur) en mogelijk ook vertegenwoordigers van CEAD-A moeten een vergadering houden om conclusies te trekken en vast te stellen wat de kernboodschap van het verslag zal worden.

Vaststelling

Snelle speciale verslagen kunnen worden vastgesteld door middel van een schriftelijke procedure zonder dat er een formele vergadering van de betrokken kamer hoeft plaats te vinden. De periode waarna het besluit van de kamer definitief wordt ("noodremprocedure") wordt ook ingekort tot twee dagen.

Publicatie

Snelle speciale verslagen mogen op internet worden gepubliceerd in de taal waarin ze zijn opgesteld, zodra ze zijn vastgesteld en de definitieve antwoorden van de gecontroleerde zijn ontvangen. Ze worden meestal niet op papier gepubliceerd. Naar schatting zijn er voor een snel verslag in totaal zes à acht maanden nodig vanaf de goedkeuring van de opdrachtbrief tot de publicatie.

29

CAPS, deel 3.1 Communicatie over controlepunten met het bestuur. Hoofdstuk 3 - Planning van de controle - blz. 54

BIJLAGE I: INHOUD VAN EEN AUDIT PLANNING MEMORANDUM (APM) 30 Samenvatting In de samenvatting van één bladzijde wordt het voor het jaarlijkse werkprogramma opgestelde controlevoorstel bijgewerkt en nader uitgewerkt met nieuwe informatie of inzichten die bij de voorbereiding van het APM zijn ontstaan. De samenvatting geeft een opsomming van de redenen waarom de controle wordt verricht, en bevat de achtergrond van de controle, de controlevraag, -aanpak en -reikwijdte, de verwachte impact, de geplande middelen en het tijdschema voor de rapportage.

Welk terrein willen we onderzoeken en waarom? Omschrijving van het controleterrein

Materieel belang en risico's voor goed financieel beheer

Relevantie

Potentiële impact

De redenen voor het selecteren van het controleonderwerp worden duidelijk vermeld. Relevante achtergrondinformatie over het controleonderwerp wordt beknopt weergegeven (bijv. beleid, programma, DG); het kan gaan om de voornaamste activiteiten, financiële informatie, weten regelgeving, de doelstellingen van de gecontroleerde (die uiteengezet kunnen zijn in een logisch model voor programma's), en de rollen en verantwoordelijkheden van de voornaamste actoren. De betrokken geldbedragen worden vermeld en de voornaamste risico's voor goed financieel beheer die in de fase van controleplanning zijn vastgesteld, worden beschreven. Nagegaan wordt of het Parlement, de Raad, de Commissie, het publiek, media of andere belanghebbenden interesse tonen in de materie, aangezien het waarschijnlijker is dat de controle positieve veranderingen teweegbrengt indien de belanghebbenden zich betrokken voelen bij het onderwerp. De vast te stellen potentiële impact kan beïnvloeding van toekomstige beleidsvormen en programma's omvatten, evenals potentiële kostenbesparingen en benadrukking van goede praktijken.

Wat zijn de controlevragen en de reikwijdte van de controle? Controlevragen

De controlevragen worden zo nauwkeurig mogelijk geformuleerd om richting te geven aan de controle, onnodige en kostbare werkzaamheden te vermijden en het controleteam in staat te stellen ter zake conclusies te trekken. De controlevragen worden vastgesteld en, indien er slechts één controlevraag is, vertaald in deelvragen die daar rechtstreeks uit volgen. De redenen voor het selecteren van de controlevragen en het uitsluiten van andere potentiële controlevragen worden beknopt aangegeven.

30

Het model voor het APM is beschikbaar op de CEAD-intranetsite. Hoofdstuk 3 - Planning van de controle - Bijlage I - blz. 55

Reikwijdte van de controle

De verklaring inzake de reikwijdte omschrijft en licht toe welke onderdelen van de organisatie/het programma/het beleid voorwerp van de controle uitmaken, en geeft aan welke periode en geografische gebieden zullen worden bestreken. Ook worden potentiële terreinen vermeld waarvan werd overwogen ze onder de reikwijdte van de controle te doen vallen, maar waarvan werd afgezien (bijv. omdat de controle dan te tijdrovend of niet doelgericht genoeg zou worden).

Hoe komen we aan de antwoorden? Controleaanpak

Er wordt duidelijk vermeld wat de controleaanpak is, d.w.z. in hoeverre de nadruk moet worden gelegd op rechtstreekse controle van de prestaties, waarbij men zich aanvankelijk richt op output en uitkomsten, tegenover het controleren van de controlesystemen, waarbij men zich aanvankelijk richt op systemen en controles.

Controlecriteria

De controlecriteria, waaraan de feitelijke situatie moet worden getoetst, worden duidelijk vermeld, waarbij wordt aangegeven aan welke relevante wetgeving of andere bronnen ze zijn ontleend.

Controlemethodologie

Een korte paragraaf wordt gewijd aan een beschrijving van de wijze waarop elke methode van gegevensverzameling en -analyse in het kader van de controle moet worden gehanteerd. Gedetailleerde informatie over de methodologie kan in een bijlage bij het APM worden verstrekt.

Waarschijnlijke uitkomst van de controle

De waarschijnlijke uitkomst geeft aan op welke gebieden bevindingen geformuleerd, conclusies getrokken en aanbevelingen gedaan kunnen worden. Hier wordt ingegaan op de controlevragen, zonder dat te zeer in detail moet worden getreden of de valse hoop wordt gewekt dat de controle vérstrekkende gevolgen zal hebben.

Hoe zijn de middelen voor, het toezicht op en de monitoring van de controle geregeld? Middelen, kosten en tijdschema

31

Van het controleteam wordt de naam van de deelnemers, hun rang en de toegewezen tijd aangegeven, alsmede het budget, onder meer voor 31 consultants en controlebezoeken. In het tijdschema worden de begin- en einddatum van de controle vermeld, met de data en plaats van de controlebezoeken, de data waarop alle belangrijke mijlpalen moeten zijn bereikt (waarvoor steeds realistische tijdschema's worden vastgesteld, rekening houdend met vakanties, cursussen, enz.), de datum van het voortgangsverslag, en de datum van de publicatie van het definitieve verslag.

Aanvragen voor budgettaire voorzieningen voor externe deskundigen moeten bij CEAD-A worden ingediend zodra ze gepland worden. Hoofdstuk 3 - Planning van de controle - Bijlage I - blz. 56

Het is verplicht om het elektronische systeem voor controlebeheer van de Rekenkamer (Audit Management System - AMS) te gebruiken bij de planning van en rapportage over de opeenvolging van taken voor elk onderdeel van het controleproces. Dit instrument geeft een grafische voorstelling van de tijd die taken in beslag nemen op een tijdbalk en geeft het verband weer tussen de diverse onderdelen van het proces. Het biedt ook een analyse van het kritieke pad om de minimale tijdsduur te berekenen waarin de controle kan worden verricht, en na te gaan welke activiteiten prioriteit verdienen, opdat de controle tijdig kan worden afgerond. Risico's dat er niet tijdig en binnen de grenzen van het budget resultaat wordt geboekt

Regelingen voor kwaliteitsbeheersing

Nagegaan wordt welke de grootste risico's zijn dat het controleverslag niet binnen de gestelde termijn, met de voorziene middelen en tegen de voorziene kosten wordt uitgebracht, alsmede hoe waarschijnlijk het is dat elk van de vastgestelde grootste risico's zich voordoet, welke potentiële impact het zou hebben indien dit het geval is, en welke voorstellen voor het beheer van elk risico er worden gedaan. Het APM voorziet in een voortgangsverslag dat het verantwoordelijke lid aan de controlekamer uitbrengt wanneer een belangrijke mijlpaal wordt bereikt. Bovendien wordt de rapportage over de voortgang van de controletaak via het rapportagesysteem van de controlekamer vermeld, alsmede de documentatie van de controlebevindingen en de werkdocumenten in ASSYST.

Is de gecontroleerde in kennis gesteld? Vermelding van bespreking

Vermeld wordt of de controledoelstellingen, -vragen, -reikwijdte en -criteria bij de voorbereiding van het APM zijn besproken met het management van de gecontroleerde en of hun reactie naar behoren in aanmerking is genomen. Daarnaast moet in het APM worden vermeld welke contacten met de gecontroleerde en externe deskundigen zijn gepland in de loop van de controle (alsmede de verwachte presentatie van verslagen aan het Parlement, de Raad en de media) in de vorm van een kort communicatieplan met informatie over de verantwoordelijke voor elke vorm van communicatie, de inhoud en het waarschijnlijke tijdstip ervan.

Conclusie Wij stellen voor, de controle uit te voeren. Hierbij verzoeken wij de controlekamer om toestemming voor het uitvoeren van de controle op de hiervoor uiteengezette wijze en met de aangegeven middelen en tijdschema's.

Hoofdstuk 3 - Planning van de controle - Bijlage I - blz. 57

BIJLAGE II: PLAN VOOR HET VERZAMELEN VAN CONTROLE-INFORMATIE Controlevragen

Vragen niveau 2

Vragen niveau 3

WAT WILLEN WIJ WETEN?

Vragen niveau 4

Criteria

WELKE NORMEN NEMEN WIJ ALS MAATSTAF?

Controleinformatie MET WELKE CONTROLEINFORMATIE WORDT DE VRAAG BEANTWOORD?

Bronnen van controleinformatie

Methoden voor gegevensverzameling

WAAR KOMT ONZE CONTROLEINFORMATIE VANDAAN?

HOE KOMEN WIJ AAN ONZE CONTROLEINFORMATIE?

- Wet- en regelgeving, beroepsnormen - Er kan met 'ja', 'nee', 'ja, maar' of 'nee, maar' worden geantwoord. - Beantwoordbaar - Logisch

Normen, maatstaven of door gecontroleerde toegezegde resultaten - Prestaties van vergelijkbare organisaties, beste praktijken, of door controleur ontwikkelde normen

- Feiten (cijfermatig bewijs, beschrijvend bewijs, kwalitatieve informatie) Ervaringen/visies/ meningen

- De instantie, andere openbare instanties, gepubliceerd onderzoek, begunstigden, leveranciers, belangengroepen

- Eigenhandig (waarneming, onderzoek van stukken, vraaggesprekken, focusgroepen) - Per post, telefoon, e-mail (stukken opvragen, vragenlijsten) - Steekproefenquêtes (persoonlijk, dan wel per post of e-mail af te nemen) - Benchmarken met vergelijkbare instanties

Methoden voor gegevensanalyse WAT DOEN WIJ MET DE CONTROLEINFORMATIE WANNEER WE DEZE ONTVANGEN?

- Kwantitatieve controle-informatie (bijv. tendensen, vergelijkingen, kengetallen) - Kwalitatieve controle-informatie (codering, matrices) - Systeemanalyse (bv. stroomdiagrammen) - Casestudy's

Hoofdstuk 3 - Planning van de controle - Bijlage II - blz. 58

BIJLAGE III - CONTROLEPROGRAMMA IN GROTE LIJNEN

Controletaak: Voorbereid door:

Beoordeeld door:

Goedgekeurd door:

Datum:

Datum:

Datum:

Controlevragen

Controleprocedures

Opmerkingen

Referentie werkprogramma

Hoofdstuk 3 - Planning van de controle - Bijlage III - blz. 59

HANDLEIDING DOELMATIGHEIDSCONTROLE HOOFDSTUK 4 ONDERZOEKSFASE


Algemene inleiding






Contact

INHOUD

4.1 Inleiding 4.2 Produceren van toereikende, relevante en betrouwbare controle-informatie 4.2.1 Doel en aanpak van de onderzoeksfase 4.2.2 De aard van de controle-informatie bij doelmatigheidscontroles 4.2.3 Toereikendheid, relevantie en betrouwbaarheid van controle-informatie 4.2.4 Bronnen van controle-informatie 4.2.5 Soorten controle-informatie 4.3 Verzamelen en analyseren van gegevens 4.3.1 Doel en aanpak van het verzamelen en analyseren van gegevens 4.3.2 Proces van gegevensverzameling 4.3.3 Gebruikmaking van het werk van anderen 4.3.4 Gegevensverzameling en ethiek 4.3.5 Gegevensanalyse 4.4 Opstellen van deugdelijke controlebevindingen 4.4.1 Noodzaak van een goede basis 4.4.2 Opstellen van controlebevindingen 4.5 Controlebevindingen meedelen 4.6 Documentatie van de controle 4.6.1 Doel en aanpak 4.6.2 Referenties naar controledocumentatie 4.7 Controlemanagement en regelingen voor kwaliteitsbeheersing 4.7.1 Controlemanagement, met inbegrip van toezicht en beoordeling Bijlage I: Methoden voor gegevensverzameling en -analyse


Hoofdstuk 4 - Onderzoeksfase - blz. 60

4.1 INLEIDING

Van goedkeuring van APM tot bespreking van bevindingen,

De onderzoeksfase van de controle begint bij de start van het controlewerk, na de goedkeuring van het Audit Planning Memorandum (APM), en loopt door tot er wordt begonnen met het opstellen van het definitieve verslag. Deze fase omvat dus het uitvoeren van controleprocedures voor gegevensverzameling en -analyse, het toetsen van feiten aan vooraf vastgestelde criteria, het formuleren en verhelderen van controlebevindingen; dit proces wordt hieronder schematisch weergegeven. Werkzaamheden in het kader van controleonderzoek vinden plaats op basis van de reeds opgestelde controleplanning en de daarbij ontwikkelde planningdocumenten (APM, plan voor verzameling van controle-informatie en controleprogramma in grote lijnen). Het plan moet zoveel mogelijk worden aangehouden wat betreft het te verrichten werk, de middelen, de termijnen en de kwaliteit. In de onderzoeksfase kan het echter nodig blijken, bepaalde onderdelen van de controle opnieuw te bekijken indien de controleur moeilijkheden ondervindt bij het verzamelen van controle-informatie. In het algemeen moet de controle ook zo georganiseerd zijn dat wordt voldaan aan 32 de vereisten van een goed projectbeheer .

waarbij objectiviteit en inzicht cruciaal zijn.

Het is van cruciaal belang dat controleurs de gecontroleerde activiteit uit verschillende perspectieven bezien en de gepresenteerde informatie onbevangen blijven bekijken; zij moeten openstaan voor andere standpunten en argumenten. Vakkundige oordeelsvorming is met name vereist wanneer moet worden beoordeeld of de kwantiteit en kwaliteit van controle-informatie tot goede conclusies ten aanzien van de controlevragen kunnen leiden, en bij het vaststellen van het belang van controlebevindingen.

32

Controlestandaard ISSAI 3100, paragraaf 24. Hoofdstuk 4 - Onderzoeksfase - blz. 61


4.2 PRODUCEREN VAN TOEREIKENDE, RELEVANTE EN BETROUWBARE CONTROLE-INFORMATIE 4.2.1 Doel en aanpak van de onderzoeksfase Een zoektocht naar controleinformatie

om tot een controlebevinding te komen

Het doel van de onderzoeksfase is het verzamelen van toereikende, relevante en betrouwbare controle-informatie, teneinde de controleur in staat te stellen, de controlevragen te beantwoorden en alle beweringen in het controleverslag te onderbouwen. Gedurende de controleonderzoeksfase worden controleprocedures gevolgd om informatie te verzamelen en te analyseren; het bewijsmateriaal of feit dat dit oplevert ("feitelijke toestand") wordt getoetst aan de vooraf vastgestelde controlecriteria ("gewenste toestand") teneinde hieruit controlebevindingen af te leiden; en de oorzaken en effecten van deze bevindingen worden vastgesteld. Controlebevindingen bestaan dus uit de controle-informatie afgezet tegen de norm (uitgedrukt als controlevraag of -criterium) en een analyse daarvan. De bevindingen worden toegezonden aan de gecontroleerde, van wie een schriftelijke reactie wordt verlangd, waarin hij ofwel aangeeft in te stemmen, ofwel de redenen aangeeft waarom hij dit niet doet. . De uitvoering van controlewerk kent zowel een analytisch als een communicatief aspect. Het analytische proces betreft het verzamelen, analyseren en beoordelen van gegevens, terwijl het communicatieve proces, dat begint wanneer de gecontroleerde voor het eerst met de controle wordt geconfronteerd, doorgaat wanneer verschillende bevindingen, argumenten en standpunten die in de loop van de controle naar voren komen, worden beoordeeld.

4.2.2 De aard van de controle-informatie bij doelmatigheidscontroles Gegevens, informatie en controle-informatie hangen onderling samen: DIAGRAM: Van gegevens tot controle-informatie

indien controleinformatie ontoereikend is, meer gegevens verzamelen

CONTROLEINFORMATIE

GEGEVENS

gecompileerd & geanalyseerd

gebruikt ter adstructie van een punt

INFORMATIE


Aard van bewijsmateriaal varieert en pleegt overtuigend te zijn

De aard van de benodigde controle-informatie hangt volledig af van het onderwerp van de controle en de controlevragen, die bij doelmatigheidscontroles sterk plegen te variëren. Verder zijn dergelijke controles meer op een oordeel gebaseerd, waardoor de controle-informatie dikwijls eerder overtuigend ("wijst in de richting van de conclusie dat") dan concludent ("goed/slecht") van aard is. De combinatie van deze factoren vereist dat controleurs creativiteit en flexibiliteit aan de dag leggen bij het zoeken naar de juiste soort controle-informatie. In zowel de plannings- als de onderzoeksfase van de controle moeten gedetailleerde beoordelingen van de benodigde informatie worden verricht zodat de controleurs niet onder een stortvloed van gegevens worden bedolven. Dit maakt het eenvoudiger, bijkomstigheden en irrelevante benaderingen uit te sluiten en draagt ook bij tot het ordenen en structureren van de verzamelde gegevens. Het kan nuttig zijn, vooraf met deskundigen gesprekken te voeren over de aard van de te verkrijgen gegevens en de wijze waarop de controleur deze dient te analyseren en interpreteren, teneinde het risico van misverstanden te beperken en het proces wellicht te versnellen.

4.2.3 Toereikendheid, relevantie en betrouwbaarheid van controle-informatie

Controle-informatie moet de inhoud van het verslag onderbouwen

Er moet toereikende, relevante en betrouwbare controle-informatie worden verkregen om de controlevragen te beantwoorden en de controlebevindingen en -conclusies te onderbouwen, en daardoor te waarborgen dat de inhoud van het controleverslag de toets der kritiek kan doorstaan. De concepten kwantiteit (toereikendheid) en kwaliteit (relevantie en betrouwbaarheid) in verband met controle-informatie moeten tezamen worden beschouwd, aangezien ze omgekeerd evenredig zijn. Zo kan hoogwaardige controle-informatie ertoe leiden dat er met minder controle-informatie mag worden volstaan; een grote hoeveelheid controle-informatie is soms, maar niet altijd, overtuigend, ook al zijn de afzonderlijke bewijsstukken niet van hoge kwaliteit. Vakkundige oordeelsvorming geeft hierbij de doorslag, aangezien er geen precieze richtsnoeren zijn aan de hand waarvan de vereiste bewijskracht kan worden gemeten.

en voldoen aan de kwantitatieve en kwalitatieve vereisten

Controle-informatie is toereikend wanneer er genoeg van is om een redelijke persoon ervan te overtuigen dat de controlebevindingen en -conclusies deugdelijk zijn, en de aanbevelingen passend. Controle-informatie is relevant wanneer deze duidelijk en logisch samenhangt met de controlevragen, -criteria en -bevindingen. Controle-informatie is betrouwbaar wanneer herhaalde toetsing tot dezelfde bevindingen leidt, of wanneer informatie uit verschillende bronnen is verkregen.


Hoewel de volgende concepten dikwijls nuttig zijn bij de beoordeling van de kwaliteit van controle-informatie, kan de praktische toepassing ervan aan bepaalde beperkingen onderhevig zijn:

Praktische beperkingen aan controle-informatie

•

originele stukken gaan boven fotokopieën, facsimiles, enz.;

•

bewijsstukken verdienen de voorkeur boven mondelinge informatie. Correspondentie, memo's en verslagen zijn soms evenwel onvolledig, meerduidig of zelfs onjuist, terwijl gesprekken kunnen leiden tot een grondig begrip van feiten, maar ook van de randvoorwaarden en de context. Niettemin moet tijdens gesprekken verzameld materiaal bevestigd worden door andere bronnen;

•

Controle-informatie van derden is beter dan informatie die binnen de organisatie van de gecontroleerde is gegenereerd. Bij doelmatigheidscontroles komt het evenwel voor, dat slechts in beperkte mate gebruik kan worden gemaakt van bevestigingen door derden, aangezien informatie alleen binnen de gecontroleerde entiteit beschikbaar is. Voorts kunnen scherpe interne beheersingsmaatregelen binnen de gecontroleerde organisatie de kwaliteit van de verkregen informatie verbeteren;

•

controle-informatie die voortvloeit uit directe waarneming, inspectie en berekening door de controleur gaat boven indirect verkregen controleinformatie.

Bij de beoordeling van de kwantiteit en kwaliteit van controle-informatie dient de controleur het volgende in aanmerking te nemen: Criteria die helpen bij het vaststellen of controleinformatie toereikend, relevant en betrouwbaar is

het doel waarvoor de controle-informatie zal worden gebruikt

voor bewijs ter onderbouwing van controlebevindingen geldt een hogere norm dan voor in het controleverslag verschafte achtergrondinformatie

het materialiteitsniveau in monetaire termen, of de significantie van de controlebevinding

in het algemeen geldt: hoe groter de materialiteit of de significantie, des te hoger de norm waaraan de controleinformatie moet voldoen

de mate van onafhankelijkheid van de bron van de controleinformatie

er kan meer vertrouwen worden gesteld in controle-informatie die voortvloeit uit onafhankelijke bronnen

de kosten voor het verkrijgen van aanvullende controle-informatie, afgezet tegen de vermoedelijke baten in termen van onderbouwing van de bevindingen en conclusies

op een gegeven moment zullen de kosten voor het verkrijgen van meer controle-informatie zwaarder wegen dan de vergrote overtuigingskracht van de controle-informatie in totaal

het risico dat samenhangt met het komen tot onjuiste bevindingen of ondeugdelijke conclusies

hoe groter het risico van juridische stappen, controverse of verrassing naar aanleiding van een gerapporteerde controlebevinding, des te hoger de norm waaraan de controle-informatie moet voldoen

de zorg waarmee de gegevens zijn verzameld en geanalyseerd

met inbegrip van de vaardigheden op deze gebieden van de controleur


Bij doelmatigheidscontroles staan belangrijke feiten dikwijls niet op zichzelf, maar omvatten zij meerdere onderling samenhangende feiten. Bij de beoordeling van de kwantiteit en de kwaliteit van de controle-informatie moet de controleur er rekening mee houden dat de kracht van de gecombineerde feiten minstens zo groot kan zijn als die van de afzonderlijke feiten. Voorts moet de controleur zich ervan vergewissen dat de kwantiteit en de kwaliteit van de controle-informatie het risico minimaliseren dat er ondeugdelijke of inadequate bevindingen, conclusies of aanbevelingen worden geformuleerd. Indien er geen toereikende, relevante en betrouwbare controleinformatie kan worden verzameld, mogen er geen controlebevindingen en conclusies worden opgesteld. 4.2.4 Bronnen van controle-informatie

Putten uit meerdere bronnen levert betere controle-informatie op

Er moeten meerdere bronnen worden benut bij het verzamelen van controleinformatie, teneinde deze te bevestigen, daardoor de desbetreffende controlebevindingen betrouwbaarder te maken, en te verzekeren dat er rekening wordt gehouden met verschillende perspectieven. Er zijn drie belangrijke informatiebronnen voor doelmatigheidscontroles: Bronnen door middel van gesprekken, enquêtes, focusgroepen, rechtstreekse inspectie en waarneming. rechtstreeks gegenereerd door de controleurs

De controleurs mogen de methoden vaststellen die voor een bepaalde controle de hoogwaardigste controleinformatie opleveren. Maar hun vaardigheden in het opzetten en toepassen van de methoden zijn bepalend voor de kwaliteit van de controle-informatie. zoals informatie uit databases, documenten, activiteitenoverzichten en dossiers (bijv. verslagen van de interne-auditfuncties, impactbeoordelingen en evaluaties achteraf).

verstrekt door de gecontroleerde

verstrekt door derden

Controleurs moeten de betrouwbaarheid vaststellen van gegevens die van belang zijn voor de controlevragen, door ze te beoordelen en te bevestigen, en door de internebeheersingsmaatregelen van de gecontroleerde betreffende informatie te toetsen, inclusief de algemene en toepassingscontroles op automatisch verwerkte gegevens. die eventueel door anderen zijn geverifieerd of waarvan de kwaliteit algemeen bekend is, bijv. nationale statistische gegevens. De bruikbaarheid van dit soort informatie als controleinformatie is afhankelijk van de mate waarin de kwaliteit en het belang met betrekking tot de controlebevindingen kunnen worden vastgesteld.


4.2.5 Soorten controle-informatie Het aan de voornoemde bronnen ontleende bewijsmateriaal kan worden verdeeld in vier soorten - fysiek, documentair, mondeling of analytisch - die als volgt kunnen worden verkregen en gedocumenteerd: CONTROLEPROCEDURES TER VERKRIJGING VAN CONTROLEINFORMATIE

DOCUMENTATIE

FYSIEK

In de regel de meest overtuigende controle-informatie; de controleur dient zich er echter van bewust te zijn dat zijn aanwezigheid de normale gang van zaken verstoort, hetgeen afbreuk doet aan de kwaliteit van de controle-informatie.

Directe inspectie of waarneming van mensen, zaken of gebeurtenissen.

Aantekeningen, foto's, diagrammen, kaarten, tekeningen, monsters, of audiovisueel materiaal.

DOCUMENTAIR

Deze controleinformatie bestaat in elektronische of schriftelijke vorm. Aangezien echter niet alle nuttige informatie gedocumenteerd is, moeten soms ook andere benaderingen worden gevolgd.

Beoordeling van stukken, verslagen, handleidingen, literatuur, internet, schriftelijke of online-enquêtes.

Verslagen over prestatiemanagement , beleid en procedures, systeembeschrijvinge n, brieven, contracten, enquêteresultaten.

MONDELING

Mondeling bewijsmateriaal speelt bij doelmatigheidscontr oles over het algemeen een belangrijke rol, omdat aldus verkregen informatie actueel is en wellicht nergens anders beschikbaar. Wanneer de informatie en de verklaringen als controle-informatie worden gebruikt, moeten zij echter worden bevestigd.

Informatieverzoek en aan of vraaggesprekken met personeel van de gecontroleerde of derden, focusgroepen, deskundigenpanel s.

Samenvatting van de met deze methoden verkregen informatie.

ANALYTISCH

Dergelijk materiaal wordt verkregen door oordeelkundig te werk te gaan bij de evaluatie van fysieke, documentaire en mondelinge controle-informatie.

Analyse door redenering, herindeling, berekening en vergelijking.

Samenvatting van analytische gegevens, met inbegrip van ratioanalyse, regressieanalyse, benchmarking en codering.

OVERWEGINGEN


Combineer voor een overtuigender argumentatie verschillende soorten controle-informatie

Wanneer de controle-informatie wordt verzameld met behulp van meerdere van deze methoden, komt dit de kwaliteit ervan aanzienlijk ten goede. Voor zover de controlevragen en het onderwerp zich hiertoe lenen, dient een breed scala van dergelijke methoden te worden gehanteerd, waarbij rekening moet worden gehouden met het kosten- en tijdsaspect.

4.3 VERZAMELEN EN ANALYSEREN VAN GEGEVENS 4.3.1 Doel en aanpak van het verzamelen en analyseren van gegevens

33

Hoewel de analyse van gegevens in dit proces chronologisch gezien volgt op het verzamelen van gegevens, moeten controleurs voordat zij hun strategie voor gegevensverzameling uitzetten (bijv. bij gebruikmaking van enquêtes) weten welke analytische technieken zij vervolgens zullen toepassen. Anders komen zij later wellicht tot de ontdekking dat de verzamelde gegevens niet kunnen worden geanalyseerd. De toe te passen analytische technieken kunnen kwantitatief (bijv. trendanalyse, regressieanalyse) of kwalitatief (bijv. analyse en interpretatie van vraaggesprekken of documenten) van aard zijn.

Begrijpen, beoordelen, documenteren

Zowel kwantitatieve als kwalitatieve gegevens kunnen voor verschillende doeleinden worden verzameld, hetzij als onderdeel van het leerproces om inzicht te verkrijgen in het controleonderwerp, ter beoordeling en meting van prestaties, hetzij om fouten of problemen te documenteren die reeds bekend zijn (bijv. uit de planningsfase). Het karakter van gegevensverzameling verandert doorgaans naarmate de controle vordert. Aanvankelijk, tijdens de planningsfase bijvoorbeeld, is de controleur geïnteresseerd in algemenere informatie; naarmate de controle vordert, zal er behoefte aan specifiekere gegevens ontstaan.

Internebeheersingssysteem beoordelen

Voorafgaand aan het verzamelen van gegevens moet een algemene beoordeling van het internebeheersingssysteem, met inbegrip van IT, worden verricht teneinde de risico's te signaleren die afbreuk zouden kunnen doen aan de integriteit van de gegevens.

4.3.2 Proces van gegevensverzameling

Iteratief proces,

met methoden die worden bepaald door controleonderwerp en vragen,

33

De controle-informatie wordt verzameld volgens een iteratief besluitvormingsproces, waarbij controleurs gegevens verkrijgen en op volledigheid en geschiktheid onderzoeken en analyseren, om vervolgens te besluiten of aanvullende controle-informatie vereist is. Methoden voor gegevensverzameling (zie bijlage I) zijn zeer divers, met aan het ene uiterste van het spectrum de methoden die een algemeen beeld van een situatie of populatie verschaffen (bijvoorbeeld enquêtes) en aan het andere uiterste de grondige bestudering van een klein aantal items (bijvoorbeeld casestudy's), met daartussenin andere methoden, zoals vraaggesprekken, beoordeling op stukken en focusgroepen. Welke specifieke methoden bij een bepaalde doelmatigheidscontrole worden gehanteerd, hangt af van het controleonderwerp, de controlevragen die aan de orde zijn, en de beschikbare middelen en tijd.

Zie de intranetsite van CEAD-A voor richtlijnen inzake specifieke methoden voor gegevensverzameling en -analyse. Hoofdstuk 4 - Onderzoeksfase - blz. 68

zo mogelijk met gebruikmaking van CAAT's.

Wanneer de controle daardoor aan doelmatigheid wint, doen controleurs er goed aan, voor het verzamelen en analyseren van controle-informatie gebruik te maken van computerondersteunde controletechnieken (CAAT's).

4.3.3 Gebruikmaking van het werk van anderen Te gebruiken mits relevant,

Degenen die een doelmatigheidscontrole verrichten, mogen zich baseren op het werk van anderen wanneer dit mogelijk is en relevant voor de controlevragen. De controleurs van de Rekenkamer mogen gebruikmaken van de gegevens en bevindingen van de dienst Interne audit (IAS) van de Commissie, alsmede van de evaluatieverslagen van de Commissie. Wanneer de Rekenkamer werk uitbesteedt aan derden (controleurs of deskundigen), moet zij haar ethisch beleid en kwaliteitsbeheersingsprocedures meedelen aan die derden en hen verzoeken te bevestigen dat zij beschikken over een doeltreffend systeem voor kwaliteitsbeheersing. De Rekenkamer moet ook nagaan of zij over de benodigde vaardigheden beschikken om de werkzaamheden uit te voeren en of zij gebonden zijn aan passende regelingen inzake vertrouwelijkheid.

beoordeeld en bevestigd.

Wordt het werk van de interne audit of van beoordelaars gebruikt ter onderbouwing van specifieke controlebevindingen, dan moet het werk waarop de controleurs zich willen baseren, worden beoordeeld en bevestigd om vast te stellen of het voldoet aan de criteria voor toereikende, relevante en betrouwbare controle-informatie. Dit kan worden gedaan door de reputatie, kwalificaties en onafhankelijkheid, alsmede de verslagen en werkdocumenten van degenen die zulk werk verrichten te beoordelen. De aard en omvang van de beoordeling hangt af van het belang van het werk in verhouding tot de controlevragen en van de mate waarin de controleurs zich hierop zullen 34 baseren . Indien dergelijke zaken in het controleverslag worden opgenomen, moet de bron van de bevindingen worden vermeld. Voorts mag een beroep worden gedaan op externe deskundigen voor technische werkzaamheden die niet tot het vakgebied van de controleur behoren of goedkoper door deskundigen kunnen worden verricht. Bij de aanstelling van dergelijke deskundigen moeten de juiste procedures worden gevolgd, zoals: beoordelen van hun onafhankelijkheid, objectiviteit en beroepsbekwaamheid alvorens ze aan te stellen; waarborgen dat het bestek en de omvang van het werk passend zijn; beoordelen en bevestigen van het specifieke werk waarop de controleurs van plan zijn zich te baseren als controle-informatie. Een voortdurende dialoog met de deskundige tijdens diens werkzaamheden maakt het voor de controleur eenvoudiger, permanent op de hoogte te blijven van de laatste ontwikkelingen.

4.3.4 Gegevensverzameling en ethiek Gedurende de controlewerkzaamheden kan de controleur gevoelige informatie verkrijgen of ontdekken. Dergelijke informatie moet vertrouwelijk worden behandeld en de regelgeving inzake gegevensbescherming dient in acht te worden genomen.

34

Voor meer informatie zie de richtlijnen voor de evaluatie (intranet CEAD-A). Hoofdstuk 4 - Onderzoeksfase - blz. 69

Controleurs moeten met elkaar spreken over en alert zijn op situaties, controlegebreken, fouten en ongebruikelijke transacties of resultaten die kunnen wijzen op onwettige handelingen of misbruik, zoals fraude, laakbaar gedrag, corruptie of onregelmatigheden. Bij de uitvoering van procedures voor risico-inschatting en daarmee samenhangende activiteiten moeten zij bepalen hoe en waar fraude zou kunnen optreden en in welke mate dergelijke 35 handelingen het controleresultaat zouden kunnen beïnvloeden . In voorkomend geval moeten de standaardprocedures van de Rekenkamer inzake onregelmatigheden en fraude worden gevolgd. De controleur moet een onderzoekende houding en een professioneelkritische instelling hebben. Ongeacht de ervaringen in het verleden ten aanzien van de eerlijkheid en integriteit van het management van een entiteit, moet de controleur erkennen dat er sprake zou kunnen zijn van onregelmatigheid of fraude. Bij de planning van de controle moeten tijd en middelen worden voorzien voor onvoorspelbare gebeurtenissen. 4.3.5 Gegevensanalyse

Trek tijd uit voor analyse,

maak gebruik van de diverse beschikbare technieken.

Gegevens moeten worden geanalyseerd ter verklaring van hetgeen is geconstateerd en om het verband tussen oorzaak en gevolg te kunnen leggen. Controleurs moeten zich ervan bewust zijn dat het geen zin heeft, gegevens te verzamelen, als ze niet naar behoren kunnen worden geanalyseerd. Zij moeten er derhalve op letten, de nodige tijd en middelen te reserveren voor analyse en beoordeling van de resultaten. Bij een dergelijke analyse spelen computerondersteunde controletechnieken (CAAT's) vaak een essentiële rol. De term "gegevensanalyse" verwijst in de regel naar zowel de compilatie (codering en tabellarische rangschikking) als de analyse van gegevens. Bij gegevensanalyse - kwantitatief of kwalitatief - worden de resultaten uit verschillende perspectieven of in samenhang met andere gegevens bestudeerd. Voor kwantitatieve analyse kan gebruik worden gemaakt van eenvoudige technieken (zoals frequentietellingen) of meer verfijnde technieken (zoals trendanalyse, regressieanalyse of variantieanalyse), zie bijlage II. Kwalitatieve analyse kan worden aangewend ter analyse en interpretatie van vraaggesprekken of documenten en ter bepaling van beschrijvend materiaal dat in het controleverslag kan worden gebruikt. In de eindfase van de gegevensverzameling worden de resultaten van de verschillende soorten bronnen (bv. enquêtes en casestudy's) gecombineerd. Hiervoor bestaat geen algemene methode, maar doorgaans worden hiertoe argumenten afgewogen en - zo nodig - deskundigen geraadpleegd.

4.4 OPSTELLEN VAN DEUGDELIJKE CONTROLEBEVINDINGEN 4.4.1 Noodzaak van een goede basis

Beoordeel controle-informatie aan de hand van criteria,

35

De controleur gebruikt de bijeengebrachte informatie om de feitelijke prestatie objectief te toetsen aan de controlecriteria. Wanneer een prestatie niet aan de criteria voldoet, is aanvullend onderzoek nodig om de zekerheid te verkrijgen dat alle hieruit voortvloeiende controlebevindingen en -conclusies significant, redelijk en goed onderbouwd zijn.

Controlestandaard ISSAI 1240 (ISA 240, paragrafen 15-24). Hoofdstuk 4 - Onderzoeksfase - blz. 70

en begrijp tekortkomingen.

Het kan nodig zijn om aanvullende controle-informatie te verzamelen of een en ander met het management van de gecontroleerde te bespreken teneinde vast te stellen: of de tekortkoming op zichzelf staat of exponent is van een systematisch probleem; wat de oorzaak van de tekortkoming is; of het probleem door de gecontroleerde kan worden verholpen of dat het iets is wat buiten zijn macht ligt; wat het potentiële effect van het probleem is. In veel gevallen is het effect van een bevinding kwantificeerbaar, zoals kostbare input of procedures, improductieve faciliteiten, vertragingen, enz. Maar ook kwalitatieve effecten, die blijken uit een gebrek aan controle, gebrekkige beslissingen of te weinig zorg voor dienstverlening, zijn van belang en moeten in aanmerking worden genomen. Er moet een actieve dialoog worden gevoerd met de gecontroleerde en potentiële controlebevindingen moeten worden besproken naargelang zij zich aftekenen. Door aanvankelijke bevindingen constructief met de gecontroleerde te bespreken wordt het eenvoudiger, kwantiteit en kwaliteit van de controleinformatie vast te stellen.

4.4.2 Opstellen van controlebevindingen

Duidelijk logisch kader

Controlebevindingen moeten worden vastgelegd in een duidelijk en logisch kader, zodat er een goed begrip ontstaat van de toegepaste controlecriteria, de uit de controle-informatie gebleken feiten en de analyse door de controleur van de aard, het belang en de oorzaken van het probleem of de uitzonderlijke prestatie. Ook de impact in termen van zuinigheid, efficiëntie en/of doeltreffendheid moet in aanmerking worden genomen, aangezien hiermee kan worden aangetoond dat er corrigerende maatregelen noodzakelijk zijn. Bij het formuleren van de controlebevinding moet de controleur de mate van betrouwbaarheid hiervan beoordelen op basis van de bewijskracht. De beoordeling moet in de formulering van de bevinding duidelijk tot uitdrukking worden gebracht door middel van kwalificerende bewoordingen (zoals 'over het algemeen' en 'dikwijls'). Doelmatigheidscontroles moeten erop gericht zijn, een evenwichtig beeld van het onderwerp te geven door niet alleen gebreken te vermelden, maar ook voor zover dit passend is - positieve bevindingen en blijken van goede praktijken te noemen. Het komt erop neer dat controlebevindingen constructief en evenwichtig moeten worden verwoord.

met constructieve, evenwichtige bevindingen.

Verder dient de controleur vast te stellen in hoeverre het management van de gecontroleerde zich bewust is van het probleem; is het management zich bewust van het probleem en treft het reeds corrigerende maatregelen, dan dient hiervan nota te worden genomen en moet dit in aanmerking worden genomen bij de rapportage.


4.5 CONTROLEBEVINDINGEN MEEDELEN Zoals aangegeven in paragraaf 2.4.8 begint het communicatieproces tussen de controleur en de gecontroleerde in de planningsfase van de controle en loopt het door tijdens het controleproces, door middel van constructieve interactie, bij de beoordeling van verschillende bevindingen, argumenten en perspectieven. Verder moet, zoals aangegeven in de vorige paragraaf, de controleur de gecontroleerde op de hoogte stellen van de preliminaire controlebevindingen om vast te stellen en na te gaan of er al corrigerende maatregelen zijn genomen en om daar in dat geval rekening mee te houden bij de rapportage. Door het meedelen van de preliminaire bevindingen (normen, feiten en analyse) wordt ook bevestiging verkregen van de juistheid van de feiten en bevindingen. Een dergelijke bevestiging (bijv. door de autoriteiten van de lidstaten) bevat wellicht aanvullend controlemateriaal of aanvullende controle-informatie dat/die tijdens het controlebezoek niet beschikbaar of begrijpelijk was. Preliminaire controlebevindingen moeten worden beoordeeld in het licht van de antwoorden van de gecontroleerde. De resultaten van dit proces van mededeling en bevestiging moeten worden gedocumenteerd als onderdeel van het controleproces. In beginsel zou er na deze procedure geen onenigheid meer moeten bestaan over de feitelijke inhoud. Bovendien moeten zaken die in het kader van de daaropvolgende contradictoire procedure met de Commissie controversieel kunnen zijn, naar behoren worden gesignaleerd en zorgvuldig worden geanalyseerd. Meningsverschillen ten aanzien van de toegepaste controlecriteria of de verrichte analyse moeten zorgvuldig worden bestudeerd, en definitieve controlebevindingen moeten altijd de redenen vermelden waarom de argumenten van de gecontroleerde niet zijn aanvaard. Alleen bevindingen die aan de gecontroleerde zijn meegedeeld mogen in het definitieve verslag worden opgenomen.

4.6 DOCUMENTATIE VAN DE CONTROLE 4.6.1 Doel en aanpak

Het verschaffen van inzicht in controle-informatie

Volgens een leidend beginsel bij het documenteren van controle-informatie moet controledocumentatie een ervaren controleur die niet bij de controle betrokken is geweest, in staat stellen om de controle-informatie waarop de voornaamste oordelen en conclusies van de controleur berusten, te bepalen en te begrijpen. Alle controlewerkzaamheden moeten worden gedocumenteerd in ASSYST. Behoorlijke documentatie van controle-informatie is van essentieel belang en moet worden afgerond voordat de controlebevindingen zijn besproken met de gecontroleerde; dit draagt bij tot de zekerheid dat de controlebevindingen berusten op controle-informatie. Controledossiers en werkdocumenten behoren informatie te bevatten over de aanpak die is gevolgd en het werk dat is verricht ter beantwoording van de controlevragen, en zij moeten logisch gestructureerd worden, zodat de controle-informatie eenvoudig toegankelijk is. Er mag geen irrelevante of overbodige documentatie in de controledossiers worden opgenomen.


Goede documentatie van controle-informatie draagt bij tot de zekerheid dat:

vormt de basis voor de inhoud van een verslag,

en omvat notulen indien dit relevant is.

•

er een verdedigbare grondslag bestaat voor de controlebevindingen en de inhoud van het ontwerp van definitief verslag (wat met name van belang is tijdens de contradictoire procedure);

•

de controlebevindingen, conclusies en aanbevelingen kunnen worden verklaard;

•

er een toereikende basis bestaat voor kwaliteitscontrole, zowel gedurende de controle als bij beoordelingen nadien (kwaliteitsborging, peer reviews).

De controleur moet notulen opstellen van alle bijeenkomsten waarbij personeelsleden van de gecontroleerde aanwezig zijn en waarop de controleur zijn bewijsvoering wil baseren. Of de notulen van een bepaalde bijeenkomst door de gecontroleerde moeten worden ondertekend, zodat deze als bewijsmateriaal aan kwaliteit winnen, is - evenals de vraag hoe gedetailleerd de notulen moeten zijn - een kwestie van inschatting. In veel gevallen volstaat één enkel document waarin de hoofdpunten van een aantal bijeenkomsten zijn samengevat. Het verdient evenwel aanbeveling dat de controleur de gecontroleerde aan het begin van de controle meedeelt dat de notulen van bepaalde vergaderingen kunnen worden gebruikt als controle-informatie en dat de goedkeuring van de notulen door de gecontroleerde in dergelijke gevallen vereist is.

4.6.2 Referenties naar controledocumentatie

Legt verband tussen werkzaamheden en bevindingen

Aangezien de meeste doelmatigheidscontroles een grote hoeveelheid schriftelijke controle-informatie opleveren, is het van belang, over een documentatiereferentiesysteem te beschikken dat het verrichte werk relateert aan de daaruit voortvloeiende bevindingen. Er moet een eenvoudig controlespoor bestaan. Het voornaamste onderdeel van een dergelijk spoor is een kruisverwijzing tussen de controlebevindingen en de controle-informatie voordat ze wordt voorgelegd aan degenen die het beoordelen en goedkeuren. Dit kan zo nodig worden aangevuld met een korte samenvatting ter verklaring van de toegepaste controlemethodologie, de aard en omvang van de verzamelde controle-informatie, en de analyses waaraan deze is onderworpen. Deze samenvatting kan worden gepresenteerd in de vorm van een matrix, opgebouwd rond elk van de voornaamste bevindingen. De voornaamste documenten moeten worden opgeslagen en van kruisverwijzingen worden voorzien; hiertoe behoren belangrijke beslissingen met gevolgen voor het controlewerk en de wijze waarop dit wordt beheerd; belangrijke correspondentie en andere contacten met de gecontroleerde; de voornaamste controlestukken, de bronnen daarvan en de verrichte analyse; en bewijzen dat een meerdere het werk heeft nagezien.


4.7 CONTROLEMANAGEMENT EN REGELINGEN VOOR KWALITEITSBEHEERSING 4.7.1 Controlemanagement, met inbegrip van toezicht en beoordeling Het controlemanagement en de taakleider moeten ervoor zorgen dat: •

het toezicht op het controlewerk behoorlijk is;

•

het uitgevoerde controlewerk voldoet aan de vereiste kwaliteit en naar behoren is gedocumenteerd;

•

de voortgang wordt getoetst aan het tijdschema en de uitgetrokken middelen (monitoring);

•

er zo nodig tijdig corrigerende maatregelen worden genomen.

Ook is het van cruciaal belang dat zij op de hoogte zijn van gewijzigde omstandigheden (zoals nieuwe wetgeving of een voorstel tot grootschalige hervorming), zodat zij zich kritisch kunnen beraden op het belang van de controle, de deugdelijkheid van de controleaanpak en, in bepaalde gevallen, het nut van het voortzetten van de controle.

Behoorlijk toezicht op het personeel

Monitoring op meerdere niveaus

Corrigerende maatregelen treffen

Toezicht bestaat erin, toe te zien op het werk van degenen die aan de controle zijn toegewezen, teneinde te verzekeren dat de controlevragen worden beantwoord. Het omvat onder meer het toereikend begeleiden van personeel, het op de hoogte blijven van significante problemen waarop men stuit, en het beoordelen van het verrichte werk. Bij ervaren personeel kunnen toezichthouders de reikwijdte van het werk aangeven en de details aan het personeel overlaten. Bij minder ervaren personeel specificeren de toezichthouders de te volgen controleprocedures en de technieken voor het verzamelen en analyseren van gegevens. Monitoring van de voortgang van de controle is voortdurend nodig om zoveel mogelijk te waarborgen dat het controlewerk binnen de geplande termijn en met de daartoe vrijgemaakte middelen wordt afgerond. De taakleider en het verantwoordelijke lid zorgen voor een dergelijke monitoring op detailniveau met gebruikmaking van het systeem voor controlebeheer (AMS). Ook de controlekamer speelt een rol bij de monitoring van de prestaties. Corrigerende maatregelen worden getroffen wanneer monitoring uitwijst dat het controlewerk niet voldoet aan de vereiste kwaliteit of dat het risico bestaat dat het niet binnen de gestelde termijn en met de vrijgemaakte middelen wordt afgerond.


BIJLAGE I: METHODEN VOOR GEGEVENSVERZAMELING EN -ANALYSE

Methoden voor gegevensverzameling

Methoden voor gegevensanalyse

Vraaggesprekken

Ratioanalyse

Casestudy's

Frequentietellingen

Vragenlijsten

Regressieanalyse

Beoordeling aan de hand van stukken

Vergelijkende analyse

Focusgroepen

Codering en abstractie

Benchmarking

Variantieanalyse

Inspectie

Trendanalyse

Waarneming Inwinnen van inlichtingen

Hoofdstuk 4 - Onderzoeksfase - Bijlage I - blz. 75

HANDLEIDING DOELMATIGHEIDSCONTROLE HOOFDSTUK 5 VERSLAGLEGGINGSFASE


Algemene inleiding






Contact

INHOUD

5.1 Inleiding 5.2 Kwaliteit van het verslag  Objectief  Volledig  Duidelijk  Overtuigend  Relevant  Nauwkeurig  Constructief  Beknopt 5.3 Planning van het verslag 5.3.1 Houd rekening met degenen voor wie het verslag is bestemd 5.3.2 Aanpak van de planning van het verslag 5.3.3 Stel een redactieplan op 5.4 Redactie van het verslag 5.4.1 Aanpak van het schrijven van het verslag 5.4.2 Structuur en opmaak  Samenvatting  Inleiding  Reikwijdte, aanpak en methodologie van de controle  Opmerkingen  Conclusies en aanbevelingen 5.4.3 Logica en redenering  Controlevragen staan centraal  Gebruik van voorbeelden  Het noemen van derden in de verslagen van de Rekenkamer 5.4.4 Op te nemen soorten informatie en gegevens 5.4.5 Stijl 5.4.6 Gebruik van niet-tekstuele informatie  Tabellen, diagrammen en grafieken  Kaarten en afbeeldingen  Getallen en percentages 5.5 Beoordeling van het verslag 5.6 Afwikkeling van het verslag 5.7 Verspreiding van het verslag 5.8 Follow-up van het verslag 5.8.1 Follow-up van de aanbevelingen en bevindingen in het verslag 5.8.2 Follow-up van de ontvangst van het verslag Neem voor meer informatie contact op met: Europese Rekenkamer - kamer CEAD Eenheid Controlemethodologie en ondersteuning (SAM) E-mail: SAM CONTACT/ECA of [email protected] Hoofdstuk 5 - Verslagleggingsfase - blz. 76

5.1 INLEIDING De verslagleggingsfase van een doelmatigheidscontrole begint met het opstellen van de preliminaire opmerkingen en eindigt doorgaans met de 36 publicatie van een "speciaal verslag" of, in voorkomend geval, de verzending 37 van een brief van de president . Deze fase omvat dus het schrijven, het goedkeuren van de preliminaire opmerkingen door de controlekamer, de contradictoire procedure met de Commissie, de vaststelling van het definitieve verslag door de kamer, de vertaling daarvan, de presentatie aan de 38 kwijtingverlenende autoriteit en de publicatie. Hieronder is een grafische weergave van de verslagleggingsfase opgenomen. Doeltreffende communicatie

leidt tot veranderingen

op basis van een goede controle.

Een speciaal verslag is bedoeld om de resultaten van de controle te melden aan de kwijtingverlenende autoriteit, de gecontroleerde en de buitenwereld. Doeltreffende communicatie is de sleutel tot een goed verslag, namelijk een verslag dat duidelijk en objectief de belangrijkste bevindingen en conclusies betreffende de controlevragen uiteenzet, dat voor de lezer begrijpelijk maakt wat er waarom en hoe is gedaan, en dat praktische aanbevelingen bevat. Opgemerkt zij dat de in het speciaal verslag weergegeven controlevragen die vragen moeten zijn die de aanleiding vormen voor de conclusies in het verslag. Deze vragen hoeven niet precies gelijkluidend te zijn met de originele 39 controlevragen zoals opgenomen in het APM . Publicatie draagt ertoe bij dat het werk van de Rekenkamer tot echte veranderingen leidt, en zorgt voor doorzichtigheid ten aanzien van het beheer van de EU-middelen. De Rekenkamer dankt haar reputatie en geloofwaardigheid op het gebied van doelmatigheidscontrole in hoge mate aan de publicatie van duidelijke, bruikbare en tijdige speciale verslagen die bijdragen tot de verbetering van de zuinigheid, efficiëntie en doeltreffendheid van de EU-uitgaven. Aangezien de verslagen van de Rekenkamer worden gelezen binnen de Europese instellingen en door de buitenwereld (via de pers), vormen zij de basis waarop zowel de wetgevende en begrotingsautoriteiten als het brede publiek de output van de Rekenkamer beoordelen. Het controleverslag is het eindproduct van het hele controleproces. Een adequaat opgezette en uitgevoerde controle legt de grondslag voor een goed verslag, terwijl omgekeerd een gebrekkige controle waarschijnlijk geen goed verslag oplevert.

36

Een speciaal verslag is de gebruikelijke vorm van rapportage voor het meedelen van de resultaten van doelmatigheidscontroles.

37

Een brief van de president omvat het verslag en een begeleidend schrijven van de president van de Rekenkamer, en wordt aan de gecontroleerde toegezonden. Zij hoeft niet te worden vertaald of gepubliceerd. De Rekenkamer beslist van geval tot geval of een brief van de president wordt gepubliceerd.

38

Het Europees Parlement, via zijn commissie Begrotingscontrole (CONT). Speciale verslagen worden ook aan het Begrotingscomité gepresenteerd en kunnen ook aan andere gespecialiseerde comités van de Raad en het Europees Parlement worden gepresenteerd.

39

Het controlewerk wordt ondernomen om de controlevragen in het APM te beantwoorden. Vaak vormen deze vragen echter niet de meest geschikte basis voor het presenteren van de conclusies van de Rekenkamer in een speciaal verslag. Onder die omstandigheden hoeven controleteams met het oog op rapportage in speciale verslagen niet strikt vast te houden aan de APM-vragen. Hoofdstuk 5 - Verslagleggingsfase - blz. 77

Hoofdstuk 5 - Verslagleggingsfase - blz. 78

5.2 KWALITEIT VAN HET VERSLAG De verslagen van de Rekenkamer zijn gebaseerd op de INTOSAIcontrolenormen, de INTOSAI-richtlijnen voor doelmatigheidscontroles, en de beleidslijnen en normen voor de controle van de Rekenkamer (en op de controlerichtsnoeren voor het opstellen van verslagen) en moeten dus objectief, volledig, duidelijk, overtuigend, relevant, nauwkeurig, constructief en beknopt zijn. Een doeltreffend kwaliteitsbeheersingssysteem is vereist om ervoor te zorgen dat de verslagen over deze hieronder nader beschreven kenmerken beschikken.

 Objectief

Evenwichtig, neutraal, redelijk

Controleverslagen moeten worden geschreven vanuit een onafhankelijk, onpartijdig gezichtspunt, waarbij de feitelijke prestaties worden getoetst aan objectieve (en bij voorkeur overeengekomen) criteria. Het verslag moet inhoudelijk evenwichtig, neutraal van toon en redelijk zijn; het mag niet misleidend zijn en de controleresultaten moeten in een breder verband worden geplaatst. Objectieve verslagen besteden voldoende aandacht aan positieve aspecten van de prestaties en geven een getrouw beeld van hetgeen feitelijk is geconstateerd, zonder ondermaatse prestaties te zeer te benadrukken of te overdrijven. Interpretaties moeten worden gebaseerd op inzicht en begrip van de feiten en omstandigheden. Dit kan ertoe bijdragen dat het verslag beter door de gecontroleerde wordt geaccepteerd.

 Volledig

Alle relevante informatie

Het verslag dient alle informatie en argumenten te bevatten die nodig zijn ter beantwoording van de vermelde controlevragen en ter bevordering van een adequaat en correct begrip van de zaken en omstandigheden waarvan verslag wordt gedaan. Tussen de controlevragen, criteria, opmerkingen en conclusies dient een logische samenhang te bestaan die de begrijpelijkheid ten goede komt en de bevindingen, conclusies en aanbevelingen in een duidelijk verband plaatst.

 Duidelijk

Een duidelijke boodschap

Met "duidelijk" wordt bedoeld dat het verslag gemakkelijk te lezen en te begrijpen is. Hiertoe wordt er zo helder mogelijk geformuleerd en zo min mogelijk jargon gebruikt, worden acroniemen en noodzakelijk geacht jargon verklaard en wordt meerduidigheid vermeden. De kernboodschap moet duidelijk, relevant en gemakkelijk te onderkennen zijn ('duidelijke boodschap'), en geen aanleiding tot misverstanden geven.


Gemakkelijk te begrijpen

Voor de duidelijkheid en begrijpelijkheid is het van essentieel belang dat het materiaal logisch wordt geordend en dat de weergave van feiten en de formulering van conclusies nauwkeurig zijn. Een effectief gebruik van titels en koppen maakt het verslag leesbaarder en begrijpelijker. Om het waarschijnlijker te maken dat de verslagen van de Rekenkamer gemakkelijk worden geïdentificeerd door zoekmachines op internet, waardoor de zichtbaarheid en impact ervan toeneemt, moeten de titels van alle verslagen indien mogelijk de woorden "Europa" of "Europees" bevatten. Visuele hulpmiddelen (zoals afbeeldingen, grafieken, diagrammen en kaarten) kunnen ingewikkelde materie illustreren en beknopt weergeven. Goed gekozen voorbeelden dragen ook bij tot verduidelijking van de tekst.

 Overtuigend

Overtuig de lezer van de inhoud

De controleresultaten moeten beslist een antwoord bieden op de vermelde controlevragen; de opmerkingen worden overtuigend gepresenteerd en onderbouwd met voldoende informatie en toelichtingen om de lezer in staat te stellen, de draagwijdte en het belang van deze opmerkingen te begrijpen; en de conclusies en aanbevelingen volgen logisch uit de weergegeven feiten en argumenten. De verstrekte informatie moet de lezer ervan overtuigen dat de bevindingen deugdelijk, de conclusies redelijk, en de aanbevelingen nuttig zijn. Een logische, overtuigende redenering kan onder meer worden opgezet door inductieve logica te hanteren. Hierbij worden de bevindingen gekoppeld aan de aanbevelingen door te vragen waarom de aanbeveling wordt gedaan: Aanbeveling

We hebben extra sterke en goed gesealde ruiten nodig

Gerelateerde bevindingen Er dringt lawaai door in het kantoor wanneer de ramen gesloten zijn WAAROM?

Het tocht in het kantoor wanneer de ramen gesloten zijn Er dringen luchtjes door in het kantoor wanneer de ramen gesloten zijn

 Relevant

Tijdig en met toegevoegde waarde

Het verslag moet betrekking hebben op de vermelde controlevragen, relevant zijn en de interesse van de gebruikers ervan wekken, en waarde toevoegen, bijvoorbeeld door iets nieuws te melden over het onderwerp. Een belangrijk aspect van relevantie is tijdigheid: wil een controleverslag maximale gebruikswaarde hebben en bijdragen tot verandering, dan moet het te gelegener tijd relevante en actuele informatie verschaffen, zodat het voorziet in de behoeften van de gebruikers. Controleurs moeten hun werk zo plannen dat het verslag tijdig wordt uitgebracht en zij dienen de uitvoering van de controle hierop af te stemmen.


 Nauwkeurig

Controle-informatie moet nauwkeurig zijn

De gepresenteerde controle-informatie moet juist zijn en alle bevindingen moeten correct zijn weergegeven. Lezers moeten er namelijk zeker van kunnen zijn dat de rapportage geloofwaardig en betrouwbaar is, en één onnauwkeurigheid kan twijfels oproepen over de deugdelijkheid en geloofwaardigheid van het hele verslag en de aandacht afleiden van de inhoud. Bovendien kunnen onnauwkeurigheden de geloofwaardigheid van de Rekenkamer schaden en afbreuk doen aan de impact van haar verslagen.

 Constructief

Ondersteunen en bemoedigen

Het verslag moet het management helpen, problemen in de toekomst te verhelpen of te vermijden, door duidelijk aan te geven wie verantwoordelijk is voor de geconstateerde gebreken, en praktische aanbevelingen te doen voor verbetering. Het gaat niet aan, managers te bekritiseren om zaken waarop zij geen invloed hebben. Een evenwichtig verslag, waarin ook de nodige aandacht wordt geschonken aan positieve aspecten van de prestaties, kan ertoe bijdragen dat het beter door de gecontroleerde wordt geaccepteerd.

 Beknopt

Niet langer dan nodig

Het verslag mag niet langer zijn dan nodig is om de boodschap over te brengen en te onderbouwen. Overbodige details of immateriële bevindingen kunnen afbreuk doen aan een verslag, de werkelijke boodschap verhullen en de gebruikers verwarren of afleiden. Speciale verslagen die zo beknopt zijn als het onderwerp toelaat, zullen in de regel een grotere impact hebben.

5.3 PLANNING VAN HET VERSLAG 5.3.1 Houd rekening met degenen voor wie het verslag is bestemd De verslagen van de Rekenkamer zijn bestemd voor een ruime kring, zoals de 40 kwijtingverlenende autoriteit, de gecontroleerde en het brede publiek. Kwijtingverlenende autoriteit

Gecontroleerden

Europese burgers

40

De kwijtingverlenende autoriteit - het Europees Parlement, handelend op aanbeveling van de Raad - is een cruciale doelgroep die de verslagen van de Rekenkamer rechtstreeks en op praktische wijze gebruikt om het financieel beheer te beoordelen, haar kwijtingsbeschikkingen te onderbouwen en opmerkingen te maken en verzoeken te doen. Gecontroleerden zijn beheerders van het budget, met grote kennis van zaken. Aangezien gedetailleerde bevindingen al ter kennis van de gecontroleerde zijn gebracht tijdens het controleproces, kan het verslag worden toegespitst op mededeling van de algemene bevindingen en de kernboodschap. De burgers van de Unie worden hoofdzakelijk bereikt dankzij de mediaaandacht voor de verslagen van de Rekenkamer. Deze doelgroep is zelden deskundig op het gebied dat wordt gecontroleerd.

In de regel een instelling, agentschap of orgaan van de EU, geen afzonderlijke begunstigden of lidstaten. Hoofdstuk 5 - Verslagleggingsfase - blz. 81

Om te voldoen aan de behoeften van degenen voor wie ze zijn bestemd, moeten verslagen worden opgesteld voor de geïnteresseerde maar nietdeskundige lezer, die niet noodzakelijkerwijs vertrouwd is met alle ins en outs van de EU of de controle. Hierbij hoeft niet te worden ingespeeld op sensatiezucht om de aandacht te trekken, en mogen al te gedetailleerde verklaringen van basisfeiten achterwege blijven. De tekst moet wel aantrekkelijk worden aangeboden en de context en impact van bevindingen dienen duidelijk te worden beschreven. 5.3.2 Aanpak van de planning van het verslag Het plannen van het verslag moet beginnen op het tijdstip van de algemene controleplanning. De controlevragen moeten zo worden geformuleerd dat het gemakkelijk is om tot een relevant en interessant verslag te komen. In de planningsfase heeft de controleur over het algemeen al een idee over de structuur en inhoud van het verslag.

Schets in een vroeg stadium de grote lijnen van het verslag

en neem die op in het voortgangsverslag.

Bij doelmatigheidscontroles is het een goede praktijk om in een vroeg stadium van de controle op basis van de controlevragen de grote lijnen van het verslag vast te leggen, waarin de belangrijkste bevindingen en voorlopige conclusies worden vermeld. Dit doorgaans door de taakleider opgestelde document moet tijdens de controle geregeld worden aangepast. Als onderdeel van het monitoren van controles door de controlekamer moet doorgaans door de taakleider - een voortgangsverslag zoals vermeld in het APM worden opgesteld en aan de controlekamer worden gepresenteerd. Dit voortgangsverslag moet, zo mogelijk, een indicatie geven van de voornaamste opmerkingen en conclusies die reeds duidelijk naar voren komen uit de controle, en de grote lijnen van het definitieve verslag omvatten. Hierbij kan kritisch worden gekeken naar de beantwoorde controlevragen, het verrichte werk, bevindingen, conclusies en de vraag hoe de kernboodschap moet worden verwoord.

5.3.3 Stel een redactieplan op Controleteams moeten een ronde van "conclusies trekken" uitvoeren tussen de afronding van de controlewerkzaamheden en de opstelling van het 41 verslag . Maak, wanneer de controle is afgerond, een redactieplan

41

Bij basis van de sessie "conclusies trekken" moeten de grote lijnen van het verslag worden uitgewerkt tot een gedetailleerder redactieplan. Dit wordt in de regel opgesteld door de taakleider, op basis van de belangrijkste controlebevindingen en -conclusies. In het plan worden de structuur van het verslag, de toon en de kernboodschap aangegeven, toegespitst op een beperkt aantal zaken van materieel belang. Het plan moet kort en specifiek zijn.

CH 324/11 van 30 september 2011 over controlekwaliteitsbeheer. Gedetailleerde richtsnoeren voor dit proces zijn te vinden in het controlerichtsnoer voor zaakanalyse en conclusies trekken (Audit Guideline on Issue Analysis and Drawing Conclusions). Hoofdstuk 5 - Verslagleggingsfase - blz. 82

waarin de kernboodschap centraal staat

en dat naar behoren wordt goedgekeurd.

Het redactieplan berust op het controlewerk dat met betrekking tot de beantwoorde controlevragen is verricht, de verkregen controle-informatie en de voornaamste conclusies; er wordt rekening gehouden met de noodzaak, de materiële opmerkingen zo nuttig en relevant mogelijk aan de niet-deskundige lezer te presenteren. Zo draagt het planningsproces van het verslag bij tot het signaleren en schrappen van ongegronde conclusies. Kernboodschappen moeten duidelijk herkenbaar, nuttig en met controle-informatie onderbouwd zijn. In deze fase dient ook aandacht te worden besteed aan het vaststellen van praktische, nuttige aanbevelingen. De taakleider en het lid moeten het redactieplan beoordelen en goedkeuren. Hiertoe controleren zij of de opmerkingen en conclusies van materieel belang zijn en of de controle-informatie ter onderbouwing van de opmerkingen, conclusies en aanbevelingen toereikend, relevant en betrouwbaar is. Pas na goedkeuring van het redactieplan mag worden begonnen met gedetailleerde redactie.

5.4 REDACTIE VAN HET VERSLAG 5.4.1 Aanpak van het schrijven van het verslag

Behandel materiële, relevante zaken

op basis van het redactieplan,

Een controleverslag hoeft niet alle controlebevindingen weer te geven; daartoe dienen de elektronische en papieren controledossiers. Het verslag moet de materiële en relevante opmerkingen en conclusies uiteenzetten en daartussen een duidelijk verband aangeven. Zo wordt het eenvoudiger om een duidelijk verslag te schrijven dat zich toespitst op de kernboodschap en is opgebouwd rond de controlevragen. Het gehele verslag moet de structuur van het redactieplan volgen, hoewel bij het eigenlijke schrijven kan blijken dat het plan moet worden veranderd. Er zij op gewezen dat schrijven een iteratief proces is, wat inhoudt dat het ontwerp steeds moet worden beoordeeld, gewijzigd en verbeterd. Het is aan de taakleider om ervoor te zorgen dat de preliminaire opmerkingen worden geformuleerd en dat hierin de nodige wijzigingen worden aangebracht naar aanleiding van de input van het lid-rapporteur, de leden van de kamer en de Rekenkamer. Voordat de preliminaire opmerkingen worden opgesteld, moeten de vragen in de checklist in de aanhangsels 1.2a-c van het Vademecum of General Audit Procedures – Quality management worden doorgenomen om te verzekeren dat de controleresultaten van toereikende kwaliteit zijn.

en met verwijzing naar de controlebevindingen.

Het ontwerp van preliminaire opmerkingen moet vergezeld gaan van een document dat voor elke opmerking (per gecontroleerde) verwijst naar de bewuste controlebevindingen. Een dergelijk document draagt ertoe bij dat het controleteam kan waarborgen dat alle bevindingen direct zijn afgeleid uit controlebevindingen, en is nodig ter voorbereiding van de precontradictoire vergaderingen.


5.4.2 Structuur en opmaak Verslagen moeten een standaardopbouw in vijf hoofddelen (zie hieronder) hebben, maar binnen deze opbouw zo zijn gestructureerd dat de lezer wordt geholpen bij het volgen en begrijpen van de naar voren gebrachte argumenten. Over het algemeen houdt dit in dat het verslag wordt gestructureerd rond de controlevragen (of deelvragen, als er sprake is van één hoofdvraag), teneinde het doel van de controle, de opmerkingen en de conclusies in een logisch verband te plaatsen. De redenering moet een logische opbouw hebben, die duidelijk wordt aangegeven door een passend gebruik van koppen en tussenkoppen. De vijf belangrijkste delen van de controleverslagen van de Rekenkamer: 1. Samenvatting 2. Inleiding 3. Reikwijdte en aanpak van de controle 4. Opmerkingen 5. Conclusies en aanbevelingen

 Samenvatting

Geef de inhoud van het verslag weer,

De samenvatting is een van de meest cruciale onderdelen van een verslag; het wordt het meest gelezen en vormt bovendien dikwijls de basis voor het persbericht. Het is dan ook van het grootste belang dat het voor de juiste impact zorgt. De samenvatting moet een nauwkeurige en beknopte weergave van de inhoud van het verslag vormen en de lezer het belang duidelijk maken van de controlevragen en de antwoorden daarop.

met nadruk op de belangrijkste conclusies en aanbevelingen,

De beschrijvende delen van het verslag moeten worden beperkt tot het minimum dat nodig is om de tekst te begrijpen. De reikwijdte en aanpak van de controle hoeft, evenals de belangrijkste opmerkingen, slechts kort te worden beschreven. De nadruk moet liggen op de belangrijkste conclusies van de controle en op een samenvatting van de aanbevelingen. Hiertoe moet de samenvatting duidelijke formuleringen bevatten zoals "Het doel van de controle was...", "De controle bestreek de periode...", "Bij de controle werd onderzocht...", "Uit de controle bleek..." en "Naar aanleiding van de controle wordt aanbevolen...". De tekst moet niet te lang zijn (ongeveer 2 pagina's). Een vlotte en leesbare tekst, zonder lange paragrafen en zo nodig voorzien van opsommingstekens ("bullet points") om de naar voren gebrachte punten in te delen, zal de lezer prikkelen.

en zorg voor evenwicht.

Om onnodige wijzigingen te voorkomen en het risico van verschillen te beperken, verdient het aanbeveling om de samenvatting pas te redigeren nadat de bevindingen en conclusies zijn geschreven en nagezien. Er moet in het bijzonder op worden gelet dat de samenvatting evenwichtig is en niet te zeer de nadruk legt op de negatieve bevindingen.


 Inleiding In de inleiding van het verslag wordt de context van de controle uiteengezet, zodat de lezer zowel de controle als de opmerkingen beter kan plaatsen. De inleiding bevat een beschrijving van het controleterrein en behandelt: Beschrijf het controleterrein

 de doelstellingen van de interventie en de belangrijkste kenmerken daarvan;  de voornaamste regelgeving;  de budgettaire regelingen en impact;  de belangrijkste systemen en processen;  de beschrijving van de soorten gefinancierde projecten en/of programma's.

beknopt.

De inleiding mag niet al te lang en gedetailleerd zijn. Ze moet informatie bevatten maar mag geen controleopmerkingen bevatten. Worden nadere bijzonderheden nuttig geacht voor de lezer, dan kunnen deze worden opgenomen in een bijlage, en kunnen er aanwijzingen worden gegeven hoe de lezer meer informatie kan verkrijgen (bv. internetreferenties).

 Reikwijdte, aanpak en methodologie van de controle

Sleutel tot begrip

van de doelstellingen van de controle.

Het deel over de reikwijdte en aanpak van de controle is van groot belang om de lezer duidelijk te maken wat hij van het verslag kan verwachten, welk gebruik er kan worden gemaakt van de resultaten en conclusies, en in hoeverre er vertrouwen in kan worden gesteld. Behoeften en verwachtingen verschillen per lezer. "Frontlinielezers" zoals de kwijtingverlenende autoriteit en de media lezen wellicht niet meer dan de samenvatting. Lezers uit de academische en controlegemeenschap zijn gewoonlijk geïnteresseerd in nadere bijzonderheden, met name wat betreft de reikwijdte en de gehanteerde methodologie ten aanzien van de controlewerkzaamheden die ten grondslag liggen aan het speciaal verslag. In dit deel van het hoofdgedeelte van het verslag moeten derhalve de volgende zaken beknopt, zonder overbodige beschrijvingen, worden behandeld: controleonderwerp, redenen voor de controle, te beantwoorden controlevragen, reikwijdte van de controle, controlecriteria, methodiek en aanpak van de controle, bronnen van gegevens en eventuele beperkingen ten aanzien van de gebruikte gegevens. Meer gedetailleerde informatie moet worden opgenomen in een bijlage. Eventuele details moeten betrekking hebben op de doelstellingen van de controle, niet zozeer op het verrichte werk. Het vermelden van reikwijdte en aanpak van de controle is met name belangrijk bij doelmatigheidscontroles, aangezien zij veel sterker van elkaar verschillen dan financiële controles.

 Opmerkingen

Structureer rond controledoelstellingen

De opmerkingen vormen de kern van het verslag; zij bevatten de controlebevindingen en de controle-informatie. De opmerkingen moeten zo veel mogelijk worden gestructureerd rond de controlevragen; dit geeft namelijk richting aan de controle en de conclusies. Zo wordt de lezer gewezen op het doel van de controle, kan hij een realistische inschatting maken van wat hij van het verslag mag verwachten en kan hij de opmerkingen, conclusies en aanbevelingen in de juiste context plaatsen.


en redenering,

Niettemin is het binnen dit kader belangrijker dat de resultaten zodanig worden gepresenteerd dat de lezer de redenering gemakkelijk kan volgen. Zo is het voor de lezer waarschijnlijk duidelijker wanneer de opmerkingen worden weergegeven per beheersonderdeel (bijv. selectie en goedkeuring van projecten) dan per bestuursniveau (bijv. Commissie, nationale/lokale overheid van lidstaat). Over het algemeen kunnen met elkaar verband houdende opmerkingen zo samen worden gepresenteerd (bijv. tenuitvoerlegging van de voorschriften van de verordening), zodat de betrokken regelgeving niet op elk niveau hoeft te worden herhaald, hetgeen de duidelijkheid en de opbouw van de redenering ten goede komt. Bij het presenteren van de controle-opmerkingen moeten de volgende elementen voor de lezer duidelijk zijn:

 Norm

 verricht werk en licht deze elementen toe.

 feiten

 impact en consequenties

het referentiepunt waaraan de feitelijke situatie wordt getoetst - vereisten die volgen uit de regelgeving of de vaste praktijk, of normen die door het management of de controleur zijn vastgesteld; wat er is onderzocht en waarom - de omvang en reikwijdte van verrichte toetsingen; de aangetroffen situatie - met inbegrip van de oorzaak en het materieel belang ervan; met vermelding van de bron en de omvang van het bewijsmateriaal; wat de bevinding betekent - met inbegrip van het effect op de EU-begroting - en waarom zij belangrijk is.

 Conclusies en aanbevelingen

Geef duidelijke antwoorden op de controlevragen

Dit deel is er primair op gericht, duidelijke antwoorden - 'conclusies' - te geven op de controlevragen, en ter zake aanbevelingen te doen met het oog op verbetering. Als zodanig moeten de conclusies, gebaseerd op de materiële opmerkingen, betrekking hebben op de controlevragen. De conclusies moeten antwoord geven op de vragen en niet kortweg de opmerkingen samenvatten.

Doe voor de belangrijkste problemen aanbevelingen

Het verslag moet aanbevelingen omvatten inzake veranderingen die kunnen worden doorgevoerd om ernstige gerapporteerde tekortkomingen te verhelpen, voor zover de controlebevindingen hebben uitgewezen dat de verrichtingen en prestaties aanzienlijk kunnen worden verbeterd. Wanneer reeds corrigerende maatregelen worden genomen, is het goede praktijk dit feit te vermelden.

die praktisch zijn

Aanbevelingen moeten alleen worden gedaan wanneer er bij de controle is vastgesteld dat er praktische oplossingen zijn voor de gesignaleerde tekortkomingen. Aanbevelingen moeten volgen uit de desbetreffende conclusie en duidelijk aangeven welke organisatie verantwoordelijk is voor de tenuitvoerlegging. Zij geven weliswaar aan wat er moet gebeuren, maar bevatten geen gedetailleerde uitvoeringsplannen; dat is een zaak van het management. Wil een aanbeveling constructief zijn, dan moeten daarin de belangrijkste componenten van de vereiste veranderingen worden genoemd.


Aanbevelingen hebben doorgaans meer impact wanneer zij positief van toon en inhoud zijn, resultaatgericht zijn (de beoogde uitkomst schetsen), rekening houden met het kostenaspect, en met de gecontroleerde besproken en overeengekomen zijn. en positief.

Het controleverslag bevat normaal gesprokengeen algemeen oordeel over de verwezenlijking van zuinigheid, efficiëntie en doeltreffendheid door de gecontroleerde entiteit dat vergelijkbaar is met het oordeel over de financiële 42 staten . Als de aard van de controle dit toelaat voor specifieke terreinen van de activiteiten van de entiteit, moet de controleur echter wel de omstandigheden en context beschrijven wanneer hij komt tot de specifieke 43 conclusie, en geen standaardverklaring opnemen .

5.4.3 Logica en redenering  Controlevragen staan centraal

Doe verslag van beantwoorde vragen

De controlevragen maken de kern uit van het verslag; zij bepalen het doel van de controle, en structureren zowel het deel met de opmerkingen als de in de conclusies te beantwoorden vragen. Zij maken de controle en de bevindingen begrijpelijker voor de lezer. Het verslag moet de daadwerkelijk beantwoorde vragen behandelen, dat wil zeggen de vragen ten aanzien waarvan conclusies zijn geformuleerd. Dus geen vragen die aanvankelijk in het APM waren goedgekeurd, maar niet werden beantwoord. Controleurs moeten melding maken van alle significante gevallen van niet44 naleving of misbruik die werden geconstateerd tijdens of in verband met de controle. Indien dergelijke gevallen niet van belang zijn voor de controlevragen, moeten ze niettemin op het passende niveau - en bij voorkeur schriftelijk 45 worden meegedeeld aan de gecontroleerde .  Gebruik van voorbeelden

Voorbeelden: goed en relevant

Voorbeelden kunnen technische of theoretische bevindingen - zowel positieve als negatieve - doeltreffend illustreren of verlevendigen, en zo de nietdeskundige lezer helpen, de naar voren gebrachte punten te begrijpen. Het is echter van groot belang dat zij zorgvuldig en met mate worden gebruikt, aangezien selectieve lezers deze gemakkelijk uit hun verband kunnen halen. Aangezien zij grondig zullen worden onderzocht, moeten de voorbeelden gedegen zijn en moeten de bevindingen volledig worden ondersteund door controle-informatie. Ook moeten zij duidelijk worden beschreven, beperkt blijven tot het punt in kwestie en niet al te gedetailleerd zijn.

42

Controlestandaard ISSAI 400/23.

43

Controlestandaard ISSAI 3100/29.

44

Volgens controlestandaard ISSAI 1240/6 is misbruik gedrag dat te wensen overlaat of onjuist is in vergelijking met het gedrag dat een voorzichtig persoon redelijk zou vinden.

45

Controlestandaard ISSAI 3100/33. Hoofdstuk 5 - Verslagleggingsfase - blz. 87

 Het noemen van derden in de verslagen van de Rekenkamer

Betracht grote voorzichtigheid

Ten aanzien van het noemen van derden in de verslagen van de Rekenkamer 46 luidde het arrest in de zaak Ismeri "dat de Rekenkamer zich in sommige gevallen genoodzaakt kan zien om derden die rechtstreeks bij ernstige onregelmatigheden binnen de gemeenschapsinstellingen zijn betrokken, met naam te noemen […]. Een in dergelijke omstandigheden geformuleerde beoordeling over deze derden kan tot aansprakelijkheid wegens onrechtmatige daad van de Gemeenschap [EU] leiden, indien de onderliggende feiten onjuist zijn weergegeven of verkeerd zijn uitgelegd." Er moet derhalve uiterste voorzichtigheid worden betracht bij de verificatie en interpretatie van feiten, wanneer derden in een verslag van de Rekenkamer hetzij met name worden genoemd, hetzij eenvoudig zijn thuis te brengen door de lezer.

en stel de derde in de gelegenheid tot het maken van opmerkingen.

Er zij op gewezen dat de met name genoemde derde ook recht op weerwoord heeft. Volgens het arrest kunnen: "[…] de vaststelling en de bekendmaking van de verslagen van de Rekenkamer […] voor die personen wel degelijk zodanige gevolgen hebben dat de belanghebbenden vóór de definitieve vaststelling ervan in de gelegenheid moeten worden gesteld opmerkingen te maken over de punten van het verslag waarin zij met naam worden genoemd." Controleurs moeten ervoor zorgen dat de derde in de gelegenheid wordt gesteld, dergelijke opmerkingen te maken voordat het verslag wordt vastgesteld.

5.4.4 Op te nemen soorten informatie en gegevens

Neem uitsluitend informatie op die vereist is voor een goed begrip,

waaronder gegevens over begrotingsuitgaven.

46

Een controleverslag moet alleen gegevens en informatie vermelden die van belang zijn, wil de lezer de context van de controle of de resultaten ervan begrijpen. Gegevens moeten niet worden verstrekt met het oog op volledigheid, maar ter illustratie van een specifieke aan de orde gestelde kwestie. Wanneer gegevens worden vermeld, dienen ze in de tekst te worden beschreven en geanalyseerd, zodat de lezer het nut hiervan inziet. Door moderne technologie en een betere en doorzichtiger boekhouding bij de Commissie heeft de lezer thans veel gemakkelijker toegang tot gegevens. Vaak kan dan ook worden volstaan met referenties (bijv. internetlinks) naar gedetailleerde gegevens en hoeven de gegevens niet in het verslag zelf te worden vermeld. Het is van belang dat de controle van een context wordt voorzien met informatie over begrotingsuitgaven (vastleggingen en betalingen) en de reikwijdte en dekking van de controle. De gegevens moeten niet al te gedetailleerd zijn, zodanig worden weergegeven dat zij kunnen worden herleid tot hun bron (bijv. begrotingsnomenclatuur) en zo actueel mogelijk zijn.

Arrest van het Gerecht van eerste aanleg van 15 juni 1999 in zaak T-277/97, Ismeri Europa Srl tegen Rekenkamer van de Europese Gemeenschappen (over kritiek op Ismeri van de Rekenkamer in Speciaal verslag nr. 1/96 over de MED-programma's). Hoofdstuk 5 - Verslagleggingsfase - blz. 88

5.4.5 Stijl

Wees toegankelijk,

Een goed geschreven verslag draagt ertoe bij dat de bevindingen serieus worden genomen, terwijl een gebrekkig ogend verslag de lezer van de inhoud zal afleiden en hem ertoe kan brengen, de kwaliteit van de bevindingen in twijfel te trekken. Verslagen van de Rekenkamer moeten interessant en goed leesbaar zijn en een positief beeld schetsen van het werk van de Rekenkamer. Hoewel de verslagen noodgedwongen technisch van aard zijn, zal een toegankelijk verslag er eerder toe leiden dat de gemiddelde lezer blijft doorlezen.

consistent,

Consistentie is belangrijk: een verslag met stijlbreuken qua benadering en formulering is moeilijk te lezen. Het verdient aanbeveling, één persoon te belasten met de zorg voor een consistente verslagtekst, ook al zijn bij het schrijven van de verschillende delen van het verslag meerdere personen betrokken.

eenduidig,

De stijl moet helder en eenduidig zijn. De betekenis dient onmiddellijk duidelijk te worden uit de tekst; de lezer moet niet hoeven te interpreteren. Let vooral op het volgende:

en concludent.

•

lange alinea's schrikken af en moeten worden vermeden;

•

lange, ingewikkelde zinnen, met veel bijzinnen en ondergeschikte zinnen, laten zich lastig lezen, begrijpen en vertalen. Probeer de zinnen kort te houden;

•

het gebruik van de bedrijvende vorm, met een echt onderwerp, laat geen misverstand bestaan over wie wat doet;

•

voor opsommingen kan (terughoudend) gebruik worden gemaakt van opsommingstekens (in plaats van doorlopende tekst);

•

een goede interpunctie helpt de lezer en voorkomt misverstanden;

•

het taalgebruik moet professioneel zijn, maar jargon dient te worden vermeden. De tekst moet wel precies genoeg blijven om op werkniveau te kunnen worden begrepen en benut.

De lezer verwacht dat verslagen van de Rekenkamer concludent zijn. Beweringen moeten zeggingskracht hebben, en geen aanleiding geven tot vragen, veronderstellingen of onzekerheid. Het is belangrijk dat verklaringen worden ondersteund door controle-informatie en dat woorden als "wellicht" en "kennelijk" achterwege blijven, tenzij daarbij wordt uitgelegd waarom de Rekenkamer niet tot een definitieve conclusie kan komen. Wanneer een bewering de mening van de Rekenkamer weergeeft, moet dit worden vermeld, samen met de grond voor die mening. Wanneer de bewering afkomstig is uit een andere bron, zoals een evaluatieverslag, moet dit uitdrukkelijk kenbaar worden gemaakt.


5.4.6 Gebruik van niet-tekstuele informatie

Maak het verslag aantrekkelijker

Zorgvuldig gekozen diagrammen, grafieken, gegevens en afbeeldingen kunnen een verslag aantrekkelijker laten ogen en de lezer inzicht bieden in de achtergrond en de bevindingen. Technische ondersteuning bij het gebruik van grafieken is beschikbaar via CEAD-A; recente verslagen, van zowel de Rekenkamer als de nationale hoge controle-instanties, kunnen als inspiratiebron dienen.  Tabellen, diagrammen en grafieken Tabellen en diagrammen worden gebruikt om belangrijke boodschappen te versterken of om complexe informatie, zoals organisatorische of financiële verbanden, op eenvoudige wijze weer te geven.

Presenteer ingewikkelde informatie

Wanneer in een verslag het verband tussen twee of meer variabelen moet worden uitgelegd, zijn grafieken hiervoor in de regel het meest geschikt, omdat ze een verband aanschouwelijk kunnen maken. Grafieken moeten van een duidelijke titel worden voorzien en mogen niet te veel gegevens en variabelen bevatten. Het is van belang dat grafieken binnen eenzelfde verslag op consistente en vergelijkbare wijze worden weergegeven.  Kaarten en afbeeldingen

Aantrekkelijker en interessanter.

Verslagen kunnen gebruiksvriendelijker worden gemaakt door, waar dit passend is, afbeeldingen en kaarten op te nemen. Hoewel het niet bij alle verslagen voor de hand ligt om een fraaie illustratie of interessante kaart toe te voegen, maakt dit soort hulpmiddelen een verslag altijd aantrekkelijker en interessanter voor de lezer. Zo kunnen foto's worden gebruikt om een visuele rode draad door een verslag aan te brengen, of om specifieke punten te illustreren. Niet-tekstuele informatie zoals afbeeldingen en kaarten maken deel uit van het verslag en dus moet dergelijk materiaal opgenomen zijn in alle fasen van goedkeuring en vaststelling van de preliminaire opmerkingen en het speciaal verslag, inclusief de contradictoire procedure.  Getallen en percentages Getallen en percentages moeten voldoende nauwkeurig en binnen dezelfde zin of alinea consistent worden weergeven. Afgeronde getallen zijn doorgaans gemakkelijker te lezen. CEAD-A brengt ter zake specifieke richtlijnen uit.

5.5 BEOORDELING VAN HET VERSLAG

EQCR door lid-rapporteur, controleteam en kamer

Het lid-rapporteur is ervoor verantwoordelijk dat er hoogwaardige verslagen worden ingediend bij de kamer. Daartoe moet het lid beoordelen of het verslag duidelijk geschreven, redelijk, evenwichtig en met controle-informatie onderbouwd is, besluiten of het verslag een getrouwe weergave is van de controleresultaten, en vaststellen of het ontwerp de prestaties van de gecontroleerde in de juiste context plaatst.


Doeltreffend toezicht en doeltreffende beoordeling binnen het controleteam (paragraaf 2.5) zijn bijzonder belangrijk om het lid-rapporteur te helpen zorgen voor een hoogwaardig verslag. De eerste keer dat een volledig ontwerpcontroleverslag - bekend als de "preliminaire opmerkingen" - wordt ingediend bij de kamer, moet er een EQCR plaatsvinden. In dat geval wordt, naast de aanvankelijke zelfbeoordeling door het controleteam, de verantwoordelijkheid voor de EQCR gedeeld door de directeur van de kamer (voor zaken die met name controle-informatie betreffen) en CEAD-A (voor zaken die vooral de presentatie aangaan). Gedetailleerde procedures voor deze regelingen voor kwaliteitsbeheersing zijn opgenomen in het Vademecum of General Audit Procedures – Quality Management. Controlekamer

Vervolgens moet de controlekamer het ontwerp van preliminaire opmerkingen beoordelen en goedkeuren.

5.6 AFWIKKELING VAN HET VERSLAG Van eerste lezing tot definitieve vaststelling,

Het afwikkelingsproces omvat de eerste aanbieding van het ontwerp van preliminaire opmerkingen aan de controlekamer, de contradictoire procedure met de Commissie, en de definitieve vaststelling door de kamer. Wanneer de kamer het ontwerp van preliminaire opmerkingen heeft goedgekeurd, wordt dit document toegezonden aan en besproken met de gecontroleerde. Om dit proces waarbij het ontwerpverslag wordt doorgenomen met de gecontroleerde, zo doelmatig en doeltreffend mogelijk te laten verlopen, zijn de volgende zaken van doorslaggevend belang: •

goede communicatie gedurende de hele controle, overeenkomstig de "geen verrassingen"-aanpak van de Rekenkamer;

•

het tijdig en op doeltreffende wijze meedelen van de preliminaire controlebevindingen aan de gecontroleerde.

Artikel 163 van het Financieel Reglement (FR) luidt: "De Rekenkamer deelt aan de betrokken instelling of het betrokken orgaan alle opmerkingen mede die naar haar mening in een speciaal verslag dienen te worden opgenomen. Die opmerkingen zijn vertrouwelijk en het voorwerp van een contradictoire procedure. De betrokken instelling of het betrokken orgaan stelt de Rekenkamer binnen twee en een halve maand na toezending van deze opmerkingen in kennis van haar eventuele antwoorden op deze opmerkingen."

inclusief de contradictoire procedure

en precontradictoire bijeenkomst,

Tijdens deze periode van twee en een halve maand vindt tevens de zogenoemde contradictoire procedure plaats, in het kader waarvan de betrokken instelling en de Rekenkamer bijeenkomen. Met deze bijeenkomst wordt in de eerste plaats beoogd, eventuele onenigheid over de feiten op te lossen, en in de tweede plaats eventuele verschillen van inzicht tussen de Rekenkamer en de instelling (of een andere orgaan) inzake de interpretatie van de controle-informatie weg te nemen. De bijeenkomst wordt ook benut voor de afronding van de antwoorden van de instelling op de opmerkingen. CEAD-A treedt op als intermediair door dergelijke bijeenkomsten te beleggen en voor te zitten. Het is goede praktijk om, met het oog op een vlot verloop van een vergadering in het kader van de contradictoire procedure, een precontradictoire bijeenkomst te beleggen met het controleteam en de gecontroleerde.


De wijzigingen die naar aanleiding van de contradictoire procedure worden aangebracht in de tekst van het ontwerp van speciaal verslag moeten herkenbaar zijn in het definitieve ontwerp-verslag dat ter lezing aan de kamer wordt voorgelegd en de belangrijkste wijzigingen moeten met redenen worden omkleed.

volgens in het Financieel Reglement geschetste procedures.

Voornoemd artikel van de FR bepaalt verder: "De Rekenkamer stelt in de maand die volgt op de ontvangst van de antwoorden van de betrokken instelling of het betrokken orgaan de definitieve tekst van het betrokken speciaal verslag vast. De speciale verslagen worden samen met de antwoorden van de betrokken instellingen of organen onverwijld ter kennis gebracht van het Europees Parlement en de Raad, die elk, eventueel samen met de Commissie, bepalen welk gevolg eraan moet worden gegeven. De Rekenkamer neemt de nodige maatregelen opdat de antwoorden van de betrokken instellingen en organen op haar opmerkingen samen met het speciaal verslag worden gepubliceerd." Wanneer de definitieve tekst van het speciaal verslag door de kamer is vastgesteld, wordt die aan de vertaaldienst van de Rekenkamer aangeboden ter vertaling in de officiële talen.

5.7 VERSPREIDING VAN HET VERSLAG Speciale verslagen worden gepubliceerd en verspreid overeenkomstig de procedures van de Rekenkamer. Zo wordt het verslag onder meer op de website van de Rekenkamer geplaatst, en wordt er een "persbericht" over uitgebracht. Het lid-rapporteur presenteert het verslag gewoonlijk tijdens een volgende vergadering van de CONT (commissie Begrotingscontrole van het Europees Parlement) en geeft een persconferentie indien hij/zij dit wenselijk acht.

5.8 FOLLOW-UP VAN HET VERSLAG 5.8.1 Follow-up van de aanbevelingen en bevindingen in het verslag Het beoordelen en meten van de impact van de verslagen van de Rekenkamer over doelmatigheidscontroles is een noodzakelijk onderdeel van de verantwoordingscyclus. De aanbevelingen in speciale verslagen moeten follow-up krijgen, teneinde de getroffen maatregelen vast te stellen en te beoordelen. Alleen al het feit dat er sprake is van een follow-upproces kan de gecontroleerden ertoe aanzetten om werk te maken van de aanbevelingen in het verslag.


De follow-up van aanbevelingen uit een verslag dient vier belangrijke doelen:  doeltreffender maken van controleverslagen - bij controleverslagen vindt er voornamelijk follow-up plaats om de kans te vergroten dat aanbevelingen worden uitgevoerd; Follow-up van aanbevelingen dient meerdere doelen

 bijstaan van de wetgevende en begrotings- (inclusief kwijtingverlenende) autoriteiten - follow-up van aanbevelingen kan waardevol zijn bij het aansturen van hun acties;  beoordelen van de prestaties van de Rekenkamer - follow-up biedt een basis voor het beoordelen en evalueren van de prestaties van de Rekenkamer;  stimuleren van leren en ontwikkeling - follow-up van activiteiten kan bijdragen tot verbetering van kennis en praktijk. De follow-upwerkzaamheden bestaan in "beperkte onderzoeken" door de controlekamers, waarbij wordt beoordeeld in welke mate de gecontroleerde (doorgaans de Commissie) de bevindingen en aanbevelingen uit de speciale verslagen van de Rekenkamer heeft opgepakt. De doeltreffendheid van de maatregelen die worden getroffen door de gecontroleerde worden echter niet beoordeeld, aangezien dit een gedetailleerd controleonderzoek zou vergen. Bijgevolg kunnen controlekamers, indien dit nodig wordt geacht, een gedetailleerd onderzoek van een bepaald speciaal verslag verrichten als diepgaande follow-upcontrole. Follow-up vindt gewoonlijk twee of drie jaar na publicatie van het speciaal verslag plaats. Voor zover beschikbaar, kan hiertoe worden uitgegaan van de follow-upverslagen die regelmatig door de Commissie en de andere instellingen worden ingediend bij het Parlement, alsmede van de followupdatabank van de Commissie "RAD" (Recommendations, Actions, Discharge - aanbevelingen, acties, kwijting). De Rekenkamer rapporteert over de followup van haar speciale verslagen in een jaarlijks follow-upverslag of aan de hand van afzonderlijke speciale verslagen. Het jaarlijks follow-upverslag bevat de resultaten van het werk dat is verricht door de Rekenkamer ter beoordeling van de corrigerende maatregelen van de gecontroleerde in reactie op de controlebevindingen en -aanbevelingen van de Rekenkamer.

Selectie van verslagen voor followup

47

Tijdens het proces van het opstellen van het jaarlijks werkprogramma selecteren de controlekamers de speciale verslagen waaraan zij follow-up 47 willen geven in het kader van hun jaarlijkse taken . De selectie vindt plaats op basis van twee criteria: heeft de gecontroleerde meer dan twee à drie jaar de tijd gehad om de aanbevelingen op te volgen, en zijn de aanbevelingen nog relevant.

DEC 006/10 en CH 234/10. Hoofdstuk 5 - Verslagleggingsfase - blz. 93

Planning van het werk

De werkzaamheden, die minder uitgebreid hoeven te zijn dan voor een controle ter verkrijging van redelijke zekerheid, worden uitgevoerd op basis van een kort planningsdocument in plaats van op een gedetailleerd planningmemorandum. Onder normale omstandigheden behoren voor de follow-up van één speciaal verslag niet meer dan tien controleursweken nodig te zijn. Bij het door de controlekamers uitgevoerde onderzoek wordt follow-up gegeven aan de controlebevindingen (tekortkomingen) en -aanbevelingen in speciale verslagen; het onderzoek omvat de volgende stadia: 1) onderzoek van de databank voor het beheer van de Commissie (RAD) als een eerste bron van gegevens met betrekking tot de controleverslagen die werden onderzocht; 2) er vindt een controle op stukken en analyse plaats van jaarverslagen, actieplannen, beleidsdocumenten en specifieke verslagen; 3) mondelinge, schriftelijke en andere documentaire controle-informatie wordt verkregen van de gecontroleerde; 4) een beoordeling van de vraag of de controlebevindingen (tekortkomingen) naar behoren zijn behandeld en van de stand van uitvoering van de aanbevelingen van de Rekenkamer; 5) opstelling van de controlebevindingen, bespreking ervan met de gecontroleerde, en toezending ervan aan CEAD-A. Bij het onderzoek door de controleteam moet het volgende worden vastgesteld: a) de stand van uitvoering van de aanbevelingen van de Rekenkamer (volledig uitgevoerd, in de meeste opzichten uitgevoerd, in enkele opzichten uitgevoerd, niet uitgevoerd, niet langer van toepassing en niet mogelijk om voldoende controle-informatie te verkrijgen); b) de tijdigheid van de uitvoering van de aanbevelingen; c) resterende kwesties, met inbegrip van eventuele nieuwe zaken die moeten worden aangepakt.

Reikwijdte en aanpak

Bij het onderzoek naar de uitvoering van de aanbevelingen van de Rekenkamer zou het controleteam de stand van de actieplannen van de Commissie met betrekking tot verzoeken van de kwijtingverlenende autoriteit (zoals voorgeschreven op grond van internecontrolenorm nr. 9 van de Commissie) kunnen onderzoeken als bron van aanvullende informatie. CEAD-A is verantwoordelijk voor de coördinatie van de taak alsmede voor het opstellen van het speciaal verslag en het bespreken ervan met de gecontroleerde; hierbij werkt CEAD-A nauw samen met de controleteams. Het lid-rapporteur is een permanent lid van CEAD. De gedetailleerde procedure voor follow-up is te vinden in het Vademecum of General Audit Procedures.


5.8.2 Follow-up van de ontvangst van het verslag Wanneer een doelmatigheidscontrole is afgerond, zijn er meerdere gelegenheden om informatie te verkrijgen over de ontvangst ervan, bijvoorbeeld door de reacties te peilen van de gecontroleerden, het Parlement en de media. Ook kunnen externe deskundigen worden verzocht, verslagen van doelmatigheidscontroles grondig te bestuderen of hun mening te geven over de kwaliteit van het werk. Aangezien de meeste doelmatigheidscontroles echte leerpunten voor zowel de betrokken teams als de gehele Rekenkamer opleveren, kan het voor het controleteam zeer de moeite waard zijn, na publicatie van het verslag een evaluatie te maken om het volgende vast te stellen:

Fungeert als leerinstrument



wat werkte goed en waarom



wat was minder geslaagd en waarom



lessen voor de toekomst en eventuele bredere toepassing bij alle doelmatigheidscontroles


HANDLEIDING DOELMATIGHEIDSCONTROLE GEDETAILLEERDE INHOUDSOPGAVE OVERZICHT

1

ALGEMENE INLEIDING

2

Doel en inhoud van de Handleiding doelmatigheidscontrole

3

Structuur

4

Lijst van begrippen en technische termen

5

HOOFDSTUK 1 KADER VOOR DE DOELMATIGHEIDSCONTROLES VAN DE EUROPESE REKENKAMER

7

1.1 Inleiding

8

1.2 Doelmatigheidscontrole en goed financieel beheer in de Europese Unie 1.2.1 Doelmatigheidscontrole 1.2.2 Goed financieel beheer: Verdrag en Financieel Reglement 1.2.3 Beheersmethoden ter uitvoering van de begroting 1.2.4 Internebeheersingssysteem om tot goed financieel beheer te komen 1.2.5 Verhouding tussen doelmatigheidscontrole & financiële en nalevingsgerichte controle 1.2.6 Verhouding tussen doelmatigheidscontrole en evaluatie

8 8 8 9 10 11 12

1.3 Taak en doelstellingen van de Rekenkamer voor doelmatigheidscontroles 1.3.1 De wettelijke verplichtingen van de Rekenkamer 1.3.2 Doelstellingen van de Rekenkamer

13 13 13

HOOFDSTUK 2 AANPAK VAN DE DOELMATIGHEIDSCONTROLE EN DE DRIE E'S

15

2.1 Inleiding

16

2.2 Een controleaanpak die is toegespitst op de geleverde prestaties 2.2.1 Rechtstreekse controle van de prestaties 2.2.2 Controle van de controlesystemen

16 16 17

2.3 Toepassing van de drie E's 2.3.1 Het gebruik van logische modellen bij doelmatigheidscontroles 2.3.2 Toepassing van de begrippen  Zuinigheid  Efficiëntie  Doeltreffendheid

17 17 19 19 21 23

2.4 Essentiële kenmerken van een goede doelmatigheidscontrole 2.4.1 Tijdens het hele controleproces wordt oordeelkundig te werk gegaan 2.4.2 De methodieken zijn geschikt en worden zo gecombineerd dat ze een hele reeks gegevens bestrijken 2.4.3 Er worden controlevragen gesteld die tot conclusies kunnen leiden 2.4.4 Risico's voor de productie van het controleverslag worden geanalyseerd en beheerd

25 25 26 26 27

2.4.5 Er worden instrumenten gehanteerd die bijdragen tot een geslaagd controleproduct 2.4.6 De controle-informatie is toereikend, relevant en betrouwbaar als onderbouwing van de controlebevindingen 2.4.7 Reeds vanaf de planningsfase wordt gedacht aan mogelijke conclusies en aanbevelingen voor het eindverslag 2.4.8 Tegenover de gecontroleerde en andere belanghebbenden wordt een transparante aanpak gevolgd - "geen verrassingen"

28

29

2.5 Kwaliteitsbeheersing

30

HOOFDSTUK 3 PLANNING VAN DE CONTROLE

32

3.1 Inleiding

33

3.2 De fase van de controleplanning 3.2.1 Doel van de controleplanning 3.2.2 Voorbereidende werkzaamheden 3.2.3 Doe kennis op over de laatste stand van zaken op het controleterrein  Stel de doelstellingen en de logica van de interventie, alsmede de desbetreffende indicatoren vast  Stel vast welke middelen voor de interventie beschikbaar zijn gesteld  Stel vast welke verantwoordelijkheden de diverse actoren dragen  Stel vast welke essentiële beheersen controleprocessen er zijn, met inbegrip van ITsystemen  Omschrijf de informatiebehoeften voor beheer en controle  Stel vast welke risico's er voor een goed financieel beheer bestaan 3.2.4 Geef de controle in grote lijnen weer  Houd rekening met eerdere controles en evaluaties  Denk na over de potentiële controlevragen, -criteria, -informatie, -methodologie, -reikwijdte en -impact  Denk na over het tijdschema en de toegewezen middelen van de voorgestelde controle 3.2.5 Stel vast of de controle realistisch, uitvoerbaar en naar alle waarschijnlijkheid nuttig is

35 35 35 37

28 29

37 38 38 38 38 39 40 40 40 41 41

3.3 Het Audit Planning Memorandum 3.3.1 Doelstellingen en inhoud van het APM  Formuleer de controlevragen  Stel de reikwijdte van de controle vast  Stel de te hanteren controlecriteria vast  Ga na welke controle-informatie vereist is en uit welke bronnen deze afkomstig is  Bepaal de te hanteren controlemethodologie  Denk na over de potentiële opmerkingen, aanbevelingen en impact van de controle  Stel het tijdschema, de middelen en de regelingen voor toezicht en beoordeling vast  Communiceer met de gecontroleerde 3.3.2 Opstellen van het APM

42 42 44 48 48 49 50 50 51 52 53

3.4 Snelle speciale verslagen

53

Bijlage I: Inhoud van een Audit Planning Memorandum (APM)

55

Bijlage II: Plan voor het verzamelen van controle-informatie

58

Bijlage III - Controleprogramma in grote lijnen

59

Hoofdstuk 4 Onderzoeksfase

60

4.1 Inleiding

61

4.2 Produceren van toereikende, relevante en betrouwbare controle-informatie 4.2.1 Doel en aanpak van de onderzoeksfase 4.2.2 De aard van de controle-informatie bij doelmatigheidscontroles 4.2.3 Toereikendheid, relevantie en betrouwbaarheid van controle-informatie 4.2.4 Bronnen van controle-informatie

63 63 63 64 66

4.2.5 Soorten controle-informatie

67

4.3 Verzamelen en analyseren van gegevens 4.3.1 Doel en aanpak van het verzamelen en analyseren van gegevens 4.3.2 Proces van gegevensverzameling 4.3.3 Gebruikmaking van het werk van anderen 4.3.4 Gegevensverzameling en ethiek 4.3.5 Gegevensanalyse

68 68 68 69 69 70

4.4 Opstellen van deugdelijke controlebevindingen 4.4.1 Noodzaak van een goede basis 4.4.2 Opstellen van controlebevindingen

70 70 71

4.5 Controlebevindingen meedelen

72

4.6 Documentatie van de controle 4.6.1 Doel en aanpak 4.6.2 Referenties naar controledocumentatie

72 72 73

4.7 Controlemanagement en regelingen voor kwaliteitsbeheersing 4.7.1 Controlemanagement, met inbegrip van toezicht en beoordeling

74 74

Bijlage I: Methoden voor gegevensverzameling en -analyse

75

HOOFDSTUK 5 VERSLAGLEGGINGSFASE

76

5.1 Inleiding

77

5.2 Kwaliteit van het verslag  Objectief  Volledig  Duidelijk  Overtuigend  Relevant  Nauwkeurig  Constructief  Beknopt

79 79 79 79 80 80 81 81 81

5.3 Planning van het verslag 5.3.1 Houd rekening met degenen voor wie het verslag is bestemd 5.3.2 Aanpak van de planning van het verslag 5.3.3 Stel een redactieplan op

81 81 82 82

5.4 Redactie van het verslag 5.4.1 Aanpak van het schrijven van het verslag 5.4.2 Structuur en opmaak  Samenvatting  Inleiding  Reikwijdte, aanpak en methodologie van de controle  Opmerkingen  Conclusies en aanbevelingen 5.4.3 Logica en redenering  Controlevragen staan centraal  Gebruik van voorbeelden  Het noemen van derden in de verslagen van de Rekenkamer 5.4.4 Op te nemen soorten informatie en gegevens 5.4.5 Stijl 5.4.6 Gebruik van niet-tekstuele informatie  Tabellen, diagrammen en grafieken  Kaarten en afbeeldingen

83 83 84 84 85 85 85 86 87 87 87 88 88 89 90 90 90

 Getallen en percentages

90

5.5 Beoordeling van het verslag

90

5.6 Afwikkeling van het verslag

91

5.7 Verspreiding van het verslag

92

5.8 Follow-up van het verslag 5.8.1 Follow-up van de aanbevelingen en bevindingen in het verslag 5.8.2 Follow-up van de ontvangst van het verslag

92 92 95

GEDETAILLEERDE INHOUDSOPGAVE

96

EUROPESE REKENKAMER. Handleiding doelmatigheidscontrole 2015

Recommend Documents