EINDRAPPORT EVALUATIE PROGRAMMAONDERZOEK MKB EN ONDERNEMERSCHAP. Drs. M. Pen Mevrouw drs. M.W.G. Steinmeijer Dr. ir. M. Verweij

EINDRAPPORT EVALUATIE PROGRAMMAONDERZOEK MKB EN ONDERNEMERSCHAP

Utrecht, 16 juli 2004

Drs. R.C. van der Mark Drs. M. Pen Mevrouw drs. M.W.G. Steinmeijer Dr. ir. M. Verweij

26990

EINDRAPPORT EVALUATIE PROGRAMMAONDERZOEK MKB EN ONDERNEMERSCHAP

INHOUD

Blz.

SAMENVATTING 1.

INLEIDING ........................................................................................ 1 1.1 1.2 1.3 1.4

2.

OPZET EN ONTWIKKE LING VAN HET PROGRAMMAONDERZOEK ................................................................ 4 2.1 2.2 2.3 2.4 2.5

3.

3.6

P RESTATIEMETING .........................................................................9 I NHOUDELIJKE THEMA ’ S , ACTIVITEITEN EN OUTPUT .......................... 10 K WALITEIT VAN DE OUTPUT ........................................................... 11 B EREIK EN GEBRUIK VAN DE OUTPUT .............................................. 12 T OEGEVOEGDE WAARDE VAN HET PROGRAMMAONDERZOEK EN ALTERNATIEVE KENNISBRONNEN .................................................... 22 B EOORDELING ............................................................................ 25

DOELMATIGHEID VAN HET PROGRAMMAONDERZOEK ................... 28 4.1 4.2 4.3 4.4

26990

D OEL VAN HET PROGRAMMAONDERZOEK ........................................... 4 L EERPUNTEN VAN DE VORIGE EVALUATIE ........................................... 5 S TURINGSMODEL...........................................................................6 F INANCIËN ................................................................................... 7 I NBEDDING VAN HET PROGRAMMAONDERZOEK IN DE EZBEGROTING .................................................................................. 7

DOELTREFFENDHEID VAN HET PROGRAMMAONDERZOEK ...............9 3.1 3.2 3.3 3.4 3.5

4.

A ANLEIDING VOOR DE EVALUATIE .................................................... 1 D OEL VAN DE EVALUATIE EN DE EVALUATIESYSTEMATIEK ..................... 1 A ANPAK VAN DE EVALUATIE ............................................................ 2 S TRUCTUUR VAN HET RAPPORT ....................................................... 3

A ANSTURING EN UITVOERING VAN HET PROGRAMMAONDERZOEK ........ 28 I NTERNE ORGANISATIESTRUCTUUR EN PROGRAMMAJAARCYCLUS .......... 31 P ROGRAMMABUDGET EN KOSTEN VAN UITVOERING ........................... 34 B EOORDELING ............................................................................ 38

5.

PUBLIEKE KARAKTER VAN HET PROGRAMMAONDERZOEK ............. 41 5.1 5.2 5.3 5.4

6.

CONCLUSIES EX-POST EVALUATIE PROGRAMMAONDERZOEK ........ 52 6.1 6.2

7.

B ELEIDSCONTEXT VAN HET PROGRAMMAONDERZOEK ........................ 41 H ET PUBLIEKE KARAKTER VAN HET PROGRAMMAONDERZOEK .............. 42 D E UITVOERING VAN EEN PUBLIEK PROGRAMMA DOOR EEN PRIVATE PARTIJ ........................................................................... 46 B EOORDELING ............................................................................ 48

D OELTREFFENDHEID .................................................................... 52 D OELMATIGHEID .......................................................................... 55

DE TOEKOMST VAN H ET PROGRAMMAONDERZOEK........................ 59 7.1 7.2 7.3 7.4

S TRATEGISCHE BOUWSTENEN ........................................................ 59 S CENARIO ’ S VOOR HET PROGRAMMAONDERZOEK .............................. 62 B OUWSTENEN VOOR DE OPERATIONELE BEGROTINGSDOELSTELLING ............................................................71 C ONCLUSIES ................................................................................71

Bijlagen: 1.

Verantwoording van de evaluatie.

2.

Schriftelijke bronnen.

3.

Gesprekspartners.

4.

Samenstelling begeleidingscommissie.

5.

Verantwoording enquête.

6.

Doeltreffendheid van het programmaonderzoek.

7.

Buitenlandse experts peer review.

8.

Doelmatigheid van het programmaonderzoek.

26990

SAMENVATTING

Programmaonderzoek MKB en Ondernemerschap Het Programmaonderzoek MKB en Ondernemerschap heeft tot doel een publieke kennisinfrastructuur met basisinformatie over MKB en Ondernemerschap in stand te houden, uit te bouwen en voor gebruikers te ontsluiten. Gebruikers zijn met name beleidsmakers, het (georganiseerde) bedrijfsleven en (wetenschappelijke) onderzoekers. Het programmaonderzoek omvat de ontwikkeling en onderhoud van vier economische modellen en 27 primaire en secundaire datasets. Strategisch onderzoek levert jaarlijks circa 35 wetenschappelijke (Engelstalige) rapporten, 15 wetenschappelijke artikelen, 40 (Nederlandstalige) publieksgerichte rapporten en 10 publieksgerichte artikelen op. De website van het programmaonderzoek speelt een belangrijke rol in de ontsluiting van kennis. In 2003 telde de website 1,8 miljoen hits en er werden 187.000 downloads van rapporten geteld. Het programmaonderzoek wordt gefinancierd door het Ministerie van EZ (circa € 4 miljoen per jaar). De aansturing en controle op het programmaonderzoek zijn gedelegeerd aan een programmacommissie. Een adviesraad, bestaande uit personen uit wetenschap, koepelorganisaties en overheid, adviseert over de inhoudelijke thema’s van het programmaonderzoek. Voor advisering over datasets, modelbouw en wetenschappelijk onderzoek zijn twee adviesorganen benoemd, die bestaan uit personen met een wetenschappelijke achtergrond. Het programmaonderzoek wordt uitgevoerd door EIM BV. Evaluatie Programmaonderzoek 2001 - 2004 In de basisbeschikking Subsidie Programmaonderzoek MKB en Ondernemerschap 2001 - 2004 is vastgelegd dat in 2004 een evaluatie plaatsvindt. Deze evaluatie is kort geleden urgent geworden, omdat in de Tweede Kamer een motie is aangenomen waarin wordt verzocht het programmaonderzoek vóór de zomer van 2004 te evalueren. De motie is ingediend naar aanleiding van het voornemen van het Ministerie van EZ om de subsidie voor het programmaonderzoek om te buigen van € 4 miljoen in 2004 naar € 1 miljoen in 2007. In opdracht van het Ministerie van EZ heeft Berenschot het programmaonderzoek geëvalueerd. De evaluatie is begeleid door een commissie onder leiding van prof. dr. P. Nijkamp. In de evaluatie is onderzoek gedaan naar de doeltreffendheid en doelmatigheid van de uitvoering van het programmaonderzoek op basis van documenten, gesprekken met circa 30 stakeholders en een enquête onder ruim 1.000 geregistreerde gebruikers. Conclusies De algemene doelstellingen van het programmaonderzoek zijn goed geoperationaliseerd in prestatie-indicatoren en streefwaarden voor output, kwaliteit en bereik/gebruik van kennisproducten. Het programmaonderzoek is doeltreffend gebleken, blijkens het behalen van deze streefwaarden. Kanttekening is dat de streefwaarden in hoge mate zijn gebaseerd op de prestaties in eerdere jaren vanwege het ontbreken van een adequate benchmark. De samenhang in het programmaonderzoek is op onderdelen groot. De datasets en modellen worden gezien als ‘basiskennisinfrastructuur’ en ‘motor’ voor het programmaonderzoek. Veel strategisch onderzoek is gebaseerd op deze basisinformatie.

26990

De kwaliteit van de producten en diensten uit het programmaonderzoek is goed. Dit blijkt overtuigend uit de opvattingen van wetenschappers, zowel in binnenals buitenland. Ook de ‘gewone’ gebruikers van het programmaonderzoek zijn positief over de kwaliteit van het programmaonderzoek. In het gebruik van het programmaonderzoek zien we een tweedeling. Sommige producten, met name rapportages en ruwe datasets, worden gebruikt voor algemene doeleinden zoals algemene kennisontwikkeling en oriëntatie op nieuwe onderwerpen. Andere producten, bijvoorbeeld specifieke datareeksen via dataleveranties en minirapportages via infoservice, worden voor specifieke doeleinden gebruikt, zoals analyses, beleidsvoorbereiding en onderzoek. De grote toename van het bezoek aan de website duidt op een sterke verbetering van de ontsluiting. Deze verbeterde ontsluiting was voor de programmacommissie een belangrijk aandachtspunt in de afgelopen periode. Kijken we naar de oordelen van gebruikers over het publieke karakter van de verschillende producten uit het programmaonderzoek, dan lopen de meningen nog al eens uiteen. Toch zien we wel dat praktisch alle gebruikers het erover eens zijn dat de datasets en modelbouw in de sterkste mate als publieke voorziening kunnen worden aangemerkt. Daarnaast worden ook strategische analyses, die primair betrekking hebben op de interpretatie en ontsluiting van databestanden en modellen, ook tot het publieke domein gerekend. De publieksgerichte rapportages, quick service en informatieservice worden in mindere mate als publieke goederen aangemerkt. Of een specifiek kennisproduct onder het programmaonderzoek moet worden geschaard, wordt bepaald door de programmacommissie en EIM op basis van ‘professional judgement’. Objectieve criteria voor publieke kennisproducten ontbreken. De programmacommissie en adviesraad hebben goed gefunctioneerd. Mogelijkheden voor verbetering liggen op het terrein van de sturing op doelmatigheid en scherpere vraagarticulatie. Een scherpere vraagarticulatie kan de toepassingsmogelijkheden van kennisproducten vergroten. Het Ministerie van EZ heeft weinig gebruikgemaakt van mogelijkheden om via de adviesraad een inhoudelijke bijdrage te leveren. Het ministerie is ook nauwelijks herkenbaar als ‘afzender’ van het programmaonderzoek. De organisatie en uitvoering van het programmaonderzoek bij EIM zijn transparant, waarbij veel aandacht bestaat voor coördinatie en kwaliteitsbevordering. De grote inspanningen voor kwaliteitsbevordering gaan ogenschijnlijk gepaard met hoge kosten, maar door het ontbreken van vergelijkingsmateriaal kan geen finaal oordeel hierover worden gegeven. Bij de invoering van de VBTB-begrotingssystematiek in 2002 heeft het Ministerie van EZ het programmaonderzoek ondergebracht bij de begrotingsdoelstelling ‘bevorderen van ondernemerschap’. Gebleken is dat het programmaonderzoek als beleidsinstrument niet aantoonbaar bijdraagt aan het behalen van deze operationele EZ-begrotingsdoelstelling. Het programmaonderzoek draagt echter wel bij aan andere EZ-begrotingsdoelstellingen over onafhankelijke analyses, prognoses en statistisch onderzoek. Dit zijn begrotingsdoelstellingen waarin ook instanties zoals CPB en CBS zijn ondergebracht. Voor de toekomst is het van belang dat een vorm van programmaonderzoek blijft bestaan. In een hoogontwikkelde kenniseconomie, waarin het MKB en Ondernemerschap belangrijke motoren zijn voor groei, blijft basisinformatie over cijfers en trends noodzakelijk voor overheid en (verenigd) bedrijfsleven.

26990

Bij de financiering van programmaonderdelen kunnen in de toekomst alternatieve financiële bronnen worden gezocht. Tot nu toe werd het complete programmaonderzoek publiek gefinancierd, maar het is goed denkbaar dat voor specifieke projecten een private bijdrage wordt gevraagd. Vanwege de breedte van het programmaonderzoek ligt het voor de hand de publieke financiering te verbreden naar andere departementen. Voor de toekomst zijn in het kader van dit onderzoek drie scenario’s voor het programmaonderzoek gepresenteerd: 1.

Afbouwen: beperking van het programmaonderzoek tot een basisinfrastructuur met datasets en modellen.

2.

Continueren: het programmaonderzoek wordt in zijn huidige vorm voortgezet.

3.

Programmaonderzoek conform model Wijffels: onderscheid tussen ‘taakfunctie’ (datasets en modellen) en ‘marktfunctie’ (strategisch onderzoek en publieksgerichte rapporten). Binnen de marktfunctie is er een optimale vraagsturing door gebruikers.

26990

1.

INLEIDING

1.1

A ANLEIDING

VOOR DE EVALUATIE

Berenschot heeft van het Ministerie van Economische Zaken (EZ) de opdracht gekregen voor de evaluatie van het Programmaonderzoek MKB en Ondernemerschap. Dit programmaonderzoek wordt conform de basisbeschikking Subsidie Programmaonderzoek MKB en Ondernemerschap 2001 - 20041 uitgevoerd door EIM BV. In die basisbeschikking is vastgelegd dat in 2004 een evaluatie plaatsvindt. Deze evaluatie is kort geleden urgent geworden, omdat in de Tweede Kamer een motie2 is aangenomen waarin wordt verzocht de evaluatie vóór de zomer van 2004 te laten plaatsvinden. De motie is ingediend naar aanleiding van het voornemen van het Ministerie van EZ om de subsidie voor het programmaonderzoek om te buigen van € 4 miljoen in 2004 naar € 1 miljoen in 2007. Na het gereedkomen van het evaluatierapport wordt het voorstel van het ministerie over de subsidie voor het programmaonderzoek aan de Tweede Kamer voorgelegd. De onderliggende evaluatie is uitgevoerd volgens de geldende richtlijnen voor evaluatieonderzoek, zoals vastgelegd in de Regeling Prestatiegegevens en Evaluatieonderzoek voor de rijksoverheid. 1.2

D OEL

VAN DE EVALUATIE EN DE EVALUATIESYSTEMATIEK

In bijlage 1 zijn de onderzoeksvragen van het Ministerie van EZ weergegeven. Kort samengevat is het doel van het evaluatieonderzoek tweeledig. In de eerste plaats is er een retrospectief deel. Doel van dit deel van het evaluatieonderzoek is te komen tot een oordeel over de doeltreffendheid en doelmatigheid van de uitvoering van het programmaonderzoek. Figuur 1.1 geeft een overzicht van onze evaluatiesystematiek. Drie elementen staan centraal: •

Doeltreffendheid van het programmaonderzoek. Hieronder wordt verstaan de mate waarin de vooraf gestelde doelen van het programmaonderzoek, zoals vastgelegd in de basisbeschikking, worden bereikt en de mate waarin het programmaonderzoek hieraan een bijdrage heeft geleverd.

•

Doelmatigheid van de uitvoering van het programmaonderzoek. Hieronder wordt verstaan de aansturing en de bedrijfsvoering bij de uitvoering van het programmaonderzoek.

•

Doelmatigheid van het programmaonderzoek als beleidsinstrument. Een belangrijke vraag voor de toekomst is of het programmaonderzoek het geëigende instrument is voor het bereiken van de gestelde beleidsdoelen. De vraag die zich dan opwerpt is: leidt de inzet van middelen in het programmaonderzoek tot de meeste effecten of kunnen de middelen beter of anders worden ingezet om de beleidsdoelen te bereiken?

1

2

Basisbeschikking Subsidie Programmaonderzoek MKB en Ondernemerschap 2000 - 2004, d.d. 8 december 2000. Brief met kenmerk ES/OM 00068093. Motie van het kamerlid Aptroot c.s., voorgesteld op 8 oktober 2003. Tweede Kamer, vergaderjaar 2003 - 2004, 29 200 XIII, nr. 10.

26990

1

Figuur 1.1 Evaluatiesystematiek. Aspecten voor evaluatieonderzoek naar het Onderzoeksprogramma MKB en Ondernemerschap

EZ-beleid

Input

Throughput

Output

Outcome

Programmadoelen 2000 - 2004

Kosten van het onderzoeksprogramma

Uitvoering door EIM, aansturing door PC en EZ

Prestaties, producten

Effecten (te relateren aan beleidsdoelen)

Doelmatigheid van de uitvoering van het programma Doelmatigheid van het programma als beleidsinstrument Doeltreffendheid van het programma

Invloed omgevingsfactoren

In de tweede plaats is er een prospectief deel. Doel van dit deel van het evaluatieonderzoek is bouwstenen en scenario’s aan te reiken op basis waarvan een besluit kan worden genomen over de toekomst van het programmaonderzoek. 1.3

A ANPAK

Fase 1:

VAN DE EVALUATIE

Opstellen evaluatiekader.

De evaluatiesystematiek is bij de start van het onderzoek uitgewerkt in een evaluatiekader, dat is besproken met de begeleidingscommissie (voor samenstelling van de begeleidingscommissie, zie bijlage 4). Het evaluatiekader had tot doel vooraf duidelijkheid te geven over de evaluatiewijze en de gedetailleerde onderzoeksaanpak. In het evaluatiekader is uiteengezet welke aspecten (onderwerpen) en bijbehorende indicatoren worden onderzocht om te komen tot een oordeel over de doeltreffendheid en de doelmatigheid van de uitvoering. Fase 2:

Feitenonderzoek.

In deze fase zijn achtergronddocumenten van het Ministerie van EZ, onderzoeksrapporten, dossiers en databestanden van EIM bestudeerd (zie bijlage 2). Aan de hand van deze secu ndaire informatie is een breed beeld ontstaan over de inhoud en het proces van uitvoering van het programmaonderzoek. Fase 3:

Inventarisatie meningen en perce pties.

Parallel aan het feitenonderzoek zijn gesprekken gevoerd met circa dertig personen (zie bijlage 3), die deskundig zijn op het terrein van een of meer onderdelen van het programmaonderzoek. Deze deskundigen zijn vertegenwoordigers van het Ministerie van EZ, EIM, koepelen brancheorganisaties, kennis- en onderzoeksinstellingen, private ondernemingen, enzovoort.

26990

2

Daarnaast is een internet-enquête uitgevoerd onder ruim 1.000 gebruikers van producten en diensten uit het programmaonderzoek. De opzet en verantwoording van de enquête staat in bijlage 5 weergegeven. Fase 4:

Analyse bevindingen, toetsing en eindrapportage.

In deze fase zijn de resultaten uit de voorgaande fasen geanalyseerd en gerapporteerd. De bevindingen zijn besproken met EIM en het Ministerie van EZ, op basis waarvan feitelijke onjuistheden en misinterpretaties zijn gecorrigeerd. Het concepteindrapport is besproken met de begeleidingscommissie. De eindverantwoordelijkheid voor de inhoud van het rapport berust bij Berenschot. 1.4

S TRUCTUUR

VAN HET RAPPORT

Retrospectieve deel: hoofdstuk 2 tot en met 6. In hoofdstuk 2 wordt een beeld gegeven van de opzet en ontwikkeling van het programmaonderzoek in de afgelopen periode. Hier worden de doelstelling van het programma, de uitvoering en leerervaringen van een eerdere evaluatie door de commissie-Verhaegen in 1999 beschreven. De hoofdstukken 3 tot en met 6 bevatten de ex-post evaluatie van het programmaonderzoek over de periode 2001 - 2004. In hoofdstuk 3 besteden wordt aandacht besteed aan de doeltreffendheid van het programmaonderzoek. Hierbij wordt een analyse gemaakt van de output, kwaliteit en de effecten (in termen van bereik en gebruik) van het programmaonderzoek. Hoofdstuk 4 behandelt de doelmatigheid van de uitvoering van het programmaonderzoek. Hier wordt aandacht besteed aan de aansturing, uitvoering en kosten van het programmaonderzoek. Hoofdstuk 5 behandelt het publieke karakter van het programmaonderzoek. In de hoofdstukken 3 tot en met 5 wordt steeds onderscheid gemaakt tussen een presentatie van feitelijkheden, meningen van geïnterviewden, uitkomsten van de enquête aan de ene kant en een oordeel van Berenschot over respectievelijk doeltreffendheid, doelmatigheid en het publieke karakter van het programmaonderzoek aan de andere kant. Het oordeel van Berenschot is gebaseerd op de bevindingen uit de betreffende analyses. In hoofdstuk 6 worden de conclusies gepresenteerd. Hierbij wordt antwoord gegeven op de onderzoeksvragen (bijlage 1) die het Ministerie van EZ bij aanvang van de evaluatie heeft gesteld. Prospectieve deel: hoofdstuk 7. In hoofdstuk 7 wordt vooruitgeblikt naar de toekomst. Op basis van de evaluatie worden enkele strategische bouwstenen geformuleerd. Vervolgens worden drie scenario’s voor de toekomst van het programmaonderzoek uiteengezet.

26990

3

2.

OPZET EN ONTWIKKELING VAN HET PROGRAMMAONDERZOEK

Om de doeltreffendheid en doelmatigheid van het programmaonderzoek in de periode 2001 - 2003 goed te kunnen beoordelen, worden in dit hoofdstuk kort de belangrijkste kenmerken en de meest recente historie van het programmaonderzoek geschetst. Wanneer in de volgende hoofdstukken de resultaten van het programmaonderzoek worden beschreven, wordt steeds teruggekomen op de hierna weergegeven doeleinden, het sturingsmodel en de financiën. 2.1

D OEL

VAN HET PROGRAMMAONDERZOEK

Sinds geruime tijd financiert het Ministerie van EZ onderzoek naar MKB en Ondernemerschap, dat wordt uitgevoerd door EIM. In de Basisbeschikking Subsidie Programmaonderzoek MKB en Ondernemerschap 2001 - 2004 heeft de minister van EZ aan EIM subsidie toegezegd voor het programmaonderzoek. Het programmaonderzoek heeft als doelstelling: ‘Een publieke kennisinfrastructuur met basisinformatie over MKB en Ondernemerschap in stand te houden, uit te bouwen en voor gebruikers te ontsluiten. Deze basisinformatie omvat hoogwaardige en betrouwbare data en kennis over het economische belang en prestaties op het terrein van ondernemerschap en het MKB in Nederland. Deze basisinformatie dient bekend te zijn en gebruikt te worden door gebruikers bij overheden, bedrijven en intermediairs, onderzoeks- en onderwijsinstellingen en andere relevante maatschappelijke organisaties.’ In aansluiting op de basisbeschikking is de doelstelling nader uitgewerkt in de volgende missie voor het programmaonderzoek: ‘De missie van het programmaonderzoek is een belangrijke bijdrage te leveren aan het functioneren van MKB en Ondernemerschap in Nederland. Het programmaonderzoek levert deze bijdrage door relevante, actuele, consistente en betrouwbare data, informatie en kennis op te bouwen (kennisontwikkeling) en ter beschikking te stellen aan beleidsmakers, intermediaire organisaties, bedrijven, onderwijs- en kennisinstellingen (kennisoverdracht). Deze publieke kennisinfrastructuur vormt een kenniscentrum of ‘zwaartepuntinstituut’ op het terrein van MKB en Ondernemerschap.’ Wat de doelgroep bedrijven betreft, is de verwachting dat deze groep vooral bereikt wordt via andere doelgroepen, namelijk de beleidsmakers (met name het Ministerie van EZ), koepelorganisaties (met name VNO-NCW en MKB Nederland), brancheorganisaties en onderwijs- en kennisinstellingen. Het indirecte bereik van de doelgroep bedrijven is vastgelegd in een apart document van de programmacommissie dat is afgestemd met het Ministerie van EZ. Verder zijn er nog aanvullende doelgroepen te onderscheiden, namelijk pers/media, commerciële onderzoeksbureaus en studenten/scholieren. Het programmaonderzoek kent de volgende deelprogramma’s: •

26990

Informatiesystemen. Het betreft activiteiten om primaire en secundaire datasets te genereren over het economisch belang en de economische prestaties van het MKB en Ondernemerschap.

4

•

Modelbouw. Dit betreft de ontwikkeling en het onderhoud van economische modellen die kwantitatieve economische analyses, gericht op MKB en Ondernemerschap mogelijk maken. Hierover worden regelmatig wetenschappelijke artikelen geschreven.

•

Onderzoeksgerichte rapportages. Dit zijn wetenschappelijke verkenningen van witte vlekken in de kennis over MKB en Ondernemerschap. Deze kennis wordt onsloten via strategische verkenningen, research-reports (basaal en Engelstalig), wetenschappelijke artikelen en SCALES papers (‘work in progress’).

•

Publieksgerichte rapportages. Dit zijn Nederlandstalige rapporten voor een brede doelgroep over onderwerpen die betrekking hebben op MKB en Ondernemerschap. De rapportages hebben het karakter van een minirapportage, een publieksrapport, een strategische verkenning of een artikel.

•

Kennisoverdracht ‘overige kanalen’ (dat wil zeggen: niet via rapportages). Dit betreft de kennisoverdracht van de in het kader van het programmaonderzoek opgebouwde kennis door middel van een website, telefonische informatieservice, datalab en de zogenaamde quick services.

2.2

L EERPUNTEN

VAN DE VORIGE EVALUATIE

Eind 1998/begin 1999 is het programmaonderzoek geëvalueerd door de onafhankelijke commissie-Verhaegen3. De commissie deed onderzoek naar de effectiviteit en efficiency van het programmaonderzoek 1995 - 1998 en stond onder voorzitterschap van prof. dr. P.H.A.M. Verhaegen. De commissie concludeerde dat EIM op een kwalitatief goede en doelmatige wijze systematisch en wetenschappelijk verantwoord onderzoek uitvoerde. Ook stelde de commissie vast dat overheidsfinanciering noodzakelijk is om te waarborgen dat er voldoende systematisch en wetenschappelijk verantwoord onderzoek wordt gedaan naar MKB en Ondernemerschap. Wel was de commissie van mening dat een deel van het programmaonderzoek geen publiek karakter had (zie ook paragraaf 5.2). De commissie stelde voor om op drie hoofdpunten de aansturing van het programmaonderzoek te verbeteren: •

Inhoud: betere afbakening van het programmaonderzoek tot onderzoek met een publiek karakter was wenselijk. De overige onderdelen van het toenmalige programmaonderzoek konden openbaar worden aanbesteed.

•

Aansturing: de aansturing van het programmaonderzoek moest worden verbeterd, mede omdat het leidde tot veel administratieve lasten voor het Ministerie van EZ en EIM.

•

Concurrentieverstoring: EIM had een concurrentievoorsprong door de subsidierelatie met het Ministerie van EZ. Een betere toegankelijkheid van resultaten van het programmaonderzoek zou de concurrentieverstoring tot aanvaardbare proporties kunnen terugbrengen en de maatschappelijke reikwijdte van het programmaonderzoek kunnen verbeteren.

3

Commissie-Verhaegen, Evaluatie Programmaonderzoek EIM, 20 januari 1999.

26990

5

In reactie op het rapport van de commissie-Verhaegen heeft het Ministerie van EZ het programmaonderzoek op de volgende punten aangepast: •

De inhoud van het programmaonderzoek werd exclusief gericht op activiteiten met een publiek karakter. Dit betekende dat twee soorten activiteiten niet meer via het programmaonderzoek zouden worden gefinancierd: a) activiteiten waarvan aan de vraagzijde één of meer partijen zijn te identificeren, die dergelijke activiteiten zouden kunnen financieren en b) activiteiten waarvan aan de aanbodzijde één of meer partijen zijn te identificeren, die dezelfde activiteiten zouden kunnen uitvoeren.

•

De aansturing van het programma werd in handen gelegd van een programmaco mmissie die namens het ministerie de rol vervult van opdrachtgever aan EIM.

•

De concurrentieverstoring werd verminderd door een stevige inspanning te plegen om de toegankelijkheid van de onderzoeksresultaten voor eenieder sterk te verbeteren.

2.3

S TURINGSMODEL

De aansturing van het programmaonderzoek is sinds 2000 gewijzigd ten opzichte van de periode daarvoor. Momenteel formuleert het Ministerie van EZ de beleidskaders voor het programmaonderzoek. In deze kaders wordt aangegeven welke prestaties het programmaonderzoek moet opleveren en welke activiteiten in het kader van het programmaonderzoek kunnen worden verricht. Alleen activiteiten die naar het oordeel van het Ministerie van EZ binnen het publieke domein vallen kunnen uit de subsidie worden gefinancierd4. De aansturing van het programmaonderzoek is in handen van een externe programmacommissie. De programmacommissie treedt namens het Ministerie van EZ op als gedelegeerd opdrachtgever van het programmaonderzoek. De programmacommissie toetst vooraf, tijdens en achteraf op basis van de beleidskaders van EZ en prestatie-indicatoren op doelmatigheid en doeltreffendheid5. De programmacommissie wordt in haar taak bijgestaan door een externe adviesraad, bestaande uit maximaal vijftien vertegenwoordigers van de verschillende doelgroepen van het programmaonderzoek. De raad verzorgt de 'vraagarticulatie' en doet suggesties voor toekomstig programmaonderzoek met hoge maatschappelijke relevantie en meerwaarde. Tevens geeft de raad advies over de ontsluiting van de resultaten van het programmaonderzoek6. Daarnaast waken twee externe commissies van gespecialiseerde externe deskundigen over de kwaliteit van de dataverzameling (Commissie Informatiesystemen) en het wetenschappelijke onderzoek en de modellen (Commissie SCALES). De commissie-Verhaegen heeft geconstateerd dat er indertijd in Nederland geen ander instituut dan EIM bestond dat toen het onderzoeksprogramma als geheel zou kunnen uitvoeren. Openbaar aanbesteden was volgens de commissie dus geen optie.

4 5

6

Startnotitie Ministerie van Economische Zaken: een nieuwe sturingsrelatie EZ-EIM, 1999. Instellingsbesluit Programmacommissie programmaonderzoek ondernemerschap en MKB, juli 2001. Instellingsbesluit Adviesraad programmaonderzoek ondernemerschap en MKB, juli 2001.

26990

6

Wel heeft het Ministerie van EZ afgesproken de mogelijke consequenties en modaliteiten van een eventuele aanbesteding verder uit te werken7. Uit documenten van het ministerie en gesprekken met medewerkers van het departement kan niet worden afgeleid dat dit daadwerkelijk heeft plaatsgevonden. Navraag leerde dat het departement hier nog niet aan toegekomen is. 2.4

F INANCIËN

Tot 1995 verstrekte het Ministerie van EZ een vorm van exploitatiesubsidie die EIM in staat stelde onderzoek te doen. Vanaf 1995 financiert het ministerie uitsluitend activiteiten en projecten in programmaverband. Naar aanleiding van het evaluatierapport uit 1999 zijn de door het ministerie verstrekte gelden herijkt. De onderdelen van het programmaonderzoek die niet als ‘publiek’ konden worden aangemerkt (zie ook paragraaf 5.2), zijn indertijd uit het programmaonderzoek gehaald. In 1999 was ƒ 8,7 miljoen (bijna € 4 miljoen) beschikbaar voor het programmaonderzoek. Voor de periode 2001 - 2004 was in totaal € 14,8 miljoen beschikbaar8; gemiddeld per jaar € 3,7 miljoen, exclusief een jaarlijkse verhoging conform departementale richtlijnen voor loon- en prijsstijging. 2.5

I NBEDDING

VAN HET PROGRAMMAONDERZOEK IN DE

EZ- BEGROTING

Conform de VBTB-begrotingsrichtlijnen9 van het Ministerie van Financiën heeft het Ministerie van EZ in 2002 voor het eerst een VBTB-begroting opgesteld. Doel van de VBTBbegrotingssystematiek is om een duidelijk verband aan te brengen tussen (operationele) beleidsdoelen en bijbehorende beleidsinstrumenten. Per beleidsdoel moet worden aangegeven welke beleidsinstrumenten worden ingezet, via welke effectindicatoren doeltreffendheid kan worden gemeten en welke concrete prestaties worden nagestreefd (streefwaarden). Het programmaonderzoek is als beleidsinstrument ondergebracht bij begrotingsartikel 3 ‘Bevorderen ondernemingsklimaat’. Een van de beleidslijnen uit dit begrotingsartikel is ‘Bevorderen van ondernemerschap’. Een concrete operationele doelstelling van deze beleidslijn is ‘het creëren en bewaken door de overheid van de randvoorwaarden die een optimale inzet van productiefactoren mogelijk maakt’. Effectindicatoren en streefwaarden zijn gedefinieerd in termen van aantal ondernemers als percentage van de beroepsbevolking en aantal volwassenen dat actief bezig is met het opzetten van een eigen bedrijf. De programmacommissie en EIM zijn niet geïnformeerd over het onderbrengen van het programmaonderzoek bij het betreffende begrotingsartikel. In de begroting 2004 van het Ministerie van EZ is voorgesteld te bezuinigen op het programmaonderzoek. In de begroting staat te lezen dat ‘….het structurele programmaonderzoek wordt afgebouwd in een driejaarsperiode. Het instandhouden van de basisinformatie draagt in het huidige informatietijdperk onvoldoende bij aan de operationele doelstelling’.

7 8

9

Startnotitie Ministerie van Economische Zaken: een nieuwe sturingsrelatie EZ-EIM, 1999. Basisbeschikking Subsidie Programmaonderzoek MKB en Ondernemerschap 2000 - 2004, d.d. 8 december 2000. Brief met kenmerk ES/OM 00068093. Regeringsnota ‘Van beleidsbegroting tot beleidsverantwoording’, opgesteld door het Ministerie van Financiën, d.d. 19 mei 1999.

26990

7

De facto betekent de afbouw van het programmaonderzoek dat het budget verbonden met het onderzoeksprogramma zal worden omgebogen van de huidige ruim € 4 miljoen per jaar naar € 1 miljoen vanaf 2007. Bij de begrotingsbehandeling in oktober 2003 is in de Tweede Kamer een motie10 aangenomen waarin wordt verzocht om vóór 1 juli 2004 een evaluatie van het programmaonderzoek te laten plaatsvinden. Na het gereedkomen van het evaluatierapport wordt het definitieve voorstel van het Ministerie van EZ over de subsidie voor het programmaonderzoek aan de Tweede Kamer voorgelegd.

10

Motie van het kamerlid Aptroot c.s., voorgesteld op 8 oktober 2003. Tweede Kamer, vergaderjaar 2003 - 2004, 29 200 XIII, nr. 10.

26990

8

3.

DOELTREFFENDHEID VAN HET PROGRAMMAONDERZOEK

In het vorige hoofdstuk zijn de doelstelling en doelgroepen van het programmaonderzoek uiteengezet. Om tot een oordeel te komen over de doeltreffendheid van het programmaonderzoek, is het van belang de oorspronkelijke doelstellingen te vergelijken met de uitkomsten van het programmaonderzoek. Daarom worden in dit hoofdstuk de output, kwaliteit van de output, effecten (in termen van bereik en gebruik) en toegevoegde waarde van het programmaonderzoek geanalyseerd. 3.1

P RESTATIEMETING

Binnen de deelprogramma’s van het programmaonderzoek zijn prestatie-indicatoren geformuleerd voor de output, kwaliteit van de output en bereik/gebruik van de output. De prestatie-indicatoren zijn bepaald door het Ministerie van EZ in het kader van de basisbeschikking 2001 - 2004. Gaandeweg zijn de prestatie-indicatoren iets aangepast, met goedkeuring van het ministerie. EIM meet de scores op de indicatoren en rapporteert hierover aan de programmacommissie. De programmacommissie rapporteert over de prestaties van EIM aan EZ. Vanaf 2002 heeft de programmacommissie streefwaarden voor de prestaties vastgesteld. Het voorstel voor de streefwaarden was afkomstig van EIM en gebaseerd op de ervaringen in het aanvangsjaar 2001 van de nieuwe meetmethodiek. Voor 2002 en verder stelde de programmacommissie de volgende ‘eis’ aan EIM: •

Kwantiteit van de output blijft constant.

•

Kwaliteit van de output moet minimaal gelijk blijven.

•

Een sterke verbetering van de ontsluiting met als gevolg een sterke toename van het bereik/gebruik van het programmaonderzoek.

De streefwaarden zijn marginaal getoetst door het Ministerie van EZ. Conform de afspraken over ‘sturing op afstand’ door het departement, werd de verantwoordelijkheid voor het vaststellen van streefwaarden overgelaten aan de programmacommissie. Uit de prestatiemetingen van de jaren 2001 - 2003 blijkt dat EIM de streefwaarden voor output, kwaliteit en bereik/gebruik steeds heeft gehaald. Uit de prestatiemetingen blijkt ook de ‘multichannel’ strategie van het programmaonderzoek, die is gekozen om het bereik van het programmaonderzoek zo groot mogelijk te laten zijn. Deze strategie houdt in dat onderzoeksresultaten langs verschillende kanalen (wetenschappelijke rapporten, publieksgerichte rapporten, artikelen, persberichten, lezingen, etcetera) worden verspreid. De ‘multichannel’ strategie uit zich in de inhoudelijke overlap tussen producten. Kanttekening hierbij is dat in de prestatiemetingen niet altijd duidelijk is in hoeverre er een inhoudelijke overlap bestaat tussen verschillende outputonderdelen. Zo is het mogelijk dat een research-report toegankelijk wordt gemaakt voor een breed publiek via een Nederlandstalige publieksrapportage. Deze publieksrapportage kan vervolgens worden samengevat in een bondig artikel. En over de inhoud van een artikel kunnen lezingen worden gegeven. Dit alles voortbordurend op één onderzoeksproject.

26990

9

3.2

I NHOUDELIJKE

THEMA’ S , ACTIVITEITEN EN OUTPUT

Naast een formele ordening in deelprogramma’s (zie paragraaf 2.1), die met name een rol speelt in de budgettering en het programmamanagement, is er ook een ordening gekozen naar themalijnen. Deze thematische indeling is met name van belang voor de programmering van onderzoek. De indeling in themalijnen wordt vooral gezien als een hulpmiddel en beoogt geen volmaakte classificatie. Er zijn in de afgelopen periode zeven themalijnen en een rubriek themaoverschrijdende trends onderscheiden11: Tabel 3.1

Themalijnen.

THEMALIJN

OMSCHRIJVING

Ondernemerschap

Bestudeert de determinanten en kenmerken van de prevalentie, het gedrag en de prestaties van ondernemers, en in het bijzonder van startende ondernemers. Binnen deze themalijn staan de persoon van de ondernemer en de wisselwerking tussen ondernemerschap en maatschappij centraal.

Bedrijfsprestaties MKB

Bestudeert de determinanten en kenmerken van het gedrag en de prestaties van het gevestigde midden- en kleinbedrijf. Dit gaat enerzijds om de kenmerken en het gedrag van individuele bedrijven (in relatie tot de prestaties), anderzijds om de rol en de prestaties van het Nederlandse MKB op meso- en macro-economisch niveau.

Innovatie, kennis en samenwerking

Bestudeert specifiek de determinanten en kenmerken van het gedrag van het MKB op de terreinen innovatie, kennis en samenwerking.

Arbeid en HRM

Bestudeert determinanten en kenmerken van het gedrag van MKB en startende ondernemingen met betrekking tot arbeid(smarkt) en HRM.

Marktwerking

Bestudeert de gevolgen van (gebrekkige) concurrentie in de economie en de rol van het MKB in de efficiënte allocatie van goederen en diensten.

Nalevingskosten

Bestudeert de kosten voor MKB en startende ondernemers van naleving van weten regelgeving (zowel informatieverplichtingen als inhoudelijke verplichtingen).

Duurzame economie en fysieke bedrijfsomgeving

Bestudeert besluitvorming, gedrag en prestaties van het Nederlandse MKB op het gebied van duurzaamheid en milieu.

Themaoverstijgende trends

Nieuwe, belangrijke trends en issues die niet meteen onder bestaande themalijnen vallen, zoals technologische, demografische en internationale trends, worden hier opgepakt.

Uit gesprekken met beleidsmedewerkers, koepelen brancheorganisaties en wetenschappers blijkt dat de thema’s goed herkenbaar zijn en het terrein van MKB en Ondernemerschap goed afdekken. Enkele wetenschappers hebben aangegeven dat een aantal thema’s eventueel nog aan het programmaonderzoek had kunnen worden toegevoegd. Het betreft: niet-technologische innovatie in het MKB (bijvoorbeeld innovatieve concepten voor detailhandel, horeca), de ruimtelijke invalshoek in de analyse van MKB en Ondernemerschap, financiering van het MKB (bijvoorbeeld kapitaal aantrekken uit de financiële markt) en etnisch ondernemerschap.

11

Meerjarige visie 2002 - 2004. Programmaonderzoek MKB en Ondernemerschap, EIM, november 2001.

26990

10

Uit een nadere analyse van de onderzoeksthema’s uit het programmaonderzoek blijkt dat deze thema’s wel aan bod komen, maar zijn ondergebracht bij andere hoofdthema’s. De inhoudelijke thema’s komen terug in de deelprogramma’s van het programmaonderzoek. In tabel 3.2 wordt een beknopt overzicht gegeven van de activiteiten en de output van de deelprogramma’s informatiesystemen, modelbouw, strategisch onderzoek en publieksrapportages/kennisoverdracht. Voor een overzicht van de output (op basis van de prestatiemetingen) in de jaren 20012003 verwijzen we naar bijlage 6A. Geconstateerd kan worden dat in de meeste deelprogramma’s de output in 2003 iets hoger ligt dan de jaren daarvoor. Tabel 3.2

Activiteiten en output in de deelprogramma’s in 2003.

DEELPROGRAMMA

ACTIVITEITEN

OUTPUT 2003

Informatiesystemen

Opbouw en onderhoud primaire en secundaire data

Primaire en secundaire datasets (27 datasets), waarvan er in 2003 21 zijn doorontwikkeld of geüpdatet

Modelbouw

Kwantitatieve modellen t.b.v. analyses

Operationele modellen (4), artikelen

Strategisch onderzoek

Richtinggevende en kaderstellende onderzoeken, d.m.v. kwantitatieve/ kwalitatieve analyses

Research-reports (11), SCALES papers (24) en wetenschappelijke artikelen (11)

Publieksrapportages/ kennisoverdracht

Het ontsluiten van kennis en data voor een breed publiek

Publieksrapportages (19), minirapportages (19), artikelen (15), quick services

N.B.:

Bovenstaand overzicht geeft een globale verdeling van de output over de deelprogramma’s. Feitelijk wordt een deel van de publieksrapportages, minirapportages en publieksgerichte artikelen ook geproduceerd binnen het deelprogramma ‘Strategisch onderzoek’. Binnen het programma ‘Modelbouw’ kunnen ook research-reports, SCALES papers en wetenschappelijke artikelen verschijnen.

Bron: Prestatiemeting 2003.

3.3

K WALITEIT

VAN DE OUTPUT

In de jaarlijkse prestatiemetingen zijn, zoals gezegd, prestatie-indicatoren en streefwaarden voor kwaliteit opgenomen. Voor de datasets wordt het oordeel van de Adviescommissie Informatiesystemen gebruikt. Deze adviescommissie bestaat uit vier externe deskundigen op het gebied van informatiesystemen met een wetenschappelijke achtergrond (afkomstig van het CBS, Vereniging van Kamers van Koophandel en het Ministerie van EZ). De permanente modellen en researchpublicaties worden beoordeeld door de Commissie SCALES, die bestaat uit zes externe wetenschappers. Voor researchpublicaties wordt ook gemonitord hoeveel publicaties worden geaccepteerd op congressen en door internationale tijdschriften. De publieksgerichte rapporten kunnen worden beoordeeld door downloaders van rapporten (via een on-line-enquête12) en de rapporten worden beoordeeld door een extern communicatiebureau.

12

Downloaders kunnen via internet vrijwillig een formulier invullen, waarin een rapport wordt beoordeeld.

26990

11

Alle geformuleerde streefwaarden voor kwaliteit zijn in de periode 2001 - 2003 gehaald door EIM. Het ambitieniveau voor de kwaliteit dat in deze streefwaarden is opgenomen, is in de afgelopen periode licht toegenomen. Hieruit kan worden afgeleid dat het programmaonderzoek volgens de prestatiemetingen aan kwaliteit heeft gewonnen. In bijlage 6B zijn de streefwaarden en prestaties voor kwaliteit in tabellen weergegeven. In het kader van de evaluatie zijn circa 30 gesprekken gevoerd met gebruikers van producten/diensten uit het programmaonderzoek. In de gesprekken is onder meer gesproken over de kwaliteit van de output. Over het algemeen worden de producten positief tot zeer positief gewaardeerd. Het programmaonderzoek wordt door praktisch alle gesprekspartners gezien als een betrouwbare, objectieve kennisbron. Er is weinig tot geen discussie over feitelijke juistheid van kennis vergaard in het kader van het programmaonderzoek. Begin 2004 heeft de programmacommissie in overleg met EIM een aantal gerenommeerde buitenlandse wetenschappers (zie bijlage 7) op het terrein van MKB en Ondernemerschap benaderd voor een ‘peer review’ van het programmaonderzoek. Hierin is gevraagd naar: •

De bekendheid met de opzet en resultaten van het programmaonderzoek.

•

Het oordeel over het maatschappelijke belang van het programmaonderzoek.

•

Het oordeel over de kwaliteit van de resultaten van het programmaonderzoek.

De uitkomsten van de peer review zijn positief ten aanzien van de kwaliteit, relevantie en de beschikbaarheid van de door EIM verzamelde data en van het door EIM uitgevoerde onderzoek. Illustratief zijn zinssneden als: •

‘Generally, I have found the quality of the publications to be very high and the level of scholarship to be sound and authoritative’ (Robert Blackburn).

•

‘EIM has set an enviable standard for open access to quality data and excellence in research’ (Bruce Kirchhoff).

•

‘Frankly, I consider EIM to be THE premier source of informed assessments on the role of SMEs and new firms in economic development and change in Europe’ (Paul Reynolds).

3.4

BEREIK

EN GEBRUIK VAN DE OUTPUT

Het programmaonderzoek richt zich op de opbouw en ontsluiting van kennis over MKB en Ondernemerschap in Nederland. Bij de analyse van effecten van het programmaonderzoek richten we ons dan ook met name op het bereik en gebruik van de output van het programmaonderzoek. Eerst wordt aandacht besteed aan de bekendheid, het bereik en gebruik van het programmaonderzoek in het algemeen. Vervolgens wordt per groep producten een beeld gegeven van het gebruik en de toepassing. 3.4.1 Bereik en gebruik van het programmaonderzoek In de prestatiemetingen zijn, zoals eerder genoemd, prestatie-indicatoren en streefwaarden opgenomen voor het bereik en maatschappelijk gebruik van het programmaonderzoek. Deze indicatoren hebben betrekking op het gebruik van primaire en secundaire datasets door externen, de verspreiding van research- en publieksgerichte publicaties, aantal hits op website en behandelende informatieverzoeken (via quick services).

26990

12

Daarnaast is gemonitord hoeveel in de pers en in nota’s van de kerngebruikers wordt verwezen naar het programmaonderzoek. In bijlage 6C is een overzicht opgenomen van de prestatie-indicatoren en streefwaarden voor het bereik en gebruik van het programmaonderzoek. Tabel 3.3 vat dit samen. Met name het gebruik van publicaties via de website is aansluitend op de enorme ontwikkelingen van dit medium de laatste tijd sterk toegenomen. Dit is ten koste gegaan van het aantal ‘hard copy’ abonnementen op publicaties. Tabel 3.3

Indicatie van bereik/gebruik van de output in 2003.

OUTPUT 2003

GEBRUIK IN 2003

Openstelling van datalab

3 datasets zijn in totaal 8 keer gebruikt door 3 verschillende partijen

Levering van primaire datasets op maat door EIMonderzoekers

68 keer

Datasets

52.000 hits op website en 112 dataleveranties

Levering van secundaire datasets op maat

92 keer

Publieksgerichte publicaties op website

145.000 down loads

Abonnementen op publieksgerichte publicaties

150

Researchpublicaties op website

42.000 down loads

Abonnementen op research-reports

77

Infoservice (snelle beantwoording van concrete vragen en doorverwijzing naar producten uit het programmaonderzoek)

3.650 telefoongesprekken

Informatieverzoeken met betrekking tot resultaten van het programmaonderzoek die behandeld worden in 1-8 uur

167

Lezingen

85

Algemene informatie op website

1,81 miljoen hits

Vermeldingen pers

303

Verwijzingen kerngebruikers

EZ 59 keer, MKB NL en VNO ieder 6 keer

Quick service mini-onderzoeken

6 mini-onderzoeken


Uit tabel 3.3 blijkt dat het programmaonderzoek volop wordt gebruikt. Uit de prestatiemetingen valt niet op te maken welke producten worden afgenomen door de verschillende gebruikersgroepen. Bekendheid van de output In het kader van het onderhavige evaluatieonderzoek is een enquête uitgevoerd onder geregistreerde gebruikers van het programmaonderzoek (zie bijlage 6C, tabel 12 en verder). Hieruit blijkt dat vooral publieksgerichte rapportages en onderzoeksgerichte rapportages grote bekendheid genieten onder de vaste gebruikers; respectievelijk 87% en 69% van de gebruikers kent de producten. De datasets en infoservice zijn relatief minder bekend; respectievelijk 47% en 37% van de gebruikers is hiermee bekend.

26990

13

De relatief lage bekendheid van de datasets kan worden verklaard uit het feit dat veel gebruikers geen ‘ruwe data’ opvragen bij EIM, maar data gebruiken die zijn verwerkt in rapportages. De lage bekendheid van de infoservice is mogelijk te wijten aan het feit dat mensen, die naar EIM bellen en vragen stellen over producten van het programmaonderzoek, zich er niet van bewust zijn dat zij gebruikmaken van de diensten die onder de infoservice vallen. Een dergelijk beeld is bevestigd in de gesprekken die zijn gevoerd met gebruikers. De rapportages vormen in zekere zin het ‘boegbeeld’ van het programmaonderzoek. Wetenschappers blijken vooral de onderzoeksgerichte rapportages te kennen, de beleidsmakers en MKB-adviseurs vooral bekend zijn met de publieksgerichte rapporten. De databestanden en modellen zijn relatief minder bekend, maar in de gesprekken met gebruikers is aangegeven dat deze in het algemeen nodig zijn voor onderbouwing van de analyses in rapporten. Het bereik van het programmaonderzoek is in het kader van deze evaluatie globaal onderzocht. Op basis van de gesprekken kan worden geconstateerd dat vele beleidsmakers en beleidsadviseurs en koepelen brancheorganisaties, onderdelen van het programmaonderzoek kennen en gebruiken. Dit geldt ook voor wetenschappers. Onder bedrijven is naar mening van de gesprekspartners de bekendheid en het gebruik veel geringer. Hierbij past de kanttekening, die uit gesprekken met gebruikers van het programmaonderzoek is af te leiden, dat het voor veel van hen onduidelijk is welke rapportages afkomstig zijn uit het programmaonderzoek. Niet de naam ‘Programmaonderzoek MKB en Ondernemerschap’, maar de naam ‘EIM’ wordt verbonden aan de producten. Doordat EIM ook in de markt actief is met onderzoek op het terrein van MKB en Ondernemerschap, is het soms onduidelijk of een product behoort tot het programmaonderzoek of tot de marktactiviteiten van EIM. Verder blijkt dat veel gebruikers maar een beperkt beeld hebben van het aanbod van producten uit het programmaonderzoek. Toch is door gebruikers ook aangegeven dat de ontsluiting van de producten uit het programmaonderzoek, waarbij vooral is gerefereerd aan de rapporten, goed is. Alle publicaties zijn via internet te downloaden. Ook kan EIM vrij gemakkelijk datareeksen leveren die voor gebruikers relevant zijn. Gebruik van de output In de enquête onder geregistreerde gebruikers is verder gevraagd naar het gebruik van de producten uit het programmaonderzoek. Hieruit blijkt dat vooral de publieksgerichte en onderzoeksgerichte rapportages veel worden gebruikt; respectievelijk 91% en 76% van de gebruikers die bekend zijn met deze producten gebruiken ze ook daadwerkelijk. De datasets en infoservice worden relatief minder gebruikt; respectievelijk 43% en 41% van de gebruikers die hiermee bekend zijn, maken er daadwerkelijk gebruik van. Wordt gekeken naar de verschillen tussen gebruikersgroepen dan blijkt dat de publieksgerichte rapporten een brede aftrek hebben. De onderzoeksrapporten worden met name gebruikt door onderwijs/ wetenschap en studenten. De datasets vinden vooral aftrek bij semi-publieke organisaties (bijvoorbeeld Kamers van Koophandel, Syntens), onderwijs/onderzoeksorganisaties en studenten. De infoservice (waaronder de informatietelefoon, vragen via de website en quick service korte vragen) wordt relatief veel benut door overheidsorganisaties, koepelorganisaties en pers/media. Andere partijen, met name wetenschappers, zijn weinig bekend met de quick service korte vragen (1-8 uur) of zijn er wel bekend mee maar maken er geen gebruik van, omdat niet duidelijk is waarin de infoservice kan voorzien.

26990

14

Uit gesprekken met gebruikers van het programmaonderzoek blijkt dat de quick service mini-onderzoek (1-5 dagen) relatief onbekend is. Dit is logisch, omdat alleen ‘beleidsmakers in brede zin’ hiervan gebruik kunnen maken. Concreet gaat het om het Ministerie van EZ, Raad voor Zelfstandig Ondernemerschap, MKB Nederland en VNO-NCW. ‘Harde’ aanwijzingen voor gebruik van de output volgens prestatiemeting In de prestatiemetingen van het programmaonderzoek meet EIM hoeveel verwijzingen worden gemaakt naar het programmaonderzoek in het algemeen, waarbij het veelal verwijzingen naar publieksgerichte rapporten betreft. In de jaren 2001, 2002 en 2003 werd door de zogenoemde ‘kerngebruikers’ (EZ, Kamerstukken, MKB Nederland, Raad voor het Zelfstandig Ondernemerschap en VNO-NCW) respectievelijk 55, 66 en 82 keer verwezen naar het programmaonderzoek. In onderstaand overzicht geven we een beeld van de verdeling van de 82 verwijzingen van de kerngebruikers in 2003. Tabel 3.4

Aantal verwijzingen naar het programmaonderzoek per kerngebruiker, 2003.

KERNGEBRUIKER

AANTAL VERWIJZINGEN

Ministerie van EZ

29

Kamerstukken

30

MKB Nederland

6

RZO

11

VNO-NCW

6

Totaal

82


Uit een analyse van de verwijzingen naar het programmaonderzoek blijkt dat niet alle verwijzingen daadwerkelijk verband houden met producten uit het programmaonderzoek. Hoewel EIM heeft aangegeven dat deze zo goed mogelijk worden gecontroleerd, blijkt dat marktactiviteiten van EIM en resultaten uit het programmaonderzoek wel eens door elkaar lopen13.

13

Voorbeeld 1: in het kabinetsstandpunt evaluatie Mededingingswet (kamerstuk 2003 - 2004, 29272, nr. 1) zou verwezen worden naar het programmaonderzoek. Het blijkt te gaan om een verwijzing naar de notitie ‘Samenwerking in het MKB en de Mededingingswet’ (EIM, Zoetermeer 2002), die geen deel uitmaakt van het programmaonderzoek. Bovendien wordt het betreffende kamerstuk twee keer in de verwijzingenlijst genoemd, zij het onder twee verschillende namen. Voorbeeld 2: in een brief van de staatsecretaris van EZ over toezichthouders in het consumentenbeleid (kamerstuk 2002 - 2003, 27879, nr. 5) zou verwezen worden naar het programmaonderzoek. Verwezen wordt naar het rapport ‘Van informatie tot handhaving. Een internationale inventarisatie van instrumenten van toezichthouders gericht op consumentenbelangen’ (EIM, Zoetermeer, februari 2003), dat geen deel uitmaakt van het programmaonderzoek. Voorbeeld 3: in schriftelijke antwoorden van de staatssecretaris van EZ op kamervragen (kamerstuk 2002 2003, 28775, nr. 2) zou worden verwezen naar het programmaonderzoek. In feite noemt de staatsecretaris een onderzoek naar de opzet van het kenniscentrum MVO van bureau Triple Value in samenwerking met EIM, dat geen deel uitmaakt van het programmaonderzoek. Voorbeeld 4: in een brief van de minister van VWS (kamerstuk 2003 - 2004, 22894, nr. 20) zou worden verwezen naar het programmaonderzoek. Het blijkt te gaan om een verwijzing naar het rapport ‘Accijnsverhoging op tabaksproducten’(EIM, Zoetermeer, 2002), dat geen deel uitmaakt van het programmaonderzoek.

26990

15

In welke mate dit het geval is, is niet systematisch onderzocht. Overigens moet worden opgemerkt dat in de marktactiviteiten waarnaar verwezen wordt, wel gebruikt zou kunnen zijn gemaakt van informatie uit het programmaonderzoek. 3.4.2 Toepassing en waardering van publieksgerichte rapportages Via de enquête onder geregistreerde gebruikers van publieksgerichte rapportages is gevraagd naar de intensiteit van het gebruik. Bijna driekwart van de gebruikers benut 2 tot 5 van de circa 40 rapporten per jaar. Iets minder dan een kwart van de gebruikers gebruikt meer dan 5 rapporten per jaar. Het belangrijkste verspreidingskanaal voor publieksgerichte rapportages is de website (www.eim.net) van het programmaonderzoek. De publieksgerichte rapporten worden voornamelijk gebruikt voor: •

algemene kennisontwikkeling (63% van de gebruikers benut de rapporten hiervoor)

•

oriëntatie op een specifiek thema (54%)

•

beleidsvoorbereiding (39%)

•

onderzoek (29%)

•

advisering (28%)

•

naslagwerk (22%).

Het is moeilijk een beeld te krijgen van de concrete impact van het gebruik van de publieksgerichte rapportages. De rapporten werden in 2003 circa 177.000 keer gedownload van het internet (waaronder 11.500 keer door EIM zelf). De inhoud van de publicaties krijgt zijn weerslag in andere onderzoeksrapportages, media of beleidsstukken. Er wordt niet gemeten hoeveel verwijzingen er zijn naar de publieksrapportages. In de enquête is ook gevraagd naar een oordeel op een aantal gebruiksaspecten van de publieksrapporten. Hieruit blijkt dat de rapporten over het algemeen positief worden beoordeeld op feitelijke inhoud, leesbaarheid, aansluiting van rapportinhoud bij de eigen verwachting, praktische toepasbaarheid en kwaliteit. Ook de meerwaarde van de rapporten ten opzichte van vergelijkbare kennisproducten van andere organisaties is over het algemeen positief beoordeeld. Van de gebruikers heeft 97% een positief algemeen oordeel gegeven over de publieksgerichte rapporten (69% goed tot zeer goed en 28% voldoende). Uit gesprekken met beleidsmakers en koepelorganisaties blijkt dat sommigen vinden dat de rapporten té sturend werken in discussies. Volgens hen zouden de rapporten zich moeten beperken tot neutrale analyses. Andere beleidsmakers en koepelorganisaties hebben juist wel behoefte aan rapporten met een duidelijk richtinggevend advies. Verder is in gesprekken opgemerkt dat beleidsrelevante publiekspublicaties nogal eens een ongelukkige timing hebben, bijvoorbeeld na afronding van een debat over een thema, waardoor het rapport een ongewenst effect heeft. De meeste gesprekspartners met een beleidsmatige of adviserende functie richting MKB hebben het gevoel dat er ‘wel erg veel rapporten verschijnen’ en dat ‘enige focus en prioritering ontbreekt in het programmaonderzoek.’ Brancheorganisaties en andere organisaties die bedrijven adviseren, hebben aangegeven dat de praktische bruikbaarheid van rapporten voor ondernemers te wensen overlaat; de kennis heeft nog een flinke bewerkingsslag nodig voordat deze bruikbaar is op bedrijfsniveau.

26990

16

Hierbij moet worden opgemerkt dat dit ook geen doel was van het programmaonderzoek (zie paragraaf 2.1). Gesprekspartners die dichtbij het bedrijfsleven staan (brancheorganisaties, MKB-adviseurs) hebben aangegeven dat de rapporten weinig aansprekende voorbeelden uit de dagelijkse praktijk van bedrijven bevatten. Door praktisch alle typen gebruikers is aangegeven dat het vaak onduidelijk is voor welke doelgroep de rapportages uit het programmaonderzoek zijn bestemd; er zijn geen duidelijke product-marktcombinaties. 3.4.3 Toepassing en waardering van onderzoeksrapporten Geregistreerde gebruikers van onderzoeksgerichte rapportages is in de enquête eveneens gevraagd naar de intensiteit van het gebruik. Bijna tweederde van de gebruikers benut 2 tot 5 van de circa 35 onderzoeksrapporten per jaar. Van de gebruikers benut 17% meer dan 5 rapporten per jaar. Het belangrijkste verspreidingskanaal voor onderzoeksgerichte rapportages is de website (www.eim.net) van het programmaonderzoek. Het aantal downloads van onderzoeksrapporten bedroeg in 2003 volgens de prestatiemeting circa 47.500 (waarvan bijna 3.400 door EIM zelf). De onderzoeksgerichte rapporten worden volgens de enquêteresultaten voornamelijk gebruikt voor: •

oriëntatie op een specifiek thema (60% van de gebruikers benut de rapporten hiervoor)

•

onderzoek (45%)

•


•

naslagwerk (27%).

De onderzoeksrapporten worden door de respondenten uit de enquête over het algemeen positief beoordeeld op feitelijke inhoud, leesbaarheid, aansluiting van rapportinhoud bij de eigen verwachting, praktische toepasbaarheid en wetenschappelijke kwaliteit. Ook de meerwaarde van de onderzoeksrapporten ten opzichte van vergelijkbare onderzoeksrapporten van andere kennisinstellingen is over het algemeen positief beoordeeld. Van de gebruikers heeft 95% een positief algemeen oordeel gegeven over de onderzoeksrapporten (59% goed tot zeer goed en 36% voldoende). Uit gesprekken met wetenschappers is gebleken dat er veel waardering bestaat voor de onderzoeksrapporten. De rapporten worden veel gebruikt bij voorbereiding van colleges en opdrachten voor studenten. Voor beleidsmakers, koepelen brancheorganisaties bieden de onderzoeksrapporten minder concrete aanknopingspunten. De rapporten worden vooral gebruikt om de eigen blik op MKB en Ondernemerschap te verruimen. Het draagt bij aan de ontwikkeling van algemene kennis en inzicht. Toch heeft ook 29% van de geregistreerde gebruikers aangegeven de onderzoeksrapporten te gebruiken voor beleidsvoorbereiding. Daarbij is in gesprekken met beleidsmakers, koepelen brancheorganisaties wel vaak opgemerkt dat zij de onderzoeksrapporten veelal onderzoekstechnisch en weinig praktijkgericht vinden. De beleidsmakers, koepelen brancheorganisaties, waarmee we hebben gesproken, lezen de rapporten vaak wel, maar slechts op hoofdlijnen en de toepassing is beperkt.

26990

17

3.4.4 Toepassing en waardering van datasets De 27 permanente datasets zijn op verschillende manieren voor het publiek toegankelijk. Circa 80% van de datasets is via internet te raadplegen. In 2003 werden 42.000 ‘hits’ geteld volgens de prestatiemeting. Het aantal dataleveranties ‘op maat’ door onderzoekers is in de periode 2001 - 2003 gestegen van 71 naar 160 per jaar. Een derde mogelijkheid is raadpleging van de datasets op locatie bij EIM in het datalab. In 2003 werden volgens de prestatiemeting 8 onderzoeken (met gebruik van in totaal 3 verschillende primaire datasets) uitgevoerd in het datalab. Ter illustratie is hieronder een overzicht gegeven van de onderzoeksprojecten en onderzoekende instanties. Tabel 3.5

Gebruik van datasets via datalab, 2003.

DATASET

ONDERZOEKSACTIVITEIT

ONDERZOEKSORGANISATIE

1. Jonge Bedrijvenpanel

Onderzoek transitie ondernemerschap

Raad voor Zelfstandig Ondernemerschap

Bedrijfsbeëindigingen


Analyse innovatie

Erasmus Universiteit

Bedrijfsprestaties familiebedrijven

Universiteit van Amsterdam

MKB bedrijfsprestaties

Erasmus Universiteit

Breed onderzoek MKB-bedrijven

Universiteit van Amsterdam

Onderzoek transitie ondernemerschap


Bedrijfsbeëindigingen


2. MKB-beleidspanel

3. Starterspanel


Deze onderzoeken werden uitgevoerd door De Raad voor Zelfstandig Ondernemerschap (4 onderzoeken), Erasmus Universiteit (2 onderzoeken) en Universiteit van Amsterdam (2 onderzoeken). Geregistreerde gebruikers van datasets is in de enquête gevraagd naar de wijze waarop deze worden geraadpleegd. Ook hier is de website van het programmaonderzoek het belangrijkste medium; 88% van de gebruikers raadpleegt datasets via de website. Van de gebruikers hanteert 44% één dataset per jaar, 46% van de gebruikers gebruikt 1 tot 5 datasets per jaar, 10% gebruikt jaarlijks meer dan 5 datasets. De datasets worden gebruikt voor: •

analyses (56% van de gebruikers benut de datasets hiervoor)

•


•

onderzoek, waarbij de dataset een hulpmiddel is (41%)

•

oriëntatie op een specifiek thema (31%)

•

illustratiemateriaal (22%).

Uit de prestatiemetingen van EIM blijkt wat de aanleiding is voor gebruikers om dataleveranties ‘op maat’ te vragen. In het volgende overzicht geven we hiervan een beknopte impressie. Dit geeft inzicht in het gebruik van de datasets.

26990

18

Tabel 3.6

Willekeurige voorbeelden gebruik van dataleveranties, 2003.

ORGANISATIE

GEBRUIKSDOEL

Ministerie van EZ

Dataset ‘MKB-beleidspanel’: in het najaar van 2002 heeft EIM in opdracht van EZ een studie uitgevoerd naar knelpunten voor ondernemerschap in Nederland. Uit de top 25 die hieruit naar voren is gekomen, had EZ behoefte aan enige cijfermatige verdieping.

Greenfield Capital Partners te Naarden

Dataset ‘MKB-beleidspanel’: naar aanleiding van cijfers over ondernemersgedrag in de minirapportage ‘Hoe reageren MKB-ondernemers op veranderingen in conjunctuur?’ zijn aanvullende cijfers opgevraagd.

McKinsey (i.o.v. Ministerie van EZ)

Dataset ‘Starterspanel’: in het kader van een opdracht voor EZ om het instrumentarium aan ondersteuning van technostarters te stroomlijnen, had men inzicht nodig in het aantal technostarters en hun prestaties in de afgelopen jaren.

Gemeente Den Haag

Dataset ‘Jonge bedrijvenpanel’: de wethouder vroeg zich af of men in de gemeenten Den Haag specifiek beleid zou moeten richten op vrouwelijke starters. Contact onstond na oprichtingsbijeenkomst van het netwerk van vrouwelijke ondernemers in Den haag waarin een EIM-onderzoeker deelnam aan een panel.

Achmea

Dataset ‘Bedrijvendynamiek’: cijfers zijn gebruikt ten behoeve van een intern marketingplan.

MKB Nederland

Dataset ‘Exportthermometer’: cijfers zijn gebruikt voor voorbereiding van een meeting in Singapore.

Rabobank

Dataset ‘Resultatenrekeningen’: cijfers gebruikt voor beoordeling van de ontwikkeling van export/import en aantal exporteurs t.b.v. een interne beleidsnota.


Uit de enquêteresultaten blijkt dat de datasets over het algemeen positief worden beoordeeld op feitelijke inhoud, gebruiksvriendelijkheid, aansluiting van rapportinhoud bij de eigen verwachting, praktische toepasbaarheid en kwaliteit. Ook de meerwaarde van de datasets ten opzichte van vergelijkbare cijferbronnen van andere kennisinstellingen is over het algemeen positief beoordeeld. Van de gebruikers heeft 80% een positief algemeen oordeel gegeven over de datasets (49% goed tot zeer goed en 31% voldoende). De objectieve data uit de datasets worden veel gebruikt als basis voor meer subjectieve analyses van koepelen brancheorganisaties. Uit gesprekken met beleidsmakers, koepelen brancheorganisaties en wetenschappers blijkt dat ruwe data uit de informatiesystemen van EIM weinig worden gebruikt. Zij gebruiken vooral datareeksen die door EIM zijn opgenomen in rapportages of vragen tabellen met een beperkte omvang op bij EIM, als deze niet in rapporten zijn opgenomen. In de gesprekken is aangegeven dat dit op zichzelf logisch is, omdat EIM volgens de verschillende partijen goed in staat is relevante cijferreeksen te presenteren. Hierdoor bestaat vaak geen aanleiding zelf nog andere data uit de informatiesystemen op te vragen. Wetenschappers zien soms wel aanleiding om datareeksen bij EIM op te vragen. In beperkte mate worden studenten naar het datalab van EIM gestuurd om daar analyses te verrichten ten behoeve van (afstudeer)onderzoek. In de gesprekken met deskundigen op het terrein van informatiesystemen is opgemerkt dat de toegankelijkheid goed is, maar dat de bewerkingsmogelijkheden via de website beperkt zijn. Hoewel EIM hard heeft gewerkt aan een betere ontsluiting, blijft dit volgens hen een punt voor verbetering.

26990

19

Uit de prestatiemetingen kan worden afgeleid in welke mate de datasets worden gebruikt. Genoemd worden het aantal hits op de website en het aantal dataleveranties aan gebruikers. De hits op de website bieden maar een beperkt zicht op het gebruik, omdat lang niet alle datasets via de website zijn ontsloten. De dataleveranties bieden een beter beeld van het gebruik. In de prestatiemeting 2003 is nagegaan in welke mate de verschillende datasets in dat jaar door externe gebruikers (dus niet-EIM-onderzoekers) zijn opgevraagd. Hieruit volgt het onderstaande beeld. Uit het overzicht blijkt dat met name de 7 primaire datasets (Administratieve lasten, Jonge bedrijvenpanel/doorgroeierspanel, GEM, MKB-beleidspanel, Nascents, Starterspanel, ZZP-panel) worden gebruikt. De secundaire datasets, die veelal zijn afgeleid van bronnen van instituten als CBS of OESO, worden relatief minder gebruikt. Tabel 3.7

Extern gebruik van de 27 datsets op basis van tellingen van dataleveranties, 2003.

MATE VAN GEBRUIK

DATASETS

Veel extern gebruik

MKB-beleidspanel, Starterspanel, Jonge bedrijvenpanel/doorgroeierspanel, Administratieve lasten, Bedrijvendynamiek, Actieve ondernemingen, KTO-ramingen

Matig extern gebruik

Nascents panel, GEM, Compendia, Lonen, Bedrijfstypen

Beperkt extern gebruik

ZZP-panel, Arbeidskosten, Inkomen, Prijsvolume, Financiering, Result atenrekeningen, Werkgelegenheid, Exportthermometer, Ambachtsdata, Data sectorscopen, DUMA, Innovatiemaatstaven, OESO sectoraal, Sectorinfo desaggregaat, Vestigingen

Bron: Prestatiemeting 2003, dataleveranties van datasets.

3.4.5 Toepassing en waardering van modellen De permanente modellen (Brunet, KTO-model, MISTRAL en Prisma) worden - in combinatie met diverse datasets - bijna uitsluitend gebruikt door EIM bij het uitvoeren van strategisch onderzoek. Informatie over de modellen staat op de website, maar ze worden indirect ontsloten via datasets, onderzoeksgerichte en publieksrapportages. Uit gesprekken met gebruikers blijkt dat zij nauwelijks op de hoogte zijn van de modellen die EIM beheert. Het meest genoemde en geroemde model is MISTRAL voor de berekening van administratieve lasten. Hoewel gebruikers de modellen zelf niet gebruiken, zijn de uitkomsten relevant gebleken voor de politieke en beleidsmatige discussie over administratieve lasten. Gesprekspartners hebben wel aangegeven dat hoewel zij zelf geen gebruikmaken van de modellen, deze ongetwijfeld verband houden met de datasets en samen één geheel vormen. Buitenstaanders maken weinig tot geen gebruik van de modellen. 3.4.6 Toepassing en waardering van kennis uit de infoservice Hierbij merken we op dat de infoservice twee typen diensten levert: korte beantwoording van vragen in 1-8 uur en beantwoording van vragen in 1-5 dagen. In 2003 werd volgens de prestatiemeting ruim 3.800 keer gebruikgemaakt van de informatieservice 1-8 uur. Het betreft voornamelijk telefoontjes die met een korte doorverwijzing kunnen worden afgedaan. Het gaat hierbij vaak niet om mensen die specifiek voor het programmaonderzoek bellen, maar om mensen die een vraag hebben over bijvoorbeeld MKB, wetgeving, regels of een rapport en een poging wagen bij EIM. Van de 3.800 keer werd 60 keer een vraag (voor maximaal 8 uur) in behandeling genomen door een EIM-onderzoeker.

26990

20

De andere dienst die wordt geleverd via de infoservice is de quick service mini-onderzoek (1-5 dagen). Deze is alleen toegankelijk voor ‘beleidsmakers in ruime zin’ (onder andere het Ministerie van EZ, RZO, VNO-NCW en MKB Nederland).14 In 2003 werd volgens de prestatiemeting 6 keer gebruikgemaakt van de quick service mini-onderzoek. Op basis van deze korte onderzoeken wordt een minirapportage opgesteld, die publiek toegankelijk wordt gemaakt en verschijnt in de serie minirapportages (waarvan er in totaal jaarlijks circa 20 verschijnen). Ter illustratie zijn in onderstaand overzicht de minirapportages naar aanleiding van quick services in 2003 opgenomen. Tabel 3.8

Minirapportages naar aanleiding van quick services in 2003.

TITEL

AANVRAGER

Uniformering van fiscaal loon, premieloon en uitkeringsloon in relatie tot administratieve la sten


Green paper Entrepreneurship in Europe: reaction

Public Consulation European Commission

Effecten invoering nieuwe ziektekostenstelsel 2006

MKB Nederland

Pilot voorspelmodellen: de prijs van primaire kunststoffen

VNO-NCW

Pilot voorspelmodellen: de prijs van synthetisch rubber

VNO-NCW

Kosten kleine banen

MKB Nederland

Inkomenseffecten regeerakkoord voor zelfstandigen

Ministerie van EZ

N.B.: Het gemiddelde budget voor een mini-onderzoek bedroeg circa € 5.000.

Zoals eerder aangegeven, is de infoservice 1-8 uur relatief onbekend onder gebruikers, omdat ze niet weten dat ze er gebruik van maken. Uit de enquête blijkt dat de helft van de gebruikers van de infoservice (beantwoording van vragen in 1-8 uur) deze voorziening één keer per jaar gebruikt, 43% gebruikt deze 2-5 keer per jaar en 7% gebruikt de infoservice vaker dan 5 keer per jaar. Gebruikers zijn v0lgens de enquête vooral overheden, koepelorganisaties en pers/media. Volgens de tellingen van EIM wordt de infoservice ook veel gebruikt door ondernemers (ruim 1.400 van de 3.800 keer per jaar). Geregistreerde gebruikers van de infoservice is in de enquête gevraagd naar het oordeel over de klantgerichtheid. Alle respondenten oordelen positief tot zeer positief over de klantgerichtheid. Ook de snelheid waarmee vragen worden beantwoord, is over het algemeen positief beoordeeld; 91% van de respondenten heeft aangegeven redelijk snel tot zeer snel te zijn bediend. De informatie uit de infoservice wordt vooral gebruikt voor: •

oriëntatie op een specifiek thema (50% van de gebruikers benut de informatie hiervoor)

•


•

hulpmiddel bij advisering (23%).

14

Voor deze zogenoemde ‘quick services’ is een apart budget beschikbaar binnen het programmaonderzoek (onderdeel van het deelprogramma Kennisoverdracht overige kanalen).

26990

21

De informatie uit de infoservice wordt over het algemeen positief beoordeeld op de aansluiting bij de vraag, praktische toepasbaarheid en kwaliteit. Ook de meerwaarde van de informatie uit de infoservice ten opzichte van vergelijkbare kennisbronnen is over het algemeen positief beoordeeld. Van de gebruikers heeft 89% een positief algemeen oordeel gegeven over de infoservice (61% goed tot zeer goed en 27% voldoende). 3.5

T OEGEVOEGDE

WAARDE VAN HET PROGRAMMAONDERZOEK EN ALTERNATIEVE KENNISBRONNEN

Het programmaonderzoek is niet de enige informatiebron over ontwikkelingen rond MKB en Ondernemerschap. Naast EIM produceren ook universiteiten, koepelen brancheorganisaties, commerciële bureaus en anderen informatie over deze onderwerpen. Volgens de geïnterviewde personen heeft het programmaonderzoek een specifieke plaats in de kennisketen of het kennissysteem voor MKB en Ondernemerschap. Grosso modo maakt het programmaonderzoek meer fundamentele en abstracte kennis en data van onder meer universiteiten toepasbaar. Vervolgens wordt deze kennis in de volgende schakel van de keten toegepast door bijvoorbeeld EZ, MKB Nederland, VNO/NCW, brancheorganisaties, en dergelijke. Het uiteindelijke resultaat van de toepassing van de kennis dient te leiden tot een verbetering voor bedrijven en ondernemers. De volgende figuur vat deze positie in het kennissysteem samen. Figuur 3.1: Kennissysteem Programmaonderzoek MKB en Ondernemerschap: - Informatiesystemen - Modellen

- Strategisch onderzoek - Kennisoverdracht - Publieksgerichte rapportages

Basiskennisinfrastructuur

Impact

Strategisch

in praktijk

onderzoek

Toepassen van kennis

= Informatiestromen

In het programmaonderzoek wordt de basiskennisinfrastructuur (combinaties van bepaalde datasets en modellen) veelvuldig gebruikt voor strategisch onderzoek. Omgekeerd wordt het strategisch onderzoek deels gebruikt om de datasets en modellen te versterken of aan te scherpen. Uit gesprekken met gebruikers is gebleken dat de toepasbaarheid van strategisch onderzoek nog wel eens te wensen overlaat; de relaties tussen de schakels ‘strategisch onderzoek’ en ‘toepassen van kennis’ zijn nog minder sterk ontwikkeld. Hierbij moet worden opgemerkt dat dit niet de doelstelling van het programmaonderzoek was.

26990

22

De doelstelling van het programmaonderzoek was immers het opbouwen en ontsluiten van basisinformatie over MKB en Ondernemerschap. De basiskennisinfrastructuur blijkt wel goed gevoed te worden door de praktijk (relatie tussen schakels ‘impact in praktijk’ en ‘basiskennisinfrastructuur’), bijvoorbeeld via het MKB-panel en starterspanel. Kijken we naar samenhang van activiteiten in één programmaonderzoek, dan kunnen we op basis van gesprekken met deskundigen constateren dat vooral de datasets en modellen grote samenhang vertonen. Deze vormen in feite de ‘motor’ van het programmaonderzoek. De onderzoeksgerichte en publieksgerichte rapportages zijn grotendeels gebaseerd op de ‘basisinfrastructuur’ van datasets en modellen. Een deel van de rapportages zijn (ook) gebaseerd op andere relevante bronnen die niet uit het programmaonderzoek voortkomen. Uit de gesprekken met gebruikers van het programmaonderzoek blijkt nadrukkelijk dat EIM de belangrijkste objectieve basiskennis levert, die door gebruikers kan worden toegepast. Wetenschappers en beleidsmakers hebben aangegeven dat in weinig andere landen op een vergelijkbare systematische wijze kennis over thema’s rond MKB en Ondernemerschap wordt vergaard. De combinatie van dataverzameling, modelanalyses en rapportages is volgens praktisch alle gesprekspartners van groot belang. Dit blijkt ook uit de ‘peer reviews’ van buitenlandse wetenschappers. Verder is uit de gesprekken naar voren gekomen dat er weinig dubbelingen zijn met datasets en modellen van andere instanties, zoals het Centraal Bureau voor de Statistiek en Centraal Planbureau. Beide organisaties hebben geen vergelijkbare datasets en modellen meer. Via de Adviescommissie Informatiesystemen, waarin CBS vertegenwoordigd is, en de Adviesraad, waarin CPB vertegenwoordigd is, wordt voorkomen dat zich dubbelingen voordoen. EIM heeft volgens enkele wetenschappelijke instituten, die zelf ook op commerciële basis onderzoek uitvoeren, dankzij de subsidie uit het programmaonderzoek een monopoliepositie kunnen opbouwen op het terrein van kennis over MKB en Ondernemerschap. Verschillende wetenschappers hebben benadrukt dat EIM vooral banden heeft met de Erasmus Universiteit, maar weinig openstaat voor samenwerking met andere universiteiten. In de werkelijkheid ligt dit genuanceerder. EIM werkt samen met diverse universiteiten. Zo wordt een hoogleraar van de Rijksuniversiteit Groningen regelmatig gevraagd om de kwaliteit van rapportages te beoordelen en worden studenten van de Vrije Universiteit door hun hoogleraar doorgestuurd naar het datalab van het programmaonderzoek voor onderzoek. Uit de enquête onder geregistreerde gebruikers van het programmaonderzoek blijkt dat het programmaonderzoek voor hen niet de enige kennisbron is. Iets meer dan de helft van de gebruikers maakt ook gebruik van andere rapporten en datasets over MKB en Ondernemerschap. Het betreft vooral kennisproducten van: •

het Centraal Bureau voor de Statistiek (77% van de gebruikers van het programmaonderzoek gebruikt CBS-data)

•

het Centraal Planbureau (47%)

•

commerciële adviesbureaus (46%)

•

universiteiten (43%).

26990

23

Voorbeelden van gebruikte rapporten en datasets zijn Statline van CBS, analyses van CPB, analyses van Kamers van Koophandel, sectorstudies van banken, rapporten van commerciële bureaus, wetenschappelijke MKB-onderzoeken van economische faculteiten en LISAbestand met arbeidsmarkt- en bedrijfsgegevens. Hierbij moet worden opgemerkt dat onderdelen van deze kennisproducten wel betrekking hebben op MKB en Ondernemerschap, maar niet direct een substituut vormen voor producten uit het programmaonderzoek. Uit gesprekken met deskundigen op het terrein van MKB en Ondernemerschap blijkt dat er maar weinig ‘concurrentie’ is tussen producten van het programmaonderzoek en producten van andere kennisaanbieders. Aan de geregistreerde gebruikers uit de enquête is ook gevraagd in welke mate zij de kennis uit het programmaonderzoek als uniek beoordelen. Van de respondenten oordeelt 80% dat het voldoende unieke tot zeer unieke informatie is (9% zeer uniek en 71% voldoende tot redelijk uniek). Het unieke karakter van het programmaonderzoek wordt volgens de respondenten uit de enquête vooral bepaald door: •

de specifieke focus op MKB en Ondernemerschap

•

het brede scala aan samenhangende informatie over MKB en Ondernemerschap

•

de kwaliteit, wetenschappelijke fundering en diepgang van de kennis

•

continuïteit in het panelonderzoek onder bedrijven

•

de actuele onderzoeksthema’s

•

de goede en gratis toegankelijkheid.

De toegevoegde waarde van het programmaonderzoek wordt over het algemeen onderkend (84%). Van de gebruikers spreekt 6% over een zeer grote toegevoegde waarde, 23% over een toegevoegde waarde, 55% over voldoende toegevoegde waarde, 8% over beperkte toegevoegde waarde en 1% over zeer beperkte toegevoegde waarde. In de enquête is in een open vraagstelling gevraagd, welke concrete gevolgen er zijn als het programmaonderzoek gebruikers niet zou voorzien van kennisproducten en -diensten inzake MKB en Ondernemerschap. Van de geregistreerde gebruikers heeft een groot deel aangegeven dan een minder goed beeld te hebben van ontwikkelingen in het MKB. Volgens de respondenten en gesprekspartners zijn mogelijke gevolgen: •

Minder goede onderbouwing van beleid. De datasets en analyses worden over het algemeen beschouwd als belangrijke input voor beleidsnotities. Zonder programmaonderzoek zouden andere bronnen moeten worden gebruikt voor onderbouwing van beleid. Over het algemeen bestaat het idee dat onafhankelijke en betrouwbare bronnen als het programmaonderzoek maar weinig voor handen zijn.

•

Hogere kosten voor verkrijgen van relevante informatie. Rapportages die nu ‘kant en klaar’ worden aangeboden zullen zonder programmaonderzoek in projectvorm moeten worden aanbesteed. De uitvoering van dergelijke projecten kost gebruikers geld, terwijl het programmaonderzoek nu publiek gefinancierd wordt.

•

Slechtere adviesfunctie voor MKB. Koepel- en brancheorganisaties hebben de indruk dat zij zonder de kennisproducten uit het programmaonderzoek hun adviesfunctie voor het MKB minder goed kunnen uitoefenen. Zonder basisinformatie over MKB en Ondernemerschap is het moeilijk richting te geven in beleid en advisering.

26990

24

•

Minder analyse- en vergelijkingsmogelijkheden. Voor wetenschappelijke gebruikers is het van belang te beschikken over relevante data en wetenschappelijke analyses. Deze vormen belangrijke bronnen bij wetenschappelijke onderzoeken. Het programmaonderzoek levert nu belangrijke bouwstenen voor wetenschappelijk onderzoek. Zonder programmaonderzoek zullen andere bronnen moeten worden geraadpleegd, maar wetenschappers stellen zich de vraag of er wel voldoende alternatieve betrouwbare informatie beschikbaar is.

3.6

BEOORDELING

In deze paragraaf komen wij, op basis van de in de vorige paragraaf beschreven bevindingen, tot een oordeel over de doeltreffendheid van het programmaonderzoek. Prestatiemeting In de eerste plaats is het positief dat de algemene doelstellingen van het programmaonderzoek geoperationaliseerd zijn in prestatie-indicatoren en in streefwaarden voor output, kwaliteit, bereik en gebruik van kennisproducten. Hierdoor is de mogelijkheid ontstaan om na te gaan in hoeverre het programmaonderzoek voldoet aan zijn doelen en daarmee al of niet succesvol is. Het op deze wijze operationaliseren van doelstellingen van een programmaonderzoek is geen sinecure en niet wijd verspreid. Lang niet alle onderzoeksprogramma’s in ons land zijn op een dergelijke wijze in prestatie-indicatoren vertaald. Het Ministerie van EZ heeft de aanzet gegeven voor de prestatiemeting. Dit is vervolgens goed opgepakt door de programmacommissie en EIM. Een kanttekening bij de streefwaarden is dat deze noodzakelijkerwijs (door het ontbreken van ‘objectief’ vergelijkingsmateriaal) vooral zijn gebaseerd op ervaringscijfers van EIM. Daarbij vertonen de streefwaarden voor kwaliteit en gebruik een stijgende lijn. Door het ontbreken van een ‘objectieve norm’ is een scherpe beoordeling maar beperkt mogelijk. EZ heeft de streefwaarden marginaal getoetst en de verantwoordelijkheid voor de hoogte hiervan nadrukkelijk overgelaten aan de programmacommissie. Een laatste kanttekening is dat de koppeling tussen een aantal indicatoren en het programmaonderzoek niet altijd duidelijk is. Zo is bijvoorbeeld geconstateerd dat verwijzingen naar programmaonderzoekproducten in kamerstukken, die zijn genoemd als prestatie van het programmaonderzoek, in enkele gevallen te maken hebben met marktactiviteiten van EIM. Niet alle output kan dus uitsluitend toegeschreven worden aan het programmaonderzoek. Doeltreffendheid Het programmaonderzoek heeft zijn oorspronkelijke doelstelling behaald. Doelstelling was de opbouw en ontsluiting van een kwalitatief hoogwaardige kennisinfrastructuur over MKB en Ondernemerschap. We lichten de goede score op doeltreffendheid hierna toe: •

26990

Opbouw kennisinfrastructuur: een publieke kennisinfrastructuur met basisinformatie over MKB en Ondernemerschap is vanaf 2001 instandgehouden, uitgebouwd en voor gebruikers ontsloten. Uit bijlage 6A blijkt de grote en jaarlijkse toename van de output op basis van het programmaonderzoek.

25

De toegevoegde waarde van het programmaonderzoek over MKB en Ondernemerschap is groot. Het programmaonderzoek is uniek in Nederland en qua opbouw en volume ook uniek in de wereld. •

Kwaliteit: de basisinformatie omvat hoogwaardige en betrouwbare data en kennis over het economische belang en prestaties op het terrein van ondernemerschap en het MKB. De kwaliteit van de producten en diensten uit het programmaonderzoek is goed. Dit blijkt overtuigend uit de opvattingen van wetenschappers, zowel in binnenals buitenland. Ook de ‘gewone’ gebruikers van het programmaonderzoek zijn positief over de kwaliteit van het programmaonderzoek.

•

Bereik/gebruik: in het gebruik van het programmaonderzoek zien we een tweedeling. Sommige producten, met name rapportages en ruwe datasets, worden gebruikt voor algemene doeleinden. Andere producten, bijvoorbeeld specifieke datareeksen via dataleveranties en minirapportages via infoservice, worden voor specifieke doeleinden gebruikt. De grote toename van het bezoek aan de website duidt op een sterke verbetering van de ontsluiting. Dit wordt ook bevestigd in onze gesprekken en de enquête. De basisinformatie is bekend en wordt gebruikt door beleidsmakers, intermediaire organisaties, onderwijs- en kennisinstellingen. Hierbij merken we op dat dit de uitkomst is van de bevraging van een vaste groep gebruikers, die reeds bekend is met het programmaonderzoek en hiervan kosteloos gebruikmaakt. Het programmaonderzoek staat wel (nog) erg ver van de directe werkpraktijk van ondernemers en kan daardoor geen directe bijdrage leveren aan groei van MKB en Ondernemerschap. Hierbij moet worden opgemerkt dat het niet de intentie van de Programmacommissie, Adviesraad en EIM was om bedrijven rechtstreeks te bereiken. Deze afspraak is ook kortgesloten met EZ. Het bedrijfsleven moest vooral indirect worden bereikt via koepelen brancheorganisaties. Naar ons oordeel zijn onderdelen van het programmaonderzoek indirect, via vooral de beleidsmakers en intermediaire organisaties, nuttig gebleken voor ondernemers. Als bijvoorbeeld dankzij het programmaonderzoek inzicht wordt gegeven in administratieve lasten voor het MKB en dat mede dankzij dit inzicht de lasten worden verlaagd, dan heeft ieder MKB-er daar uiteindelijk profijt van.

Een specifiek aandachtspunt is de samenhang tussen de verschillende onderdelen uit het programmaonderzoek. Uit gesprekken met deskundigen is gebleken dat de datasets en modellen de ‘motor’ van het programmaonderzoek vormen. Strategisch onderzoek en publieksgerichte rapportages zijn in belangrijke mate gebaseerd op deze ‘basiskennisinfrastructuur’. Verbeterpunten voor het bereik/gebruik van het programmaonderzoek Ten slotte hebben wij de volgende verbeterpunten bij het programmaonderzoek geconstateerd, die de doeltreffendheid verder zouden kunnen vergroten: •

26990

Inzicht in het succes van specifieke publicaties ontbreekt. Het is interessant na te gaan welke rapporten daadwerkelijk voorzien in specifieke kennisbehoeften. Levering van kennisproducten waar ook vraag naar bestaat, kan de betekenis van het programmaonderzoek vergroten.

26

•

26990

EIM heeft bij de uitvoering van het programmaonderzoek samenwerking gezocht met het wetenschappelijke veld in binnen- en buitenland. Toch blijkt dat er naar het oordeel van enkele wetenschappers in potentie nog ruimte is voor verdere samenwerking binnen Nederland bij de uitvoering van wetenschappelijke onderzoeksprojecten, waardoor een verdieping van inzichten kan plaatsvinden. Vanuit enkele wetenschappelijke instituten bestaat belangstelling voor meer samenwerking.

27

4.

DOELMATIGHEID VAN HET PROGRAMMAONDERZOEK

In dit hoofdstuk wordt een analyse gemaakt van de doelmatigheid van het programmaonderzoek. Gekeken wordt naar de aansturing en uitvoering van het programmaonderzoek, de interne organisatiestructuur, de programmajaarcyclus, het programmabudget en de kosten van uitvoering. 4.1

A ANSTURING

EN UITVOERING VAN HET PROGRAMMAONDERZOEK

Bij de aansturing en uitvoering van het programmaonderzoek zijn zes actoren betrokken: het Ministerie van EZ, de programmacommissie, de adviesraad, de Adviescommissie Informatiesystemen, de Adviescommissie SCALES en de uitvoerder EIM. Hierna gaan we in op de verantwoordelijkheden en taken van deze partijen. Ministerie van Economische Zaken Het Ministerie van Economische Zaken is opdrachtgever/subsidiënt van het programmaonderzoek en heeft als gebruiker van het programmaonderzoek (vertegenwoordigd in de adviesraad) belang bij de resultaten. Beide rollen zijn als volgt door het ministerie ingevuld: a.

Opdrachtgever/subsidiënt: na de vorige evaluatie heeft EZ gekozen voor een ‘rol op afstand.’ Concreet betekent dit dat EZ de inhoudelijke kaders heeft weergegeven in de subsidiebeschikking 2001 - 2004 en verder alleen financiële sturing uitoefent. Voor adequate verantwoording over het programmaonderzoek hebben EZ en EIM in 2000/2001 prestatie-indicatoren opgesteld. De programmacommissie en EIM is gevraagd over deze prestatie-indicatoren verslag uit te brengen. Dit gebeurt in het jaarlijkse activiteitenverslag van de programmacommissie en EIM. Het activiteitenverslag is steeds door EZ bestudeerd. Volgens EZ voldeden de prestatiegegevens in de periode 2001 - 2003 steeds aan de verwachtingen, waarna tot subsidieverstrekking kon worden overgegaan. Het Ministerie van EZ heeft de programmacommissie - conform haar voornemen nauwelijks aangestuurd. De meeste correspondentie is schriftelijk afgedaan en betrof praktische zaken, zoals de goedkeuring van relevante documenten. Daarnaast is er frequent telefonische afstemming geweest op medewerkersniveau en er zijn sinds 2001 twee gesprekken gevoerd op directieniveau.

b.

26990

Gebruiker van het programmaonderzoek: met het oog op een zuivere scheiding van de beide rollen van EZ (opdrachtgever/subsidiënt en gebruiker) was het oorspronkelijk de bedoeling dat de vertegenwoordiger van EZ in de adviesraad, dat wil zeggen de inhoudelijk betrokkene, niet werkzaam zou zijn bij het toenmalige Directoraatgeneraal Economische Structuur, dat verantwoordelijk was voor de opdrachtverlening voor het programmaonderzoek. Het idee was iemand van de toenmalige Directie Algemene Economische Politiek (AEP) in de adviesraad te laten deelnemen. In de praktijk is dit niet goed uit de verf gekomen. Volgens EZ en andere partijen die betrokken zijn (geweest) bij het programmaonderzoek heeft EZ zich in beperkte mate bemoeid met de inhoud van het programmaonderzoek. Dit was voornamelijk een gevolg van de vele personele wisselingen, mede als gevolg van interne reorganisaties.

28

Hierdoor was bij EZ over het algemeen niet duidelijk wat er binnen het programmaonderzoek speelde. Verschillende leden van de adviesraad waren verbaasd over de geringe inhoudelijke betrokkenheid van EZ. Vanaf medio 2003 heeft EZ de banden met EIM aangehaald en enkele keren verzocht om inhoudelijk overleg. EZ heeft zich inmiddels laten bijpraten over de inhoudelijke focus van het programmaonderzoek en recente ontwikkelingen. In de tweede helft van 2003 heeft EIM op verzoek van EZ een voorlichtingsbijeenkomst over het programmaonderzoek georganiseerd. Verder is uit een analyse van documenten en gesprekken gebleken dat er tot de zomer van 2003 binnen EZ geen overzicht bestond wie wanneer op welke wijze gebruikmaakte van voorzieningen uit het programmaonderzoek. Inhoudelijke kruisbestuiving en afstemming hebben in die periode binnen EZ nauwelijks plaatsgevonden. Ook is er geen correspondentie bekend binnen EZ waarin gecommuniceerd werd wat voor EZ-medewerkers de (on)mogelijkheden zijn van het programmaonderzoek en in het bijzonder wat wel en wat niet tot de publieke taak behoort. Ook andere gesprekspartners hebben gewezen op onduidelijkheid over de afbakening van publieke en niet-publieke zaken binnen het programmaonderzoek door EZ. In hoofdstuk 5 van deze rapportage gaan wordt verder ingegaan op dit onderwerp. Programmacommissie Het Ministerie van EZ heeft de verantwoordelijkheid voor de aansturing en beoordeling van het programmaonderzoek gedelegeerd aan de driehoofdige Programmacommissie MKB en Ondernemerschap, onder voorzitterschap van prof. dr. P.H.A.M. Verhaegen. De leden van de programmacommissie zijn door de minster van EZ benoemd. De programmacommissie heeft tot taak toe te zien op een doeltreffende en doelmatige uitvoering van het programmaonderzoek. Het secretariaat van de programmacommissie is ondergebracht bij EIM. De programmacommissie komt circa 6 keer per jaar bijeen. De programmacommissie laat jaarlijks een activiteitenplan met projectvoorstellen opstellen door haar secretariaat, dat wordt bemand door de algemeen coördinator van het programmaonderzoek. Het activiteitenplan wordt na goedkeuring door de commissie ingediend bij EZ. Aan het einde van het jaar wordt een activiteitenverslag opgesteld. Dit verslag bevat een prestatieverslag (zie ook hoofdstuk 3), een financiële verantwoording en een oordeel van de programmacommissie. Het activiteitenverslag wordt ingediend ter verantwoording bij het Ministerie van EZ. Zowel EIM als andere gesprekspartners roemen het functioneren van de programmacommissie. De programmacommissie houdt EIM en daarmee het programmaonderzoek op hoofdlijnen op scherp. Dit geldt zowel bij de vraagarticulatie als bij de invulling en presentatie van de prestatie-indicatoren. Enkele adviesraadsleden vinden wel dat programmacommissie iets te veel op afstand heeft geopereerd ten opzichte van de adviesraad. Overigens blijkt uit de verslagen van de bijeenkomsten van de adviesraad dat bijna elke vergadering door één of twee leden van de programmacommissie werd bijgewoond. Adviesraad De adviesraad bestond de afgelopen jaren uit maximaal 15 leden, afkomstig van het Ministerie van EZ, MKB Nederland, VNO-NCW, brancheorganisaties, FNV, CPB, CBS en universiteiten. De raad is ingesteld om de programmacommissie en EIM te adviseren over de inhoud van het programmaonderzoek, de maatschappelijke relevantie, ontsluiting en de toegevoegde waarde van onderzoeksactiviteiten.

26990

29

Het secretariaat voor de adviesraad is ondergebracht bij EIM. Om de adviesraadsleden optimaal de gelegenheid te geven inhoudelijke inbreng te leveren voor het programmaonderzoek, voert EIM jaarlijks een enquête uit onder de adviesraadsleden om meningen te inventariseren. De adviesraad komt circa twee keer per jaar bijeen. Tijdens de bijeenkomsten zijn onder andere de meerjarenvisie, activiteitenplannen en prestatiemetingen van het programmaonderzoek besproken. Uit de verslagen van bijeenkomsten van de adviesraad en de gesprekken blijkt dat de inbreng van de leden wisselend is. Uit gesprekken met adviesraadsleden blijkt dat de bijeenkomsten vaak beperkte mogelijkheden bieden om het programmaonderzoek goed door te nemen. Dit komt vooral door het grote aantal leden. Dit wordt eveneens zo gezien door EIM. Adviescommissie Informatiesystemen en Adviescommissie SCALES Twee externe commissies met deskundigen zijn ingesteld om de kwaliteit van onderdelen van het programmaonderzoek te waarborgen. De Adviescommissie Informatiesystemen waakt over de kwaliteit en ontsluiting van de datasets. De commissie, die bestaat uit vertegenwoordigers van CBS, EZ en de Vereniging van Kamers van Koophandel, is medio 2002 opgericht. De commissie komt circa twee keer per jaar bijeen. De Adviescommissie SCALES is opgericht in 2002 en bestaat uit zes personen, afkomstig van universiteiten, het CPB en Ministerie van EZ. Zij beoordeelt de kwaliteit van de modelbouw en onderzoeksrapporten. Deze commissie komt circa vier keer per jaar bijeen. Jaarlijks worden enkele concepteindrapporten besproken, die zijn opgesteld binnen de deelprogramma’s Modelbouw en Strategisch Onderzoek. Het oordeel van de Adviescommissie SCALES wordt meegenomen door EIM bij de afronding van onderzoeksrapportages. EIM EIM is verantwoordelijk voor de coördinatie en uitvoering van het programmaonderzoek. Dit is vastgelegd in de subsidiebeschikking. EIM voert ook het secretariaat van de programmacommissie en adviesraad. Tevens is EIM aanwezig bij de bijeenkomsten van de Adviescommissies SCALES en Informatiesystemen. In de volgende paragraaf wordt ingegaan op de wijze waarop de uitvoering van het programmaonderzoek binnen EIM is georganiseerd.

26990

30

4.2

I NTERNE

ORGANISATIESTRUCTUUR EN PROGRAMMAJAARCYCLUS

Interne organisatiestructuur bij EIM In onderstaande figuur is de interne organisatiestructuur van het programmaonderzoek weergegeven. Figuur 4.1 Interne organisatiestructuur. Directielid EIM

Programmacoördinator

Deelprogrammacoördinator Strategisch onderzoek

Petit Comité

(intern)

Deelprogrammacoördinator Modelbouw

Commissie SCALES (extern)

Deelprogrammacoördinator Informatiesystemen

Dataplatform

Redactieraad

(intern)

Adviesgroep Informatiesystemen

Deelprogrammacoördinator Publieksrapportages / Kennisoverdracht overige kanalen (intern)

(extern)

De interne organisatiestructuur wordt hierna toegelicht. •

Directielid EIM: is verantwoordelijk voor de formele contacten met het Ministerie van EZ over de subsidieverlening voor het programmaonderzoek. Het directielid wordt bij de bedrijfsmatige aansturing van het programmaonderzoek ondersteund door een interne stuurgroep, bestaande uit twee directieleden, de wetenschappelijk adviseur van EIM en de algemeen coördinator van het programmaonderzoek. De interne stuurgroep komt circa zes keer per jaar bijeen.

•

Programmacoördinator: is verantwoordelijk voor de coördinatie van de uitvoering van het programmaonderzoek. De programmacoördinator formuleert in overleg met de programmacommissie jaarlijks de streefwaarden voor output, kwaliteit en bereik/ gebruik van het programmaonderzoek. Verder is de coördinator intern eindverantwoordelijk voor de prestaties van het programmaonderzoek als geheel en secretaris van de programmacommissie en adviesraad.

•

Deelprogrammacoördinatoren: voor ieder van de deelprogramma’s (strategisch onderzoek, modelbouw, informatiesystemen en kennisoverdracht/publieksrapportages) is een deelprogrammacoördinator aangewezen. De deelprogrammacoördinator is verantwoordelijk voor de interne aansturing en voor de bewaking van de jaarlijkse uitvoering en oplevering van het eigen deelprogramma. De deelprogrammacoördinator wordt intern beoordeeld op de output van het eigen deelprogramma, gegeven het daarvoor beschikbare budget.

26990

31

•

Interne kwaliteitsgroepen: per deelprogramma is een interne kwaliteitsgroep van gespecialiseerde EIM-medewerkers aangewezen. Deze kwaliteitsgroepen hebben tot taak de kwaliteit van de producten/diensten van het programmaonderzoek te bewaken. Deze kwaliteitsbewaking is in aanvulling op de externe kwaliteitsbewaking door de in de vorige paragraaf gepresenteerde Adviescommissies SCALES en Informatiesystemen. In onderstaand overzicht is een toelichting gegeven op de kwaliteitscontrole.

Tabel 4.1

Toelichting bij kwaliteitsgroepen.

KWALITEITSCONTROLE DOOR

ACTIVITEITEN

Petit comité t.b.v. kwaliteit van strategisch onderzoek

De interne begeleiding en kwaliteitscontrole worden uitgevoerd door een inhoudelijk meelezer en het Petit Comité. De meelezer is een inhoudelijk expert. Het Petit Comité is verantwoordelijk voor inhoudelijk advies en bijsturing van strategisch onderzoeksprojecten om kwalitatief hoogstaand onderzoek te waarborgen. Het Petit Comité ondersteunt de coördinator in de inhoudelijke beoordeling van projecten. Het Petit Comité kan ook een adviserende functie hebben voor het deelprogramma Modelbouw.

Dataplatform t.b.v. kwaliteit van informatiesystemen

Het dataplatform vormt een klankbord specifiek voor de coördinator van het deelprogramma Informatiesystemen. In het dataplatform heeft een aantal materiedeskundigen van EIM zitting.

Redactieraad t.b.v. kwaliteit van publieksrapportages

Bij alle projecten die binnen dit deelprogramma worden uitgevoerd, wordt een interne meelezer benoemd. De auteurs van de publieksrapportages beschikken over een handleiding, waarin checklists voor het opstellen van de publieksrapportages zijn opgenomen. Er is een redactieraad publieksrapportages met als doel het bijdragen aan de gebruikskwaliteit van de publieksrapportages. Bij alle projecten die uitmonden in een publieksrapportage wordt een aantal externe deskundigen gevraagd commentaar te geven op het concept.

De uitvoering van projecten uit het programmaonderzoek wordt gedaan door medewerkers van EIM. Afhankelijk van de projectonderwerpen worden medewerkers ingezet voor de uitvoering van onderzoeken. Deze medewerkers werken deels aan het programmaonderzoek, daarnaast zijn zij ook actief in onderzoeken die EIM ‘uit de markt’ haalt. Jaarcyclus van het programmaonderzoek In het programmaonderzoek wordt jaarlijks een cyclus doorlopen. In deze cyclus wordt gekomen van algemene thema’s tot concrete onderzoeksprojecten. De volgende stappen worden doorlopen: 1.

26990

Opstellen themapapers: in het voorjaar voorafgaand aan het volgende programmajaar worden de themapapers opgesteld dan wel eventueel herijkt. Voor elk van de zeven themalijnen (zie paragraaf 3.2) wordt door EIM een voorstel gedaan voor een globale onderzoeksprogrammering. Bij het opstellen van de themapapers wordt gebruikgemaakt van de resultaten van een enquête die is uitgevoerd onder leden van de adviesraad. De adviesraadsleden wordt jaarlijks in deze enquête gevraagd naar suggesties voor onderzoeksprojecten op hoofdlijnen. In dit traject worden ook concrete onderzoeksvragen aangedragen.

32

2.

Opstellen beleidsplan in meerjarig perspectief: de themapapers worden verwerkt in een beleidsplan, waarin de samenhang van de onderzoeksthema’s met die van voorgaande jaren is aangegeven. Dit beleidsplan wordt besproken met de adviesraad en vervolgens vastgesteld door de programmacommissie.

3.

Opstellen activiteitenplan 1e tranche: op basis van het beleidsplan stellen EIM-onderzoekers globale offertes (circa 1 A4) op voor onderzoeksprojecten. Deze globale offertes bestaan uit: −

Een beknopte beschrijving voor de aanleiding van het project.

−

Een beknopte beschrijving van het doel van het project.

−

Een beknopte beschrijving van de aanpak in stappen.

−

Een beknopte beschrijving van de output van het project.

Vervolgens wordt door de EIM-onderzoeker een checklist ingevuld, waarbij het project wordt beoordeeld op de volgende aspecten: −

Specifieke relevantie voor MKB en Ondernemerschap.

−

Samenhang met andere projecten.

−

Publieke functie.

−

Aansluiting bij het voorgestelde deelprogramma.

−

Maatschappelijke relevantie.

−

Meerwaarde.

−

Synergie met de markt.

−

Haalbaarheid.

−

Beoogde wetenschappelijke kwaliteit.

Bovengenoemde aspecten worden door de EIM-onderzoeker gescoord op een driepuntsschaal (sterk, redelijk, gering). Ook kan bij het oordeel een beknopte toelichting worden gegeven. Verder bevat de globale offerte een budgetindicatie. Hier wordt uitsluitend een bedrag genoemd, zonder verdere toelichting of opbouw van het budget (uren, tarief, etc.). De globale offertes worden door de deelprogrammacoördinator getoetst en bij het Activiteitenplan voor de eerste tranche gevoegd. De programmacommissie stelt het activiteitenplan voor de 1e tranche vast. 4.

Subsidieaanvraag: het door de programmacommissie vastgestelde activiteitenplan vormt de basis voor de subsidieaanvraag bij het Ministerie van EZ.

5.

Na goedkeuring van het activiteitenplan en de subsidieaanvraag laten de deelprogrammacoördinatoren de EIM-onderzoekers, die globale offertes hebben ingediend, definitieve offertes uitbrengen. In deze definitieve offertes worden afspraken gemaakt over aanpak, output, budgetten, interne en externe begeleiding. De offerte wordt binnen een vast format uitgebracht, waarin de probleemstelling, de aanpak van het project en het beoogde resultaat concreet worden uitgewerkt.

26990

33

De voorgestelde aanpak wordt veelal intern getoetst door een deskundige op het gebied van methoden en technieken, het Petit Comité of het Dataplatform. De deelprogrammacoördinator treedt hierbij op als interne opdrachtgever. De deelprogrammacoördinator toetst ook het budget. Daar waar mogelijk wordt gebruikgemaakt van richtgetallen die ook in de contractresearch worden gebruikt. De definitieve offertes worden niet voorgelegd aan de programmacommissie, behalve indien het definitieve projectbudget meer dan € 10.000 afwijkt van de budgetindicatie in de globale offerte. Deze procedure is vastgelegd in ‘spelregels’ tussen EIM en de programmacommissie. Een budgetverhoging is alleen bij meerwerk mogelijk. Hiervoor moet een schriftelijke aanvraag worden ingediend bij de coördinator. 6.

Opstellen activiteitenplan 2e tranche: in maart van het lopende onderzoeksjaar wordt een activiteitenplan voor de 2e tranche opgesteld en na goedkeuring door de Programmacommissie bij het Ministerie van EZ ingediend. Hiermee wordt het voor dat jaar beschikbare budget, exclusief eventuele loon- of prijsbijstellingen, gealloceerd. Daarnaast wordt een aantal projecten geplaatst in de zogenoemde ‘overprogrammering’. Dit zijn goedgekeurde voorstellen die boven het jaarbudget uitgaan. Deze projecten worden in principe opgepakt in het volgende jaar.

In onderstaande figuur is de jaarcyclus samengevat weergegeven. Figuur 4.2 Schematische weergave programmering. Activiteit

Betrokken actoren

Themapapers

Adviesraad

Beleidsplan in meerjarig perspectief

Programmacie

Activiteitenplan 1e tranche

Programmacie

Subsidieaanvraag

Ministerie van EZ

Programmacie

Activiteitenplan 2e tranche Ministerie van EZ

4.3

P ROGRAMMABUDGET

EN KOSTEN VAN UITVOERING

Hierna wordt een overzicht gegeven van het budget voor en de kosten van het programmaonderzoek in de periode 2001 - 2004. De kosten van het programmaonderzoek kunnen worden verdeeld in kosten voor uitvoering van onderzoeksprojecten (primaire kosten) en kosten voor coördinatie, aansturing, kwaliteitsbevordering, e.d. (secundaire kosten).

26990

34

Budget voor het programmaonderzoek 2001 - 2004 Het Ministerie van EZ heeft voor de periode 2001 - 2004 in totaal ruim € 16 miljoen beschikbaar gesteld. Dit is hoger dan de € 14,8 miljoen waarvan in de subsidiebeschikking sprake was. Dit is het gevolg van de ophoging van het budget door loon- en prijsstijgingen. Kosten van het programmaonderzoek 2001 - 2004 De kosten voor de uitvoering van het programmaonderzoek kunnen worden verdeeld over de verschillende deelprogramma’s (tabel 4.2). Hieruit blijkt dat het meeste geld wordt besteed aan informatiesystemen gevolgd door strategisch onderzoek. Veel gesprekspartners hebben aangegeven de ontwikkeling en het onderhoud van informatiesystemen veel tijd en daarom veel geld kost. Tevens is dit volgens hen de kern van het programma. De andere onderdelen ontlopen elkaar in omvang niet veel. Tabel 4.2

Kosten per deelprogramma (€), 2001 – 2004. 20011)

20021)

2003 2)

20042)

Totaal

%-aandeel in totaal

1.422.115

1.395.776

1.384.000

1.417.000

5.618.891

35%

Modelbouw

551.471

595.457

614.000

627.000

2.387.928

15%


778.103

868.171

847.000

867.000

3.360.274

21%

Publieksrapportages

502.097

541.075

560.000

575.000

2.178.172

14%

Kennisoverdracht overige kanalen 3)

595.941

626.562

575.000

586.000

2.383.503

15%

Vergoeding Programmacommissie en Adviesraad4)

34.034

50.000

50.000

50.000

184.034

1%

4.077.041 4.030.000 4.122.000 16.112.801

100%

Informatiesystemen

Totaal

3.883.760

1.

Dit betreffen werkelijk gerealiseerde bedragen, gebaseerd op het Financieel Verslag Programmaonderzoek, inclusief loon- en prijsstijgingen.

2.

Dit betreffen de begrote budgetten, gebaseerd op de jaarbegroting eerste en tweede tranche, exclusief loon- en prijsstijgingen.

3.

Onder andere kosten voor datalab, infoservice, website, drukkosten.

4.

Vergoeding wordt rechtstreeks door EZ aan de betreffende personen betaald, dit bedrag wordt ingehouden op het budget voor EIM en valt daarmee buiten de begroting die door EIM wordt opgesteld.

Bron: EIM, Financieel verslag programmaonderzoek 2001 en 2002; Jaarprogramma Programmaonderzoek 2003 en 2004, Jaarbegroting en Activiteitenplan eerste en tweede tranche.

Kosten voor coördinatie en kwaliteitsbevordering In de volgende tabellen geven we de kosten voor coördinatie, interne aansturing, kwaliteitsbevordering, e.d. voor de periode 2001 - 2004. In bijlage 8A zijn deze gegevens verder uitgesplitst.

26990

35

Tabel 4.3

Kosten voor coördinatie (€), 2001 - 2004.

KOSTENPOST

€

% VAN TOTAAL BUDGET

Kosten coördinatie programmaonderzoek

1.332.124

8,3%

• w.v. kosten programmacommissie en adviesraad

184.034

1,1%

• w.v. algemene coördinatie EIM 1)

501.801

3,2%

• w.v. coördinatie deelprogramma’s EIM 2)

646.289

4,0%

1.

Dit omvat naast algemene coördinatie, regie, programmering en prestatiemeting.

2.

De coördinatiekosten van de deelprogramma’s bestaan uit kosten voor de interne aanbesteding van projecten, het toezicht op en de bevordering van de inhoudelijke en functionele kwaliteit van het deelprogramma en de voortgangscontrole.


Tabel 4.4

Kosten voor kwaliteitsbevordering (€), 2001 - 2004.

KOSTENPOST

€

% VAN TOTAAL BUDGET

Kosten kwaliteitsgroepen en externe commi ssies

270.739

1,7%

•

w.v. Externe commissies (SCALES, Adviesgroep Informatiesystemen)

61.622

0,4%

•

w.v. Interne kwaliteitsgroepen

209.117

1,3%


Zoals hierboven staat aangegeven, is in de afgelopen periode 8,3% van het totale programmabudget besteed aan coördinatie en 1,7% van het budget is besteed aan kwaliteitsbevordering. In bijlage 8 zijn deze kosten per jaar weergegeven. Hieruit blijkt dat de kosten voor kwaliteitsbevordering jaarlijks zijn gestegen. Dit komt door de toegenomen aandacht voor de kwaliteit van de output en de instelling van ‘nieuwe’ kwaliteitsgremia als de Adviescommissie Informatiesystemen en de redactieraad. Kosten voor uitvoering van onderzoeksprojecten Circa 90% van het programmaonderzoeksbudget wordt direct besteed aan de uitvoering van onderzoeksprojecten. Uit een analyse van enkele projectoffertes blijkt dat een deel van de projectkosten wordt gebruikt voor projectleiding, opstellen offerte, interne opdrachtgever, supervisie en coördinatie. De hoeveelheid tijd die hiervoor is begroot, verschilt per offerte. Dit varieert tussen de 9% en 22% van het totale tijdsbudget dat voor een project is begroot (gemiddeld 13,3% van het projectbudget, zie bijlage 8C). Deze interne coördinatieen projectleidingkosten komen nog bij de hiervoor gepresenteerde kosten voor coördinatie en kwaliteitsbevordering. Daarnaast wordt een deel van het programmabudget apart aangewend voor het schrijven van artikelen, promotie van de output van het programmaonderzoek, drukwerk en het opstellen en actualiseren van themapapers.

26990

36

Uit bestudering van een aantal offertes blijkt dat veelal twee soorten tarieven15 worden gehanteerd voor projecten uit het programmaonderzoek: een tarief voor een senioronderzoeker en een tarief voor een onderzoeker. Gemiddeld genomen wordt tweederde begroot voor senioronderzoekers (hoog tarief) en een derde voor onderzoekers (laag tarief). EIM heeft aangegeven dat dit een logisch gevolg is van de personele opbouw; EIM heeft relatief veel senioronderzoekers in dienst. Gederfde inkomsten inzake het programmao nderzoek EIM heeft in gesprekken aangegeven niet alle kosten, die met de uitvoering van het programmaonderzoek gepaard gaan, in rekening te brengen. In bijlage 8D is een overzicht gegeven van gederfde inkomsten (circa € 180.000 per jaar). Het betreft onder andere de kosten van het directielid dat verantwoordelijk is voor het programmaonderzoek, de kosten voor de wetenschappelijk adviseur die in dienst is van EIM en de kosten van interne secretariële en administratieve ondersteuning. Verder heeft EIM aangegeven dat zij de verliezen die zij maakt op het programmaonderzoek zelf draagt. De geregistreerde verliezen bedroegen in de afgelopen jaren, € 21.637 in 2001, € 47.042 in 2002 en € 16.017 in 2003. Deze verliezen zijn volgens EIM in werkelijkheid nog hoger. Dit omdat projectleiders worden afgerekend op projectverliezen, waardoor projecten die uitlopen vaak in eigen tijd worden afgerond. Het totale verlies op het programmaonderzoek is daarom niet inzichtelijk. Relatie output en kosten In de rapportages van de programmacommissie wordt geen verbinding gelegd tussen de output en de kosten. Op basis van de prestatiemeting en de rekening 2002 kan deze verbinding voor enkele duidelijk te onderscheiden producten wel worden gelegd (tabel 4.5). Vanwege het ontbreken van vergelijkingsmateriaal van andere onderzoeksprogramma’s is het niet mogelijk een oordeel te geven of de gemiddelde kosten per eenheid hoog of laag zijn. In verhouding tot elkaar zijn de gemiddelde kosten logisch. Het onderhoud van modellen is relatief kostbaar. Het schrijven van onderzoeksrapportages kost relatief veel tijd en is dus kostbaarder dan publieksrapportages. Voor het schrijven van wetenschappelijke artikelen geldt hetzelfde ten opzichte van publieksgerichte artikelen. Bij de volgende tabel moet worden opgemerkt dat het gaat om zeer ruwe gemiddelden. Zo kan het aantal researchpublicaties (33) niet geheel worden toegeschreven aan het jaarbudget (€ 741.418), omdat projecten vaak over jaargrenzen heenlopen. Toch geeft het een globaal beeld van de kosten van de verschillende outputonderdelen.

15

Het betreft marktconforme tarieven. Omwille van de bedrijfsvertrouwelijkheid zijn de tarieven hier niet genoemd. De tarieven zijn wel bekend en besproken in de begeleidingscommissie van de evaluatie van het programmaonderzoek.

26990

37

Tabel 4.5

Overzicht van enkele producten, de kosten, de output en de gemiddelde kosten per eenheid in 2002.

PRODUCTEN

BUDGET16

OUTPUT

GEMIDDELDE KOSTEN PER EENHEID

Informatiesystemen

€ 1.271.118

19 geüpdatet operationele datasets

€ 66.901

Modelbouw

€ 479.996

4 permanente modellen

€ 119.999

Strategisch Onderzoek

€ 741.418

33 researchpublicaties (researchreports en Scales papers)

Publieksrapportages

€ 306.613

22 publieksgerichte publicaties (publieksrapportages en strategische verkenningen)

Modelbouw: budget voor artikelen

€ 31.979

Strategisch Onderzoek: b udget voor artikelen

€ 31.550

Kennisoverdracht: Publieksrapportages: budget voor artikelen

€ 23.356

15 publieksgerichte artikelen, boekbijdragen, boeken

€ 1.557

Kennisoverdracht: Publieksrapportages: budget voor minirapportages

€ 20.956

17 minirapportages

€ 1.233

7 artikelen in internationale wetenschappelijke tijdschriften

€ 22.467 € 13.937

€ 9.076

N.B.: De verdeling van geproduceerde output over de deelprogramma’s is feitelijk ingewikkelder dan hier voorgesteld. De output van een jaar loopt niet synchroon met de budgetten. De timelag tussen produceren van artikelen en plaatsing in een tijdschrift kan bijvoorbeeld sterk uit elkaar liggen. Bron: Financieel Jaarverslag programmaonderzoek 2002 en Prestatiemeting 2002.

4.4

BEOORDELING

In deze paragraaf komen we, op basis van de in de vorige paragraaf beschreven bevindingen, tot ons oordeel over de doelmatigheid van de uitvoering van het programmaonderzoek. Aansturing van het programmaonderzoek Het oordeel over de rol van EZ in de aansturing kent positieve en negatieve elementen. Positief punt in de aansturing is dat in het eerste jaar prestatie-indicatoren zijn benoemd als kern voor de beoordeling en afrekening van het programma. Ook is het positief dat EZ de programmacommissie veel ruimte heeft gegeven om invulling te geven aan haar rol. Bij het op afstand plaatsen van een dergelijke rol komt vaak voor dat overheden op de stoel gaan zitten van een dergelijke commissie, dan wel hetzelfde werk gaan doen. De financiële afhandeling is ook goed verlopen. Hoewel indertijd gekozen is voor aansturing op afstand van EZ had het ministerie de afgelopen jaren meer betrokkenheid kunnen tonen.

16

De budgetten voor de deelprogramma’s betreffen de gerealiseerde kosten van het programmaonderdeel exclusief de kosten voor coördinatie, adviescommissies, interne kwaliteitsgroepen, artikelen, minirapportages en themapapers.

26990

38

Overigens is deze situatie sinds de benoeming van een vast inhoudelijk aanspreekpunt medio 2003 verbeterd. De drie jaren overziend heeft de aansturing op afstand door EZ geleid tot het volgende: •

EZ heeft nauwelijks gebruikgemaakt van vraagarticulatie via de adviesraad. Dit heeft tot gevolg dat EZ het gevoel heeft weinig waar te krijgen voor haar geld.

•

EZ heeft weinig feedback gevraagd aan de programmacommissie over het functioneren van het programmaonderzoek op hoofdlijnen. Dit geeft EZ binnen de scheiding van verantwoordelijkheden het gevoel weinig zicht te hebben op de uitvoering van het programma.

•

EZ heeft in de loop der jaren geen duidelijkheid gegeven over de publieke functie en de verschuivende beleidskaders van het programmaonderzoek (zie ook hoofdstuk 5).

•

EZ had tot medio 2003 niet gezorgd voor interne communicatie en afstemming. EZ heeft ook geen integraal zicht op het gebruik en het nut van het programmaonderzoek voor het departement zelf.

De programmacommissie, adviesraad en adviescommissies hebben goed gefunctioneerd. Toch zijn er ook enkele kanttekeningen te maken. Wat de programmacommissie betreft, kan worden geconstateerd dat er meer aandacht had kunnen worden besteed aan de sturing op de doelmatigheid van de uitvoering van het programmaonderzoek. De programmacommissie heeft op projectbasis uitsluitend zicht op een budgetindicatie. Op de verdere opbouw, de onderbouwing van de kosten en de inzet van de medewerkersmix heeft de commissie geen zicht. Zo wordt ook niet jaarlijks een verband gelegd tussen de kosten en de opbrengsten. Wat betreft de adviescommissie is gebleken dat meer gebruik had kunnen worden gemaakt van de mogelijkheid tot vraagarticulatie. De adviesraad had de mogelijkheid om relevante thema’s te noemen en eventueel onderzoeksvragen te formuleren, maar gebleken is dat maar een beperkt deel van de adviesraad hiervan gebruik heeft gemaakt. De onderzoeksvragen zijn veelal gespecificeerd door EIM (en later goedgekeurd door de programmacommissie en adviesraad), waardoor de vraagarticulatie niet optimaal heeft plaatsgevonden via de gebruikers (adviesraad). Verder is gebleken dat EIM het secretariaat van de programmacommissie, adviesraad en adviescommissies voerde. Deze oplossing is gekozen bij de instelling van de programmacommissie uit het oogpunt van efficiëntie. Hoewel het secretariaat een onderscheiden functie heeft, bestaat toch de schijn dat het secretariaat geen neutrale schakel vormt tussen uitvoerder EIM en de programmacommissie (toezicht en controle). Interne organisatiestructuur en programmacyclus De organisatiestructuur binnen EIM en de programmacyclus zijn transparant opgezet. In de structuur en werkprocessen is veel aandacht besteed aan coördinatie en kwaliteitscontrole. Ook worden veel senioronderzoekers ingezet, wat de kwaliteit van het programmaonderzoek naar ons oordeel ten goede komt. Volgens ons zijn dit in belangrijke mate verklarende factoren voor de hoge score op kwaliteit (zie hoofdstuk doeltreffendheid). De indruk bestaat dat EIM voortdurend streeft naar de beste kwaliteit die haalbaar is en daar ook in slaagt, of anders gezegd: EIM gaat voor de 10 en haalt een 9.

26990

39

Kosten van uitvoering De keerzijde van de grote aandacht voor coördinatie en kwaliteitsbevordering, wordt gevormd door de ogenschijnlijk hoge kosten die hiermee gemoeid zijn. Hoewel we dit beeld niet ‘hard’ kunnen maken als gevolg van het ontbreken van vergelijkingsmateriaal, lijkt de optelsom van algemene coördinatiekosten, kosten voor kwaliteitsbevordering én daarnaast kosten voor supervisie, coördinatie en kwaliteitsbewaking in projecten ogenschijnlijk veel. De relatief sterkere inzet van seniormedewerkers is een afspiegeling van de medewerkersopbouw van EIM en verklaarbaar vanuit de relatief ingewikkelde werkzaamheden in verband met het programmaonderzoek. Anderzijds wordt de noodzaak van een dergelijke inzet van mix aan medewerkers niet transparant gemaakt. Zoals reeds gezegd, is de aansturing op doelmatigheid op hoofdlijnen en met weinig externe check-and-balances. Er zijn geen algemene normen voor doelmatigheid opgesteld. De normen voor doelmatigheid blijven beperkt tot een norm voor marktconforme onderzoekstarieven en vuistregels voor de tijdsinzet voor bepaalde activiteiten. EIM heeft aangegeven niet alle inzet in rekening te brengen bij EZ. Het gaat hierbij niet om ongedekte kosten, maar om gederfde inkomsten. Ook blijkt EIM naar eigen zeggen verlies te leiden op het programmaonderzoek. Daar staat tegenover dat in de tarieven die EIM in rekening brengt, een winstaandeel is opgenomen. Dit geldt ook voor het schrijven van de interne offertes, waarvoor tegen markttarief uren worden geschreven. Verder geniet EIM een aanzienlijke kennisvoorsprong en heeft EIM veel spin-off (marktactiviteiten) als gevolg van het programmaonderzoek. Ten slotte is de relatie tussen kosten en output voor een aantal producten geanalyseerd. Er is geen oordeel te geven of de gemiddelde kosten per eenheid hoog of laag zijn. In verhouding tot elkaar is de hoogte van deze kosten wel logisch.

26990

40

5.

PUBLIEKE KARAKTER VAN HET PROGRAMMAONDERZOEK

Een deel van de evaluatievragen heeft betrekking op het publieke karakter van het programmaonderzoek en de positionering van het programmaonderzoek in de beleidscontext. Omdat EIM zowel het programmaonderzoek uitvoert als betaalde opdrachten uitvoert voor marktpartijen is een aantal specifieke evaluatievragen over de hiermee samenhangende problematiek gesteld. Deze komen in dit hoofdstuk aan de orde. 5.1

BELEIDSCONTEXT


In de basisbeschikking voor het programmaonderzoek voor de periode 2001 - 2004 vermeldt de minister dat het programmaonderzoek past binnen het beleid gericht op het stimuleren van het ondernemerschap en het MKB. Welke bijdrage het programma hieraan moet leveren, komt niet naar voren. In paragraaf 2.5 is uiteengezet dat het programmaonderzoek in 2002 is ondergebracht onder het begrotingsartikel ‘bevorderen ondernemingsklimaat’. Bij het Ministerie van EZ is de vraag gerezen of dit wel de geëigende plaats is voor het programmaonderzoek in de EZbegroting. De meest recente beleidsnota inzake MKB en Ondernemerschap betreft de nota ‘In actie voor ondernemers’ uit december 2003. Doel van het Kabinet is de komende jaren de ruimte voor ondernemers te vergroten. Hiermee wordt niet alleen gedoeld op de fysieke ruimte, maar ook het klimaat waarbinnen ondernemers opereren en waarvoor de overheid verantwoordelijkheid draagt. In deze beleidsnota komt het programmaonderzoek niet aan de orde. Uit diverse gesprekken blijkt veel onduidelijkheid over de positionering van het programmaonderzoek binnen haar beleidscontext. De positionering van het programmaonderzoek zoals dat op dit moment wordt uitgevoerd conform de doelstellingen zoals geformuleerd in 2001, past niet binnen de beleidslijn en de daarbij geformuleerde doelstellingen en streefwaarden. Zoals in het eerste hoofdstuk beschreven, heeft het huidige programmaonderzoek niet direct tot doel bij te dragen aan het vergroten van het aantal ondernemers of aantal volwassenen dat een eigen bedrijf opzet. Gesprekspartners hebben erop gewezen dat onderdelen van het programmaonderzoek beter of net zo goed zouden kunnen passen binnen andere beleidsdoelstellingen. De volgende begrotingsartikelen zijn genoemd: •

‘Het bevorderen van een samenhangend economisch beleid van het kabinet door het maken van onafhankelijke analyses en prognoses’ (begrotingsartikel 8).

•

‘Het voorzien in maatschappelijke behoefte aan statistieken i.c. het verrichten van statistisch onderzoek ten behoeve van praktijk, beleid en wetenschap en het openbaar maken van de op grond van zodanig onderzoek samengestelde statistieken’ (begrotingsartikel 9).

Daarnaast passen onderdelen van het programmaonderzoek ook binnen begrotingsartikel 2 (Bevorderen Innovatiekracht), bijvoorbeeld het onderdeel stimuleren van innovatieve starters.

26990

41

5.2

H ET

PUBLIEKE KARAKTER VAN HET PROGRAMMAONDERZOEK

In de afgelopen periode heeft het Ministerie van EZ het uitgangspunt gehanteerd dat het programmaonderzoek een publiek karakter heeft. In deze paragraaf gaan we na in welke mate het programmaonderzoek ook werkelijk als een verzameling van publieke goederen (kennisproducten) kan worden aangemerkt. Er zijn twee relevante perspectieven die we kort uitwerken: de economische en politiek-bestuurlijke benadering. Daarna passen we deze perspectieven toe op het programmaonderzoek. 5.2.1 Theoretische benaderingen van publieke goederen Economische benadering Vanuit economisch perspectief zijn publieke goederen die producten die niet in een marktsituatie voortgebracht kunnen worden. Publieke goederen kunnen alleen door de overheid worden verstrekt. Kenmerken van dergelijke goederen zijn: •

Geen rivaliteit: gebruik door meer dan één gebruiker gaat niet gepaard met verhoging van de kosten en gebruik door de ene gebruiker vermindert het gebruik door een andere gebruiker niet.

•

Niet-uitsluitbaarheid: gebruikers kunnen niet van gebruik worden uitgesloten en de goederen zijn toegankelijk voor iedereen.

Er kan onderscheid worden gemaakt tussen ‘zuiver publieke goederen’ en ‘quasi publieke goederen’. Zuiver publieke goederen zijn goederen die niet uitsluitbaar zijn en een nietrivaal karakter hebben (bijvoorbeeld defensie, veiligheid, wetgeving). Quasi-publieke goederen zijn goederen die wel uitsluitbaar zijn, maar ook een niet-rivaal karakter hebben (bijvoorbeeld onderwijs en infrastructuur). Economen gaan uit van goede marktwerking bij de voortbrenging van goederen. Een vraag creëert in principe vanzelf een passend aanbod. Pas waar markten falen, kan een overheid overwegen in te grijpen. Markten falen waar marktwerking faalt. Politiek-bestuurlijke benadering Vanuit politiek-bestuurlijke optiek zijn er twee relevante vragen om te bepalen of iets tot het publieke domein kan worden gerekend: de ‘wat- ‘en de ‘hoe-vraag’17: •

De ‘wat-vraag’ betreft hetgeen de overheid wil bereiken: welke maatschappelijke belangen merkt de overheid aan als publieke belangen, hetgeen inhoudt dat zij zich deze belangen aantrekt in de overtuiging dat deze alleen dan goed tot hun recht komen?

•

De ‘hoe-vraag’ gaat over de wijze waarop de overheid dat kan bereiken: op welke wijze worden de belangen waarvoor de overheid de eindverantwoordelijkheid heeft aanvaard, geborgd en wie draagt de verantwoordelijkheid hiervoor? De hoe-vraag betreft de uitvoeringsmodaliteit en is veel minder politiek van karakter; publieke taken kunnen immers langs meerdere wegen worden behartigd.

17

WRR, ‘Borgen van Publiek Belang’, 2000.

26990

42

Bij de behartiging van publieke belangen gaat het om een zodanige toedeling van publieke en private verantwoordelijkheden dat de overheid haar eindverantwoordelijkheid zo goed mogelijk kan waarmaken. Overheden kunnen publieke taken zelf uitvoeren of geheel openbaar aanbesteden onder private partijen. Daartussen zijn er allerlei mengvormen. Deze vraag komt in de volgende paragraaf aan de orde. De WRR definieert een publiek belang als ‘een belang waarvan de overheid zich de behartiging aantrekt op grond van de overtuiging dat dit belang anders niet goed tot zijn recht komt’. Dit betekent dat de overheid het tot doelstelling van haar beleid maakt om dit belang te behartigen. Het gaat om een structurele betrokkenheid van de overheid en niet om tijdelijke politieke doelen of om doelstellingen van individuele politici. Bij een publiek belang gaat het dus uiteindelijk om de vraag of de overheid zich een bepaald maatschappelijk belang moet aantrekken: moet zij een eindverantwoordelijkheid op zich nemen opdat belangen die voor de samenleving als geheel van belang zijn, ook daadwerkelijk worden behartigd? 5.2.2 Theoretische inzichten toegepast op het programmaonderzoek Vanuit de economische benadering bezien hebben de producten uit het programmaonderzoek veel ‘publieke kenmerken’. In het gebruik van de kennisproducten uit het programmaonderzoek is weinig tot geen sprake van rivaliteit of uitsluitbaarheid. Verder blijkt uit de enquête en gesprekken onder gebruikers dat er nauwelijks of geen marktpartijen zijn te vinden die de verantwoordelijkheid willen nemen voor een soortgelijk programmaonderzoek. Uit de enquête blijkt dat slechts één respondent, niet zijnde een publieke organisatie, een redelijke substantieel bedrag (meer dan € 10.000) over heeft voor het tot stand brengen van het programmaonderzoek. Door bijna alle gebruikers uit de enquête en gesprekspartners is er echter wél gewezen op het belang van de beschikbaarheid van een programmaonderzoek, omdat anders onderzoek naar MKB en Ondernemerschap niet goed tot zijn recht komt. Argumenten voor een publiek programmaonderzoek zijn onder meer de grote waarde van de continuïteit, eenduidige definities, consistente dataverzameling en objectiviteit, die niet zouden worden bereikt wanneer het programmaonderzoek geen publieke functie zou zijn en meerdere partijen gedwongen zouden worden zelf onderzoek te (laten) doen. Dit geldt met name voor de deelprogramma’s informatiesystemen en de modelbouw. Het bovenstaande is grotendeels in lijn met de inhoud van een notitie van EIM en Erasmus Universiteit18. Daarin wordt gesproken over het programmaonderzoek als een verzameling van ‘semi-publieke producten’. In de notitie wordt gesteld dat voornamelijk de modellen en databanken, het conceptueel en ander strategisch onderzoek en de laagdrempelige kennisoverdracht een sterk publiek karakter hebben, omdat ze niet op de markt totstandkomen. Verder hebben EIM en Erasmus Universiteit aangegeven dat het waarschijnlijk ook geldt voor vele van de meer toegepaste, publieksgerichte publicaties, omdat de kosten van het ‘organiseren’ van de verbrokkelde vraag hiernaar veelal prohibitief zouden werken.

18

Informatie als publieke taak. Het onderzoeksprogramma MKB en Ondernemerschap, opgesteld door prof. dr. O.H. Swank en dr. J. Meijaard, 4 maart 2004.

26990

43

Passen we de ‘wat’-vraag uit de politiek-bestuurlijke benadering toe op het programmaonderzoek, dan zien we dat het Ministerie van EZ in de notitie naar aanleiding van de evaluatie in 1999 en in de subsidiebasisbeschikking van 2000 heeft aangegeven dat zij het van belang vindt dat een publieke kennisinfrastructuur met basisinformatie over het MKB en Ondernemerschap voor een brede doelgroep beschikbaar is. Doordat EZ heeft aangegeven dat het programmaonderzoek een ‘publiek belang’ betreft en dit is geaccordeerd door de Tweede Kamer, kan het programmaonderzoek als een publieke voorziening worden beschouwd. 5.2.3 Conclusies uit de evaluatie van de commissie-Verhaegen, 1999 Tijdens de vorige evaluatie heeft de commissie-Verhaegen (1999) zich eveneens gebogen over het publieke karakter van het programmaonderzoek. Destijds werd geconstateerd dat onderdelen van het programmaonderzoek geen publiek karakter hebben als minimaal één partij te identificeren is die dezelfde vragen uit het programmaonderzoek zou kunnen articuleren en financieren. Naar het oordeel van de commissie-Verhaegen konden de volgende onderdelen destijds niet via het vrije marktmechanisme worden vervuld op een systematische en coherente wijze: •

Een deel van de strategische verkenningen: hierbij gaat het om de strategische verkenningen die duidelijk richtinggevend en kaderstellend zijn voor de modelbouw en informatiesystemen.

•

Een deel van de modelbouw: hierbij gaat het om het deel van de modelbouw dat betrekking heeft op het ontwikkelen van rekenmodellen om datamateriaal te maken dat anderszins niet beschikbaar is. Dit onderdeel van de modelbouw is zeer nauw verbonden met de informatiesystemen. Marktpartijen zijn niet bereid hiervoor te betalen.

•

De informatiesystemen: hiervoor geldt dat in de volle breedte van de systemen geen marktvraag kan worden gearticuleerd.

•

De informatiediensten: het is hoogst onwaarschijnlijk dat er financiers te vinden zijn, anders dan het Ministerie van EZ, die de informatiedienst als voorziening zullen financieren.

•

Een deel van de primaire producten: hierbij gaat het met name om de brancheoverschrijdende onderzoeken.

Naar het oordeel van de commissie-Verhaegen was continue voortbrenging van deze onderdelen van het programmaonderzoek in hun onderlinge samenhang onvoldoende gegarandeerd, indien dit aan het vrije marktmechanisme zou worden overgelaten. Voorts was de commissie van mening dat deze ‘publieke’ activiteiten in gebundelde vorm moesten worden verricht. De samenhang tussen de verschillende activiteiten was dermate groot dat het maatschappelijk gezien inefficiënt zou zijn de verschillende activiteiten los van elkaar te verrichten. Informatiesystemen en onderdelen van modelbouw waren nauw met elkaar verweven.

26990

44

5.2.4 ‘Publieke toets’ door EIM op afzonderlijke kennisproducten In het voorgaande spreken we voortdurend van het programmaonderzoek in zijn geheel. Dit programmaonderzoek is echter opgebouwd uit afzonderlijke kennisproducten. Uit de evaluatie blijkt dat er geen objectieve criteria zijn gehanteerd om vast te stellen of een afzonderlijk product uit het programmaonderzoek een publiek karakter heeft. Zowel het Ministerie van EZ als de programmacommissie hebben hier geen eenduidige richtlijnen voor. De definitieve keuze om een project/product/dienst onder het programmaonderzoek onder te brengen, wordt gemaakt door de programmacommissie op basis van een voorstel dat EIM maakt op basis van eigen kennis en ervaring. Per activiteit wordt systematisch beoordeeld of: •

de betreffende kennis niet in de markt tot stand kan komen

•

het van algemeen belang is dat deze kennis wordt opgebouwd.

In elk projectvoorstel (offerte) wordt de vraag gesteld of het project niet op de markt gefinancierd kan worden. In onderstaand overzicht geven we van een willekeurig aantal projecten een overzicht van de antwoorden die door de betreffende EIM-onderzoeker is gegeven: •

‘Het betreft een zeer fundamentele vraag waarvoor bij één partij geen koopkrachtige vraag aanwezig is’ (project in deelprogramma Kennisoverdracht).

•

‘Voor een dergelijk fundamenteel onderzoek bestaat geen koopkrachtige vraag’ (project in deelprogramma Strategisch Onderzoek).

•

‘Een dergelijk fundamenteel Informatiesysteem waarbij de innovativiteit van het Nederlandse particuliere bedrijfsleven, onderscheiden naar sectoren, wordt ontsloten, bestaat geen koopkrachtige vraag. De gegevens die hier uit voortkomen, kunnen wel als uitgangspunt dienen voor meer diepgaande sectorstudies (in de markt)’ (project in deelprogramma’s Informatiesystemen en Publieksrapportages).

•

‘Het vergaren van algemene startersinformatie is moeilijk te financieren op de markt. Daarvoor is de kring van gebruikers te diffuus’ (project in deelprogramma’s Informatiesystemen en publieksrapportages).

•

‘Er bestaat informatiebehoefte bij diverse geldingen van de beleidsmakers rond het MKB, wat blijkt uit het feit dat EIM regelmatig vragen krijgen van diverse instanties over verschillende aspecten van internationalisering van het MKB. Het is wenselijk deze basisstudie met publiek geld te doen, omdat het momenteel nog aan een gemeenschappelijk denkkader ontbreekt. Bovendien is het maatschappelijk inefficient als dit decentraal zou plaatsvinden’ (project in deelprogramma Strategisch onderzoek).

•

‘Er is geen kapitaalkrachtige vraag voor dit onderzoek, terwijl de resultaten waarschijnlijk breed zullen kunnen worden gebruikt (beleidsmakers, intermediaire organisaties, financiers, adviseurs)’ (project in deelprogramma Strategisch Onderzoek).

•

‘Onderwijs is grotendeels een publiek goed’ (project in deelprogramma Strategisch Onderzoek).

•

‘Het betreft een haalbaarheidsstudie om basisinformatie op landelijk niveau aangaande het beleidthema fysieke bedrijfsomgeving te ontwikkelen’ (project in deelprogramma Strategisch onderzoek).

26990

45

•

‘De verzamelde informatie is algemeen van aard. Niet specifiek genoeg om voor marktpartijen aantrekkelijk te zijn’ (project in deelprogramma Informatiesystemen).

•

‘Vraag is te zeer verbrokkeld, investeringskarakter van het project, marktpartijen verwijzen naar EZ programma’ (project in deelprogramma Modelbouw).

•

‘Dit onderzoek is de core business van EIM. Van EIM wordt verwacht dat er onderzoek gedaan wordt naar de kortetermijnontwikkelingen van het MKB en MKBsectoren. De kosten van een dergelijk project, kunnen niet opgebracht worden door een private partij’ (project in deelprogramma Publieksrapportages).

•

‘Het betreft een vergelijkende analyse van het MKB in regio’s (totale dekking in Nederland staat decentraal en niet een bepaalde regio)’ (project in deelprogramma Publieksrapportages).

Uit het overzicht van antwoorden blijkt de subjectiviteit bij de beoordeling of een project als een publieke activiteit moet worden gezien. Er wordt geen nader onderzoek gedaan naar de mate waarin het algemeen belang ermee is gediend of dat er eventuele medefinanciers zijn bij andere overheden dan EZ, het maatschappelijk middenveld of private partijen. Hierbij moet worden opgemerkt dat het niet efficiënt zou zijn bij elke afzonderlijke programmaactiviteit uitvoerig onderzoek te doen naar de mate waarin het project ook in de markt tot stand zou kunnen komen en de mate waarin het algemeen belang ermee gediend is. 5.3

DE

UITVOERING VAN EEN PUBLIEK PROGRAMMA DOOR EEN PRIVATE PARTIJ

Voor de zogenaamde ’hoe-vraag’ uit de politiek-bestuurlijke benadering van de WRR staan drie elementen centraal de financiering(swijze)’, de (wijze van selecteren van) uitvoerende organisatie en de openbare beschikbaarheid van informatie. 5.3.1 Financieringswijze Wat de financieringswijze betreft, is gekozen voor een vierjarige programmasubsidiëring door EZ. Bijna alle gesprekspartners (wetenschap, beleidsmakers, koepelen brancheorganisaties) uit alle geledingen onderstrepen voor een groot deel van de modelbouw en datasets het belang van een meerjarige financiering. Via een dergelijke constructie kan het beste de continuïteit en consistentie worden bereikt. Een aantal gesprekspartners vermeldt ook dat - achteraf bezien - onderdelen van het programmaonderzoek ook buiten het programmaonderzoek om en niet via de subsidielijn gefinancierd hadden kunnen worden. Hierbij wordt onder meer gewezen op (onderdelen van) de datasets in het kader van de administratieve lasten en bepaalde publieksgerichte rapportages. Bij het Ministerie van EZ bestond in de afgelopen periode soms het dilemma onderzoeksactiviteiten te laten uitvoeren via het programmaonderzoek of op een andere wijze. EIM heeft de afgelopen jaren meerdere keren verzoeken van EZ om activiteiten via het programmaonderzoek te laten uitvoeren afgewezen. EIM meende dat deze onderzoeken daar niet thuishoorden vanwege het onderwerp of omdat de EZ-vraag geen basisinformatie betrof, maar eerder een beleidsvraag. Enkele voorbeelden zijn een onderzoek naar het patroon van Nederlandse buitenlandse investeringen van grote ondernemingen, een onderzoek naar verwachtingen van het MKB ten aanzien van de rol van de overheid bij internationaal ondernemen en een onderzoek naar MKB en verzekeringen.

26990

46

Ook in de gesprekken met EZ wordt bevestigd dat het niet altijd helder is wat tot het programmaonderzoek behoort en wat daarbuiten op projectbasis onderzocht moet worden. Uit de enquête onder gebruikers blijkt dat er bereidheid bestaat tot een beperkte financiële bijdrage voor producten/diensten van het programmaonderzoek. Uit de reacties van respondenten blijkt dat 20% van de gebruikers van publieksgerichte rapporten bereid is tot een financiële bijdrage. Van de gebruikers van onderzoeksrapporten is 21% bereid tot een financiële bijdrage. Van de gebruikers van datasets is 19% bereid tot enige betaling en van de gebruikers van de infoservice is 23% bereid tot een financiële bijdrage. Het gaat hierbij om bijdragen van enkele tientallen tot maximaal een paar honderd euro. 5.3.2 Uitvoerende organisatie De uitvoerende organisatie is al sinds jaar en dag EIM, een bureau dat ook marktactiviteiten verricht. EIM is in 2000 min of meer geselecteerd omdat er op dat moment in Nederland geen ander instituut zou zijn dat het programma integraal zou kunnen uitvoeren. Hierdoor was tendering niet aan de orde. Op medewerkers- en afdelingsniveau binnen EIM lopen markten programmaonderzoeksactiviteiten door elkaar. EIM-medewerkers verrichten beide soorten activiteiten hoewel er accentverschillen zijn: enkele medewerkers besteden een groot deel van hun tijd uitsluitend aan het programmaonderzoek. Dit leidt tot kruisbestuiving van marktopdrachten richting programmaonderzoek. Anderzijds leidt dit, volgens enkele wetenschappelijke instituten, ook tot een kennisvoorsprong van EIM ten opzichte van concurrenten: ‘dankzij de gesubsidieerde kennisopbouw is EIM op de markt bijna niet meer te verslaan’. Concurrerende wetenschappelijke onderzoeksinstituten hebben aangegeven dat de relatie tussen EIM en beleidsmakers (Ministerie van EZ, koepelorganisaties) zeer hecht is dankzij het programmaonderzoek. Daardoor wordt volgens hen ‘gezonde marktwerking’ tegengegaan. Hier moet worden benadrukt dat het percepties betreft. Eerder is aangegeven dat de ‘hechte band’ tussen EIM en EZ beperkt is geweest tot medio 2003. Het door elkaar lopen van markten publieke activiteiten blijkt ook uit een analyse van offertes die EIM in de markt uitbrengt. Hierin worden ook producten uit het programmaonderzoek opgevoerd als referentieopdrachten, zonder dat daarbij expliciet wordt aangegeven dat het een product uit het programmaonderzoek betreft. Zo worden bijvoorbeeld in het promotiemateriaal van het account ‘Administratieve lasten en uitvoeringskosten’ veel projecten uit het programmaonderzoek aangehaald, zonder dat een verwijzing naar het programmaonderzoek MKB en Ondernemerschap wordt gemaakt. Hier wordt volstaan met de verwijzing ‘in opdracht van het Ministerie van Economische Zaken’, waardoor het lijkt alsof EIM BV veel afzonderlijke opdrachten voor het departement achter elkaar in de markt heeft ‘gewonnen’ en uitgevoerd. Omdat EIM zowel het gesubsidieerde programmaonderzoek uitvoert als activiteiten voor marktpartijen moeten speciale gedragsregels worden nageleefd. In de eerste plaats geldt dit voor de tarieven van de in te zetten medewerkers. Uit een analyse van enkele offertes van EIM voor de markt blijkt dat de tarieven die in de offertes binnen het programmaonderzoek worden gehanteerd gelijk zijn aan de tarieven die worden gehanteerd voor marktactiviteiten van EIM. Dit komt overeen met de voorwaarden in de subsidiebeschikking van EZ, waarin is opgenomen dat de tarieven die EIM hanteert per categorie medewerker voor het programmaonderzoek gelijk moeten zijn aan de tarieven voor contractonderzoek. In deze ‘markttarieven’ is een opslag voor indirecte kosten en een winst opgenomen.

26990

47

In de tweede plaats moet er sprake zijn van een gescheiden boekhouding tussen overheidstaken en marktactiviteiten. Wij hebben dit onderzocht en een uitgebreide en zorgvuldig boekhouding aangetroffen. EIM heeft een projectmatig opgezette boekhouding waarin alle activiteiten verbonden aan het onderzoeksprogramma in aparte projecten zijn ondergebracht. In de derde plaats mag EIM gegevens uit het programmaonderzoek, waarvoor een verplichting tot geheimhouding of bescherming van persoonsgegevens geldt, niet gebruiken voor marktactiviteiten. Wij hebben niet geconstateerd dat EIM dit gedaan heeft. EIM heeft dit geborgd in haar kwaliteitshandboek op basis waarvan EIM gecertificeerd is. Ook is EIM aangesloten bij verschillende brancheorganisaties (ESOMAR, NSAV) die strenge eisen stellen op dit gebied. EIM maakt voor het werken conform haar kwaliteitshandboek geen onderscheid tussen werkzaamheden in het kader van het programmaonderzoek of voor de markt. In de vierde plaats mag EIM gegevens verkregen met publieke middelen niet nog eens op de markt verkopen. Wij hebben geen aanwijzingen gevonden dat EIM dit gedaan heeft. De programmaco mmissie ziet hier ook nauwlettend op toe. 5.3.3 Openbare beschikbaarheid Ten slotte is de openbare beschikbaarheid van informatie van groot belang. EZ betaalt immers de kosten van het programmaonderzoek, omdat zij vindt dat er een basis aan kennis over MKB en Ondernemerschap nodig is, die voor iedere belangstellende gratis toegankelijk is. Ten aanzien van dit punt zijn de afgelopen vier jaar grote inspanningen gepleegd om de kennisproducten uit het programmaonderzoek op een adequate wijze te ontsluiten. Alle rapporten zijn publiek toegankelijk via internet, de datasets zijn te raadplegen via internet of ‘on site’ bij EIM. Specifieke vragen kunnen via de infoservice worden gesteld aan medewerkers van EIM, die vervolgens bepalen of een vraag wel of niet te beantwoorden is op basis van het programmaonderzoek. Opvallend is wel dat het publieke karakter minder tot zijn recht komt, omdat de producten toegankelijk zijn via een website met daarin de naam van EIM daarin verwerkt (www.eim.net). Op de homepage komt de naam van EIM BV een groot aantal keren voor, zonder dat de naam van de publieke financier (Ministerie van EZ) wordt genoemd19. Dit is anders dan op een door het Ministerie van EZ betaalde website als ‘www.internationaalondernemen.nl’. Ondanks alle openbaarheid aan informatie zijn er gesprekspartners die wijzen op een kennisvoorsprong van EIM omdat zij als generator de cijfers het beste ‘in de vingers’ hebben. 5.4

BEOORDELING

Relatie tussen programmaonderzoek en EZ-beleid Belangrijk aandachtspunt is de inbedding van het programmaonderzoek in de beleidscontext. Wij zijn van oordeel dat de afgelopen jaren niet duidelijk is beschreven wat de precieze bijdrage van het programmaonderzoek moet zijn aan het EZ-beleid. In de startnotitie en de basisbeschikking is dit niet beschreven. Ook de meest recente relevante beleidsnota (Ondernemerschapsbrief, december 2003) zegt hier niets over.

19

Tijdens de looptijd van dit evaluatieonderzoek is de naam van het Ministerie van EZ als nog genoemd op de homepage van het programmaonderzoek (www.eim.net).

26990

48

De inbedding van het programma binnen het begroting artikel 3 ‘Bevordering ondernemingsklimaat’ is niet helemaal passend (zie ook paragraaf 2.5). Belangrijkste overeenkomst is dat ondernemerschap de drager is van zowel het begrotingsartikel als van het programmaonderzoek. De relatie van het programmaonderzoek conform de oorspronkelijke doelstellingen heeft echter een zeer indirecte relatie met de bevordering van ondernemerschap. Het programmaonderzoek past niet goed bij gedefinieerde effectindicatoren. De oorspronkelijke doelstelling was gericht op het instandhouden, uitbouwen en ontsluiten van publieke kennisinfrastructuur met basisinformatie over het (kleinschalige) bedrijfsleven voor beleidsmakers en andere gebruikers. Er is hierbij geen directe relatie met het vergroten van het aantal ondernemers gelegd. Zo bezien is de analyse in de begroting 2004 dat het programmaonderzoek niet bijdraagt aan de operationele doelstelling (zie paragraaf 2.5) op zich juist, maar ook onterecht. Het is immers tot nu toe ook nooit de bedoeling van het programmaonderzoek geweest, direct een dergelijke bijdrage te leveren. Achteraf bezien had, volgens ons, het programmaonderzoek beter kunnen worden ondergebracht bij genoemde begrotingsartikelen 8 en/of 9. Dit geldt voor alle programmaonderdelen. Wat de toekomst betreft, is het uiteraard mogelijk de accenten van het programmaonderzoek dusdanig te modelleren dat deze past binnen bijvoorbeeld begrotingsartikel 3. Dit komt ook in paragraaf 7.3 aan de orde. Publieke karakter van het programmaonderzoek EZ bepaalde bij aanvang van de programmaperiode 2001 - 2004 op basis van beleidsoverwegingen dat het programmaonderzoek tot het publieke domein behoorde. Dit lijkt gerechtvaardigd, omdat uit de evaluatie blijkt het programmaonderzoek in zijn geheel niet in de markt tot stand was gekomen. Dat neemt niet weg dat het in de afgelopen periode heeft ontbroken aan operationele criteria voor het bepalen van het publieke karakter van afzonderlijke producten uit het programmaonderzoek. Uitvoerder EIM heeft in hoge mate zelf op basis van ‘professional ju dgement’ beoordeeld of projecten als publiek kunnen worden aangemerkt. Dit is vervolgens getoetst door de programmacommissie. Hierbij moet worden opgemerkt dat het vraagstuk van publieke kennisproducten complex is. Het is moeilijk om per afzonderlijk kennisproduct objectief aan te geven of het een publiek karakter heeft. Zelfs indien marktpartijen bereid zijn om te betalen voor een kennisproduct, wil nog niet zonder meer zeggen dat het geen publiek goed betreft. Kijken we naar de oordelen van gebruikers over het publieke karakter van de verschillende producten uit het programmaonderzoek, dan lopen de meningen nog al eens uiteen. Toch zien we wel dat praktisch alle gebruikers het erover eens zijn dat de informatiesystemen en modelbouw in de sterkste mate als publieke voorziening kunnen worden aangemerkt. Daarnaast worden ook strategische analyses, die primair betrekking hebben op de interpretatie en ontsluiting van databestanden en modellen, ook tot het publieke domein gerekend. De publieksgerichte rapportages, quick service en informatieservice worden in mindere mate als publieke goederen aangemerkt.

26990

49

Financieringswijze Wat de financieringswijze betreft, vinden gebruikers het over het algemeen terecht dat delen van het programmaonderzoek meerjarig programmatisch worden gefinancierd. Op deze wijze is de continuïteit het beste gegarandeerd. Dit geldt met name voor modellen, de meeste datasets en bepaalde strategische onderzoeken. Aan de andere kant vinden wij dat soms te gemakkelijk van publieke subsidiering wordt uitgegaan en missen wij de nodige creativiteit bij de financiering. EIM heeft niet de opdracht gekregen bij het opstellen van globale offertes na te gaan of er eventuele andere medefinanciers zijn. Met name beleidsgerichte onderzoeken (bijvoorbeeld naar administratieve lasten) zouden logischerwijs mo eten kunnen rekenen op financiering door meer partijen dan alleen het Ministerie van EZ. Ook is goed voorstelbaar dat EZ bepaalde beleidsgerichte onderzoeken niet via de subsidielijn van het programmaonderzoek, maar meer projectmatig vormgeeft eventueel via aanbesteding. Te denken valt aan het uitvoeren van bepaalde strategische onderzoeken, het opstellen van specifieke publieksrapportages en de ontwikkeling van een specifieke dataset. Bij andere departementen zijn ook voorbeelden van meerjarig durende opdrachten voor dataverzameling die eens in de vier jaar meervoudig worden uitbesteed. Zo laat Verkeer en Waterstaat elk jaar een klantenbarometer uitvoeren onder reizigers in het openbaar vervoer in heel Nederland. Deze opdracht wordt gefinancierd door meerdere partijen en na openbare aanbesteding voor meerdere jaren aan een bureau gegund die de resultaten op internet van Verkeer en Waterstaat plaatst. Tenslotte kan ook voor de afname van producten het profijtbeginsel sterker worden ingevoerd en een bijdrage worden gevraagd. In hoofdstuk 7 wordt nader in gegaan op de mogelijkheden voor (mede)financiering van onderdelen door andere partijen dan alleen het Ministerie van EZ. Uitvoering van het programmaonderzoek door een private partij EZ heeft bij aanvang van de programmaonderzoeksperiode 2001 - 2004 gekozen voor EIM als uitvoerder omdat het onwaarschijnlijk was dat een andere partij het programmaonderzoek integraal had kunnen uitvoeren. Vanuit het oogpunt van integraliteit is dit juist. Dit neemt niet weg dat vermoedelijk op onderdelen andere organisaties delen van het programmaonderzoek ook hadden kunnen uitvoeren. Wat betreft EIM, concluderen we dat het programmaonderzoek sterk verweven is met de marktactiviteiten van het bureau. Het programmaonderzoek geeft EIM voordeel bij haar marktactiviteiten. De accumulatie van vele jaren kennisopbouw over MKB en Ondernemerschap en het opbouwen van modellen en datasets met behulp van onder meer overheidssubsidies, maakt EIM tot een unieke kennisinstelling met een unieke positie op de markt. Het is lastig een oordeel te vellen over het concurrentievoordeel aan de ene kant en het voordeel van de accumulatie van kennis aan de andere kant. Zolang EIM enorme inspanningen pleegt om de informatie openbaar beschikbaar te stellen, kan het concurrentievoordeel op de koop toe worden genomen. Belangrijke randvoorwaarde is wel dat goed wordt bekeken dat geen enkele andere organisatie het onderzoek zou kunnen uitvoeren. Deze toetsing dient niet uitsluitend door EIM te worden uitgevoerd, maar te worden voorzien van voldoende checks-and-balances door niet-belanghebbenden.

26990

50

Voor de buitenwereld is het programmaonderzoek min of meer gelijk aan EIM, met andere woorden het programmaonderzoek wordt vereenzelvigd met EIM. Het programmaonderzoek is voor de buitenstaander nauwelijks te ontwaren als een publieke kennisinfrastructuur van het Ministerie van EZ. Het Ministerie van EZ komt als ‘eigenaar’ en financier van het programmaonderzoek onvoldoende tot uitdrukking. De openbare beschikbaarheid van de publieke kennis is in de periode 2001 - 2003 sterk verbeterd. EIM heeft veel inspanningen verricht om de resultaten voor een breed publiek toegankelijk te maken en een goede prestatie neergezet. Het internet heeft hierbij een belangrijke rol gespeeld. EIM houdt zich aan de verplichte gedragsregels inzake de relatie tussen markt en overheid. Er is een separate boekhouding, EIM houdt zich aan de regels van geheimhouding en bescherming van persoonsgegevens en EIM verkoopt geen publiek ingewonnen informatie op de markt. Verder is gebleken dat EIM - overigens conform de aanwijzingen in de subsidiebeschikking - markttarieven hanteert bij de uitvoering van het programmaonderzoek. Op zich is dit billijk, omdat hierin ook kosten voor administratieve en secretariële ondersteuning in zijn verrekend, kosten die niet expliciet in het programmaonderzoek worden opgevoerd. Maar daarnaast is in de tarieven van een commercieel opererend bureau ook een winstpercentage opgenomen. Aangezien het bij de uitvoering van het programmaonderzoek niet gaat om marktactiviteiten, maar om een subsidiestroom, stellen we vraagtekens bij de wenselijkheid van een dergelijk winstpercentage. Dit mede in het licht van het concurrentievoordeel dat EIM reeds heeft als gevolg van de uitvoering van het programmaonderzoek.

26990

51

6.

CONCLUSIES EX-POST EVALUATIE PROGRAMMAONDERZOEK

In de voorgaande hoofdstukken hebben we teruggekeken naar het programmaonderzoek MKB en Ondernemerschap in de periode 2001 - 2004. Hierbij zijn allerlei aspecten de revue gepasseerd. In dit hoofdstuk komen we op basis van deze bevindingen tot een korte en bondige beantwoording van de onderzoeksvragen, die zijn opgesteld door het Ministerie van EZ. 6.1

D OELTREFFEND HEID

In hoeverre zijn de doelstellingen van het programmaonderzoek, dankzij het programmaonderzoek gerealiseerd, onder meer blijkend uit de gehouden prestatiemetingen? Uit de prestatiemetingen van het programmaonderzoek blijkt dat de streefwaarden voor output, kwaliteit en bereik/gebruik van de producten in de jaren 2001 - 2003 praktisch geheel zijn gehaald. De gehanteerde prestatie-indicatoren vormen als geheel een logische operationalisering van de doelstelling van het programmaonderzoek (‘opbouwen en ontsluiten van kennisinfrastructuur over MKB en Ondernemerschap’). Hoe relevant is het programmaonderzoek geweest voor de overheid, het MKB en de verschillende maatschappelijke organisaties? Waar hebben zij de producten van het programmaonderzoek voor gebruikt? Welke andere gebruikers kunnen worden onderscheiden en hoe hebben zij gebruikgemaakt van de producten van het Programmaonderzoek? Het programmaonderzoek is, volgens beleidsmakers, koepelorganisaties en brancheorganisatie die in de evaluatie zijn betrokken, zeer relevant geweest voor vergroting van kennis en inzicht over MKB en Ondernemerschap. Toch is ook gebleken dat beleidsmakers, koepelen brancheorganisaties kanttekeningen plaatsen bij het praktische gebruik van het kennisaanbod voor beleid en advisering van het bedrijfsleven. De producten worden met name gebruikt voor vergroting van kennis en inzicht in thema’s rond MKB en Ondernemerschap op strategisch niveau. Het MKB en ondernemers worden in beperkte mate rechtstreeks bediend vanuit het programmaonderzoek, maar uit relevante documenten blijkt dat het programmaonderzoek zich ook weinig rechtstreeks richt tot bedrijven en ondernemers. De indruk bestaat dat wetenschappelijke producten uit het programmaonderzoek veel aftrek vinden bij universiteiten en onderzoeksinstituten. Wetenschappelijk onderzoeksrapporten worden veel gebruikt door hoogleraren en docenten voor onderzoek en werkcolleges aan studenten. Welke rol speelt het programmaonderzoek in de ‘kennisketen’ voor MKB en Ondernemerschap? Het programmaonderzoek genereert veel soorten kennis. Centraal staat het toepasbaar maken van fundamentele, abstracte kennis zodat beleidsmakers en intermediaire organisaties de kennis kunnen toepassen. Hoewel de nadruk ligt op wetenschappelijk onderbouwde analyses aan de hand van datasets en economische modellen, wordt ook beleidsrelevante kennis aangeboden aan een breed publiek. Verder is gebleken dat er een wisselwerking is tussen EIM en universiteiten, beleid en praktijk. Deze wisselwerking met universiteiten, beleid en praktijk kan naar het oordeel van veel beleidsmakers, koepelorganisaties, brancheorganisaties en wetenschappers nog verder worden verbeterd.

26990

52

Wat is de maatschappelijke impact van de resultaten van het programmaonderzoek? Welke concrete voorbeelden van maatschappelijke impact kunnen worden gegeven? Het is onduidelijk hoe groot de maatschappelijke impact van de resultaten van het programmaonderzoek is. De resultaten van het programmaonderzoek worden gebruikt door beleidsmakers, brancheorganisaties en koepelorganisaties. Naar verwachting zal het beleid van de overheid en dienstverlening door koepelen brancheorganisaties aan hun achterban een invloed hebben op groei en/of versterking van het MKB en Ondernemerschap, maar op basis van dit evaluatieonderzoek kan niet worden vastgesteld hoe groot deze invloed is op bijvoorbeeld de groei van het aantal ondernemers, groei van MKB-bedrijven of innovatiekracht van het MKB. Hoe belangrijk is het dat de resultaten van het programmaonderzoek publiek ontsloten worden? Het Ministerie van EZ heeft bij aanvang van de programmaonderzoeksperiode 2001 - 2004 bepaald dat het van belang is de resultaten publiek te ontsluiten. Daarmee heeft EZ aangegeven dat publieke ontsluiting van kennis over MKB en Ondernemerschap een publiek belang dient. Voor de programmacommissie was de verbetering van de ontsluiting de belangrijkste opgave in de afgelopen vier jaar. Uit de evaluatie blijkt dat onder betrokken partijen uit het onderzoek veel waarde wordt gehecht aan een goede ontsluiting van producten uit het programmaonderzoek. Welke onderdelen worden gezien als publieke taken, welke niet en waarom? Wat wordt verstaan onder publieke taken? Er zijn verschillende visies op het begrip ‘publieke taak’. Over het algemeen worden publieke taken beschouwd als díe taken die niet in de markt totstandkomen, maar waarvan de overheid vindt dat ze wel moeten worden uitgevoerd. In het algemeen leeft de opinie dat het programmaonderzoek als geheel niet op de markt tot stand kan komen. In het algemeen worden de kennisproducten uit de deelprogramma’s Informatiesystemen en Modelbouw beschouwd als ‘basiskennisinfrastructuur’, vergelijkbaar met kennisinfrastructuren bij publieke instellingen als het CBS en CPB, waarvoor de overheid in ieder geval haar verantwoordelijkheid behoort te nemen. Kijken we naar de uitvoering van het programmaonderzoek, dan blijkt echter dat er geen objectieve maatstaven zijn gehanteerd om na te gaan of specifieke kennisprojecten terecht onder het publieke programmaonderzoek zijn geschaard. De beoordeling of iets wel of niet publiek is, is vooral gemaakt op basis van ‘professional judgement’ door de programmacommissie en EIM. Welke producten van het programmaonderzoek zijn niet gebruikt? Waarom niet c.q. welke producten zijn overbodig? Alleen voor datasets en modellen wordt bijgehouden in welke mate deze worden gebruikt. Gebleken is dat vooral de primaire datasets (bijvoorbeeld MKB-panels) relatief uniek zijn. Deze worden veel gebruikt in ‘eigen’ onderzoek van EIM en door externe partijen. Er wordt niet bijgehouden in welke mate de onderzoeksgerichte en publieksgerichte rapportages worden gebruikt. Uit gesprekken met wetenschappers blijkt dat zij vooral de wetenschappelijke rapporten gebruiken en beleidsmakers, koepelen brancheorganisaties blijken vooral de publieksgerichte rapporten te gebruiken. In welke mate de verschillende rapporten worden gebruikt en in hoeverre de specifieke rapporten als onmisbaar worden beschouwd is niet uit het onderzoek naar voren gekomen.

26990

53

De quick services (korte vragen) zijn conform afspraak beschikbaar voor beleidsmakers, intermediaire organisaties, onderwijsgevenden, de wetenschap en de media. De quick service mini-onderzoeken zijn alleen beschikbaar voor de zogenoemde ‘beleidsmakers in ruime zin’. Hoe waarderen buitenlandse wetenschappelijke instituten de resultaten van het programmaonderzoek? Buitenlandse wetenschappelijke instituten waarderen de kwaliteit van positief tot zeer positief. EIM wordt beschouwd als een uniek kennisinstituut op het gebied van MKB en Ondernemerschap. Dit blijkt uit een ‘peer review’ door buitenlandse wetenschappers, die zijn aangeschreven door de programmacommissie. De buitenlandse wetenschappelijke instituten waarderen ook de onafhankelijkheid, het longitudinale karakter en de publieke toegankelijkheid van het programmaonderzoek. Is een publieke kennisinfrastructuur met basisinformatie over MKB en Ondernemerschap instandgehouden, uitgebouwd en voor gebruikers ontsloten? Op welke onderdelen en in welke mate is dat gebeurd? In de afgelopen periode (2001 - 2004) is een publieke kennisinfrastructuur met basisinformatie over MKB en Ondernemerschap ontsloten voor een breed publiek. Hierbij moet worden opgemerkt dat de ontsluiting van het programmaonderzoek een groei heeft doorgemaakt. Bij aanvang van de huidige programmaperiode was de ontsluiting aanzienlijk minder goed dan nu. Internet heeft een belangrijke bijdrage geleverd aan betere ontsluiting. Datasets en modellen blijken ‘in ruwe vorm’ relatief nog het minst goed ontsloten te zijn. Dat neemt niet weg dat de (modelmatige) analyses van databestanden wel zijn verwerkt in publieksgerichte rapportages, die weer wel bekend zijn en gebruikt worden. Hoe was de samenhang van onderdelen in het programmaonderzoek en waar ontbrak die? De samenhang in het programmaonderzoek wordt door praktisch alle in de evaluatie betrokken partijen onderkend. De samenhang tussen de modellen en databestanden is relatief groot. Deze zijn op onderdelen onlosmakelijk met elkaar verbonden. In de strategische onderzoeken en publieksgerichte rapportages wordt regelmatig gewerkt met de informatiesystemen en modellen. Ook hier bestaat dus de nodige samenhang. In hoeverre zijn de aanbevelingen van de vorige evaluatie geïmplementeerd? De aanbevelingen uit de evaluatie van 1999 door de commissie-Verhaegen zijn geïmplementeerd. De aansturing is veranderd. De toegankelijkheid van de resultaten is verbeterd. De inhoud is meer gericht op activiteiten met een publiek karakter. Is het opbouwen en onderhouden van het programmaonderzoek instrumenteel geweest voor de bevordering van MKB en Ondernemerschap? Het programmaonderzoek zal een indirecte bijdrage hebben geleverd aan de bevordering van MKB en Ondernemerschap. Hoe groot deze bijdrage is geweest, valt op basis van het evaluatieonderzoek niet af te leiden. We kunnen in ieder geval stellen dat resultaten van het programmaonderzoek niet direct door ondernemers worden benut. De resultaten worden vooral benut door beleidsmakers en het intermediaire veld, dat de resultaten op hun beurt weer ‘doorvertaald’ naar de praktijk.

26990

54

Verder is gebleken dat het programmaonderzoek als geheel geen duidelijke relatie heeft met de prestatiegegevens uit beleidsartikel 3 van de EZ-begroting ‘Bevordering MKB en Ondernemerschap’. De onderdelen Strategisch onderzoek, Publieksrapportages en Kennisoverdracht voorzien in kennis die een bijdrage kan leveren aan het bevorderen van ondernemerschap, maar als gekeken wordt naar de effectindicatoren van het begrotingsartikel (bijvoorbeeld ‘groei van het aantal ondernemers’), dan is het causale verband niet aantoonbaar. Onderdelen van het programmaonderzoek als datasets en modellen passen beter bij de beleidsartikelen 8 en 9 van de EZ-begroting, waar CPB en CBS zijn ondergebracht. Heeft het programmaonderzoek aan andere EZ-doelstellingen bijgedragen? Het programmaonderzoek heeft aan verschillende EZ-doelen een bijdrage geleverd. Deze zijn voornamelijk verwoord in begrotingsartikel 8 ‘analyses en prognoses’ en begrotingsartikel 9 ‘statistisch onderzoek’. Het programmaonderzoek had een inhoudelijke relatie met beleidsdoelen inzake het stimuleren van innovatie, stimuleren van ondernemerschap en stimuleren van buitenlandse handel. Op alle punten heeft het programmaonderzoek geen rechtstreeks verband met de beleidsmatige effectindicatoren en streefwaarden. Wat zou het effect geweest zijn van het ontbreken van het publieke Programmaonderzoek MKB en Ondernemerschap voor de kennisinfrastructuur over MKB en Ondernemerschap? Het ontbreken van het programmaonderzoek zou tot gevolg hebben gehad dat er een minder objectieve, volledige en meer versnipperde kennisinfrastructuur over MKB en Ondernemerschap beschikbaar zou zijn. Voor beleidsmakers, koepelorganisaties en brancheorganisaties zou naar verwachting minder gedegen basisinformatie ten behoeve van beleid en advisering beschikbaar zijn. Wat voor aantoonbare effecten heeft het als delen van het programmaonderzoek verdwijnen? Hierbij gaat het met name om onderscheid tussen de componenten databestanden/ modellen en onderzoek/analyse. Het is niet eenvoudig een inschatting te maken van de effecten van het verdwijnen van delen van het programmaonderzoek. Zoals eerder aangegeven worden de databestanden/ modellen over het algemeen beschouwd als onderdeel van de basisinfrastructuur. Onderzoek en analyse zijn eveneens van belang, maar wetenschappers vinden vooral de wetenschappelijke analyses belangrijk en beleidsmakers en koepelen brancheorganisaties benadrukken het belang van de beleidsrelevante analyses. 6.2

D OELMATIGHEID

In hoeverre is het programmaonderzoek doelmatig uitgevoerd? Wegen de financiële middelen die ingezet zijn op tegen de behaalde resultaten van het programmaonderzoek, uitgesplitst naar de diverse onderdelen? Geef daarbij aan wat de gemiddelde kosten (in geld en f.t.e.) zijn per op te leveren product en hoe dit zich verhoudt tot het gebruik. Het programmaonderzoek heeft circa € 4 miljoen per jaar gekost. In de evaluatie uit 1999 is door de toenmalige commissie-Verhaegen vastgesteld dat het programmaonderzoek toen doelmatig werd uitgevoerd. Sindsdien is de omvang van het budget gelijk gebleven, de output is eveneens gelijk gebleven en de kwaliteit en het bereik/gebruik van het programmaonderzoek is toegenomen. Volgens deze redenering is de doelmatigheid per saldo toegenomen. Toch bestaat de indruk dat de doelmatigheid kan worden verbeterd. Ogenschijnlijk wordt veel tijd besteed aan programma- en projectcoördinatie.

26990

55

Het is niet mogelijk op basis van dit onderzoek een oordeel te vellen over de hoogte van de gemiddelde kosten en de bereikte resultaten. In verhouding tot elkaar zijn de gemiddelde kosten per product logisch. De van tevoren bepaalde streefwaarden zijn telkens gehaald. De doelmatigheid kan nog wel worden vergroot door (bij onderhandse aanbesteding van het programmaonderzoek aan één partij) niet te werken met een marktconform tarief. In dat marktconforme tarief is ook winstopslag opgenomen. Was het aansturingsmodel met een programmacommissie en een adviesraad doelmatig? Wat waren de plus- en minpunten van dit model? De programmacommissie had de verantwoordelijkheid voor de aansturing van en controle op het programmaonderzoek. De adviesraad had als belangrijke taak zorg te dragen voor vraagarticulatie. Beide hebben hun taak naar behoren uitgevoerd. Kanttekeningen zijn dat de programmacommissie meer had kunnen sturen op doelmatigheid en dat de vraagarticulatie in de adviesraad veelal beperkt bleef tot het benoemen van hoofdthema’s en suggesties voor onderzoeksvragen. Een minder positief punt van het huidige aansturingsmodel is dat het Ministerie van EZ op grote afstand is komen te staan van het programmaonderzoek. Doordat de programmacommissie werd beschouwd als gemandateerd opdrachtgever, ontstond voor EZ de mogelijkheid zich vrijwel geheel afzijdig te houden van de inhoud. Verliep de communicatie tussen programmacommissie, adviesraad en EIM-bestuur naar wens? Uit gesprekken met betrokken partijen is gebleken dat de communicatie tussen de programmacommissie, adviesraad en EIM over het algemeen naar wens verliep. Wel is gebleken dat veel adviesraadsleden vinden dat de programmacommissie iets te veel op afstand stond van de adviesraad. Voor enkele geïnterviewde adviesraadsleden is het onduidelijk wat de taken en verantwoordelijkheden van de programmacommissie precies waren. Werden op een adequate manier de onderzoeksbehoeften geïnventariseerd? Zou een en ander beter kunnen? De onderzoeksbehoeften zijn steeds door EIM geïnventariseerd via de adviesraad en reguliere contacten met beleidsmakers, koepelorganisaties, brancheorganisaties en wetenschappers. De adviesraad heeft een belangrijke rol gespeeld bij het formuleren van thema’s voor onderzoek en in enkele gevallen zijn ook concrete onderzoeksvragen aangereikt. Deze zijn vervolgens door EIM vertaald in operationele onderzoeksvragen. Toch blijkt uit informatie van gebruikers dat het programmaonderzoek soms zijn praktijkgerichte scherpte mist. Wordt met het programmaonderzoek voldoende aangesloten bij andere informatiebronnen voor MKB en Ondernemerschap? In welke mate doet zich overlap, complementariteit en synergie voor met andere databestanden of kennisbronnen inzake MKB en Ondernemerschap? Het programmaonderzoek sluit goed aan bij andere informatiebronnen over MKB en Ondernemerschap. Er doet zich weinig tot geen overlap voor. Dit komt doordat EIM over het algemeen een goed beeld heeft van het aanbod aan kennis bij universiteiten en (semi-) publieke instituten (CPB, CBS, Kamers van Koophandel). Uit gesprekken met wetenschappers is gebleken dat zij graag zouden zien dat EIM nog meer samenwerkt met de volle breedte van het wetenschappelijke veld op het terrein van MKB en Ondernemerschap.

26990

56

Gaf de gehanteerde prestatiemeting voldoende aanknopingspunten om verantwoording af te leggen over de prestaties van het onderzoeksprogramma? De prestatiemeting bleek een goed instrument om een beeld te krijgen van (de ontwikkeling van) de output, de kwaliteit en het bereik/gebruik van het programmaonderzoek. De activiteitenverslagen, waarin verslag wordt gedaan van de metingen, zijn vooral gebruikt als verantwoordingsdocument voor het Ministerie van Economische Zaken. Waren de indicatoren juist gekozen (meten zij ook daadwerkelijk de effecten van het doel van het programmaonderzoek) en de streefwaarden juist bepaald? De prestatie-indicatoren sluiten aan bij de doelstelling van het programmaonderzoek. De ontwikkeling in de streefwaarden van 2001 - 2004 is een weerspiegeling van de ambitie van de programmacommissie en EIM om de output ten minste op hetzelfde niveau te houden en de kwaliteit en vooral het gebruik/bereik van het programmaonderzoek te laten toenemen. Een kanttekening is dat de ambities/streefwaarden vooral zijn gebaseerd op ervaringen van EIM. Ook zijn er op basis van bijvoorbeeld benchmarks geen normen geformuleerd zodat een scherp oordeel over doeltreffendheid en doelmatigheid niet mogelijk is. Opgemerkt dient echter te worden dat dergelijke benchmarks ook niet voorhanden zijn. Waren de indicatoren valide, betrouwbaar, meetbaar en goed vast te stellen? De indicatoren zijn weliswaar helder, maar in de praktijk blijkt het voor EIM niet altijd mogelijk transparant te maken of prestaties werkelijk toegeschreven kunnen worden aan het programmaonderzoek. Het hybride karakter van EIM (uitoefening publieke taak én marktactiviteiten) is de oorzaak van dit gebrek aan transparantie. Kan op basis van de huidige prestatiecontractvorm ook tot afrekening worden gekomen, met andere woorden: is het model geschikt om de uiteindelijke subsidievaststelling te relateren aan de mate waarin prestaties zijn behaald? De prestatiemetingen kunnen als opstap worden gebruikt naar prestatiebeloning. Voorwaarde is dat bij de prestatiemetingen meer ‘checks-and-balances’ worden ingevoerd om de validiteit van de prestaties te toetsen. Worden door EIM de verplichte gedragsregels inzake de relatie tussen markt en overheid nageleefd? Deze vraag is door het Ministerie van EZ vervolgens gesplitst in de volgende subvragen: •

Worden kosten in de prijzen, die feitelijk in rekening worden gebracht voor de in verband met de marktactiviteiten geleverde goederen of verrichte diensten, volledig doorberekend? EIM hanteert voor haar marktactiviteiten dezelfde dagtarieven als voor het programmaonderzoek. De inzet van de medewerkersmix wijkt bij de marktactiviteiten niet wezenlijk af van het programmaonderzoek. Er is sprake van een dagtarief gebaseerd op integrale kostprijsberekening.

•

Is er een boekhoudkundige scheiding tussen overheidstaken en marktactiviteiten? De boekhouding van het programmaonderzoek is apart in de administratie van EIM opgenomen. Er is geen vermenging met de boekhouding van marktactiviteiten geconstateerd.

26990

57

•

Zijn gegevens die verkregen zijn bij het uitvoeren van het programmaonderzoek en waarvoor een verplichting tot geheimhouding of bescherming van persoonsgegevens geldt, gebruikt voor marktactiviteiten van EIM? Indien het gebruik van gegevens bij of krachtens de wet is toegestaan voor marktactiviteiten, geldt een verbod op het exclusieve gebruik van openbare informatie. Er is geen reden om aan te nemen dat gegevens waarop geheimhouding berust ook voor marktactiviteiten van EIM zijn gebruikt.

•

Zijn gegevens verkregen met publieke middelen uit het programmaonderzoek op de markt ook nog eens verkocht? Er is geen reden om aan te nemen dat gegevens die zijn verkregen met publieke middelen uit het programmaonderzoek ook nog eens zijn verkocht op de markt.

26990

58

7.

DE TOEKOMST VAN HET PROGRAMMAONDERZOEK

Op basis van de evaluatie (hoofdstuk 2 tot en met 6) en enkele aanvullende nieuwe inzichten wordt in dit hoofdstuk ingegaan op de toekomst van het programmaonderzoek. Uitgangspunt is dat er een zekere vorm van programmaonderzoek blijft bestaan. In het algemeen bestaat de opvatting bij gebruikers dat in een hoogontwikkelde kenniseconomie basiskennis over cijfers en trends in het MKB en Ondernemerschap noodzakelijk zijn voor beleid. MKB en Ondernemerschap worden gezien als belangrijke groeimotoren van de economie. Daarom is in dit hoofdstuk geen ‘nuloptie’ uitgewerkt, waarin het programmaonderzoek in zijn geheel wordt stopgezet. Er wordt een aantal bouwstenen aangereikt op basis waarvan keuzes kunnen worden gemaakt voor de strategie van het programmaonderzoek. Op basis van de strategische bouwstenen komen we tot enkele scenario’s voor de toekomst van het programmaonderzoek. Per scenario wordt een beeld gegeven van de organisatorische en financiële implicaties op hoofdlijnen. 7.1

S TRATEGISCHE

BOUWSTENEN

Een belangrijke vraag voor de toekomst betreft de positionering en focus van het programmaonderzoek. Waar moet het programmaonderzoek zich op richten? Hoe kan het programmaonderzoek meer vraaggestuurd worden ingericht? We formuleren enkele bouwstenen voor de mogelijke scenario’s. 7.1.1 Waar moet het programmaonderzoek zich op richten? Bij de eerste bouwsteen gaat het erom nader te bepalen waar het programmaonderzoek over gaat. Hiervoor hebben we geconstateerd dat het programmaonderzoek op dit moment niet duidelijk is ingebed in het rijksbeleid. Het is voor de positionering van het programmaonderzoek van belang dat het qua inhoudelijke focus aansluit bij het rijksbeleid, in het bijzonder het beleid van het Ministerie van EZ. Daarnaast is het van belang dat het programmaonderzoek aansluit bij de behoeften van gebruikers. Voor de nabije toekomst zien we vier belangrijke ontwikkelingen: a.

Toenemende aandacht voor innovatie (Innovatiebrief, oktober 2003).

b.

Toenemende aandacht voor ondernemerschap (Ondernemerschapsbrief, december 2003).

c.

Toenemende aandacht voor sterke en kansrijke industriesectoren in de Nederlandse economie (komende Industriebrief).

d.

Veranderende thematische behoeften van gebruikers voor de komende jaren.

Ad a. In de Innovatiebrief is aangegeven dat Nederland van koers moet veranderen. Wereldwijd is ‘kennis’ de centrale concurrentiefactor geworden. Volgens de Innovatiebrief is Nederland daar nog niet voldoende op ingesteld. Het kabinet wil dat Nederland tot de kopgroep van Europa gaat behoren. Daartoe moeten knelpunten in de kenniseconomie worden opgelost.

26990

59

Genoemde knelpunten zijn: a) ons innovatieklimaat is niet aantrekkelijk genoeg, b) te weinig bedrijven innoveren en c) er is onvoldoende focus en massa in het onderzoek waardoor innovatiekansen onbenut blijven. Het nieuwe innovatiebeleid kent drie hoofdlijnen: 1) het versterken van het innovatieklimaat, 2) meer bedrijven aanzetten tot innovatie en 3) benutten van innovatiekansen door keuze voor strategische innovatiegebieden. Ad b. De Ondernemerschapsbrief is opgesteld in een tijd van dat alle zeilen moeten worden bijgezet om het economische tij te keren. Doel is de economische dynamiek te versterken om zo de concurrentiekracht weer op peil te krijgen. Ondernemerschap is hierin essentieel. Het kabinet zet zich de komende jaren in om de ruimte voor ondernemers te vergroten. Hiermee wordt niet alleen gedoeld op de fysieke ruimte, maar ook het klimaat waarbinnen ondernemers opereren en waarvoor de overheid verantwoordelijkheid draagt. In de nota wordt een groot aantal acties voorgesteld aansluitend bij de levensfasen van een bedrijf: startende ondernemers, ondernemers in de groeifase en ondernemers in de fase van bedrijfsoverdracht en bedrijfsbeëindiging. Ad c. Verder wordt momenteel door het Ministerie van Economische Zaken gewerkt aan het opstellen van de Industriebrief. Naar het oordeel van het departement worden de Nederlandse industriële sectoren geconfronteerd met een aantal kansen en bedreigingen die vragen om een visie van de overheid. Met industrie doelt EZ zowel op industrie als zakelijke dienstverlening. EZ is voornemens de sterkten en zwakten van de Nederlandse economie in kaart te brengen. Op basis hiervan zal EZ een visie en een bijbehorende beleidsagenda ontwikkelen. Ad d. Op dit moment is de inhoudelijke focus van het programmaonderzoek primair ondernemerschap en MKB. Wanneer deze focus gecontinueerd wordt, kan op basis van de onderzoeksresultaten nog enige verdieping worden aangebracht. In onze enquête onder de huidige gebruikers hebben wij gevraagd naar relevante thema’s voor de komende 2 à 3 jaren. Tabel 7.1 geeft een overzicht van de huidige thema’s uit het programmaonderzoek en de mate waarin deze relevant worden geacht voor de komende jaren. ‘Innovatie’ en ‘ondernemerschap’ komen als meest relevante thema’s voor de komende jaren naar voren, gevolgd door ‘succes- en faalfactoren voor ondernemers’ en ‘kennis over structuur en ontwikkeling van het MKB’. Interessant zijn ook de thema’s die laag scoren zoals vrouwelijk ondernemerschap, milieu en duurzaamheid en de sociale zekerheid. Verder is in de enquête en in gesprekken gevraagd naar th ema’s die naar mening van de gebruikers onvoldoende aan bod kwamen. Thema’s die genoemd zijn, zijn: samenwerking in het MKB, familiebedrijven, verdieping van cijferreeksen op regionaal of sectoraal niveau, internationaal ondernemen en ontwikkelingen in bedrijfsoverdracht/bedrijfsbeëindiging/bedrijfsovername.

26990

60

Tabel 7.1 Thema’s op het gebied van MKB en Ondernemerschap uit het huidige programmaonderzoek die in de komende 2 à 3 jaar relevant zullen zijn volgens ondervraagde gebruikers. THEMA

R ELEVANT TOT ZEER RELEVANT

Innovatief ondernemerschap

80%

Innovatie in het MKB

77%

Succes- en faalfactoren van starters

75%

Structuur en ontwikkeling van het MKB

73%

Kennismanagement en -overdracht

72%

(snel) Groeiende bedrijven

71%

Ondernemerschap op macroniveau

65%

Concurrentie tussen bestaande bedrijven

61%

ICT en internet in het MKB

61%

MKB en arbeidsmarkt

58%

Inkomensvraagstukken van ondernemers

53%

Nalevingskosten van weten regelgeving

51%

Export van het MKB

46%

Determinanten van arbeidsproductiviteit

45%

HRM in het MKB

45%

Sociale zekerheid en het MKB

44%

Milieu en duurzaamheid

39%

Vrouwelijk ondernemerschap

33%

7.1.2 Hoe kan het programmaonderzoek meer vraaggestuurd worden ing ericht? Tot nu toe heeft het programmaonderzoek de functie van opbouwen en ontsluiten van een kennisinfrastructuur over MKB en Ondernemerschap. Uit de evaluatie blijkt dat het programma in de afgelopen jaren sterk aanbodgestuurd is geweest. Vraagarticulatie door gebruikers is slechts in beperkte mate totstandgekomen. De adviesraad heeft op hoofdlijnen thema’s vastgesteld, waarna operationele onderzoeksvragen door EIM zijn uitgewerkt. Een onderdeel dat sterk vraaggestuurd is geweest, is het quick service mini-onderzoek. Concrete (strategische) vragen van VNO-NCW, MKB Nederland, Raad voor Zelfstandig Ondernemerschap of het Ministerie van EZ leidden tot gerichte (mini)rapportages. Uit de evaluatie is gebleken dat gebruikers het kennisaanbod van het programmaonderzoek waarderen, maar onder beleidsmakers en het (verenigde) bedrijfsleven bestaat ook behoefte aan meer aansluiting bij de (beleids)praktijk. Het sterke aanbodgestuurde karakter is niet uniek voor het programmaonderzoek. Dit doet zich ook voor bij de instituten met een zogenoemde ‘brugfunctie’ tussen wetenschappelijke kennis en toepassing in de praktijk. Recentelijk heeft de commissie-Wijffels een rapport20 uitgebracht met een belangrijk advies over het overbruggen van de kloof tussen fundamenteel-strategisch onderzoek en het toepassen van de resultaten daarvan.

20

Commissie-Wijffels, ‘De kracht van directe verbindingen’, 2004.

26990

61

De commissie constateert dat de brugmetafoor achterhaald is, omdat universiteiten en hboinstellingen steeds meer hun kennis rechtstreeks overdragen en valoriseren. Grote bedrijven leggen steeds meer directe verbindingen met universiteiten om de fundamentele kennis op peil te houden. De overheid kiest in toenemende mate voor het op afstand zetten van de onderzoeks- en ontwikkelingsfunctie. In deze toenemende dynamiek stuurt de overheid wel, maar weinig coherent en zonder strategische visie. De commissie concludeert verder dat toegepast onderzoek zo veel mogelijk vanuit de vraagkant moet worden aangestuurd, maar óók gefinancierd. Hierbij onderscheidt de commissie twee functies: •

Taakfunctie: betreft het in opdracht van de overheid opbouwen en ontsluiten van een basiskennisinfrastructuur voor beleidsondersteuning. Hierbij denkt de commissie aan kennisopbouw op door de overheid geselecteerde thema’s, waarbij naast de primaire vraag die voortkomt uit de eigen overheidsbehoefte, ook kennis voor de private sector wordt ontwikkeld. Het betreft kennis waarvoor de vraag zich niet via de markt articuleert. De aansturing en financiering van de taakfunctie is een primaire verantwoordelijkheid van de overheid. De taakfunctie is in sterke mate aanbodgestuurd.

•

Marktfunctie: betreft het ontwikkelen van concrete toepassingen van kennis. Opdrachten aan private en/of publieke kennisinstituten kennen voornamelijk de vorm van contract- en projectresearch. Binnen de marktfunctie bestaat de mogelijkheid om kennisproducten direct dienstbaar te laten zijn aan het bedrijfsleven. Bij de financiering en aansturing van de marktfunctie dient de overheid terughoudend te zijn. Zij is dan een marktpartij die zelf antwoord zoekt op concrete vragen.

Het huidige programmaonderzoek heeft voorzover te interpreteren vanuit het perspectief van Wijffels deels een taakfunctie. Dit geldt met name voor een groot deel van de datasets, modelbouw en in beperkte mate voor het strategische onderzoek. Andere delen van het programmaonderzoek voorzien meer in de marktfunctie. Zo hadden bijvoorbeeld het model-MISTRAL en aanpalende onderzoeken naar administratieve lasten volgens verschillende gebruikers achteraf bezien ook in de vorm van contract research geformuleerd kunnen worden. 7.2

S CENARIO’ S

VOOR HET PROGRAMMAONDERZOEK

Hierna volgen drie scenario’s voor de toekomst van het programmaonderzoek. Voordat we deze scenario’s uiteenzetten, beschrijven we eerst beknopt het huidige vertrekpunt. Vertrekpunt Het programmaonderzoek is in de afgelopen jaren succesvol geweest in het opbouwen en ontsluiten van een kennisinfrastructuur over MKB en Ondernemerschap. Het programmaonderzoek heeft voorzien in kwalitatief hoogwaardige basiskennis die door beleidsmakers, koepelen brancheorganisaties en onderwijs- en wetenschapsinstellingen is benut en zeer wordt gewaardeerd. Mogelijkheden voor verbetering liggen vooral op het terrein van: •

Directere vraagsturing. Er was - anders dan via de adviesraad - weinig ruimte voor vraagarticulatie door gebruikers. Meer vraagsturing en meer aansluiting bij de (beleids)praktijk kan de effectiviteit van het programmaonderzoek vergroten.

•

Sterkere directe betrokkenheid van het Ministerie van EZ, andere departementen en andere beleidsmakers bij de inhoud van het programmaonderzoek.

26990

62

•

Meer sturing op doelmatigheid. Het programmaonderzoek kent veel prestatieindicatoren voor output, kwaliteit en bereik/gebruik, maar prestatie-indicatoren voor doelmatigheid zijn nog niet ontwikkeld. Voor de toekomst is het van belang dat er indicatoren voor doelmatigheid worden uitgewerkt, die de sturing op doelmatigheid mogelijk kunnen maken.

Voor de toekomst zou volgens de gebruikers een basiskennisinfrastructuur over MKB en Ondernemerschap beschikbaar moeten blijven. Deze basiskennis hoort bij een hoogontwikkelde kenniseconomie, waarin het MKB en Ondernemerschap belangrijke groeimotoren zijn. Zoals aangegeven, wordt onder basisinfrastructuur over het algemeen verstaan de informatiesystemen met relevante datasets over MKB en Ondernemerschap, economische modellen die verklaringen en voorspellingen bieden over verschijnselen rond MKB en Ondernemerschap en wellicht enige vorm van strategisch onderzoek. De navolgende scenario’s bieden een handreiking voor besluitvorming over het toekomstige programmaonderzoek, waarbij het bovenstaande als vertrekpunt wordt gezien. 7.2.1 Scenario 1: Afbouwen van het programmaonderzoek Inhoudelijke focus: Het programma beperkt zich tot het beheer en de ontsluiting van basiskennis over MKB en Ondernemerschap, in de vorm van informatiesystemen en modellen. De inhoud van het programma sluit aan bij de beleidsprioriteiten van het Rijk (bijvoorbeeld ondernemerschap, innovatie) en de wensen van het (verenigde) bedrijfsleven. Bekeken kan worden welke van de bestaande (27) datasets en (4) modellen in de afgelopen jaren relatief veel zijn gebruikt. Hierdoor ontstaat een ‘ranking’ die het belang van de kennisproducten weergeeft. De informatiesystemen en modellen die naar verhouding weinig worden benut, kunnen in aanmerking komen voor afbouw. Omvang: In dit scenario wordt het programmaonderzoek afgebouwd tot een beperkte basiskennisinfrastructuur, die in breedte en diepgang in de loop van de tijd kan variëren. De financiële omvang bedraagt ruwweg de helft van het huidige programmaonderzoek. Na prioritering van de datasets en modellen kan de omvang van het programmaonderzoek eventueel nog verder worden teruggebracht. De programmaonderdelen ‘strategisch onderzoek’ en ‘kennisoverdracht/publieksrapportages’ maken in dit scenario geen deel meer uit van het programma. Dat betekent dat publieksgerichte rapportages, minirapportages, artikelen en de informatieservice in het kader van het programma niet meer worden geproduceerd. Hooguit worden bepaalde strategische analyses, gerelateerd aan de modellen, nog binnen de basisvoorziening uitgevoerd. Als marktpartijen in brede zin (beleidsmakers, (verenigde) bedrijfsleven en (wetenschappelijke) onderzoekers behoefte hebben aan kennisproducten, dienen zij die zelf op de markt te laten uitvoeren en te financieren.

26990

63

Datasets en modellen

Doelgroep: Het programmaonderzoek voorziet in een aantal relevante datasets en modellen, die voor beleidsmakers, (wetenschappelijke) onderzoekers en het (verenigde) bedrijfsleven de basis vormen voor analyses en beleid. De basiskennisinfrastructuur is voor iedereen toegankelijk, vergelijkbaar met de databestanden van het Centraal Bureau voor de Statistiek. Financiering: Aangezien het basiskennisinfrastructuur betreft, ligt het voor de hand dat de rijksoverheid dit financiert. Het Ministerie van EZ zal een belangrijke financier zijn, maar ook andere departementen kunnen een financiële bijdrage leveren aan de basiskennis. Te denken valt aan het Ministerie van Financiën21, het Ministerie van SZW22, het Ministerie van BZK23, het Ministerie van LNV24 en het Ministerie van OCW25. Aansturing: Het beheer en de ontsluiting van de basiskennisinfrastructuur wordt aangestuurd door de financiers. Eens per paar jaar worden gebruikers geconsulteerd over nut en noodzaak van de verschillende datasets en modellen. De financiers zien ook toe op de doeltreffendheid en doelmatigheid van het beheer en de ontsluiting van de basiskennisinfrastructuur.

21

22 23

24 25

Het Ministerie van Financiën is relevant vanwege de aandacht voor fiscale regelgeving voor MKB en Ondernemerschap en administratieve lasten. Het Ministerie van SZW is relevant vanwege de aandacht voor arbeidsmarkt. Het Ministerie van BZK is relevant vanwege de aandacht voor aspecten uit het grotestedenbeleid, zoals etnisch ondernemerschap en MKB in binnenstedelijke gebieden. Het Ministerie van LNV is relevant vanwege de aandacht voor agrarisch ondernemerschap. Het Ministerie van OCW is relevant vanwege de aandacht voor wetenschappelijke informatievoorziening.

26990

64

Uitvoering: Het beheer en de ontsluiting van de basiskennisinfrastructuur kan worden ondergebracht bij een publieke of private partij. Als gekozen wordt voor een publieke uitvoerder ligt het voor de hand de taakfunctie onder te brengen bij het Centraal Bureau voor de Statistiek en/of het Centraal Planbureau. Het Centraal Bureau voor de Statistiek zou goed in staat zijn de informatiesystemen (databestanden) van het programmaonderzoek te beheren en ontsluiten. Het Centraal Planbureau zou de bouw en het onderhoud van de modellen op zich kunnen nemen. Als wordt gekozen voor een private uitvoerder, kan worden gekozen voor de huidige uitvoerder EIM, een ander commercieel bureau of een wetenschappelijk economisch instituut. In geval van een private uitvoering van het beheer en de ontsluiting van de basiskennisinfrastructuur is het in lijn met het rijksbeleid om deze als (meerjarige) opdracht aan te besteden. 7.2.2 Scenario 2: Continueren huidige programmaonderzoek Inhoudelijke focus: Het programmaonderzoek wordt min of meer in de huidige vorm voortgezet en omvat daarmee een combinatie van datasets, modellen en een breed pakket aan strategisch onderzoek en publieksgerichte rapportages op een veelheid aan thema’s. De inhoud van het programmaonderzoek sluit aan bij de beleidsprioriteiten van het rijk (bijvoorbeeld ondernemerschap, innovatie) en de wensen van het (verenigde) bedrijfsleven. Bekeken kan worden welke van de bestaande datasets, modellen, strategische onderzoeken en publieksrapportages in de afgelopen jaren relatief veel zijn gebruikt. Hierdoor ontstaat een ‘ranking’ die het belang van de kennisproducten weergeeft. De kennisproducten die naar verhouding weinig worden benut, kunnen in aanmerking voor afbouw. Afhankelijk van de financiële omvang van het programmaonderzoek, kunnen zo nodig nieuwe thema’s en kennisproducten aan het programmaonderzoek worden toegevoegd. Omvang: In dit scenario wordt het programmaonderzoek voortgezet met enkele praktische verbeteringen. De financiële omvang is grosso modo gelijk aan het huidige programmaonderzoek. Zo nodig kan worden bekeken welke onderdelen van het programmaonderzoek relatief weinig worden gebruikt, zodat het programmaonderzoek in omvang kan worden verkleind.

Datasets, modellen, strategisch onderzoek en kennisoverdracht/ publieksgerichte rapportages

26990

65

Doelgroep: Het programmaonderzoek voorziet in relevante datasets, modellen, strategisch onderzoek en publieksrapportages die beschikbaar zijn voor gebruik door beleidsmakers, (wetenschappelijke) onderzoekers en het (verenigde) bedrijfsleven. Financiering: Voortzetting van het huidige programmaonderzoek betekent dat de overheid, in het bijzonder het Ministerie van EZ, de financier zal blijven. Daarbij is het logisch dat wordt nagegaan of ook andere publieke partijen financieel willen bijdragen aan het programmaonderzoek. Relevante partijen zijn de Ministeries van SZW, Financiën, OCW en BZK. Verder is het theoretisch denkbaar dat het programmaonderzoek mede wordt gefinancierd door private partijen. Hierbij moet de kanttekening worden geplaatst dat uit de evaluatie 2001 - 2003 is gebleken dat (private) gebruikers maar in beperkte mate bereid zijn mee te betalen aan het programmaonderzoek. Circa 20% van de gebruikers wil wel een beperkte bijdrage leveren voor een product (rapport, dataset, informatie via infoservice, etc.), maar de bereidheid om een substantiële bijdrage te leveren aan het totale programmaonderzoek is zeer klein, zo blijkt uit de enquête en gesprekken met gebruikers. Realistischer dan private partijen te laten meebetalen aan de totstandkoming van het totale programmaonderzoek, is dat het Rijk de kosten voor de totstandkoming van het programmaonderzoek betaalt en private partijen laat betalen voor de aanschaf van producten/diensten uit het programmaonderzoek. Hiermee wordt het programmaonderzoek beschouwd als publieke kennisinfrastructuur, maar er kan niet geheel vrijblijvend en kosteloos gebruik van worden gemaakt. Een andere financieringsconstructie is dat private partijen (met name het verenigde bedrijfsleven) worden ‘verleid’ tot medefinanciering van het totale programmaonderzoek, waarna zij een donateurskorting krijgen bij specifieke onderzoeken-op-maat. Aansturing: Het programmaonderzoek wordt aangestuurd door de financiers, met andere woorden, overheid en eventueel het (verenigde) bedrijfsleven. Ruwweg kan de huidige aansturingsstructuur worden gehandhaafd. Hierin is onderscheid gemaakt tussen een soort raad van toezicht (programmacommissie), die de tot taak heeft de doeltreffendheid en doelmatigheid van het programmaonderzoek te bewaken, en een programmaraad, die verantwoordelijk is voor het bepalen van de inhoud van het programmaonderzoek. De programmaraad zou meer dan nu betrokken moeten zijn bij de vraagarticulatie. Dit geldt ook voor het Ministerie van EZ als lid van de programmaraad. Momenteel doet de programmaadviesraad suggesties voor relevante thema’s en formuleert zij soms onderzoeksvragen, die vervolgens door EIM worden uitgewerkt in operationele onderzoeksvragen. Verder zou in de aansturing meer aandacht moeten worden besteed aan sturing op doelmatigheid. Uit de evaluatie is gebleken dat het momenteel nauwelijks mogelijk is een ‘harde’ uitspraak te doen over doelmatigheid.

26990

66

Uitvoering: Het programmaonderzoek kan worden uitgevoerd door een publieke of private organisatie. Uit de evaluatie blijkt dat er behalve EIM geen publieke of private partij is die het programmaonderzoek integraal kan uitvoeren. Aanbesteding van het programmaonderzoek in de markt levert een grote kans dat EIM ook in de toekomst het programmaonderzoek zal uitvoeren. Hieraan zijn zowel positieve als negatieve aspecten verbonden. Positief is dat EIM in de afgelopen jaren in staat is gebleken een kwalitatief hoogwaardig programmaonderzoek op te bouwen. Uit de prestatiemetingen blijkt dat EIM goede prestaties (conform streefwaarden) heeft geleverd ten aanzien van output, kwaliteit en bereik/gebruik. Ook is positief dat de samenhang tussen de programmaonderdelen, met name tussen informatiesystemen en modellen, gewaarborgd is. Een negatief aspect van de uitvoering door één private partij is dat deze in feite via overheidssubsidie een permanent investeringsbedrag ontvangt voor haar ‘human capital’. Ook komt het hybride karakter van zo’n uitvoerder (publieke taak én marktactiviteiten) de transparantie van de uitvoering niet altijd ten goede. De activiteiten lopen ogenschijnlijk sterk in elkaar over, hoewel eerder ook is geconstateerd dat er een positieve beïnvloeding is van de marktactiviteiten naar de programmaactiviteiten. Tot slot zou het bij de keuze voor een private partij raadzaam zijn ervoor te zorgen dat deze er niet te veel een eigen stempel op drukt, waardoor het karakter van een publieke kennisinfrastructuur nauwelijks te ontwaren is. Als besloten wordt dat de uitvoering door één partij vanuit het oogpunt van ongelijke co ncurrentieverhoudingen als onwenselijk wordt beschouwd, zijn er twee aanvullende mogelijkheden. Ten eerste kan als voorwaarde bij aanbesteding worden gesteld dat het programmaonderzoek uitsluitend door een netwerk van partijen kan mag worden uitgevoerd. Dit voorkomt dat slechts één partij het programmaonderzoek uitvoert. Belangrijk aandachtspunt is dat de samenhang tussen de programmaonderdelen, met name tussen de informatiesystemen en modellen, gewaarborgd is. Ten tweede kan het programmaonderzoek worden gesplitst in verschillende onderdelen. De coördinatie en aansturing van het programmaonderzoek berust bij één partij, die bijvoorbeeld ook het beheer en de ontsluiting van de datasets en modellen verzorgt. De uitvoering van projecten kan separaat worden aanbesteed in de markt, waarna de resultaten door de coördinerende partij worden ontsloten voor een breed publiek. Dit alles nog steeds onder toezicht van de programmacommissie en programmaraad. Aanbesteding van onderzoeksprojecten kan een positieve invloed hebben op prijs, kwaliteit en creativiteit. 7.2.3 Scenario 3: Modellering programmaonderzoek naar model-Wijffels Inhoudelijke focus: Conform de visie van de commissie-Wijffels wordt in het programmaonderzoek onderscheid gemaakt tussen de taakfunctie en de marktfunctie. De taakfunctie omvat het beheer en de ontsluiting van de basiskennisinfrastructuur (modellen, informatiesystemen). De inhoud van de basiskennisinfrastructuur sluit aan bij de beleidsprioriteiten van het Rijk (bijvoorbeeld ondernemerschap, innovatie) en de wensen van het (verenigde) bedrijfsleven. Bekeken kan worden welke van de bestaande datasets en modellen in de afgelopen jaren relatief veel zijn gebruikt. Hierdoor ontstaat een ‘ranking’ die het belang van de kennisproducten weergeeft. De informatiesystemen en modellen die naar verhouding weinig worden benut, komen in aanmerking voor afbouw.

26990

67

De marktfunctie omvat onderzoek waarnaar behoefte bestaat in de markt. De markt verzorgt de vraagarticulatie en bepaalt daarmee waar de onderzoeken zich concreet op moeten richten. Er is geen ruimte meer voor een langjarige planning van onderzoeksthema’s door een programmaraad, waarbij de programmauitvoerder de operationele onderzoeksvragen formuleert onder toezicht van de programmacommissie. Omvang: De totale financiële omvang van het programmaonderzoek is afhankelijk van wat EZ nodig vindt aan inspanning om het MKB en ondernemers te ondersteunen via het programmaonderzoek. De omvang van de basisinfrastructuur (‘taakfunctie’) bedraagt circa de helft van het huidige programmaonderzoek. Daarnaast wordt een budget vrijgemaakt voor de onderzoeksprojecten. De omvang van de ‘taakfunctie’ kan in de loop der jaren in breedte en diepgang variëren. Ook is het mogelijk dat delen van de taakfunctie in de toekomst tot de marktfunctie gerekend worden. Kortom: het betreft een dynamisch model.

‘Taakfunctie’ ‘Marktfunctie’

Onderzoeksvraag

‘Marktfunctie’

Datasets en modellen

Onderzoeksvraag

Onderzoeksvraag

Doelgroep: De taakfunctie van het programmaonderzoek voorziet in relevante basisinfrastructuur in de vorm van datasets en modellen. Deze basisinfrastructuur is beschikbaar voor gebruik door beleidsmakers, (wetenschappelijke) onderzoekers en het (verenigde) bedrijfsleven. De marktfunctie van het programmaonderzoek sluit aan bij de behoeften in de markt. Het gaat dan vooral om beleidsmakers en het (verenigde) bedrijfsleven. Van hen wordt verwacht dat zij (in collectief verband) praktijkgerichte onderzoeksvragen formuleren die vervolgens binnen het programmaonderzoek kunnen worden uitgevoerd. De vragen kunnen wel of niet een directe relatie hebben met de basiskennisinfrastructuur. Financiering: In de financiering van het programmaonderzoek wordt een tweedeling aangebracht. Het ligt voor de hand dat de rijksoverheid de taakfunctie financiert. Het Ministerie van EZ zal een belangrijke financier zijn, maar ook andere departementen kunnen een financiële bijdrage leveren aan de basiskennis. Zoals ook in scenario 1 is aangegeven, valt te denken aan het Ministerie van Financiën, het Ministerie van SZW, het Ministerie van BZK en het Ministerie van OCW.

26990

68

Voor de financiering van de marktfunctie bestaan verschillende mogelijkheden: •

Publieke financiering. Het Rijk stelt een basisbedrag ter beschikking dat aan onderzoek naar MKB en Ondernemerschap kan worden besteed. Beleidsmakers en het (verenigde) bedrijfsleven kunnen in gelegenheidscoalities onderzoeksvragen formuleren, die worden getoetst op nader te definiëren criteria van het programmaonderzoek. De verdeling van het budget kan bijvoorbeeld plaatsvinden via het verstrekken van ‘vouchers’ (trekkingsrechten) aan relevante partijen of door middel van een tenderprocedure. ‘Vouchers’ kunnen worden verdeeld onder partijen (beleidsmakers, (verenigde) bedrijfsleven) die behoefte hebben aan kennis over MKB en Ondernemerschap en zijn inwisselbaar zijn bij verschillende instituten die de kennis kunnen leveren. De precieze uitwerking van het vouchersysteem is nader te bepalen. Bij de invoering van een tenderprocedure worden de vouchers niet vooraf verdeeld. Partijen kunnen onderzoeksvoorstellen indienen die vervolgens tegen elkaar worden afgewogen in een tenderprocedure. De criteria waarop de voorstellen worden ‘gescoord’ dienen nog nader te worden bepaald.

•

Publiek-private financiering. Het Rijk kan eisen stellen aan cofinanciering door marktpartijen. Onderzoeksprojecten die niet kunnen rekenen op een financiële bijdrage van het verenigde bedrijfsleven komen niet of nauwelijks in aanmerking voor het programmaonderzoek.

Aansturing: Het beheer en de ontsluiting van de basiskennisinfrastructuur (‘taakfunctie’) wordt aangestuurd door de financiers. Jaarlijks worden gebruikers geconsulteerd over nut en noodzaak van de verschillende datasets en modellen. De financiers zien ook toe op de doeltreffendheid en doelmatigheid van het beheer en de ontsluiting van de basiskennisinfrastructuur. De marktfunctie wordt in beperkte mate aangestuurd. Hooguit is een gremium nodig dat bepaalt of onderzoeksvragen passen binnen de inhoudelijke kaders van het programmaonderzoek. Deze toets kan worden uitgevoerd door een commissie van ‘wijzen en praktijkmensen’, die daarbij secretarieel ondersteund worden door een EZ-agentschap als SenterNovem. Hetzelfde gremium kan toezien op een juiste aanbestedingsprocedure van de onderzoeksvragen in de markt. Uitvoering: Ook in de uitvoering kan onderscheid gemaakt worden tussen de taakfunctie en de marktfunctie. Het beheer en de ontsluiting van de basiskennisinfrastructuur (taakfunctie) kan worden ondergebracht bij een publieke of private partij. Als gekozen wordt voor een publieke uitvoerder, ligt het voor de hand de taakfunctie onder te brengen bij het Centraal Bureau voor de Statistiek en/of het Centraal Planbureau. Als wordt gekozen voor een private uitvoerder, kan het beheer en de ontsluiting van de basiskennisinfrastructuur openbaar worden aanbesteed. De onderzoeksprojecten die door de markt worden geformuleerd, kunnen worden uitgevoerd door verschillende private partijen. Omwille van marktwerking (concurrentie op prijs en kwaliteit) ligt het voor de hand elk onderzoeksproject aan te besteden. Mogelijke uitvoerders zijn commerciële onderzoeksbureaus als EIM of wetenschappelijke onderzoeksinstituten.

26990

69

Deze kunnen bij hun onderzoek gebruikmaken van de basiskennisinfrastructuur (taakfunctie) als dat relevant is voor het onderzoek. Het toezicht op een adequate aanbesteding is - zoals hiervoor aangegeven - in handen van een commissie, die wordt ondersteund door EZ-agentschap Senter/Novem. Het agentschap kan ook zorg dragen voor adequate ontsluiting van de resultaten van het programmaonderzoek, onder toezicht en eindverantwoordelijkheid van de commissie of EZ. Zolang sprake is van substantiële publieke financiering van de marktfunctie, is een belangrijke voorwaarde bij de uitvoering door private partijen dat het programmaonderzoek als ‘gezamenlijk eigendom’ wordt gepositioneerd en niet het stempel draagt van de private uitvoerder(s). 7.2.4 De scenario’s naast elkaar gepositioneerd In onderstaand overzicht zijn de toekomstscenario’s samengevat weergegeven. Tabel 7.2

Toekomstscenario’s samengevat. SCENARIO’S 1. AFBOUWEN

2. CONTINUEREN

3. CONFORM MODEL WIJFFELS

Inhoudelijke focus:

Datasets, modellen.

Datasets, modellen, strategisch onderzoek, publieksgerichte rapportages.

Onderscheid taakfunctie en marktfunctie.

Omvang:

Beperkte basiskennisinfrastructuur.

Voorzetting huidige omvang.

Beperkte basiskennisinfrastructuur en budget voor onderzoek.

Doelgroep:

Beleidsmakers, (wetenschappelijke) onderzoekers, (verenigd) bedrijfsleven.



Financiering:

Rijk.

Rijk, eventueel private bijdragen voor producten.

Rijk financiert taakfunctie.

Rijk, eventueel gemandateerd aan commissie van deskundigen.

Rijk stuurt taakfunctie aan.

Publiek of opdracht aan private partij(en).

Taakfunctie: publiek of opdracht aan private partij.

Aansturing:

Uitvoering:

Rijk.

Publiek of opdracht aan private partij.

Marktfunctie gefinancierd door Rijk en eventueel markt. Rijk en commissie van deskundigen sturen marktfunctie aan.

Marktfunctie: private partijen.

Het eerste scenario is relatief eenvoudig te realiseren. Twee deelprogramma’s worden geschrapt, waarna de deelprogramma’s Informatiesystemen (datasets) en Modelbouw overblijven. Kanttekening bij dit scenario is dat veel relevante analyses verdwijnen. Het programmaonderzoek voorziet nog steeds in basisinformatie (cijfers en trends) over MKB en Ondernemerschap, maar analyses en rapportages worden in principe aan de markt overgelaten.

26990

70

Het tweede scenario voorziet op hoofdlijnen in de voortzetting van het huidige programmaonderzoek. Minder gebruikte kennisonderdelen kunnen uit het programmaonderzoek verdwijnen, waardoor ruimte ontstaat voor bezuiniging of nieuwe onderzoekselementen. Tegelijkertijd bestaat ook ruimte voor private bijdragen, bijvoorbeeld in de vorm van betaling voor specifieke producten. De uitkomst van dit scenario voor doeltreffendheid en doelmatigheid is nog sterk afhankelijk van de keuzes die worden gemaakt bij de verdere uitwerking. Het derde scenario introduceert twee nieuwe elementen. In de eerste plaats biedt het meer marktwerking in de uitvoering van het programmaonderzoek. Instituten concurreren met elkaar om de uitvoering van kennisprojecten. Het tweede element betreft de vraagarticulatie. In theorie voorziet het model in een optimale vraagarticulatie, omdat gebruikers rech tstreeks vragen formuleren die vervolgens worden uitgezocht in projectvorm. De consequenties voor de kosten en doelmatigheid van de drie scenario’s zijn sterk afhankelijk van de verdere keuzes die worden gemaakt in de uitwerking. Alle scenario’s bieden ruimte voor bredere financiering, door andere departementen en/of private partijen. 7.3

BOUWSTENEN

VOOR DE OPERATIONELE BEGROTINGSDOELSTELLING

Als de contouren van het toekomstige programmaonderzoek duidelijk worden, is het van belang dat het programma door het Ministerie van EZ bij het juiste begrotingsartikel wordt geplaatst. De basiskennisinfrastructuur (informatiesystemen en modellen) sluit goed aan bij: •

begrotingsartikel 8: ‘het bevorderen van een samenhangend economisch beleid van het kabinet door het maken van onafhankelijke analyses en prognoses’ (met betrekking tot activiteiten van CPB), en

•

begrotingsartikel 9: ‘het voorzien in maatschappelijke behoefte aan statistieken i.c. het verrichten van statistisch onderzoek ten behoeve van praktijk, beleid en wetenschap en het openbaar maken van de op grond van zodanig onderzoek samengestelde statistieken’ (met betrekking tot activiteiten van CBS).

De strategische en praktijkgerichte onderzoeken liggen dichterbij inhoudelijke beleidsdoelstellingen als geformuleerd in begrotingsartikel 2 ‘Bevorderen Innovatiekracht’, of begrotingsartikel 3, ‘Bevorderen ondernemingsklimaat ‘. Hierbij moet worden opgemerkt dat als het programmaonderzoek op onderdelen hier wordt ondergebracht dit ook een duidelijk verband moet hebben met de geformuleerde prestatiegegevens (bijvoorbeeld: toename aantal innovaties, toename aantal ondernemers, e.d.). In de praktijk zal moeilijk aan te tonen zijn dat strategische onderzoeksprojecten een directe bijdrage leveren aan dergelijke prestaties. 7.4

C ONCLUSIES

In de voorgaande paragrafen hebben we een blik geworpen op de toekomst van het programmaonderzoek. Rest ons nog antwoord te geven op de onderzoeksvragen die EZ heeft geformuleerd over de toekomst van het programmaonderzoek. Op basis van het voorgaande komen we tot de navolgende antwoorden.

26990

71

Relevantie: Wat zijn op grond van de evaluatie de redenen om met publieke middelen het programmaonderzoek geheel of gedeeltelijk voort te zetten? Het is volgens praktisch alle gebruikers van belang dat er basiskennis over MKB en Ondernemerschap beschikbaar is in Nederland. Dit vanuit de overtuiging dat dat hoort bij een kenniseconomie. Aan de hand van basisinformatie over MKB en Ondernemerschap kunnen beleidsmakers, koepelen brancheorganisaties inhoudelijke discussies voeren en beslissingen nemen. De hamvraag is waar de verantwoordelijkheid van de overheid begint en ophoudt. Hanteren we de begrippen van de commissie-Wijffels, dan is het naar het oordeel van gebruikers wenselijk dat de overheid in ieder geval zorg draagt voor de taakfunctie van het programmaonderzoek. Het betreft het beheer en de ontsluiting van informatiesystemen en modellen. Doeltreffendheid: Heeft het programmaonderzoek bijgedragen aan de operationele doelstelling ‘het bevorderen van het ondernemerschap’ en op welke wijze kan het Programmaonderzoek daaraan in de toekomst (beter) bijdragen? Het programmaonderzoek heeft in beperkte mate bijgedragen aan de operationele doelstelling ‘bevorderen van het ondernemerschap’ (zie ook hoofdstuk 5 en conclusies in hoofdstuk 6). Het programmaonderzoek kan meer aansluiting vinden bij het EZ-beleid, zoals verwoord in de begroting. Hiervoor is het van belang dat een duidelijke keuze wordt gemaakt over de positionering en inhoudelijke focus van het programmaonderzoek. Pas dan kan een keuze worden gemaakt voor een adequate inbedding in de begroting. Welke prioritering is er in het programmaonderzoek aan te brengen op basis van de effectiviteitsverbetering van EZ-doelstellingen? Afhankelijk van de gekozen richting waarin het programmaonderzoek zich moet ontwikkelen, is het van belang dat in het programmaonderzoek duidelijke prioriteiten worden aangebracht. Als gekozen wordt voor uitsluitend een basiskennisinfrastructuur, is het het meest zuiver aansluiting te zoeken bij de begrotingsartikelen 8 en 9. Als het programmaonderzoek inhoudelijke doelstellingen krijgt, ligt het voor de hand op onderdelen aansluiting te zoeken bij begrotingsartikel 3 (ondernemerschap) en eventueel andere begrotingsartikelen (bijvoorbeeld innovatie, buitenlandse handel). Hoe kan de maatschappelijke impact van de resultaten van het programmaonderzoek worden vergroot? De maatschappelijke impact (bijvoorbeeld meer innovatie, meer ondernemers, etc.) van het programmaonderzoek kan worden vergroot als de inhoud van het programmaonderzoek meer wordt gestuurd door strategische vragen vanuit de markt. Het is goed voorstelbaar onderzoeken uit te voeren die meer een directe invloed hebben op het ondernemerschap (bijvoorbeeld benchmarks, best practices, overzichten van praktische leerpunten). Momenteel is het programmaonderzoek nog sterk aanbodgestuurd, waarbij vraagarticulatie in beperkte mate door de adviesraad plaatsvindt.

26990

72

Doelmatigheid: Is er andere financiering mogelijk voor bepaalde onderdelen van het programmaonderzoek? Voor welke delen van het programmaonderzoek zouden stakeholders bereid kunnen/ moeten zijn te betalen? Zijn er andere financieringsbronnen, zoals de O&O-fondsen? Hoe haalbaar zijn deze alternatieven? Er zijn mogelijkheden voor andere financiering van het programmaonderzoek, maar deze liggen niet voor het oprapen. Uit de evaluatie is duidelijk naar voren gekomen dat private partijen nauwelijks bereid zijn te betalen aan het huidige programmaonderzoek. Deze uitkomst kan op vier manieren worden geïnterpreteerd: het programmaonderzoek sluit in zijn huidige vorm te weinig aan bij de praktijkgerichte behoeften, private partijen hebben niet de financiële ruimte, private partijen verwachten dat de overheid de verantwoordelijkheid blijft nemen voor het volledige programmaonderzoek of private partijen vinden dat de overheid nagenoeg geheel de verantwoordelijkheid behoort te nemen voor het programmaonderzoek. Gezien het belang dat private partijen zeggen te hechten aan kennis over MKB en Ondernemerschap, kan worden verwacht dat er meer mogelijkheden zijn voor private cofinanciering dan er op het eerste gezicht lijken. Een belangrijke stap is om meer vraaggerichtheid in het programmaonderzoek te brengen. Ook medefinanciering door andere departementen ligt voor de hand, gezien het brede aanbod aan thema’s dat in het programmaonderzoek naar voren komt. In het verleden is niet actief gezocht naar medefinanciering door andere overheden, maar voor de toekomst kan dit weldegelijk. Voor welke onderdelen willen welke partijen betalen als deze niet meer voor publieke financiering in aanmerking komen? Hoewel het niet volledig hard te maken is, kan worden verwacht dat partijen willen betalen voor producten die concreet kunnen worden toegepast in de praktijk. Hierbij kan vooral worden gedacht aan beleidsrelevante of praktijkrelevante publicaties. Welke onderdelen van het programmaonderzoek zouden op projectbasis gefinancierd kunnen worden door de overheid? Wat betekent financiering op projectbasis voor doeltreffendheid en doelmatigheid? In principe kunnen alle onderdelen van het programmaonderzoek op projectbasis worden gefinancierd door de overheid. Blokken van datasystemen en modellen die sterk onderling samenhangen, kunnen wellicht beter als geheel worden gefinancierd en uitgevoerd. Verbrokkeling van deze onderdelen in vele projecten komt de doeltreffendheid en doelmatigheid niet altijd ten goede. Het kan ten koste gaan van aspecten als kennisaccumulatie, continuïteit, objectiviteit en eenduidigheid. Als gekozen wordt voor financiering van projecten, is het van belang dat een partij verantwoordelijk is voor het voeren van de regie en coördinatie.

26990

73

Zijn er onderdelen van het publieke programmaonderzoek die ook door andere bureaus even doeltreffend en doelmatig als door EIM uitgevoerd kunnen worden? Een aantal onderdelen van het programmaonderzoek kan naar verwachting even doeltreffend als doelmatig door andere partijen dan EIM worden uitgevoerd. Wetenschappelijke instellingen kunnen strategisch onderzoek uitvoeren en commerciële bureaus zijn in staat om beleidsrelevant onderzoek te doen. Als het programmaonderzoek als geheel wordt gezien, is het onwaarschijnlijk dat één partij (anders dan EIM) dit integraal ter hand kan nemen.

26990

74

BIJLAGE 1 VERANTWOORDING VAN DE EVALUATIE

26990

V RAAGSTELLING Het doel van het evaluatieonderzoek is tweeledig: I.

Retrospectieve evaluatie

In het retrospectieve deel van het evaluatieonderzoek komen we tot een oordeel over de doeltreffendheid en doelmatigheid van de uitvoering van het Programmaonderzoek. Daartoe proberen we per onderdeel van het Programmaonderzoek (strategisch onderzoek, informatiesystemen, modelbouw, publieksgerichte publicaties en kennisoverdracht overige kanalen) tot een beantwoording te komen van de volgende vragen26: a.

Doeltreffendheid:

•

In hoeverre zijn de doelstellingen van het Programmaonderzoek dankzij het Programmaonderzoek gerealiseerd, onder meer blijkend uit de gehouden prestatiemetingen?

•

Hoe relevant is het Programmaonderzoek geweest voor de overheid, het MKB en de verschillende maatschappelijke organisaties? Waar hebben zij de producten van het Programmaonderzoek voor gebruikt? Welke andere gebruikers kunnen worden onderscheiden en hoe hebben zij gebruik gemaakt van de producten van het Programmaonderzoek?

•

Welke rol speelt het Programmaonderzoek in de ‘kennisketen’ voor MKB en Ondernemerschap?

•

Wat is de maatschappelijke impact van de resultaten van het Programmaonderzoek? Welke concrete voorbeelden van maatschappelijke impact kunnen worden gegeven?

•

Hoe belangrijk is het dat de resultaten van het Programmaonderzoek publiek ontsloten worden?

•

Welke onderdelen worden gezien als publieke taken, welke niet en waarom? Wat wordt verstaan onder publieke taken?

•

Welke producten van het Programmaonderzoek zijn niet gebruikt? Waarom niet c.q. welke producten zijn overbodig?

•

Hoe waarderen buitenlandse wetenschappelijke instituten de resultaten van het Programmaonderzoek?

•

Is een publieke kennisinfrastructuur met basisinformatie over MKB en Ondernemerschap in stand gehouden, uitgebouwd en voor gebruikers ontsloten? Op welke onderdelen en in welke mate is dat gebeurd?

26

Voor de volledigheid hebben we hier de onderzoeksvragen uit het projectplan ‘Evaluatie Onderzoeksprogramma MKB en Ondernemerschap’ van het Ministerie van EZ overgenomen. Deze vragen zijn verder aangescherpt of aangevuld op basis van de bespreking in de begeleidingscommissie d.d. 7 april 2004.

26990

1

•

Hoe was de samenhang van onderdelen in het Programmaonderzoek en waar ontbrak die?

•

In hoeverre zijn de aanbevelingen van de vorige evaluatie geïmplementeerd?

•

Is het opbouwen en onderhouden van het Programmaonderzoek instrumenteel geweest voor de bevordering van MKB en Ondernemerschap?

•

Wat zou het effect geweest zijn van het ontbreken van het publieke Programmaonderzoek MKB en Ondernemerschap voor de kennisinfrastructuur over MKB en Ondernemerschap?

b.

Doelmatigheid:

•

In hoeverre is het programma doelmatig uitgevoerd? Wegen de financiële middelen die ingezet zijn op tegen de behaalde resultaten van het Programmaonderzoek, uitgesplitst naar de diverse onderdelen? Geef daarbij aan wat de gemiddelde kosten (in geld en f.t.e.) zijn per op te leveren product en hoe dit zich verhoudt tot het gebruik.

•

Was het aansturingsmodel met een Programmacommissie en een Adviesraad doelmatig? Wat waren de plus- en minpunten van dit model?

•

Verliep de communicatie tussen Programmacommissie, Adviesraad en EIM-bestuur naar wens?

•

Werden op een adequate manier de onderzoeksbehoeften geïnventariseerd? Zou een en ander beter kunnen?

•

Wordt met het Programmaonderzoek voldoende aangesloten bij andere informatiebronnen voor MKB en Ondernemerschap? In welke mate doet zich overlap, complementariteit en synergie voor met andere databestanden of kennisbronnen inzake MKB en Ondernemerschap?

•

Gaf de gehanteerde prestatiemeting voldoende aanknopingspunten om verantwoording af te leggen over de prestaties van het onderzoeksprogramma?

•

Waren de indicatoren juist gekozen (meten zij ook daadwerkelijk de effecten van het doel van het Programmaonderzoek) en de streefwaarden juist bepaald?

•

Waren de indicatoren valide, betrouwbaar, meetbaar en goed vast te stellen?

•

Kan op basis van de huidige prestatiecontractvorm ook tot afrekening worden gekomen, met andere woorden: is het model geschikt om de uiteindelijke subsidievaststelling te relateren aan de mate waarin prestaties zijn behaald?

•

Worden door EIM de verplichte gedragsregels inzake de relatie tussen markt en overheid nageleefd?

26990

−

Worden kosten in de prijzen die feitelijk in rekening worden gebracht voor de in verband met de marktactiviteiten geleverde goederen of verrichte diensten volledig doorberekend?

−

Is er een boekhoudkundige scheiding tussen overheidstaken en marktactiviteiten?

2

−

Zijn gegevens die verkregen zijn bij het uitvoeren van het Programmaonderzoek en waarvoor een verplichting tot geheimhouding of bescherming van persoonsgegevens geldt, gebruikt voor marktactiviteiten van EIM? Indien het gebruik van gegevens bij of krachtens de wet is toegestaan voor marktactiviteiten, geldt een verbod op het exclusieve gebruik van openbare informatie.

−

Zijn gegevens verkregen met publieke middelen uit het Programmaonderzoek op de markt ook nog eens verkocht?

II.

Prospectief: bouwstenen voor de toekomst

a.

Relevantie:

•

Wat zijn op grond van de evaluatie de redenen om met publieke middelen het Programmaonderzoek geheel of gedeeltelijk voort te zetten?

b.

Doeltreffendheid:

•

Heeft het Programmaonderzoek bijgedragen aan de operationele doelstelling ‘het bevorderen van het ondernemerschap’ en op welke wijze kan het Programmaonderzoek daaraan in de toekomst (beter) bijdragen?

•

Hoe kan de maatschappelijke impact van de resultaten van het Programmaonderzoek worden vergroot?

•

Heeft het Programmaonderzoek aan andere EZ-doelstellingen bijgedragen?

•

Welke prioritering is er in het Programmaonderzoek aan te brengen op basis van de effectiviteitsverbetering van EZ-doelstellingen?

•

Wat voor aantoonbare effecten heeft het als delen van het Programmaonderzoek verdwijnen? Hierbij gaat het met name om onderscheid tussen de componenten databestanden/modellen en onderzoek/analyse.

c.

Doelmatigheid:

•

Is er andere financiering mogelijk voor bepaalde onderdelen van het Programmaonderzoek? Voor welke delen van het Programmaonderzoek zouden stakeholders bereid kunnen/moeten zijn te betalen? Zijn er andere financieringsbronnen, zoals de O&O-fondsen? Hoe haalbaar zijn deze alternatieven?

•

Voor welke onderdelen willen welke partijen betalen als deze niet meer voor publieke financiering in aanmerking komen?

•

Welke onderdelen van het Programmaonderzoek zouden op projectbasis gefinancierd kunnen worden door de overheid? Wat betekent financiering op projectbasis voor doeltreffendheid en doelmatigheid?

•

Zijn er onderdelen van het publieke Programmaonderzoek die ook door andere bureaus even doeltreffend en doelmatig als door EIM uitgevoerd kunnen worden?

26990

3

BIJLAGE 2 SCHRIFTELIJKE BRONNEN

26990

S CHRIFTELIJKE

BRONNEN

Centraal Planbureau, Brief van CPB aan EIM over bedrijfstakramingen, 5 februari 2004. Commissie-Verhaegen, e.a., Evaluatie Programmaonderzoek EIM, Utrecht, 20 januari 1999. Commissie-Wijffels, De kracht van directe verbindingen, 2004. EIM, Verschillende brieven van buitenlandse wetenschappers aan Verhaegen over programmaonderzoeken. EIM en Altuition, Gebruik en impact programmaonderzoek, casestudies, Zoetermeer, maart 2004. EIM, Adviezen Adviesraad Programmaonderzoek 2001 - 2003, maart 2004. EIM, Adviezen Adviesraad Programmaonderzoek 2001 - 2003, Zoetermeer, maart 2004. EIM, Ambities en streefwaarden Programmaonderzoek 2004, Zoetermeer, maart 2004. EIM, Besluitenlijsten Programmacommissie 2001 - 2003, maart 2004. EIM, Downloaders over publieksgerichte rapporten, meting november 2003, Zoetermeer, maart 2004. EIM, Gebruik en impact programmaonderzoek: Casestudies, maart 2004. EIM, Rapportage Programmacommissie 2001 - 2003, input voor de evaluatie van het Programmaonderzoek MKB en Ondernemerschap, Zoetermeer, maart 2004. EIM, Prestatiemeting 2003, Bijlage met achtergrondmateriaal, Zoetermeer, februari 2004. EIM, Prestatiemeting 2003, Zoetermeer, februari 2004. EIM, memo aan Coördinatoren programmaonderzoek, Nulmeting oordeel Adviesgroep kwaliteit Informatiesystemen t.b.v. de prestatiemeting 2003, december 2003. EIM, Jaarprogramma Programmaonderzoek 2003, Jaarbegroting en Activiteitenplan eerste tranche, Zoetermeer, 28 november 2003. EIM, Jaarprogramma Programmaonderzoek 2004, Jaarbegroting en Activiteitenplan eerste tranche, Zoetermeer, november 2003. EIM, Kwaliteitshandboek, 31 juli 2003. EIM, Financieel verslag programmaonderzoek 2002, Activiteitenverslag van het programmaonderzoek MKB en Ondernemerschap, deel I, Zoetermeer, juni 2003. EIM, Prestatiemeting 2002, Activiteitenverslag van het Programmaonderzoek MKB en Ondernemerschap, deel II, Zoetermeer, 15 april 2003. EIM, Verslag werkzaamheden Programmacommissie 2002, Programmaonderzoek MKB en Ondernemerschap, 15 april 2003. EIM, Prestatiemeting 2002, Bijlage met achtergrondmateriaal, Zoetermeer, 15 april 2003. EIM, Jaarprogramma Programmaonderzoek 2003, Activiteitenplan tweede tranche en overprogrammering, Zoetermeer, 19 maart 2003.

26990

1

EIM, Jaarprogramma Programmaonderzoek 2004, Activiteitenplan tweede tranche en overprogrammering, Zoetermeer, 10 maart 2003. EIM, Ambities prestatiemeting 2002, Programmaonderzoek MKB en Ondernemerschap, Zoetermeer, 26 september 2002. EIM, brief aan Ministerie van Economische Zaken, verzoek vaststelling subsidie 2001, 27 juni 2002. EIM, Memo van EIM aan Min. EZ: kort verslag werkzaamheden in 2001 van de Programmacommissie programmaonderzoek MKB en Ondernemerschap, 26 juni 2002. EIM, Prestatiemeting 2001, Activiteitenverslag van het Programmaonderzoek MKB en Ondernemerschap, deel II, Zoetermeer, 20 juni 2002. EIM, Financieel verslag programmaonderzoek 2001, Activiteitenverslag van het Programmaonderzoek MKB en Ondernemerschap, deel I, Zoetermeer, 19 juni 2002. EIM, Prestatiemeting 2001, Bijlage met achtergrondmateriaal, Zoetermeer, 19 juni 2002. EIM, memo aan Programmacommissie, Transparantie doelmatigheid programmaonderzoek, 3 april 2002. EIM, Jaarprogramma Programmaonderzoek 2002, Activiteitenplan tweede tranche en overprogrammering, Zoetermeer, maart 2002. EIM, Jaarprogramma Programmaonderzoek 2002, Jaarbegroting en Activiteitenplan eerste tranche, Zoetermeer, november 2001. EIM, Meerjarige visie 2002 - 2004, Programmaonderzoek MKB en Ondernemerschap, Zoetermeer, november 2001. EIM, Activiteitenplan Programmaonderzoek 2001, Tweede tranche, Zoetermeer, april 2001. EIM, Activiteitenplan Programmaonderzoek 2001, Eerste tranche, Zoetermeer, november 2000. EIM, Zelfevaluatie van het programmaonderzoek MKB en Ondernemerschap, Zoetermeer, juli 1998. Meijaard, J. en O.H. Swank, Informatie als publieke taak. Het onderzoeksprogramma MKB en Ondernemerschap, 4 maart 2004. EIM en Erasmus Universiteit. Ministerie van Economische Zaken, In actie voor ondernemers, Den Haag, december 2003. Ministerie van Economische Zaken, Memo R. van Raak, gespreksverslag van gesprek tussen EIM en min. EZ (van der Kleij en van Raak), onderwerp: prestatie-indicatoren, 21 januari 2002. Ministerie van EZ, Instellingsbesluit Programmacommissie programmaonderzoek ondernemerschap en MKB, juli 2001. Ministerie van EZ, Instellingsbesluit Adviesraad programmaonderzoek ondernemerschap en MKB, juli 2001. Ministerie van EZ, Startnotitie Ministerie van Economische Zaken: een nieuwe sturingsrelatie EZ-EIM, 1999.

26990

2

Ministerie van EZ, Basisbeschikking Subsidie Programmaonderzoek MKB en Ondernemerschap 2000 - 2004, 8 december 2000. Brief met kenmerk ES/OM 00068093. Ministerie van Financiën, Regeringsnota ‘Van beleidsbegroting tot beleidsverantwoording’, 19 mei 1999. Ministerie van Economische Zaken, Basisbeschikking Subsidie Programmaonderzoek MKB en Ondernemerschap 2001 - 2004, 8 december 2000. Ministerie van Economische Zaken, verschillenden brieven verstuurd aan EIM, betreffende subsidie Programmaonderzoek MKB en Ondernemerschap. SCALES, Kwaliteitsoordeel commissie SCALES 2003, Zoetermeer, 16 maart 2004. SCALES, Kwaliteitsoordeel commissie SCALES 2002, Zoetermeer, 16 maart 2004. Staatscourant, Instellingsbesluit Adviesraad programmaonderzoek ondernemerschap en MKB (nr. 131, 9 juli 2001). Staatscourant, Instellingsbesluit Programmacommissie Programmaonderzoek ondernemerschap en MKB (nr. 131, 9 juli 2001). Staatscourant, Vergoedingsregeling Adviesraad programmaonderzoek ondernemerschap en MKB (nr. 131, 9 juli 2001). Tweede Kamer, motie van het kamerlid Aptroot c.s., voorgesteld op 8 oktober 2003, vergaderjaar 2003 - 2004, 29 200 XIII, nr. 10. Vergouwen Overduin, drs. M. Boswinkel, Toegankelijker teksten? Een tussentijdse kwaliteitsmeting 2003, Een analyse van twee EIM-publieksrapportages en drie minirapportages, september 2003. Vergouwen Overduin, Bespreking minirapportages EIM 2002, april 2003. Vergouwen Overduin, drs. M. Boswinkel, Toegankelijker teksten op herhaling? Een analyse van vier EIM-publieksrapportages 2002, april 2003. Wetenschappelijke Raad voor Regeringsbeleid, Borgen van Publiek Belang, 2000.

26990

3

BIJLAGE 3 GESPREKSPARTNERS

26990

G ESPREKSPARTNERS Drs. E.P. van Assen

Federatie Nederlandse Rubber- en Kunststofindustrie

Mevrouw dr. M.J. Brand

Faculteit Bedrijfskunde, Rijksuniversiteit Groningen

Drs. G. Bruinooge

Centraal Bureau voor de Statistiek, lid Adviesraad, lid Adviesgroep Informatiesystemen

Mevrouw dr. B.I. van der Burg

Adviescollege Toetsing Administratieve Lasten, lid Adviesraad

Ir. G.P. ten Cate

PKM Adviesbureau in de Metaal

Drs. A.L. Commandeur

Vereniging van Kamers van Koophandel, lid Adviesgroep Informatiesystemen

Drs. P. Fris

EIM BV

Mevrouw N. Gauw

Sandfire BV

Drs. T.R.A. Grosfeld

Innovatieplatform/Ministerie van EZ, secretaris commi ssie-Wijffels

Dr. F. Huizinga

Centraal Planbureau

Dr. L. Klomp

Ministerie van EZ

Drs. G.W.J.M. Linsen

Ministerie van EZ

Prof. dr. E. Masurel

Economisch en Sociaal Instituut, Vrije Universiteit A msterdam

Dr. J. Meijaart

EIM BV

Drs. J.C.M. Nijland

Ministerie van Financiën

Drs. M.J.P.M. Peek

ING Groep

Mevrouw dr. Y.M. Prince

EIM BV

Drs. R. van Raak

Ministerie van EZ

Drs. J.J.M. Rats

MKB Nederland, lid Adviesraad

Mevrouw drs. W.V.M. van Rijt-Veltman

EIM BV

Mevrouw mr. R. ter Steeg

VNO-NCW, lid Adviesraad

Prof. dr. A.R. Thurik

Erasmus Universiteit Rotterdam, voorzitter Commissie SCALES

Drs. ing. V.G. Tunzi

Metaalunie

Prof. dr. P.H.A.M. Verhaegen

Erasmus Universiteit Rotterdam, voorzitter Programmacommissie

Prof. drs. J.G. Vianen

Bedrijfsschap Horeca en Catering

Drs. H. Vreeswijk

Ministerie van EZ

P. Waasdorp

Ministerie van EZ

Ir. H. van de Wal

Syntens

Prof. dr. A.H.C.M. Walravens

Voorzitter Adviesraad

Dr. A.R.M. Wennekers

EIM BV

Prof. dr. L. van Wissen

Nederlands Interuniversitair Demografisch Instituut

Dr. G. de Wit

EIM BV

Drs. P.B.P. de Wit

Bedrijfsschap Horeca en Catering

Drs. M.J. Woudstra

Ministerie van EZ

Prof. dr. P.S. Zwart

Rijksuniversiteit Groningen, lid Adviesraad

26990

BIJLAGE 4 SAMENSTELLING BEGELEIDINGSCOMMISSIE

26990

S AMENSTELLING

BEGELEIDINGSCOMMISSIE

Voor de begeleiding van de evaluatie is een commissie ingesteld, die bestond uit: Prof. dr. P. Nijkamp (voorzitter) – voorzitter NWO Drs. H. Dieperink – directeur Interaccess BV Prof. dr. C. van Ewijk – Centraal Planbureau Mevrouw dr. M.S. van Geenhuizen – Technische Universiteit Delft Drs. J. Klaver – VNO-NCW Mr. E. Kruiderink – MKB Nederland Mw. drs. M. Kutlay – Ministerie van Economische Zaken Drs. R. van Raak – Ministerie van Economische Zaken Prof. dr. P.H.A.M. Verhaegen – voorzitter Programmacommissie MKB en Ondernemerschap Prof. dr. B. Verspagen – Technische Universiteit Eindhoven Drs. H. Vreeswijk (secretaris) – Ministerie van Economische Zaken

26990

BIJLAGE 5 VERANTWOORDING ENQUÊTE

26990

R ESPONS

INTERNET - ENQUÊTE ONDER GEREGISTREERDE GEBRUIKERS VAN PROGRAMMAONDERZOEK

EIM heeft voor het evaluatieonderzoek 1.069 e-mailadressen van gebruikers van het programmaonderzoek ter beschikking gesteld. Het betreft uitsluitend geregistreerde gebruikers, niet-geregistreerde gebruikers van het programmaonderzoek (bijvoorbeeld anonieme downloaders) zijn niet achterhaald en aangeschreven. Er is geen steekproef getrokken uit de 1.069 beschikbare e-mailadressen; alle geregistreerde gebruikers zijn aangeschreven. Er bestond op voorhand geen betrouwbaar beeld van de herkomst van de geregistreerde gebruikers. Hoewel ze door EIM waren ingedeeld in categorieën (bijvoorbeeld: beleidsmakers, MKB-adviseurs, bedrijven, etc) bleek dat personen zichzelf tot andere categorieën rekenen dan vooraf werd aangenomen. Het definitieve beeld is opgenomen in onderstaande tabel 2. De geregistreerde gebruikers hebben een e-mail ontvangen, waarmee zij toegang konden krijgen tot een website met een on-line enquête. Hieronder geven we een beeld van de respons en verdeling van respondenten. Tabel 1:

Respons internet-enquête.

Totaal aantal gebruikers benaderd per e-mail

1.069

Aantal personen dat enquête volledig heeft ingevuld

289

Respons

27%

Tabel 2:

Verdeling respondenten.

R ESPONDENTGROEP Overheidsorganisaties

1)

Semi-publieke organisaties

%

51

18%

33

11%

Onderzoeks-, onderwijs- en kennisinstellingen 3)

39

13%

Koepel- en brancheorganisaties 4)

34

12%

Commerciële adviesbureaus

34

12%

Ondernemers

40

14%

Pers en media

28

10%

Studenten en scholieren

10

3%

Anders

20

7%

Totaal

289

100%

1. 2. 3. 4.

26990

2)

TOTAAL

o.a. Ministerie van Economische Zaken (17x), Ministerie van Financiën (5x), Ministerie van OC&W, Ministerie van VWS, gemeenten, Novem, Senter, EVD. o.a. Kamer van Koophandel (21x), Syntens (11x). o.a. Universiteiten (27x), Hogescholen. o.a. VNO-NCW, MKB-Nederland, Metaalunie, Koninklijke Horeca Nederland, Koninklijk Nederlands Vervoer, NovAA, Nederlandse Rubber- en Kunststofindustrie.

1

Tabel 3: Periode waarin respondenten bekend zijn met producten/diensten uit programmaonderzoek. TERMIJN

AANTAL

%

Korter dan 1 jaar

62

21%

Sinds 1 tot 2 jaar

72

25%

Sinds 2 tot 4 jaar

72

25%

Langer dan 4 jaar

83

29%

289

100%

Totaal

26990

2

BIJLAGE 6 DOELTREFFENDHEID VAN HET PROGRAMMAONDERZOEK

26990

DOELTREFFENDHEID PROGRAMMAONDERZOEK Deze bijlage bevat cijfermatige achtergronden bij hoofdstuk 3: doeltreffendheid van het programmaonderzoek. In deze bijlage is de volgende opbouw gehanteerd: 1.

Output van het programmaonderzoek 2001 – 2003.

2.

Kwaliteit van de output van het programmaonderzoek 2001 – 2003.

3.

Bereik en gebruik van producten en diensten uit het programmaonderzoek 2001 - 2003.

26990

1

B IJLAGE 6A: O UTPUT


EIM heeft in de periode 2001 - 2003 jaarlijks aan de programmacommissie en aan EZ gerapporteerd over de output van het programmaonderzoek. Hiervan werd verslag gedaan in de zogenoemde prestatiemetingen. Begin 2004 heeft de programmacommissie aan EZ een overkoepelend rapport aangeboden, waarin een overzicht is gegeven van de output van het programmaonderzoek in de periode 2001 - 2003. Op basis van de informatie in deze notitie geven we een beeld van de output van het programmaonderzoek. Tabel 1:

Prestatie-indicatoren voor output.

PRESTATIE INDICATOR

STREEF-

STREEF-

WAARDE

WAARDE

WERKELIJK 2003

STREEF-

2004

2003

25-30

25-30

27

25-30

27

27

90-100%

90-100%

95%

>90%

100%

56%

4

4

4

4

4

4

100%

100%

100%

>90%

100%

100%

30-40

30-40

35

>31

33

37

5-10

5-10

11

>7

7

11

Aantal eigen publieksgerichte publicaties

30-40

30-40

37

>30

39

36

Aantal publieksgerichte artikelen, boekbijdragen, boeken

10-15

10-15

16

>10

15

13

90-100%

90-100%

100%

>90%

100%

100%

WAARDE

2002

WERKELIJK WERKELIJK 2002 2001

Datasets Aantal operationele datasets In catalogus Permanente modellen Aantal operationele modellen In catalogus Publicaties Aantal eigen research publicaties Aantal wetenschappelijke artikelen in internationale tijdschriften

In catalogus

Bron: Rapportage programmacommissie 2001 - 2003. Input voor de evaluatie van het programmaonderzoek MKB en Ondernemerschap, maart 2004.

26990

2

B IJLAGE 6B: K WALITEIT

VAN DE OUTPUT VAN HET PROGRAMMAONDERZOEK

Ook voor de kwaliteit zijn prestatie-indicatoren geformuleerd. Hierna geven we op basis van de rapportage 2001 - 2003 van de programmacommissie een overzicht van de streefwaarden en gerealiseerde output. Tabel 2:

Prestatie-indicatoren voor kwaliteit datasets.

DATASETS

STREEF-

STREEF-

WAARDE

WAARDE

WERKELIJK 2003

STREEFWAARDE

WERKELIJK 2001

2004

2003

100%

80-100%

93%

40-60%

45%

18%

Documentatie beschikbaar?

90-100%

90-100%

100%

> 90%

100%

44%

Oordeel Adviescommissie Informatiesystemen

ruim voldoende

ruim voldoende

ruim voldoende

-

-

-

% datasets beoordeeld door dataplatform

2002

WERKELIJK 2002


Tabel 3:

Prestatie-indicatoren voor kwaliteit modellen.

PERMANENTE MODELLEN

STREEF-

STREEF-

WAARDE

WAARDE

2004

2003

Besproken in Commissie SCALES

n.v.t.

90-100%

100%

Oordeel Commissie SCALES

n.v.t.

ruim voldoende

ruim voldoende

90-100%

90-100%

100%

> 90%

Documentatie beschikbaar?

WERKELIJK 2003

STREEF-

WERKELIJK 2002

WERKELIJK 2001

>90%

100%

75%

ruim voldoende

ruim voldoende

-

100%

85%

WAARDE

2002


Tabel 4:

Prestatie-indicatoren voor kwaliteit research publicaties.

RESEARCH PUBLICATIES

STREEF-

STREEF-

WAARDE

WAARDE

2004

2003

6-8

6-8

6

ruim voldoende

ruim voldoende

Research publicaties geaccepteerd voor congressen

8-12

Wetenschappelijke artikelen in internat. tijdschriften

5-10

Besproken research publicaties in Commissie SCALES Oordeel Commissie SCALES

WERKELIJK 2003

STREEF-

WERKELIJK 2002

WERKELIJK 2001

7-8

8

4

ruim voldoende

ruim voldoende

ruim voldoende

-

8-12

11

>7

11

13

5-10

11

>7

7

11

WAARDE

2002


26990

3

Tabel 5:

Prestatie-indicatoren voor kwaliteit publieksgerichte publicaties.

PUBLIEKSGERICHTE PUBLICATIES

Evaluatie onder lezers en betrokken externe deskundigen Oordeel extern communicatie bureau over steekproef

STREEF-

STREEF-

WAARDE

WAARDE

2004

2003

goed

ruim voldoende

ruim voldoende

WERKELIJK 2003

STREEF-

goed

ruim voldoende

WAARDE

2002

WERKELIJK 2002

WERKELIJK 2001

ruim voldoende

ruim voldoende

boodschap boodschap boodschap boodschap te veel grosso grosso helder deels onderzoeksmodo modo overgedrahelder verslagen helder helder gen


26990

4

B IJLAGE 6C: B EREIK

EN GEBRUIK VAN PRODUCTEN EN DIENSTEN UIT HET PROGRAMMAONDERZOEK

Prestatie-indicatoren voor gebruik In de prestatiemetingen is onderzoek gedaan naar het gebruik van de producten uit het programmaonderzoek. De resultaten zijn opgenomen in de tabellen 6 tot en met 11. Tabel 6:

Prestatie-indicatoren voor gebruik primaire datasets.

GEBRUIK PRIMAIRE DATASETS DOOR EXTERNEN

Datasets in datalab als % van relevante datasets Aantal onderzoeken in datalab Aantal dataleveranties

STREEF-

STREEF-

WAARDE

WAARDE

2004

2003

90-100%

90-100%

WERKELIJK 2003

STREEF-

100%

>90%

WAARDE

2002

WERKELIJK 2002

WERKELIJK 2001

100%

67%

6-8

6-8

6

6

8

2

30-49

20-25

68

12

29

11


Tabel 7:

Prestatie-indicatoren voor gebruik secundaire datasets.

GEBRUIK SECUNDAIRE DATASETS DOOR

STREEF-

STREEF-

EXTERNEN

WAARDE

WAARDE

2004

2003

100%

60-70%

80%

Aantal hits op website

60.00080.000

60.00080.000

Aantal dataleveranties

80-100

60-70

Datasets op website, als % van ontsluitbare datasets

WERKELIJK 2003

STREEF-

WERKELIJK 2002

WERKELIJK 2001

>40%

30%

11%

51.927

2000

42.109

267

77

>60

130

251

WAARDE

2002


Tabel 8:

Prestatie-indicatoren voor gebruik researchpublicaties.

VERSPREIDING EIGEN RESEARCHPUBLICATIES

Aantal downloads van website Aantal abonnementen Research-Reports (betaald + gratis) Losse verkoop Research-Reports

STREEF-

STREEF-

WAARDE

WAARDE

2004

2003

WERKELIJK 2003

STREEF-

WERKELIJK 2002

WERKELIJK 2001

20.000

19.000

900

100-150

130

251

70-100

31

170

WAARDE

2002

40.00050.000

30.00040.000

41.600

60-80

60-80

77


26990

5

Tabel 9:

Prestatie-indicatoren voor gebruik publieksgerichte publicaties.

VERSPREIDING EIGEN PUBLIEKSGERICHTE

STREEF-

STREEF-

PUBLIC ATIES

WAARDE

WAARDE

WERKELIJK 2003

STREEF-

2004

2003

Aantal downloads via website

150.000170.000

Aantal abonnementen publieksrapportages / strategische verkenningen (betaald)

100-150

100.000150.000

145.400

100-150

150

Losse verkoop publieksrapportages / strategische verkenningen

WERKELIJK 2002

WERKELIJK 2001

20.000

71.000

650

100-150

168

177

1.0001.200

1.532

2.200

WAARDE

2002


Tabel 10:

Prestatie-indicatoren voor gebruik overdrachtskanalen.

GEBRUIK VAN OVERDRACHTSKANALEN

STREEF-

STREEF-

WAARDE

WAARDE

2004

2003

Aantal externe hits op website

1,8-2,3 miljoen

1,5 – 2,0 miljoen

1.812.000

Aantal behandelde informatieverzoeken

3.0003.500

3.0003.500

Waarvan behandeld door onderzoekers (1-8 uur)

150-180 70-90

Aantal lezingen

WERKELIJK 2003

STREEF-

WERKELIJK 2002

WERKELIJK 2001

700.000

1.015.000

65.200

3.831

>6.000

3.798

6.064

120-170

167

50-100

135

150

50-70

85

26-39

60

32

WAARDE

2002


Tabel 11:

Prestatie-indicatoren voor maatschappelijk gebruik.

MAATSCHAPPELIJK GEBRUIK

STREEF-

STREEF-

WAARDE

WAARDE

WERKELIJK 2003

STREEF-

2004

2003

Aantal berichten in schrijvende pers met verwijzing naar programmaonderzoek

300-400

% van publieksgerichte publicaties dat schrijvende pers heeft gehaald Aantal nota’s e.d. van vijf kerngebruikers met verwijzing naar programmaonderzoek

WERKELIJK 2002

WERKELIJK 2001

250-350

>303

>100

>466

>138

60-70%

55-65%

64%

>56%

80%

-

80-100

50-70

82

>30

66

55

WAARDE

2002


Bereik van doelgroepen: uitkomsten enquête In het kader van het onderhavige evaluatieonderzoek is een enquête uitgevoerd onder geregistreerde gebruikers van het programmaonderzoek. De uitkomsten over het bereik van doelgroepen zijn weergegeven in de tabellen 12 en 13.

26990

6

Tabel 12:

Hoe zijn gebruikers bekend geraakt met programmaonderzoek? (meerdere antwoorden mogelijk).

BRON

AANTAL

%

Via EIM

164

57%

Via publicaties (rapporten, artikelen) van het Programmaonderzoek MKB en Ondernemerschap

74

26%

Via de kennissite van het Programmaonderzoek MKB en Ondernemerschap (www.eim.net)

70

24%

Via collega’s uit eigen organisatie

55

19%

Via berichten in de media

34

12%

Via de overheid

18

6%

Via koepel- of brancheorganisatie

11

4%

Via onderzoeks-, onderwijs- of kennisinstelling

15

5%

Anders

16

6%

Bron: Berenschot internet-enquête onder gebruikers van het programmaonderzoek.

Tabel 13:

Bekendheid en gebruik van producten (N = 289). Publieksgerichte publicaties

Onderzoeksgerichte publicaties

Aantal

%

Aantal

%

Aantal

%

Aantal

%

Bekend met product

251

87%

198

69%

136

47%

108

37%

Gebruik van product

229

91%

150

76%

59

43%

44

41%

22

9%

48

24%

77

57%

64

59%

Geen gebruik van product

Datasets

Infoservice


Gebruik en waardering van publieksgerichte rapportages Tabel 14:

Gelezen publieksgerichte rapportages per jaar door gebruikers van dit product. AANTAL

%

1 publieksgerichte rapportage per jaar

28

12%

2 tot 5 publieksgerichte rapportages per jaar

146

64%

Meer dan 5 publieksgerichte rapportages per jaar Totaal

55

24%

229

100%


26990

7

Tabel 15:

Verspreidingskanalen van publieksgerichte rapportages (meerdere antwoorden mogelijk). AANTAL

%

Download via de kennissite www.eim.net

197

86%

Rapport in gedrukte vorm opgevraagd bij EIM

50

22%

Via abonnement op publicaties van EIM

44

19%

Via collega binnen eigen organisatie

31

14%

Via andere organisatie

7

3%

Anders

10

4%

Totaal antwoorden

339

148%

Totaal respondenten

229

100%


Tabel 16:

Gebruiksfunctie van publieksgerichte rapportages (meerdere antwoorden mogelijk). AANTAL

%

Algemene kennisontwikkeling

145

63%

Als oriëntatie op een specifiek thema

123

54%

Ter beleidsvoorbereiding

89

39%

Als vergelijkingsmateriaal en hulpmiddel voor onderzoek

67

29%

Als vergelijkingsmateriaal en hulpmiddel bij advisering

63

28%

Als naslagwerk

50

22%

Als vergelijkingsmateriaal en hulpmiddel voor studie

19

8%

Anders

25

11%

Weet niet/niet ingevuld

2

1%

Totaal antwoorden

583

255%

Totaal respondenten

229

100%


26990

8

Tabel 17:

Beoordeling van publieksgerichte rapportages door gebruikers.

Feitelijke inhoud

Leesbaarheid

Aansluiting bij Praktische Meerwaarde Oordeel over verwachting toepasbaarheid t.o.v. vergelijkkwaliteit bare producten

Algemeen oordeel

Aantal

%

Aantal

%

Aantal

%

Aantal

%

Aantal

%

Aantal

%

Aantal

%

Zeer goed

17

7%

14

6%

6

3%

12

5%

22

10%

12

5%

6

3%

Goed

158

69%

137

60%

100

44%

92

40%

102

45%

146

64%

152

66%

Voldoende

47

21%

64

28%

102

45%

99

43%

57

25%

62

27%

65

28%

Matig

1

0%

9

4%

10

4%

10

4%

8

3%

2

1%

3

1%

Onvoldoende

0

0%

0

0%

0

0%

3

1%

1

0%

0

0%

0

0%

Geen mening Totaal

6

3%

5

2%

11

5%

13

6%

39

17%

7

3%

3

1%

229

100%

229

100%

229

100%

229

100%

229

100%

229

100%

229

100%


Gebruik en waardering van onderzoeksgerichte publicaties Tabel 18:

Gelezen onderzoeksgerichte rapportages per jaar door gebruikers van dit product. AANTAL

%

1 onderzoeksgerichte rapportage per jaar

31

21%

2 tot 5 onderzoeksgerichte rapportages per jaar

94

63%

Meer dan 5 onderzoeksgerichte rapportages per jaar

25

17%

Totaal

150

100%


Tabel 19:

Verspreidingskanalen van onderzoeksgerichte rapportages (meerdere antwoorden mogelijk). AANTAL

%

Download via de kennissite www.eim.net

121

81%

Rapport in gedrukte vorm opgevraagd bij EIM

33

22%

Via abonnement op publicaties van EIM

25

17%

Via collega binnen eigen organisatie

24

16%

Via andere organisatie

6

4%

Anders

12

8%

1

1%

Totaal antwoorden

222

149%

Totaal respondenten

150

100%



26990

9

Tabel 20:

Gebruiksfunctie van publieksgerichte rapportages (meerdere antwoorden mogelijk). AANTAL

%


90

60%

Als vergelijkingsmateriaal en hulpmiddel voor onderzoek

67

45%


44

29%

Als naslagwerk

40

27%


28

19%

Als vergelijkingsmateriaal en hulpmiddel voor studie

20

13%

Anders

11

7%


5

3%

Totaal antwoorden

305

203%

Totaal respondenten

150

100%


Tabel 21:

Beoordeling van onderzoeksgerichte rapportages door gebruikers. Feitelijke inhoud

Leesbaarheid

Aansluiting bij Praktische toe- Meerwaarde Oordeel over verwachting pasbaarheid t.o.v. vergelijk- wetensch. kwabare producten liteit

Algemeen oordeel

Aantal

%

Aantal

%

Aantal

%

Aantal

%

Aantal

%

Aantal

%

Aantal

%

Zeer goed

19

13%

8

5%

7

5%

7

5%

17

11%

9

6%

6

4%

Goed

85

57%

71

47%

67

45%

53

35%

58

39%

70

47%

82

55%

Voldoende

38

25%

55

37%

57

38%

65

43%

47

31%

42

28%

54

36%

Matig

2

1%

10

7%

9

6%

15

10%

5

3%

4

3%

2

1%

Onvoldoende

0

0%

1

1%

0

0%

1

1%

0

0%

0

0%

0

0%

Geen mening Totaal

6

4%

5

3%

10

7%

9

6%

23

15%

25

17%

6

4%

150

100%

150

100%

150

100%

150

100%

150

100%

150

100%

150

100%


26990

10

Gebruik en waardering van datasets Tabel 22:

Wijze waarop datasets door gebruikers worden geraadpleegd (meerdere antwoorden mogelijk). AANTAL

%

Via de kennissite www.eim.net

52

88%

Via een medewerker van EIM

19

32%

Via ‘datalab‘

3

5%

Anders, namelijk....

0

0%

Totaal antwoorden

74

125%

Totaal respondenten

59

100%


Tabel 23:

Gebruikte datasets per jaar door gebruikers van dit product. AANTAL

%

1 dataset

26

44%

2 tot 5 datasets

27

46%

Meer dan 5 datasets

6

10%

Totaal

59

100%


Tabel 24:

Gebruiksfunctie van datasets (meerdere antwoorden mogelijk). AANTAL

%

Voor analyses

33

56%


28

47%

Als vergelijkingsmateriaal en hulpmiddel voor studie of onderzoek

24

41%


18

31%

Als illustratiemateriaal

13

22%


8

14%


0

0%

Totaal antwoorden

124

211%

Totaal respondenten

59

100%


26990

11

Tabel 25:

Beoordeling van datasets door gebruikers.

Feitelijke inhoud

Gebruiksvrien- Aansluiting bij Praktische Meerwaarde delijkheid verwachting toepasbaarheid t.o.v. vergelijkbare producten

Oordeel over kwaliteit

Algemeen oordeel

Aantal

%

Aantal

%

Aantal

%

Aantal

%

Aantal

%

Aantal

%

Aantal

%

3

5%

2

3%

5

8%

6

10%

8

14%

4

7%

4

7%

Goed

30

51%

27

46%

19

32%

19

32%

20

34%

28

47%

25

42%

Voldoende

17

29%

15

25%

21

36%

16

27%

14

24%

16

27%

18

31%

Matig

4

7%

7

12%

8

14%

9

15%

2

3%

2

3%

4

7%

Onvoldoende

0

0%

3

5%

1

2%

3

5%

1

2%

0

0%

0

0%

Zeer goed

Geen mening

5

8%

5

8%

5

8%

6

10%

14

24%

9

15%

8

14%

59

100%

59

100%

59

100%

59

100%

59

100%

59

100%

59

100%

AANTAL

%

1 keer per jaar

22

50%

2 tot 5 keer per jaar

19

43%

Meer dan 5 keer per jaar

3

7%

44

100%

Totaal


Gebruik en waardering van infoservice Tabel 26:

Totaal

Gebruiksintensiteit van infoservice.


Tabel 27:

Oordeel van gebruikers over klantgerichtheid van infoservice. AANTAL

%

Zeer goed

5

11%

Goed

31

70%

Voldoende

8

18%

Matig

0

0%

Onvoldoende

0

0%

Totaal

44

100%


26990

12

Tabel 28:

Oordeel over snelheid waarmee vragen door infoservice werden beantwoord. AANTAL

%

Zeer snel

3

7%

Snel

23

52%

Redelijk snel

14

32%

Matig

1

2%

Geen mening

3

7%

44

100%

Totaal


Tabel 29:

Gebruiksfunctie van informatie uit infoservice (meerdere antwoorden mogelijk). AANTAL

%


22

50%


21

48%


10

23%

Als vergelijkingsmateriaal en hulpmiddel voor studie of onderzoek

3

7%


4

9%


4

9%

Totaal antwoorden

64

146%

Totaal respondenten

44

100%


26990

13

Tabel 30: Beoordeling van informatie uit infoservice door gebruikers. Mate waarin info aansluit bij vraag

Praktische toepasbaarheid

Aantal

%

Aantal

%

Aantal

%

Aantal

%

Aantal

%

5

11%

2

5%

6

14%

4

9%

4

9%

Goed

24

55%

21

48%

16

36%

21

48%

23

52%

Voldoende

10

23%

14

32%

11

25%

11

25%

12

27%

Matig

1

2%

1

2%

0

0%

2

5%

0

0%

Onvoldoende

0

0%

0

0%

0

0%

0

0%

0

0%

Geen mening

4

9%

6

14%

11

25%

6

14%

5

11%

44

100%

44

100%

44

100%

44

100%

44

100%

Zeer goed

Totaal

Meerwaarde t.o.v. vergelijkbare diensten

Oordeel over kwaliteit

Algemeen oordeel


Alternatieve kennisbronnen Tabel 31:

Mate waarin gebruik wordt gemaakt van rapporten en datasets over MKB en Ondernemerschap van alternatieve leveranciers. AANTAL

%

Ja

148

51%

Nee

141

49%

Totaal

289

100%


Tabel 32:

Herkomst alternatieve rapporten en datasets over MKB en Ondernemerschap (meerdere antwoorden mogelijk). AANTAL

%

Centraal Bureau voor de Statistiek

114

77%

Centraal Planbureau

70

47%

Commerciële adviesbureaus

68

46%

Universiteiten

63

43%

Anders

46

31%

1

1%

Totaal antwoorden

362

245%

Totaal respondenten

148

100%



26990

14

Tabel 33:

Mate waarin kennis en informatie uit programmaonderzoek als uniek wordt beoordeeld door gebruikers.

Zeer uniek

AANTAL

%

27

9%

Redelijk uniek

95

33%

Voldoende uniek

109

38%

Weinig uniek

15

5%

Niet uniek

1

0%

42

15%

289

100%

Geen mening Totaal


Tabel 34:

Algemeen oordeel over toegevoegde waarde van producten en diensten (rapporten, datasets, infoservice, etc.) uit het programmaonderzoek voor organisaties. AANTAL

%

Zeer grote toegevoegde waarde

16

6%

Grote toegevoegde waarde

66

23%

Voldoende toegevoegde waarde

158

55%

Beperkte toegevoegde waarde

24

8%

3

1%

22

8%

289

100%

Zeer beperkte toegevoegde waarde Geen mening Totaal


26990

15

Tabel 35:

Concrete gevolgen van het ontbreken van het huidige programmaonderzoek.

CONCRETE GEVOLGEN

AANTAL

%

Gebruik maken van andere informatiebronnen

40

24%

Minder goed beeld van/ inzicht in/kennis over MKB

31

18%

Wegvallen belangrijke informatiebron

23

14%

Informatie moeilijker beschikbaar

21

12%

Minder goede onderbouwing van beleid

17

10%

Hogere kosten

11

7%

Slechtere adviesfunctie

10

6%

Ontbreken van inzicht in ontwikkelingen MKB

8

5%

Lagere betrouwbaarheid informatie uit andere bronnen

7

4%

Langere doorlooptijd

6

4%

Minder vergelijkingsmogelijkheden

6

4%

Minder verspreiding van kennis

5

3%

Geen Nederlands materiaal meer beschikbaar

5

3%

24

14%

Geen gevolgen Totaal antwoorden

214

128%

Totaal respondenten

169

100%


Bereid tot financiële bijdrage Tabel 36:

Mate waarin gebruikers bereid zijn te betalen voor producten/diensten uit het programmaonderzoek.

Product/dienst programmaonderzoek

Weet niet

Totaal

Bereid tot betalen

Niet bereid tot betalen

Aantal

%

Aantal

%

Aantal

%

Aantal

%

Publieksgerichte rapportage

45

20%

112

49%

72

31%

229

100%

Onderzoeksgerichte rapportage

32

21%

78

52%

40

27%

150

100%

Datasets

11

19%

28

47%

20

34%

59

100%

Infoservice

10

23%

18

41%

16

36%

44

100%


26990

16

BIJLAGE 7 BUITENLANDSE EXPERTS ‘PEER REVIEW’

26990

B UITENLANDSE EXPERTS ‘ PEER O NDERNEMERSCHAP 27 1.

REVIEW ’

EIM P ROGRAMMAONDERZOEK MKB

EN

Prof. David B. Audretsch. Director Entrepreneurship, Growth & Public Policy, Max Planck Institute Jena, editor Small Business Economics: an International Journal en winnaar International Award for Entrepreneurship and Small Business Research 2001.

2.

Prof. R. Blackburn. Director of Research, Kingston Business School, UK, en editor International Small Business Journal.

3.

Dr. Elizabeth Garnsey. Reader in Innovation Studies, University of Cambridge, UK, en co-auteur Entrepreneurship in the Netherlands 2001.

4.

Prof. Alan Hughes. Margaret Thatcher Professor of Enterprise Studies en Director ESRC Centre of Business Research, University of Cambridge, UK.

5.

Prof. Bruce A. Kirchhoff. Distinguished Professor New Jersey Institute of Technology, voormalig Chief Economist U.S. Small Business Administration, auteur van Entrepreneurship and Dynamic Capitalism, The Economics of Business Firm Formation and Growth , en co-auteur Entrepreneurship in the Netherlands 1999.

6.

Prof. Anders Lundström. President Swedish Foundation for Small Business research, professor at Mäladalens University en past President International Council for Small Business (2002/2003).

7.

Dr. Harry Matlay. Editor Journal of Small Business and Enterprise Development and Reader in SME Development, UCE Business School, Birmingham, UK.

8.

Prof Paul D. Reynolds. Research Professor of Entrepreneurship, London Business School, Professor of Entrepreneurial Studies, Babson College, USA, Principal Investigator Global Entrepreneurship Monitor en winnaar International Award for Entrepreneurship and Small Business Research 2004.

27

Bron: EIM, Peer Review Programmaonderzoek MKB en Ondernemerschap door buitenlandse wetenschappelijke instellingen.

26990

1

9.

Prof. Lois Stevenson. Director Practice of Innovation Initiative, Industry Canada, Wilfred White Fellow en principal researcher of the Entrepreneurship Policy for the Future series.

10.

Prof. David J. Storey. Director Centre for Small and Medium Sized enterprises, Warwick Business School, auteur van Understanding the Small business sector en winnaar International Award for Entrepreneurship and Small Business Research 1998.

26990

2

BIJLAGE 8 DOELMATIGHEID VAN HET PROGRAMMAONDERZOEK

26990

D OELMATIGHEID

VAN HET

P ROGRAMMAONDERZOEK

Deze bijlage bevat de cijfermatige achtergronden bij hoofdstuk 4: doelmatigheid van het programmaonderzoek. In deze bijlage is de volgende opbouw gehanteerd: A.

Kosten voor coördinatie per deelprogramma.

B.

Kosten interne en externe kwaliteitsgroepen.

C.

Gederfde inkomsten EIM.

D.

Aantal voorbeelden van projecten inclusief indirecte kosten.

26990

1

B IJLAGE 8A: K OSTEN

VOOR COÖRDINATIE PER DEELPROGRAMMA

In onderstaande tabel worden de budgetten die per jaar aan de algemene coördinatie en aan de coördinatie per deelprogramma worden besteed weergegeven. Per jaar staat het bedrag in euro’s weergegeven. Tabel 1:

Kosten voor coördinatie per deelprogramma. 20011)

20021)

20032)

20042)

Bijdrage aan algemene coördinatie

34.034

32.500

30.000

32.000

128.534

Coördinatie deelprogramma

38.602

40.104

40.000

40.000

158.706

Totaal

72.636

72.604

70.000

72.000

287.240


29.535

38.353

33.000

32.000

132.888


34.034

30.507

31.000

30.000

125.541

Totaal

63.569

68.860

64.000

62.000

258.429


34.034

32.500

32.000

32.000

130.534


29.882

30.794

30.000

30.000

120.676

Totaal

63.916

63.294

62.000

62.000

251.210

16.250

16.000

17.000

49.250

IN EURO’S

TOTAAL 2001 - 2004

Informatiesystemen

Modelbouw


Publieksrapportages Bijdrage aan algemene coördinatie Coördinatie deelprogramma

29.095

27.650

30.000

30.000

116.745

Totaal

29.095

43.900

46.000

47.000

165.995

11.345

16.250

16.000

17.000

60.595


33.949

30.672

30.000

30.000

124.621

Totaal

45.294

46.922

46.000

47.000

185.216

Bijdrage algemene coördinatie

108.948

135.853

127.000

130.000

501.801

Bijdrage coördinatie deelprogramma's

165.562

159.727

161.000

160.000

646.289

Totaal

274.510

295.580

288.000

290.000

1.148.090

Kennisoverdracht overige kanalen Bijdrage aan algemene coördinatie

Totaal

Bron: EIM, Financieel verslag programmaonderzoek 2001 en 2002; Jaarprogramma Programmaonderzoek 2003 en 2004, Jaarbegroting en Activiteitenplan eerste en tweede tranche. 1)

Dit betreffen werkelijk gerealiseerde bedragen, gebaseerd op het Financieel Verslag Programmaonderzoek.

2)

Dit betreffen de begrote budgetten, gebaseerd op de jaarbegroting eerste en tweede tranche.

26990

2

B IJLAGE 8B: K OSTEN Tabel 2:

INTERNE EN EXTERNE KWALITEITSGROEPEN

Kosten voor interne en externe kwaliteitsgroepen. 20011)

20021)

20032)

20042)

TOTAAL 2001 - 2004

34.063

52.054

28.000

29.000

143.117

-

-

-

16.000

16.000

-

14.622

15.000

16.000

45.622

-

-

15.000

15.000

30.000

-

-

18.000

18.000

36.000

-

14.622

15.000

32.000

61.622

Bijdrage interne kwaliteitsgroepen

34.063

52.054

61.000

62.000

209.117

Totaal

34.063

66.676

76.000

94.000

270.739

IN E URO’S Informatiesy stemen Dataplatform Adviesgroep Informatiesystemen Modelbouw Secretariaat Commissie SCALES Strategisch onderzoek Petit comité Publieksrapportages redactieraad en kwaliteit publieksrapportages Totaal Bijdrage externe commissies

Bron: EIM, Financieel verslag programmaonderzoek 2001 en 2002; Jaarprogramma Programmaonderzoek 2003 en 2004, Jaarbegroting en Activiteitenplan eerste en tweede tranche. 1)

Dit betreffen werkelijk gerealiseerde bedragen, gebaseerd op het Financieel Verslag Programmaonderzoek.

2)

Dit betreffen de begrote budgetten, gebaseerd op de jaarbegroting eerste en tweede tranche.

26990

3

B IJLAGE 8C: A ANTAL

VOORBEELDEN VAN PROJECTEN INCLUSIEF INDIRECTE

KOSTEN

In onderstaande tabel staat van vijf voorbeeld offertes aangegeven hoe de dagenverdeling is opgebouwd. De genoemde percentages betreffen het aantal dagen dat aan het desbetreffende onderdeel wordt besteed gedeeld door het totale aantal dagen voor de uitvoering van het project. Het onderscheid tussen onderzoeker en senior onderzoek is gebaseerd op de tarieven die worden gehanteerd. Tabel 3:

Voorbeelden van projecten. 1

2

3

4

5

GEMIDDELD

Aantal dagen

47,5

32

55,5

141

20

59,20

•

w.v. offerte

4%

4%

3%

3%

0%

3,0%

•

w.v. (algehele) projectleiding/ projectmanagement

8%

6%

5%

0%

13%

3,9%

•

w.v. interne opdrachtgever

5%

3%

0%

0%

8%

1,7%

•

w.v. supervisie/interne meelezer

4%

4%

3%

4%

0%

3,6%

•

w.v. coördinatie

0%

2%

0%

2%

0%

1,2%

Totaal

22%

19%

11%

9%

20%

13,3%

Tarief senioronderzoeker

49%

60%

59%

79%

Tarief onderzoeker

51%

41%

41%

21%

1)

67% 33%

Bron: Offertes EIM. 1)

26990

In deze offerte zijn afwijkende tarieven opgenomen.

4

B IJLAGE 8D: G EDERFDE

INKOMSTEN

EIM

EIM heeft aangegeven inkomsten mis te lopen, doordat bepaalde zaken niet aan de subsidieverstrekker in rekening worden gebracht. Dit betreft kosten van de wetenschappelijk adviseur, het financieel beheer en het secretariaat van het programmaonderzoek, het bilaterale overleg met EZ, en de strategiebepaling en supervisie van het programmaonderzoek door de EIM directie. De in dit overzicht opgenomen gederfde inkomsten, zijn gebaseerd op het aantal bestede dagen maal het dagtarief van de betrokkene. Tabel 4:

Overzicht gederfde inkomsten, gebaseerd op het jaar 2003.

GEDERFDE INKOMSTEN

KOSTEN (€)

Kosten wetenschappelijk adviseur 1)

59.956

Directietaken, specifiek ten behoeve van EZ-programma

15.600

Specifiek Relatiebeheer (o.a. stakeholders) + Strategie

40.650

Petit Comité (bijdrage directielid)

15.600

Kosten extra secretariële werkzaamheden

11.925

Aanvullende kosten

1.691

Kosten extra administratieve werkzaamheden

8.500

Kosten Accountantsverklaring Verliezen op projecten programma Totaal niet-gedeclareerde kosten

618 16.017 180.557

Bron: Opgave EIM. 1)

Het betreft hier geen gederfde inkomsten, maar werkelijk gemaakte kosten die niet door het programmaonderzoek worden gedekt.

In bovenstaande tabel staat verliezen op projecten programma weergegeven voor het jaar 2003. In 2001 en 2002 werd eveneens verlies gemaakt op het Programmaonderzoek. Dit bedroeg in 2001 € 21.637 en in 2002 € 47.041.

26990

5

EINDRAPPORT EVALUATIE PROGRAMMAONDERZOEK MKB EN ONDERNEMERSCHAP. Drs. M. Pen Mevrouw drs. M.W.G. Steinmeijer Dr. ir. M. Verweij

Recommend Documents