Op zoek naar de effecten

Op zoek naar de “effecten” Een gids voor de meting van de effecten van Competentiepolen en projecten TETRA en Collectief onderzoek

Eindrapport (september 2010)

Op verzoek van: IWT Bischoffsheimlaan 25 1000 Brussel

Door: IDEA Consult (www.ideaconsult.be)

IDEA Consult nv Kunstlaan 1-2, bus 16 B –1210 Brussel

Tel: (+32) 02 282 17 10 Fax: (+32) 02 282 17 15 www.ideaconsult.be

Gids voor de meting van effecten

INHOUDSOPGAVE p.

DEEL 1:

ACHTERGROND

4

1

Over deze studie _______________________________________ 5 1.1 Situering en doelstelling ................................................................ 5 1.2 Aanpak ....................................................................................... 6 1.3 Leeswijzer ................................................................................... 7

2

Het belang van effectmetingen ____________________________ 8 2.1 De rol van de overheid bij O&O en innovatie .................................... 8 2.2 De nood tot verantwoording........................................................... 9

3

Onderliggende principes en bouwstenen ____________________ 10 3.1 Algemene principes meetkader ..................................................... 10 3.2 Effecten en het “Logic Model” ....................................................... 11 3.3 Effecten nader beschouwd ........................................................... 13 3.3.1 3.3.2 3.3.3 3.3.4

DEEL 2:

Verschillende niveaus waarop effecten zich kunnen voordoen ........... 13 Verschillende soorten effecten ...................................................... 14 Tijdsdimensie waarop effecten zich voordoen ................................. 15 Een geïntegreerde aanpak ............................................................ 16

HET MEETKADER EN HET GEBRUIK ERVAN IN DE PRAKTIJK

17

1

Het meetproces: de te stellen vragen ______________________ 18

2

Welke doelstellingen staan centraal? _______________________ 19

3

Welke effecten worden er verwacht? _______________________ 23

4

Welke indicatoren zijn geschikt om te meten?________________ 27 4.1 Meting van effecten bij de „ontvangers‟ ......................................... 31 4.1.1 4.1.2 4.1.3 4.1.4 4.1.5 4.1.6 4.1.7 4.1.8

4.2

Indicatorfiches Indicatorfiches Indicatorfiches Indicatorfiches Indicatorfiches Indicatorfiches Indicatorfiches Indicatorfiches

“Input” ................................................................. 31 “Netwerking en samenwerking” ............................... 33 “Schaal en reikwijdte” ............................................ 37 “Competentie- en expertiseopbouw” ........................ 39 “Versnelling” ......................................................... 41 “Risico” ................................................................ 42 “Strategie”............................................................ 43 “Output” ............................................................... 45

Meting van effecten aan de kant van de „uitvoerders‟ ...................... 48 4.2.1 4.2.2

Indicatorfiches “Competentie- en expertiseopbouw” ........................ 48 Indicatorfiches “Output” ............................................................... 52

5

Hoe kan de meting worden aangepakt? _____________________ 53

6

Referenties ___________________________________________ 57

Lijst van tabellen __________________________________________ 59 Lijst van figuren ___________________________________________ 59

2


Annex 1:

Beknopt overzicht programma: Competentiepolen ___ 60

Annex 2:

Beknopt overzicht programma: Collectief Onderzoek _ 64

Annex 3:

Beknopt overzicht programma: Technologietransfer __ 68

Annex 4:

Invulformulier doelstellingen ____________________ 71

Annex 5:

Lijst van overige relevante indicatoren ____________ 72

p. 3


Deel 1: ACHTERGROND

p. 4


1

OVER DEZE STUDIE

1.1

Situering en doelstelling

Als Instituut voor Innovatie door Wetenschap en Technologie (IWT) beschikt het IWT over verschillende financieringsinstrumenten waarmee het steun verleent aan bedrijven die wensen te innoveren, aan kennisinstellingen die aan gerichte kennisopbouw doen ten gunste van de bedrijven, alsook aan actoren die acties ondernemen rond innovatiestimulering van bedrijven. Om verantwoording te kunnen afleggen ten aanzien van gemaakte keuzes, maar ook in het kader van de verdere rationalisering van het beleid rond innovatie, dat momenteel ook in Europa gaande is, lijkt het aangewezen en zelfs noodzakelijk om nader inzicht te krijgen in de resultaten en de effecten van lopende steunmaatregelen. Het IWT wenst via de ontwikkeling van een resultaat- en effectmetingmethode een methodiek te ontwikkelen en te testen die toelaat om de resultaten en effecten van de werking van het programma Competentiepolen (CP), Technologietransfer (TETRA) en Collectief Onderzoek (CO) te meten en op te volgen. In eerste instantie voor de programma-uitvoerders zelf om hun werking beter te kunnen opvolgen (monitoring), maar in tweede instantie ook voor het IWT zelf om de meerwaarde van zijn programma‟s te kunnen beoordelen en bij te sturen waar en wanneer nodig. Dit rapport verschaft dus zowel de theoretische onderbouw voor het IWT om een methodiek toe te passen als een praktisch hanteerbaar hulpmiddel voor de aanvragers om hun programma´s te structureren. Deze studie heeft dan ook tot doel een om een generieke set van parameters te ontwikkelen (een gids) om de relevante resultaten en effecten van de verschillende types van de eerdergenoemde programma‟s te registreren. In eerste instantie ligt hierbij de focus op het programma CP, maar er wordt ook voldoende aandacht besteed aan de programma‟s TETRA en CO. De nadruk bij de methodiekontwikkeling ligt op het structureren van het proces en de ondersteuning ervan. Tenslotte, deze studie kadert in een groter geheel van studies en initiatieven gericht op het systematisch monitoren en evalueren van IWT steunprogramma‟s (zie ook tekstkader hieronder).

Selectie van gerelateerde IWT studies (zie http://www.iwt.be/publicaties) Studie 48: „Making the Difference: The Evaluation of "Behavioral Additionality" of R&D Subsidies‟ Studie 56: 'What difference do IWT R&D grants make for their clients' Studie 59: 'De effectiviteit van het Vlaamse Innovatiesamenwerkingsverband (VIS)' Studie 61: 'Werking en effecten van Collectief Onderzoek' Studie 62: 'Zelfevaluatie van competentiepolen'

p. 5


1.2

Aanpak

De ontwikkelde aanpak voor deze studie is ontwikkeld in samenspraak en wisselwerking met de projectuitvoerders („het veld‟). We hebben voor deze aanpak gekozen aangezien het meetkader in eerste instantie bedoeld is voor zelfevaluatie en monitoring van de eigen activiteiten. Naast een serie van cases studies (in de vorm van kleine focusgroepen) zijn er diverse vergaderingen georganiseerd met projectuitvoerders en –coördinatoren van de diverse programma‟s. Hieronder presenteren we de verschillende uitgevoerde fases en activiteiten. Figuur 1: Overzicht fasering F1: Inceptiefase

F2: Gezamenlijke ontwikkeling meetmethodiek

F3: Empirische toepassing

F4: Optimalisatie meetmethode

F5: Eindrapportage en valorisatie

Bron: IDEA Consult

Zoals uit de bovenstaande figuur blijkt, is deze studie uitgevoerd in vijf verschillende fasen. In fase 1 heeft er een verdere concretisering van de aanpak plaatsgevonden. In fase 2 werden de eerste principes vastgelegd van het te volgen meetkader op basis van een workshop met vertegenwoordigers van CP, en projecten TETRA en CO. In fase 3 is er een toetsing uitgevoerd van het meetkader door middel van een zevental case studies 1 . Centraal in deze gesprekken stond de interpretatie en het werkelijke gebruik van het meetkader. In fase 4 werden de resultaten uit de testmeting nader geanalyseerd ter optimalisatie van het meetkader. De laatste fase, fase 5, hield de eindrapportage en de verdere verspreiding van de ontwikkelde aanpak in.

1

Het betreft in het bijzonder de competentiepolen Flanders‟ FOOD, Flanders Mechatronics Technology Centre (FMTC), en het Vlaams Instituut voor de Logistiek (VIL); een serie individuele TETRA en CO projecten bij het Belgisch Instituut voor de Lastechniek (BIL), de Hogeschool Gent, de KHK Kempen en het Wetenschappelijk en Technisch Centrum voor het Bouwbedrijf (WTCB).

p. 6


1.3

Leeswijzer

Dit rapport bestaat uit 2 delen. In deel 1, de algemene achtergrond, bevinden zich een drietal hoofdstukken. Naast hoofdstuk 1, de algemene introductie tot de studie en de aanpak, wordt er in hoofdstuk 2 stilgestaan bij het belang van effectmetingen door een schets van de overkoepelende nationale en internationale beleidsontwikkelingen. Hoofdstuk 3 verschaft een overzicht van de belangrijkste methodologische principes onderliggend aan het „meetkader‟. Deel 2, het meetkader en het gebruik ervan in de praktijk, bestaat uit een vijftal hoofdstukken. Het eerste hoofdstuk geeft een overkoepelend overzicht van het meetkader en het te volgen meetproces. Hoofdstukken 2 tot en met 5 gaan dieper in op elke stap uit het meetkader. Elk hoofdstuk bevat uitleg, tips en verwijzingen naar verder achtergrondmateriaal. Onderliggende handleiding dient bekeken te worden in samenhang met de handleiding voor “Zelfevaluatie van Competentiepolen2”.

Voor wie is deze gids bedoeld? Deze gids is in eerste instantie bedoeld voor de huidige en toekomstige projectuitvoerders. Voor de eerste groep, zal deze gids ondersteuning kunnen bieden bij het in kaart brengen en monitoren van de nagestreefde effecten, maar zal eveneens een reflectie toelaten op de relevantie van de activiteiten die tot op heden worden uitgevoerd. Voor de tweede groep, kan deze gids een handleiding zijn bij het ontwikkelen van toekomstige projectaanvragen en het scherpstellen van de na te streven effecten. In tweede instantie is deze gids bedoeld voor het IWT dat hiermee een kader krijgt aangereikt om projecten te helpen richten op de gewenste effecten en deze ook systematisch te monitoren.

2

Zie: http://www.iwt.be/publicatie/62-zelfevaluatie-van-competentiepolen

p. 7


2

HET BELANG VAN EFFECTMETINGEN

2.1

De rol van de overheid bij O&O en innovatie

Hoewel we ons in deze studie richten op de ontwikkeling van een meetkader voor de meting van effecten van specifieke programma‟s (CP, TETRA en CO), is inzicht in de overkoepelende beleidsontwikkelingen en -relevantie belangrijk. Op het Europese vlak hebben we te maken met de “Lissabon” strategie 3 en de hernieuwde “Europa 2020” strategie 4 , waarin belang wordt gehecht aan de zogenaamde “kennisdriehoek”, bestaande uit onderzoek, onderwijs en innovatie. Vlaanderen heeft met zijn eigen “Vlaanderen in Actie” strategie 5, en de “StatenGeneraal voor de Industrie” zich daarnaast nog gericht op transformatie van het industriële landschap van arbeidsintensief naar meer kennisintensief, en heeft zijn eigen accenten gelegd. De focus van deze strategieën (en andere) is erop gericht om de competitiviteit van sectoren te behouden en te verbeteren, met als doel om onze levensstandaard naar de toekomst toe te vrijwaren. Beleidsmaatregelen die deze doelstelling helpen realiseren zijn dan ook onmisbaar. Er is veel theoretisch en empirisch onderzoek verricht rond het belang van technologische ontwikkeling en innovatie voor economische groei, voldoende om duidelijk aan te kunnen tonen wat het belang is van investeringen in O&O en innovatie voor onze economische groei. Schattingen van rendementen als gevolg van eigen O&O investeringen lopen uiteen, maar er is in toenemende mate consensus aan het ontstaan dat deze bruto rendementen tussen de 20-30% fluctueren (op basis van studies op bedrijfsniveau). Kennisverspreiding (bewust en onbewust) in relatie tot O&O is eveneens van groot belang hierbij. Wanneer we daarmee rekening houden, kunnen bruto rendementen voor bedrijven zelfs oplopen tot 40%. Waarom gaan alle bedrijven dan niet over tot investeringen in O&O? In de eerste plaats omdat er sprake is van een imperfecte marktwerking waardoor de private sector minder investeert in O&O dan maatschappelijk gewenst. De redenen hiervoor zijn: 

Onzekerheid: bij de aanvang van onderzoeksprojecten is het niet zeker dat het project ook werkelijk zal leiden tot nieuwe kennis en innovatie (als gevolg van technische complexiteit, tijdsbeperkingen, en investeringsvereisten).



Toe-eigening: als een project succesvol zal verlopen, is het nog maar de vraag of het betreffende bedrijf erin zal slagen om zich de meerwaarde volledig toe te eigenen (in het licht van kennisverspreiding). Dit weerhoudt bedrijven dan ook vaak van het investeren in specifieke O&O projecten.



Destructie: waarom zou een bedrijf investeren in nieuwe kennis en innovatie wanneer men het risico zou verhogen dat huidige producten en

3

http://ec.europa.eu/archives/growthandjobs_2009/

4

http://ec.europa.eu/eu2020/index_en.htm

5

http://ikdoe.vlaandereninactie.be/

p. 8


diensten die vandaag goed lopen en veel omzet genereren morgen ineens ingehaald worden door de nieuw ontwikkelde producten en diensten? Overheden richten zich op het neutraliseren van deze factoren (het marktfalen) door het introduceren van steuninstrumenten gericht op de stimulering van O&O en innovatie (zo ook dus de programma‟s CP, TETRA en CO) en op de versterking van menselijk kapitaal en netwerken.

2.2

De nood tot verantwoording

Het mag duidelijk zijn dat overheidsinterventie het marktfalen maar voor een deel kan opheffen. Het is echter ook mogelijk dat de overheidsinterventie niet voldoende resultaat oplevert en dat bijsturing/afschaffing noodzakelijk is. Immers, als de maatschappelijke kosten hoger zijn dan de opbrengsten is rechtvaardiging van de maatregel niet langer mogelijk. Ten tijden van economisch tegenvallende resultaten, waarbij de middelen onder druk komen te staan, neemt de noodzaak toe om (de juiste) keuzes te maken. Dit betekent dat bestaande instrumenten beoordeeld moeten kunnen worden op hun meerwaarde. De overheid kan beschikken over een brede waaier aan instrumenten6 die ingezet kunnen worden om hetzelfde resultaat na te streven. Maar om de juiste keuze te maken uit deze veelheid, dan moet de overheid beschikken over een solide en goed uitgebouwde „evidence base‟ 7. Gedurende alle fases van de beleidscyclus is het dus essentieel dat overheden de juiste analyse kunnen maken. Dit geldt ook voor de betrokken actoren zelf, zoals programmacoördinatoren en –uitvoerders van CP, TETRA en CO projecten.

6

De “Innovation Policy Trend Chart” databank, die een inventarisatie is van steunmaatregelen binnen Europa, bevat momenteel 1.340 steunmaatregelen uit 28 landen (zie: http://www.proinnoeurope.eu/trendchart)

7

Op Europees niveau loopt momenteel een grootschalige studie “Common Impact Assessment for Optimising the Policy mix” naar de harmonisatie van impact assessment praktijken binnen de lidstaten. Op de website http://www.cia4opm.com/ is veel relevant achtergrondmateriaal in relatie tot impact/effectmetingen.

p. 9


3

ONDERLIGGENDE PRINCIPES EN BOUWSTENEN

3.1

Algemene principes meetkader

Het hier ontwikkelde meetkader biedt een basis voor de meting van effecten met betrekking tot de werking van CP, en van projecten TETRA en CO. Het gaat hierbij vooral om een „ondersteunend‟ en niet om een „voorschrijvend‟ meetkader. Het meetkader is zo opgebouwd dat de benodigde „kapstokken‟ worden aanreikt aan de projectuitvoerders om samen met het IWT te komen tot de best mogelijke selectie van relevante effecten en hun meetwijze. Overige uitgangspunten bij onderliggend meetkader zijn de volgende:

8



Het meetkader richt zich op gerealiseerde effecten. De centrale vraag is dan ook “welke meerwaarde werd er werkelijk gecreëerd?”.



Het meetkader richt zich hoofdzakelijk op het opvolgen en meten van meerwaardecreatie bij de „ontvangers‟ (de bedrijven) en in mindere mate op de meerwaardecreatie bij de „aanbieders‟ (bijv. de hogescholen).



Het meetkader laat een bottom-up aanpak toe, waardoor de eigenheden van de diverse projecten uit verschillend sectoren volledig in rekening kunnen worden gebracht.



Het meetkader reikt een serie „blauwdrukken8‟ aan waarmee verder aan de slag kan worden gegaan door de projectuitvoerders.



Het meetkader reikt een beperkte set van indicatoren aan waarmee geselecteerde effecten gemeten kunnen worden (een „pick list‟).



Het meetkader bevat suggesties over hoe de geselecteerde effecten in de praktijk gemeten kunnen worden en hoe deze gerapporteerd kunnen worden.



Het meetkader houdt rekening, in de mate van het mogelijke, met bestaande en al ingeburgerde meetmethodieken (RAP, TIS/TD etc.) waardoor de bijkomende administratieve lasten beperkt kunnen worden.

Een „blauwdruk‟ betekent letterlijk een ontwerp of een plan dat nog niet is uitgevoerd in de realiteit. Hier wordt de term echter gebruikt om te verwijzen naar de programmadoelstellingen (van competentiepolen, TETRA en VIS-CO projecten) zoals deze in de ontwerpfase zijn gedefinieerd.

p. 10


3.2

Effecten en het “Logic Model”

Onafhankelijk van de aard van een overheidsmaatregel, kan beschouwd en geanalyseerd worden als financieel en menselijk gemobiliseerd wordt om een bepaalde doelstelling na te streven. waarmee op een systematische wijze gekeken kan worden naar het een maatregel noemen we „Logic Model of Logical Analysis9‟. Het logic model is “een logische en consistente beschrijving van het ontwerp van een programma en zijn resultaten en effecten” (zie ook IWT studie 62). Hieronder presenteren we het model dat we in deze studie centraal zullen stellen wanneer het gaat over het stroomlijnen van het denken rond programmaontwerp en analyse. Dit model sluit goed aan bij de werking van CP en de projecten in het kader van TETRA en CO.

deze altijd kapitaal dat Het concept ontwerp van

Wist u dat … U dit model kunt gebruiken bij het ontwikkelen van een nieuwe projectaanvraag of het herbekijken van uw huidige strategie?

Het model bestaat uit vijf belangrijk componenten. We bespreken ze in het kort hieronder. 1. Input (bij het programma): dat zijn de materiële en immateriële middelen die gemobiliseerd worden/zijn om een programma en de daaronder vallende acties te implementeren (uit te voeren). 2. Output (van het programma): het gaat hierbij over activiteiten, diensten en evenementen die gericht zijn op de doelgroep (bedrijven). Bijvoorbeeld, in het kader van CP kan het gaan over de organisatie en uitvoering van onderzoeksprojecten of de organisatie van events. Het gaat met andere woorden over de „output‟ van het programma/het project. 3. Effecten (bij de doelgroep): hier gaat het over de veranderingen bij de doelgroep (bedrijven) als gevolg van de werking van het programma (in lijn met de gestelde doelstellingen). Effecten zijn tijdsafhankelijk (korte, middellange en lange termijn). Langere termijn effecten worden ook wel impact genoemd. Het hier ontwikkelde meetkader richt zich op de effecten op korte termijn (en waar mogelijk op middellange termijn). 4. Assumpties/verwachtingen (bij betrokken actoren): hierbij gaat over de verwachtingen die men heeft ten aanzien van de resultaten van een programma, de mensen die betrokken zijn, en de context waarbinnen het programma zal opereren. Deze factoren zorgen ervoor dat de werking van een programma enkel in zijn context goed geanalyseerd kan worden.

9

Zie SMART INNOVATION, p. 76, European Court of Auditors (sd), p. 16., European Court of Auditors (sd), European Commission (2004), p. 71-72 en OECD (2002) voor meer achtergrond/wettelijke basis.

p. 11

Kader voor de meting van effecten

Figuur 2: Programmaontwikkeling/-actie (Logic Model)

Programma-ontwikkeling – Logic Model

Terugkoppeling

Prioriteiten Rekening houdend met:

Bestaande noden

Missie Visie Mandaten Bronnen Lokale dynamica Medewerkers Concurrenten Beoogd resultaat

Uitkomst – Impact

Output

Inputs Aanbiederskant

Activiteiten

Deelname

Korte termijn (KT)

Middellange termijn (MT)

Lange termijn (LT)

Wat we investeren

Wat we doen

Wie we bereiken

Resultaten op KT

Resultaten op MT

Resultaten op LT / impact

Meer innovaties Strategie rond O&O&I Actief bezig met O&O&I Samenwerking ...

Sociaal Economisch Maatschappelijk Ecologisch/ milieu

Personeel Vrijwilligers Tijd Geld Onderzoeksbasis Materiaal Uitrusting Technologie Partners ...

Organiseren workshops en meetings Helpen ontwikkelen van producten en diensten Training Advisering Beoordeling Bieden van testfaciliteiten Partners zoeken

Bedrijven Kennisinstellingen Beleidsmakers en overheden ...

Deelname Kennisopbouw Probleemoplossing Meer O&O&I activiteiten ...

...

Assumpties

Externe factoren Bron: IDEA Consult (op basis van PDE – Wisconsin University) * De rode stippellijn geeft de focus van onderliggend meetkader weer

p. 12


5. Externe factoren (uit de omgeving): deze verwijzen naar de bredere context waarbinnen het programma opereert en de externe factoren die de acties van een bepaald programma specifiek beïnvloeden. Een voorbeeld hiervan kan de heersende cultuur binnen een bepaalde sector zijn, zoals de openheid/geslotenheid ten opzicht van externe samenwerking.

3.3

Effecten nader beschouwd

3.3.1 Verschillende niveaus waarop effecten zich kunnen voordoen Nu dat we de positie van „effecten‟ in de gehele cyclus van programmaontwikkeling, uitvoering en resultaten hebben bekeken, kunnen we nader ingaan op de effecten zelf. We hebben effecten gedefinieerd als veranderingen bij de doelgroep waarop een programma zich richt. Strikt genomen echter betekent „effect‟ een gebeurtenis die optreedt als een resultaat van feiten en/of gebeurtenissen en waarbij er dus (meestal) sprake is van een causale relatie tussen oorzaak en gevolg. Wanneer een bedrijf deelneemt aan een project, dan leidt dat tot bepaalde gewenste en soms ook ongewenst resultaten. Bijvoorbeeld, het bedrijf slaagt erin om nieuwe kennis op te doen of om zijn netwerk uit te breiden, of om een nieuw product of dienst te ontwikkelen. Dit zijn allemaal „veranderingen‟ bij het bedrijf die (deels of volledig) toe te schrijven zijn aan participatie aan het betreffende project. Een project (of programma) kan echter ook effecten hebben op het niveau van de uitvoerders. Bijvoorbeeld, in het kader van een TETRA project, vloeit de ontwikkelde kennis terug naar de hogescholen en kan daar leiden tot een nieuw of vernieuwd cursusaanbod of de ontwikkeling van nieuwe onderzoekslijnen. Hetzelfde kan gelden voor de werking van competentiepolen, waarbij het gefinancierde collectief onderzoek de deelnemende universiteiten aanzet om hun onderzoeksdomeinen verder uit te breiden of te verdiepen. Samengevat, effecten kunnen zich dus voordoen op diverse niveaus, waarbij we in onderliggend meetkader ons vooral zullen richten op: 1. Het niveau van de „ontvangers‟ (de bedrijven, die aan de kant van de zogenaamde „beneficiaries‟ staan). 2. Het niveau van de „uitvoerders‟ (de kennisinstellingen die aan de kant van de projectuitvoering staan).

p. 13


3.3.2 Verschillende soorten effecten Er bestaan verschillende soorten effecten. Om hierin enige systematiek aan te brengen beroepen we ons op de theorie ontwikkeld rond „gedragsadditionaliteit10‟. Simplistisch gezegd, richt deze analytische stroming zich op het identificeren van effecten die „additioneel‟ zijn, en die zonder de betreffende steunmaatregel niet zouden zijn ontstaan. In het klassieke denken rond additionaliteit wordt er een onderscheid gemaakt tussen effecten aan de „inputkant‟ en aan de „outputkant‟. Er is echter meer. Tussen de klassieke input en output kunnen zich diverse effecten voordoen die belangrijk zijn voor het toekomstig presteren van bedrijven en kennisinstellingen. Het zijn deze effecten die we in onderliggend meetkader naar voren schuiven als typologie. Hieronder bespreken we deze soorten van effecten in meer detail.

Wist u dat … Een verhoging van de subsidies met 1 Euro leidt tot een toename van de bedrijfsuitgaven voor O&O met een bedrag van 0,85 tot 1,34 Euro (Bron: IWT studie nr. 54).

Figuur 3: Soorten van effecten en hun betekenis

Input Netwerking en samenwerking Schaal en reikwijdte Competentie- en expertiseopbouw Versnelling

Risico

Strategievorming

Output

Bijkomende O&O investeringen/inspanningen door bedrijven als gevolg van deelname aan het project/programma. Effecten rond uitbreiding/verbreding van netwerken en intensivering van samenwerking. Effecten in relatie tot de grootte en reikwijdte van een project en zijn uitkomsten. Effecten in relatie tot opbouw, uitbreiding en verdieping van kennis, ervaring en competenties. Effecten in relatie tot het sneller toegang krijgen tot competenties en expertise, en dus het sneller kunnen realiseren van output. Effecten in relatie tot het kunnen nemen van meer risico in een bepaald project. Effecten rond verbetering van managementroutines, erkenning innovatie als strategisch belangrijk en/of uitwerking innovatieplan. Tastbare resultaten die het gevolg zijn van deelname aan het betreffende project/programma (bijv. nieuw product of proces). Bron: IDEA Consult

10

Zie: http://www.iwt.be/publicatie/56-what-difference-do-iwt-rd-grants-make-their-clients of een studie naar de gedragsadditionaliteit van KP6 subsidies: http://ec.europa.eu/research/evaluations/pdf/archive/fp6-evidencebase/evaluation_studies_and_reports/evaluation_studies_and_reports_2009/assessing_the_beha vioural_additionality_of_the_sixth_framework_programme.pdf

p. 14


De verschillende soorten effecten die hier zijn opgesomd staan in het ontwikkelde meetkader centraal. De bedoeling is dat projectuitvoerders op een systematische basis (en in teamverband) nagaan welke effecten waarschijnlijk zijn als resultaat van hun project, en op welke termijn. 3.3.3 Tijdsdimensie waarop effecten zich voordoen Op de vraag wanneer er bepaalde effecten verwacht mogen worden, dienen we allereerst het concept van toewijsbaarheid of attribueerbaarheid te introduceren. Attribueerbaarheid (in het Engels „attribution‟) wordt vaak als een „probleem‟ van causaliteit gezien. De effecten van een bepaald project/programma worden beïnvloedt door diverse factoren (zie ook Figuur 2), onder ander de tijdsspanne die verstrijkt tussen de uitvoering van een project/programma en de (perceptie van) realisatie van een of meerdere effecten. Het probleem van attribueerbaarheid kan onder andere aangepakt worden door het raadplegen van experts die ervoor moeten waken dat de effecten die toegeschreven worden aan een bepaald project of programma, in alle waarschijnlijkheid ook het resultaat daarvan zijn. Deze toets is ook meestal ingebouwd in het zogenaamde „programmaontwerp‟, waarin systematisch nagegaan wordt welke effecten van een bepaalde project/programma verwacht worden en op welke manier deze kunnen worden bereikt (de activiteiten). De grote verscheidenheid aan factoren die een rol spelen bij het zich al dan niet voordoen van specifieke effecten kunnen onmogelijk allemaal in rekening worden genomen. Een uitzondering hierop is de factor „tijd‟. Zoals in ons logic model wordt weergegeven, kunnen effecten zich voordoen op korte termijn (KT), middellange termijn (MT) en lange termijn (LT). In het laatste geval wordt dikwijls gesproken over impact, en niet langer meer over effecten. Kijkend naar de programma‟s in kwestie (CP, TETRA en CO), dan kunnen we deze tijdsintervallen bij wijze van indicatie als volgt concretiseren. Korte termijn (KT):

Effecten die zich voordoen „tijdens‟ of „net na‟ de uitvoering van een project (< 1 jaar na afloop van een project), waarbij eventueel een verlengde looptijd mee in rekening kan worden genomen.

Middellange termijn (MT): Effecten die zich voordoen „na‟ de uitvoering van een project (>1 en <3 jaar na afloop), waarbij eventueel een verlengde looptijd mee in rekening kan worden genomen. Lange termijn (LT):

Effecten die zich voordoen „ruim na afloop‟ van een project (> 3 jaar) en waarbij de „attribueerbaarheid‟ onder druk komt te staan. Zoals al aangegeven, gaat hier over „impact‟ die zich pas op langere termijn voordoet en die vaak niet het resultaat is van individuele projecten.

Het is aan de projectaanvragers en het IWT om deze termijnen zorgvuldig te bepalen en nader in te vullen voor specifieke projecten.

p. 15


3.3.4 Een geïntegreerde aanpak Samengevat, een effectmeting voor een bepaald project (zoals CP of TETRA/CO) zal een „evenwichtsoefening‟ inhouden tussen de volgende drie dimensies: 1. Niveau waarop de effecten zich kunnen voordoen (niveau van de ontvangers/doelgroep versus andere niveaus zoals uitvoerders en/of andere actoren in de bredere omgeving). 2. Soorten effecten waarop een project gericht is (gaande van „input‟ tot „output‟ en de mogelijke tussenliggende soorten effecten). 3. De tijdsdimensie waarop deze effecten te verwachten zijn en waarbij zeker realisme geboden is (KT, MT, of zelfs LT). Deze dimensies maken deel uit van het voorgestelde meetkader (zie volgende hoofdstukken).

p. 16


Deel 2: HET MEETKADER EN HET GEBRUIK ERVAN IN DE PRAKTIJK

p. 17


1

HET MEETPROCES: DE TE STELLEN VRAGEN

In de voorgaande hoofdstukken hebben we de belangrijkste bouwblokken van het meetkader weergegeven. In de volgende hoofdstukken zullen we nader ingaan op het gebruik van het kader in de praktijk. De voorgestelde aanpak om te komen tot een systematische identificatie en vervolgens tot een meting van de relevante effecten, wordt procesmatig gestuurd door een serie vragen. We geven deze vragen hieronder weer.

Vraag 1: Welke doelstellingen stellen wij (als projectaanvragers) centraal? Hulpvragen: 1

Welke doelstellingen staan centraal in het betreffende IWT programma (resp. CP/TETRA/CO)?

2

Welke klemtonen willen wij leggen in „ons‟ project en kan/mag dit?

3

Kunnen en mogen we (van het IWT) de nodige activiteiten uitvoeren om deze doelstellingen te bereiken?

Vraag 2: Welke effecten willen we vervolgens bereiken? Hulpvragen: 1

In functie van de gelegde klemtonen bij de beantwoording van de vorige vragen, welke effecten zullen zich voordoen, of welke effecten wilt u realiseren?

2

Houd hierbij rekening met de soort effecten, het niveau waarop de effecten zich kunnen voordoen, en de termijn waarbinnen de effecten te verwachten zijn (IWT regels).

Vraag 3: Welke indicatoren zijn het meest geschikt om de effecten te meten en dus te monitoren? Hulpvragen: 1

Effecten zijn op verschillende manieren te meten; welke indicatoren zijn het meest geschikt om de vooropgestelde effecten te meten?

2

Zorg hierbij voor voldoende variëteit in uw indicatorenmand! Kwantitatieve en kwalitatieve indicatoren dienen zich af te wisselen.

Vraag 4: Welke meetaanpak is hierbij geschikt? Hulpvragen: 1

Ligt de gegevensverzameling binnen uw bereik of bent u tevens afhankelijk van aanlevering door anderen? Wie moet wat doen? Maak hierover afspraken!

2

Maakt de meetaanpak integraal deel uit van het management van uw project(en)? Voorzie voldoende tijd en middelen om de indicatoren op te volgen.

Hulpmiddelen: blauwdruk van mogelijke effecten op diverse niveaus op basis van programma ontwerp en de grid om de verwachte effecten nader te detailleren en te selecteren. p. 18 Vraag 3 (= stap 3): Welke indicatoren kiezen wij als uitvoerder om de verwachte en geselecteerde effecten te meten?


2

WELKE DOELSTELLINGEN STAAN CENTRAAL?

Gewenst resultaat van deze stap 1

Een helder overzicht van de doelstellingen die u als projectaanvrager/-uitvoerder met uw project nastreeft.

Mogelijke hulpmiddelen 1

De IWT handleidingen die in detail aangeven welke activiteiten, en dus doelstellingen, gefinancierd kunnen worden.

2

De blauwdruk van doelstellingen voor CP, TETRA en CO die te vinden zijn in bijlagen 1, 2 en 3 (deze handleiding) waardoor u zich kunt laten inspireren.

3

Het „Logic Model‟ principe zoals uiteengezet in Figuur 2.

Het vertrekpunt van een evaluatie (van effecten) is de analyse van de vooropgestelde doelstellingen. Om dit te bewerkstellingen reiken we serie blauwdrukken aan (zie bijlagen). We spreken van een „blauwdruk‟ omdat het gaat over typische verwachtingen ten aanzien van de doelstellingen van een gemiddeld project in de bestudeerde programma‟s. Een eerste belangrijk hulpmiddel is aldus een blauwdruk van de doelstellingen van CP, TETRA en CO projecten. Deze blauwdruk zal de Tip … „uitvoerders‟ (of projectaanvragers) helpen om op voorhand na te gaan welke doelstellingen Stel uzelf eens de vraag: “welk normaliter centraal staan voor hun project. probleem of uitdaging waar de sector mee kampt, willen wij Afwijken van de blauwdruk is wenselijk, zelfs aanpakken?” noodzakelijk, om de specificiteit van een project tot zijn recht te laten komen. Ook de blauwdrukken zelf kunnen evolueren naar gelang het ontwerp van het programma verder evolueert (hier is tevens een rol weggelegd voor het IWT). Voor nieuwe aanvragers ligt het voor de hand dat men vertrekt van de IWThandleiding met instructies over het aanvragen van nieuwe projecten. Deze handleidingen geven in detail aan welke doelstellingen nagestreefd kunnen/moeten worden en welke activiteiten in dat verband gehonoreerd kunnen worden. Dat is een ander hulpmiddel dat ook relevant kan zijn voor het aftoetsen van doelstellingen en activiteiten van lopende projecten. Een derde hulpmiddel om de contouren van een project (in wording) scherp te stellen, is het Logic Model (zie Figuur 2). Het Logic Model bevat specifieke elementen die kunnen helpen om een project vorm te geven. Het model vertrekt van een zogenaamde „diagnose‟, de huidige situatie, en stelt impliciet vragen over de prioriteiten en de middelen die ter beschikking staan (zowel aan de kant van de overheid, maar ook aan de kant van de projectaanvrager en zelfs de deelnemende bedrijven) om het project in kwestie te financieren en uit te voeren. Een andere mogelijkheid is te vertrekken van het gewenste resultaat om zo via „backward engineering‟ na te gaan hoe een resultaat bereikt kan worden en welke inspanningen daarvoor nodig zijn. Dit kan zeker ook een goede toetssteen zijn voor lopende projecten.

p. 19


Ter illustratie, stel dat in een bepaalde subsector de samenwerkingsbereidheid laag is, waardoor er kansen op het vlak van kennisdeling verloren gaan, dan is het mogelijk om op basis van deze vaststelling als doelstelling van een project naar voren te schuiven: “het vergroten van de samenwerking binnen subsector X”. Als dit het gewenste eindresultaat is, dan dienen alle activiteiten en acties aan deze doelstelling bij te dragen (bijvoorbeeld, workshops die het belang van samenwerking aantonen, platformen aanreiken waardoor samenwerking gemakkelijk kan worden gemaakt). Hoe gaat u te werk? Op basis van de eerder aangehaalde hulpmiddelen wordt op een systematische wijze nagegaan welke doelstellingen u centraal wenst te stellen (deels centraal moet stellen). Het Logic Model, de blauwdrukken maar ook de handleidingen van het IWT helpen u hierbij en bieden u concrete aanknopingspunten. Het is belangrijk dat u in teamverband de doelstellingen inventariseert en scherp formuleert. Daarnaast is het essentieel dat de doelstellingen afgetoetst worden met de stakeholders, zijnde de bedrijven („ontvangers‟), het IWT (als Tip … uitvoerende overheid) en andere direct/indirect belanghebbenden (zoals een hogeschool die Vertrek eens van „het verschil‟ (belangrijkste effect) dat u met uw enerzijds uitvoerder is maar anderzijds ook zelf project wil maken. Doet u vandaag sterk kan profiteren van de kennisopbouw). Het dan de juiste dingen? betrekken van „uw doelgroep‟ in een vroeg stadium (het ontwerp) zal voor de nodige „buy in‟ zorgen en zal het gemakkelijker maken om de wederzijdse verwachtingen scherp te stellen en te harmoniseren, en om het engagement te verkrijgen voor het monitoren en aanleveren van data over bereikte effecten (zie ook verderop). Als hulpmiddel bij het inventariseren van de relevante doelstellingen kan gebruik worden gemaakt van het invulformulier (zie tabel hieronder). Een leeg formulier kan worden gevonden in bijlage. Het invulformulier bevat een aantal instructies en vragen die de projectaanvragers op weg zullen helpen. Zoals gezegd, is het aanbevolen om de invulling in teamverband te doen (bijvoorbeeld, de direct belanghebbenden). Het startpunt voor de invulling kan zijn: 1) De activiteiten die gefinancierd kunnen worden vanuit het programma (conform de handleiding van het IWT of de blauwdrukken). 2) Het eindresultaat (het effect) dat men wil bereiken met het project in kwestie („backward engineering‟). Afhankelijk van de insteek kunt u telkens een niveau naar beneden of een niveau hoger gaan met de invulling. Het zijn vooral de intermediaire doelstellingen waar u als projectuitvoerder op moet letten. Dit zijn de doelstellingen die een resultaat ofwel een effect reflecteren bij de onmiddellijke doelgroep (de zogenaamde „beneficiaries‟), veelal de bedrijven. Tegelijk dient ook nagedacht te worden over de strategische doelstellingen waaraan uw project bijdraagt. Immers, de individuele projecten binnen een bepaald programma dienen op hun beurt bij te dragen tot de realisatie van de strategische doelstellingen van het programma.

p. 20


Bijvoorbeeld, bij een van de competentiepolen waar een testcase is uitgevoerd, is men na het doorlopen van de vorige stappen gekomen tot de identificatie van volgende intermediaire doelstellingen: ID1.

Verhogen van kennis en expertise bij bedrijven

ID2.

Verhogen/versnellen van innovatie m.b.t. de ontwikkeling van verbeterde producten, processen en diensten

ID3.

Verhogen/verbeteren van samenwerking tussen bedrijven en / of kennisinstellingen

ID4.

Vervullen van doorverwijsfunctie m.b.t. to innovatief verbeteren van advies/bijstand

ID5.

Vergroten van (nat. / int.) netwerk van de bedrijven

ID6.

Verbeteren van advies/bijstand m.b.t. innovatie

ID7.

Verbeteren/versterken van de coördinatie binnen de voedselketen

ID8.

Inspelen op noden/behoeften van de bedrijven (op basis van deze noden kunnen projecten worden opgestart)

Deze doelstellingen dragen vervolgens bij tot de langere termijn ambities en doelstellingen, zijnde: SD1.

Stimuleren van (wetenschappelijke/technologische) innovatie via collectieve acties

SD2.

Verhogen van de zichtbaarheid van de [sector] (nat./int.)

p. 21


Tabel 1: Invulformulier „doelstellingenhiërarchie‟

Activiteiten

Intermediaire Doelstellingen

Strategische Doelstellingen

Impact

Hier neemt u de dagdagelijkse activiteiten op die u wilt uitvoeren om uw doelstellingen te behalen. Dit zijn de activiteiten die eveneens gefinancierd kunnen worden (zie IWT handleidingen).

Hier geeft u de doelstellingen weer die een resultaat reflecteren bij de onmiddellijke doelgroep, vaak de bedrijven (de zogenaamde „beneficiaries‟).

Hier geeft u de doelstellingen weer die overeenkomen met de verwachte strategische effecten (zelfs impact) van het gefinancierde project of gefinancierde projecten.

Hier geeft u de ambitie weer die samenhangt met de globale impact van de interventie (lees: het steunprogramma in zijn geheel)

Voorbeelden:

Voorbeelden:

Voorbeelden:

Nummering maakt discussie makkelijker.

A1. Uitvoeren van contractonderzoek, coöperatief onderzoek en collectief onderzoek A2. Maken van publicaties (vakinhoudelijk en nietvakinhoudelijk) A3. Organisatie van evenementen (workshops, conferenties, …)

Voorbeelden: ID1. Verhogen van het aantal innovaties bij bedrijven ID2. Verhogen van kennis en competenties bij bedrijven ID3. Verbeteren van afstemming, samenwerking en coördinatie binnen en rond de sector

SD1. Vergroten van het innovatievermogen van bedrijven in de sector SD2. Verhogen van de internationale zichtbaarheid van de bedrijven en de sector …

Impactstudies zijn zeer specifiek van aard.

I1. Versterken van de concurrentiepositie van de sector en verhogen van de werkgelegenheid …

…

…

Tijd „Realisatie‟ is altijd een functie van „tijd‟. Het een draagt ook bij tot het ander.

p. 22


3

WELKE EFFECTEN WORDEN ER VERWACHT?


Een helder overzicht van de effecten die u via uw project wenst te bereiken en waarover u als projectuitvoerder verantwoordelijkheid draagt.


De IWT handleidingen die in detail aangeven welke doelstellingen en resultaten worden verwacht van een soortgelijk project.

2

De „grid‟ die wij voor u hebben ontwikkeld in het kader van deze handleiding.

3

Het „Logic Model‟ principe zoals uiteengezet in Figuur 2.

4

De door u vooropstelde intermediaire doelstellingen die feitelijk uw uitgangspunt moeten zijn.

Nadat de doelstellingen op een gestructureerde manier in kaart zijn gebracht dienen deze „vertaald‟ te worden in (mogelijke) effecten. Zoals we hierboven hebben uiteengezet, is een „effect‟ een heterogeen concept/begrip, en dit zowel naar soort, tijd, en naar niveau waarop het zich kan voordoen. Zoals we in de Logic Model (zie Figuur 2) hebben weergegeven, zijn de assumpties die onderliggend zijn aan een bepaald type project/programma van groot belang. Het zijn deze assumpties die voor een deel zullen bepalen welke effecten verwacht worden, op welk niveau en tegen wanneer. Als gevolg hiervan is het belangrijk om ook de assumpties onderliggend aan de voorziene effecten tegen het licht te houden en af te stemmen met de stakeholders rond uw project (zoals bij de doelstellingen). Deze afstemming zal ook hier helpen om de na te streven effecten realistisch en binnen de verwachtingen te houden (het zogenaamde „management of expectations‟).

Tip … Bekijk eens bedrijven waarschijnlijk wanneer…

samen met „uw‟ welke effecten zijn en tegen

Als ondersteuning bij de vorige stap van het „meetkader‟ staan blauwdrukken van doelstellingen ter beschikking. Dit zijn doelstellingen die een gemiddeld project op basis van het algemeen ontwerp van de respectievelijke CP, TETRA, en CO programma‟s zou kunnen nastreven. Bij de identificatie van de relevante effecten, echter, stellen we een meer open benadering voor waarbij we enkel een instrument aanreiken om het proces te faciliteren. Op basis van de systematische analyse van de CP, TETRA en CO programma‟s en projecten (en de testcases) is wel gebleken dat de effecten zich hoofdzakelijk situeren rond de soorten die we eerder hebben geïntroduceerd (zie Figuur 3). De verwachting is dan ook dat deze soorten effecten voldoende richtinggevend zullen zijn, maar dat tegelijk een zekere verfijning en scherpstelling mogelijk/nodig zal zijn afhankelijk van type programma en project.

p. 23


Hoe gaat u te werk? Net zoals bij de vorige stap, is ook hier een bespreking en benadering in teamverband wenselijk. Hieronder presenteren we een tweede invulformulier „de grid‟ om de effecten op een systematische wijze in kaart te brengen. Vertrekkend van de centraal gestelde intermediaire doelstellingen (resultaat uit vorige stap) dient nagegaan te worden welke soorten effecten nagestreefd worden (de toelichting bij de mogelijke soorten effect wordt gegeven in Figuur 3 en in het invulformulier hieronder). De grid combineert de drie dimensies van effecten: 1) het soort effect, 2) het niveau waarop het effect zich zal voordoen, en 3) de termijn waarbinnen het effect gerealiseerd zal zijn. Volgend op onderstaande tabel geven we, ter inspiratie, een beschrijving van veelvoorkomende effecten.

p. 24

Kader voor de meting van effecten Tabel 2: Invulformulier inventarisatie relevante effecten (de „grid‟) Naam project: [titel van het project] Type project: [onder welk programma past het project?] Datum invulling: [datum/versie invulling]

Soorten effecten

Niveau en termijn waarop effecten te verwachten zijn

Definities/betekenis wordt gegeven in Figuur 4.

Ontvangers (bedrijven) Input

Gaan er bijkomende investeringen/inspanning en zijn?

Netwerking en samenwerking

Zullen er effecten zijn rond netwerking en samenwerking?

Schaal en reikwijdte

Let op: de manier van vraagstellen reflecteert een „ex ante‟ (vooraf) insteek.

Laat het project toe om bedrijven deel te laten nemen aan onderzoek op grotere schaal?

Competentie- en expertiseopbouw Zal het project leiden tot competentieen expertiseopbouw?

Versnelling

Zal het project de snelheid van O&O verhogen dan anders het geval zou zijn?

Risico

Leidt het project tot risico verkleining (in relatie tot onzekerheid van onderzoek?)

Strategievorming

Zal het project de strategie van het bedrijf rond O&O veranderen?

Output Zullen er nieuwe producten of processen ontwikkeld worden? Of sterke optimalisaties?

Invulling voordat project wordt aangevraagd (evt. in collectief verband).

Uitvoerders (kennisinstellingen)

KT: [invulling]

KT: [invulling]

MT:

MT:

KT:

KT:

MT:

MT:

KT:

KT:

MT:

MT:

KT:

KT:

MT:

MT:

KT:

KT:

MT:

MT:

KT:

KT:

MT:

MT:

KT:

KT:

MT:

MT:

KT:

KT:

MT:

MT:

KT is tijdens de looptijd van het project of < 1 jaar na afloop (afhankelijk van verlenging).

MT is tussen 1 en 3 jaar na afloop (afhankelijk van verlenging).

Bron: IDEA Consult

p. 25


Enkele voorbeelden van effecten Meer innovaties bij deelnemende bedrijven. Ten gevolge van de activiteiten is het de verwachting dat het aantal innovaties bij deelnemende bedrijven is gestegen. Innovaties kunnen worden gekenmerkt als vernieuwingen of substantiële verbeteringen in een product, proces of software. Het is tevens mogelijk dat innovatie het introduceren van licht aangepaste producten (of diensten) op nieuwe markten inhoudt. [Output] Meer en betere afstemming, samenwerking en coördinatie binnen en rond de sector. Als gevolg van de activiteiten is er meer en betere afstemming, samenwerking en coördinatie tussen bedrijven onderling, en/of tussen bedrijven en kennisinstellingen. Neveneffecten kunnen zijn: een positieve invloed op het aantal kruisbestuivingen tussen deelnemende organisaties, een toename in de beschikbare kennis en een efficiënter inzet van middelen. Tevens is het de verwachting dat bedrijven meer en sneller kennis en competenties opbouwen door spillover effecten. Ook op het vlak van IPR, en delen van expertise en apparatuur is meer samenwerking van groot belang. [Netwerking en samenwerking en Competentie- en expertiseopbouw]. Meer kennis en competenties bij bedrijven. De activiteiten leiden tot uitbreiding van kennis en competenties waardoor het innovatiepotentieel van bedrijven toeneemt. Impliciet kunnen externe kennisbronnen beter benut worden omdat een toename in kennis en competenties ook leidt tot een vergroot absorptievermogen bij bedrijven. De bedrijven zijn beter op de hoogte van de nationale en international O&O&I ontwikkelingen waardoor ze beter kunnen inspelen op de trends. [Competentie- en expertiseopbouw] Oprichten van nieuwe collectieve verbanden. Het hoofdeffect is een toename in het aantal collectieve verbanden, als gevolg waarvan meer bedrijven gestimuleerd worden om (meer) te gaan investeren in O&O. Tegelijk neemt de organisatiegraad van de sector/subsector toe waardoor de kans op kennisspillovers en synergieën toeneemt. Als neveneffect heeft het een positieve invloed op het aantrekken van cofinanciering (vanwege de eis vanuit het programma) en op de stabiliteit van het programma. [Input] Nieuwe leden die aangetrokken zijn. De activiteiten in het kader van Collectief Onderzoek hebben geresulteerd in het aantrekken van nieuwe leden en dus in een groter aantal bedrijven dat actief aan O&O doet. Dit heeft als neveneffect een positieve invloed op het aantrekken van cofinanciering. [Input] Meer/sterkere innovatiecompetenties van onderzoekers. Als hoofdeffect is gebleken dat TETRA-projecten leiden tot een versterking van de innovatiecompetenties van onderzoekers in het hoger onderwijs. Hieronder vallen zowel een toename in kennis en competenties als een toename in multidisciplinair kunnen handelen. [Competentie- en expertiseopbouw] Nieuwe opleiding/cursussen. Een effect van een collectief traject kan het aanbieden zijn van nieuwe dienstverlening. Bijvoorbeeld op het vlak van nieuwe/aangepaste cursussen/opleidingen. [Competentie- en expertiseopbouw]

p. 26


4

WELKE INDICATOREN ZIJN GESCHIKT OM TE METEN?


Een selectie van indicatoren die toelaten om op periodieke basis de vooropgestelde effecten te meten en dus het succes van de eigen werking te kunnen aantonen.


De IWT handleidingen die in detail aangeven welke indicatoren (vooral activiteiten) periodiek gerapporteerd moeten worden.

2

De in deze studie ontwikkelde lijst met „type‟ indicatoren per soort effect (toegespitst naar niveau en tijdsdimensie).

Het kiezen van de juiste indicator(en) om een bepaald effect te meten is geen gemakkelijke oefening, ten eerste gezien de verscheidenheid aan opties, en ten tweede gezien de moeilijkheden die vaak gepaard gaan met de meting zelf. Het gevolg is dat er vaak meerdere indicatoren nodig/mogelijk zijn om een en hetzelfde effect te meten. We spreken in dit geval ook wel over „proxies‟ ofwel benaderende indicatoren, zijnde indicatoren die het te meten effect zo goed mogelijk benaderen. In dit hoofdstuk presenteren we een selectie van „type‟ indicatoren die verder verfijnd kunnen worden in de context van een specifiek project/programma maar die tegelijk wel de belangrijkste (verwachte) effecten van de werking van CP, TETRA en CO projecten meten. Wat is echter een goede indicator? Hieronder presenteren we een aantal kenmerken van goede indicatoren. 

Relevantie: er behoort een duidelijke (intuïtieve) link te zijn tussen de indicator en het te meten effect. Stakeholders (programma-/projectcoördinatoren, het IWT, bedrijven en overig) krijgen een beter beeld van de prestaties van een programma/project naar gelang de gevolgde indicatoren relevant zijn.



Afbakening: de informatie geleverd door de gekozen indicatoren dient gefocust te zijn en dus tegelijk beperkt in aantal. Met andere woorden de set van geselecteerde indicatoren behoort alle belangrijke aspecten van de relevante effecten van het programma/project te omvatten.



Acceptatie: de gekozen indicatoren behoren bediscussieerd te worden met alle stakeholders en belanghebbende partijen om er zeker van te zijn dat er overeenkomst is bereikt over de interpretatie en acceptatie van de indicatoren. Zoals al eerder aangegeven, is het van belang om bij aanvang van een specifiek project overeenstemming te bereiken over de set van bij te houden indicatoren.



Geloofwaardigheid: zijn indicatoren eenvoudig te interpreteren? Zijn ze geloofwaardig om te gebruiken in rapporteringen? Zijn ze eenduidig te interpreteren door de diverse stakeholders? Dit zijn eisen die gesteld moeten worden aan de te kiezen indicatoren.



Eenvoudig: is de data toegankelijk en eenvoudig te verkrijgen. Kan de data eenvoudig gemeten worden, zonder excessieve of disproportionele inspanningen (d.w.z. rechtvaardigt de waarde van de informatie de inspanningen om deze te verkrijgen?). In het beste geval zouden indicatoren eenvoudig en efficiënt verkregen moeten kunnen worden gedurende de looptijd van het project/programma, en niet uitsluitend achteraf (ex post).

p. 27




Betrouwbaarheid en robuustheid: de informatie moet voldoende accuraat en betrouwbaar zijn ten opzichte van de doeleinden waarvoor deze verzameld wordt. Zijn de indicatoren bestendig tegen manipulatie door degenen die ze produceren? Kan de keuze van indicatoren leiden tot een ongewenste verandering in het gedrag van de betreffende actoren (“what you measure is what you get”)? Vanzelfsprekend moeten de nodige periodieke externe controles uitgevoerd worden om deze vereisten af te toetsen.



Consistentie en vergelijkbaarheid: idealiter zouden indicatoren consistent zijn van jaar tot jaar. Desondanks moeten ze wanneer noodzakelijk wel aangepast en verfijnd kunnen worden om belangrijke contextuele verandering weer te geven (bijvoorbeeld, bij de verlenging van een project moet het mogelijk zijn om de indicatoren aan te passen en te verfijnen waar nodig/wenselijk). Waar mogelijk zouden indicatoren ook vergelijkbaar moeten zijn zodat ze vergeleken kunnen worden binnen of tussen programma‟s.

Hieronder stellen we een aantal indicatoren voor die aan deze principes/vereisten voldoen. De indicatoren worden gekoppeld aan de soorten effecten zoals we die hierboven hebben onderscheiden. Hoe gaat u te werk? Op basis van de „grid‟ is er een systematisch overzicht gemaakt van de soorten effecten, de termijn waarbinnen en het niveau waarop de effecten zich zullen voordoen (op basis van de verwachtingen). Indien de nadruk van het project ligt bij het bereiken van effecten rond „netwerking en samenwerking‟, dan gaat u in de tabel hieronder na welke indicatoren relevant zijn om de betreffende effecten te meten. U kiest dan een zogenaamde „type‟ indicator die u verder kunt verfijnen naar gelang de focus. Elke type indicator heeft een eigen fiche waarin de beschrijving van de indicator is opgenomen, evenals de mogelijke subindicatoren/varianten.

Tip … Verfijn de indicatorfiches voor uw project en neem deze op als bijlage in uw projectaanvraag. Toets deze ook eerst af met „uw‟ bedrijven zodat het duidelijk wordt welke informatie van hen moet komen.

Er zijn zeker combinaties mogelijk tussen indicatoren in een bepaalde categorie en andere soorten effecten. De termijn waarop een effect zich zal voordoen (KT, MT, LT) zal van invloed zijn op de periodiciteit waarop de indicator/meting zal plaatsvinden. Bijvoorbeeld, indien op langere termijn verwacht wordt dat het project zal leiden tot nieuwe prototypes, dan zal het aantal nieuwe prototypes maar gemeten kunnen worden na afloop van project. De indicatorfiche voor een bepaald project zal verder gepreciseerd moeten worden in functie van de meetfrequentie en dus de termijn waarop het effect verwacht wordt. De indicatoren moeten contextspecifiek gemeten worden. Het is dus niet mogelijk om algemene streefwaardes te stellen die voor verschillende projecten gelden. Ter illustratie, het wegtrekken van onderzoekers naar de industrie is op zich een positief resultaat van een TETRA-project, omdat het aangeeft dat deze onderzoeker veel geleerd heeft. Voor een Collectief Onderzoeksproject zal een zelfde vertrek eerder afbreuk doen aan de interne kennisopbouw. Het evenwicht, de interpretatie, zal project per project bekeken moeten worden.

p. 28


Uiteindelijk is het aangewezen om voor een specifiek project ongeveer een vijftal indicatoren te selecteren zodat het mogelijk is om op deze aspecten te focussen en de activiteiten ernaar te sturen. De termijn waarbinnen de indicatoren gemeten worden en de periodiciteit van de bevraging dienen opnieuw contextgericht uitgevoerd te worden. Hierbij is het tevens noodzakelijk om een onderscheid te maken tussen tussentijdse en ex-post evaluaties. Als voorbeeld, het is tamelijk zinloos om een output indicator tussentijds te gaan meten omdat de output van een innovatietraject normaliter pas na afloop van het einde van het traject zichtbaar wordt. De tabel met indicatoren hieronder is het resultaat van een systematische inventarisatie van meer dan 150 indicatoren die tijdens de workshops en de testcases de revue zijn gepasseerd. De geselecteerde indicatoren zijn het resultaat van een toetsing aan de hierboven genoemde principes, en zijn tegelijk ook het meeste „gekozen‟ door de organisaties die hebben deelgenomen aan de testcases. Daarnaast sluiten deze indicatoren aan bij de programma‟s/projecten (CP, TETRA, en CO) en meten zij „effecten‟ en geen activiteiten en/of impact (waar we in de onderliggende studie geen aandacht aan besteden). Hieronder presenteren we eerst het „menu‟ van opgestelde indicatoren, waarbij opgemerkt dient te worden dat de indeling niet dwingend is (d.w.z. dat dezelfde indicatoren ook gebruikt kunnen worden om meerdere effecten zowel bij de ontvangers als ook bij de uitvoerders te meten).

p. 29


Tabel 3: Menu van relevante „type‟ indicatoren

Menu van „type‟ indicatoren (zie indicatorenfiches voor nadere duiding) Indicatoren die effecten meten bij de ontvangers, zijnde veelal de bedrijven (Focus bij CP, TETRA en CO)

Input

Gaan er (bijkomende) investeringen/inspanningen zijn?



Schaal en reikwijdte

Laat het project toe om bedrijven deel te laten nemen aan onderzoek op grotere schaal?

Competentie- en expertiseopbouw

Zal het project leiden tot competentieen expertiseopbouw?

Versnelling

Zal het project de snelheid van O&O verhogen dan anders het geval zou zijn?

Risico

Leidt het project tot risico verkleining (in relatie tot onzekerheid van en bij onderzoek?)

Strategie

Zal het project de strategie van het bedrijf rond O&O veranderen?

Output

Zullen er nieuwe producten of processen ontwikkeld worden? Of sterke optimalisaties?

1. 2.

Co-investering (directe financiële en niet-financiële projectinbreng) Bedrag aan vervolginvesteringen (materieel en immaterieel)

3. 4.

Aantal bedrijven dat zijn relevante netwerk heeft kunnen uitbreiden Aantal bedrijven dat een geformaliseerde vervolgsamenwerking aangaat (naar type samenwerking) Aantal succesvol doorverwezen bedrijven Aantal en evolutie in het betalende ledenaantal (CP)

5. 6. 7. 8.

Indicatoren die effecten meten bij de uitvoerders, zijnde veelal de kennisinstellingen (Expliciet bij TETRA en CO projecten)

Aantal bedrijven dat deelneemt aan de projecten (en karakteristieken van deze bedrijven) Aantal bedrijven dat zonder dit project het uitgevoerde onderzoek niet zelfstandig zou (kunnen) uitvoeren

9.

Aantal bedrijven dat zijn competentie en expertise verder heeft ontwikkeld 10. Aantal bedrijven dat „voor het eerst‟ een projectaanvraag indient voor publieke financiering

11. 12. 13. 14.

Toename in onderzoekscapaciteit Aantal publicaties Aantal afgeleverde thesissen/doctoraten Aantal nieuwe onderzoeksthema‟s en/of onderzoekslijnen

15. Aantal bedrijven dat erin geslaagd is om sneller tot „ontwikkeling‟ over te gaan 16. Aantal bedrijven dat het projectrisico niet alleen zou kunnen of willen dragen (hefboomeffect) 17. Aantal bedrijven dat een onderzoek- en/of innovatiestrategie heeft ontwikkeld 18. Aantal bedrijven dat zijn O&O projectmanagementvaardigheden heeft vergroot 19. Aantal ontwikkelde prototypes (en/of testopstellingen) 20. Aantal nieuwe (of vernieuwde) producten en/of diensten 21. Aantal procesoptimalisaties/-vernieuwingen

14. Aantal nieuwe onderzoeksthema‟s en/of onderzoekslijnen 19. Aantal ontwikkelde prototypes (en/of testopstellingen)

p. 30


4.1

Meting van effecten bij de „ontvangers‟

4.1.1 Indicatorfiches “Input” 1

Co-investering (directe financiële en niet-financiële projectinbreng)

Meetniveau

ONTVANGER

Tijdsdimensie

KT (tijdens of < 1jr na afloop)

Type effect

Beschrijving

UITVOERDER

INP

N&S

S&R

OVERIG

MT (tussen 1 – 3 jaar na afloop) C&E

VER

RIS

STR

OUT

Deze indicator meet de co-investering die een bedrijf doet in de context van een specifiek project. Het kan hierbij gaan om de financiële inbreng (die wettelijk is vastgelegd) maar ook de niet financiële inbreng zoals het gedeeltelijk vrijstellen van een personeelslid om deel te nemen aan een project en de resultaten op te volgen. Deze indicator kan diverse varianten hebben. Voorbeeld is de verhouding geïnvesteerde middelen tot het totaal aan O&O budget van het bedrijf.

Nodige variabelen

1. Financiële inbreng in project 2. Niet-financiële inbreng project (% VTE besteding aan opvolging) 3. Totale inspanningen in O&O

Mogelijke subindicatoren

1. % van VTE inbreng in project ten opzichte van totaal aan VTE met O&O relevante activiteiten

Niveau indicator

Bedrijf

Periodiciteit

[Te bepalen in overleg met het IWT]

Meetmethode

Via bevraging/feitelijke data bedrijf

Bijkomende informatie

/

Input (INP) Netwerking en Samenwerking (N&S) Schaal en Reikwijdte (S&R) Competentie- en Expertiseopbouw (C&E) Versnelling (VER) Risico (RIS) Strategie (STR) Output (OUT)

p. 31


2

Bedrag aan vervolginvesteringen (materieel en/of personeel)

Meetniveau

ONTVANGER

Tijdsdimensie

UITVOERDER


Type effect

INP

N&S

S&R

OVERIG


VER

RIS

STR

OUT

Beschrijving

Deze indicator meet vervolginvestering (materieel en of immaterieel) die gedaan worden om de resultaten/uitkomsten van het project verder te ontwikkelen en/of te exploiteren. Hierbij kan het gaan om een fysieke investering (bijvoorbeeld een machine) al dan niet in combinatie met het aanwerven van nieuwe werknemers. De investering moet tijdens of kort na afloop van het project plaatsvinden.

Nodige variabelen

1. Bedrag aan investeringen in machines 2. Loonmassa gekoppeld aan nieuwe aanwervingen (en/of VTE besteding aan exploitatie)


1. Gedane investering als % van gemiddelde jaarlijkse investeringen

Niveau indicator

Bedrijf

Periodiciteit


Meetmethode


Bijkomende informatie / Input (INP) Netwerking en Samenwerking (N&S) Schaal en Reikwijdte (S&R) Competentie- en Expertiseopbouw (C&E) Versnelling (VER) Risico (RIS) Strategie (STR) Output (OUT)

p. 32


4.1.2 Indicatorfiches “Netwerking en samenwerking”

3

Aantal bedrijven dat zijn relevante netwerk heeft kunnen uitbreiden

Meetniveau

ONTVANGER

Tijdsdimensie


Type effect

Beschrijving

UITVOERDER

INP

N&S

S&R

OVERIG


VER

RIS

STR

OUT

Deze indicator meet het aantal bedrijven (evt. uit gebruikersgroep) dat door deelname aan een project zijn netwerk heeft kunnen uitbreiden. Netwerking is van groot belang in het kader van kennisdeling en dus „openheid‟ tot en mogelijkheden tot samenwerking en innovatie. Het moet hierbij gaan om een uitbreiding die direct aan het project kan worden gerelateerd en wel met actoren die relevant zijn (zoals collega bedrijven, kennisinstellingen, etc.).

Nodige variabelen

1. Aantal bedrijven dat zijn relevante netwerk heeft uitgebreid met bedrijven 2. Aantal bedrijven kennisinstellingen

dat

zijn

relevante

netwerk

heeft

uitgebreid

met

3. Aantal bedrijven dat zijn relevante netwerk heeft uitgebreid met [OVERIG]


1. Uitbreiding met bedrijven gevestigd in Vlaanderen 2. Uitbreiding met bedrijven buiten Vlaanderen 3. Idem voor kennisinstellingen

Niveau indicator

Bedrijf

Periodiciteit


Meetmethode

Via bevraging/opinies van bedrijven


/


p. 33


4

Aantal bedrijven dat een geformaliseerde vervolgsamenwerking aangaat (naar type samenwerking)

Meetniveau

ONTVANGER

Tijdsdimensie


Type effect

Beschrijving

UITVOERDER

INP

N&S

S&R

OVERIG


VER

RIS

STR

OUT

Deze indicator meet het aantal bedrijven (evt. uit gebruikersgroep) dat in het verlengde van een project een geformaliseerde samenwerking is aangegaan met een ander bedrijf of kennisinstelling. Het moet hierbij gaan om een samenwerking met een partner die aan het project kan worden gerelateerd en wel met actoren die relevant zijn (zoals collega bedrijven, kennisinstellingen, etc.). Publieke financiering (en zeker in de context van CP, TETRA en CO) heeft eveneens als doel om samenwerking te stimuleren, zeker bij die bedrijven die nog onvoldoende samenwerken in O&O en innovatie. Het is dan ook relevant te kijken naar de mate waarin betrokken bedrijven doorgaan met samen te werken in O&O maar ook innovatie.

Nodige variabelen

1. Aantal bedrijven dat een geformaliseerde vervolgsamenwerking is aangegaan met een ander bedrijf 2. Aantal bedrijven dat een geformaliseerde vervolgsamenwerking is aangegaan met een kennisinstelling 3. Aantal bedrijven dat een geformaliseerde vervolgsamenwerking is aangegaan met een [OVERIG]


1. Onderscheid vervolgsamenwerking in functie tot financiële ondersteuning (IWT, EU, overig, en/of door private middelen) 2. Vervolgsamenwerking kennisinstellingen) 3. Vervolgsamenwerking kennisinstellingen)

met met

nationale internationale

organisaties organisaties

(bedrijven (bedrijven

en/of en/of

4. % bedrijven dat een vervolgsamenwerking aangaat ten opzichte van het totaal aantal betrokken bedrijven

Niveau indicator

Bedrijf

Periodiciteit


Meetmethode

Via bevraging/feitelijke data van bedrijven


/


p. 34


5

Aantal succesvol doorverwezen bedrijven

Meetniveau Tijdsdimensie Type effect

Beschrijving

ONTVANGER

UITVOERDER

KT (tijdens of < 1jr na afloop) INP

N&S

S&R

OVERIG


VER

RIS

STR

OUT

Doorverwijzing betekent dat een bedrijf wordt verwezen naar een partner die zijn probleem/vraag kan beantwoorden. Een succesvolle doorverwijzing refereert naar de kwaliteit van het netwerk van de uitvoerder maar ook naar de openheid ervan. Een juiste doorverwijzing kan een bedrijf ook helpen om sneller toegang te krijgen tot essentiële informatie. Het moet hierbij gaan om doorverwijzingen binnen het project (bijvoorbeeld in het geval van de CP).

Nodige variabelen

1. Aantal bedrijven dat succesvol is doorverwezen en dus tevreden is met de doorverwijzing


1. % bedrijven dat succesvol is doorverwezen

Niveau indicator

Bedrijf en uitvoerder

Periodiciteit


Meetmethode

Via interne administratie uitvoerder en bevraging/ opinies bedrijven


1. Het aantal bedrijven dat succesvol is doorverwezen geeft een indicatie van de grootte van het netwerk van de uitvoerder. De tevredenheid met de doorverwijzing geeft een indicatie van de relevantie van het netwerk en de openheid ervan. 2. Een succesvolle doorverwijzing kan ook een indicatie zijn tot een versnelling van het innovatieproces.


p. 35


6

Aantal en evolutie in het betalende ledenaantal (CP)

Meetniveau

ONTVANGER

Tijdsdimensie


Type effect

Beschrijving

UITVOERDER

INP

N&S

S&R

OVERIG


VER

RIS

STR

OUT

Deze indicator meet het aantal bedrijven dat (betalend) lid is van een competentiepool. Een hoger aantal leden geeft meer mogelijkheden met betrekking tot netwerking en samenwerking en is tevens een indicatie van de waarde die door de sector aan de activiteiten van een competentiepool wordt toegekend, zeker indien er lidmaatschapsgelden betaald moeten worden. Tevens, betekent een toename in het ledenaantal dat het uitgevoerde werk aansluit bij de node van de bedrijven, maar ook dat de georganiseerdheid van de sector (subsector) toeneemt waardoor ook het potentieel voor kennisverspreiding verder toeneemt.

Nodige variabelen

1. Aantal (betalende) leden (versus aantal niet betalende) 2. Δ in het aantal (betalende) leden over tijd


1. Aantal (betalende) leden en de mate waarin ze de sector vertegenwoordigen (% O&O, % innovatieve bedrijven)

Niveau indicator

Bedrijf/leden

Periodiciteit


Meetmethode

Via interne administratie uitvoerder


/


p. 36


4.1.3 Indicatorfiches “Schaal en reikwijdte”

7

Aantal bedrijven dat deelneemt aan de projecten (en de karakteristieken van deze bedrijven)


Beschrijving

ONTVANGER

UITVOERDER


N&S

S&R

OVERIG


VER

RIS

STR

OUT

Deze indicator meet het aantal bedrijven dat deelneemt aan de projecten en daarmee ook de „reikwijdte‟ van een project. Het geeft een indicatie van de grootte van het belang van een projecten en dus ook van de „Scope en reikwijdte‟ van het programma. Hierbij moet het gaan om het aantal bedrijven dat deelneemt gedurende de loop van een project.

Nodige variabelen

1. Aantal bedrijven dat deelneemt aan collectieve onderzoeksprojecten en hun karakteristieken (qua grootte, sector etc.)


1. Aantal bedrijven naar grootte (KMO, GO, etc.) en sector

Niveau indicator

Bedrijf

Periodiciteit


Meetmethode



Eenzelfde indicator, met dezelfde insteek, kan eveneens opgesteld worden voor netwerkevents, trainingen en opleidingen etc.


p. 37

Kader voor de meting van effecten 8

Aantal bedrijven dat zonder dit project het uitgevoerde onderzoek niet zelfstandig zou (kunnen) uitvoeren

Meetniveau

ONTVANGER

Tijdsdimensie


Type effect

Beschrijving

UITVOERDER

INP

N&S

S&R

OVERIG


VER

RIS

STR

OUT

Deze indicator meet de mogelijkheid die deelname aan een project biedt om O&O (gezamenlijk) uit te voeren die zelfstandig niet zou (kunnen) worden uitgevoerd. Collectieve O&O projecten vereisen een lagere investering per deelnemer en geven/hebben toegang tot de kennis van een groter aantal organisaties. Hierbij moet wel rekening gehouden worden met het feit dat het uitgevoerde onderzoek additioneel moet zijn aan eigen onderzoek. Dat wil zeggen dat collectieve activiteiten die ten koste gaan van normaliter uitgevoerd individueel onderzoek niet worden meegenomen binnen deze indicator. Verder betreft deze indicator specifiek deelname gedurende de looptijd van het project.

Nodige variabelen

1. Aantal deelnemende bedrijven dat zonder dit project het uitgevoerde onderzoek niet zelfstandig zou (kunnen) uitvoeren


1. % deelnemende bedrijven dat zonder dit project het uitgevoerde onderzoek niet zelfstandig zou (kunnen) uitvoeren

Niveau indicator

Bedrijf

Periodiciteit


Meetmethode



/


p. 38


4.1.4 Indicatorfiches “Competentie- en expertiseopbouw”

9

Aantal bedrijven dat zijn competentie en expertise verder heeft ontwikkeld


Beschrijving

ONTVANGER

UITVOERDER


N&S

S&R

OVERIG


VER

RIS

STR

OUT

Deze indicator meet het aantal bedrijven dat als gevolg van deelname aan een project zijn competentie en expertise verder hebben ontwikkelt. Hierbij kan er onderscheid gemaakt worden tussen verbreding en verdieping van competentie en expertise. Het moet hierbij gaan om kennisopbouw die tijdens of kort na afloop van een project heeft plaatsgevonden.

Nodige variabelen

1. Aantal bedrijven dat zijn competentie en expertise heeft kunnen verbreden 2. Aantal bedrijven dat zijn competentie en expertise heeft kunnen verdiepen


1. % deelnemende bedrijven dat zijn competentie en expertise verder heeft kunnen verbreden 2. % deelnemende bedrijven dat zijn competentie en expertise heeft kunnen verdiepen

Niveau indicator

Bedrijf

Periodiciteit


Meetmethode

Via bevraging/opinie bedrijven


Verbreding betreft gebieden waarop een bedrijf nog geen competentie en expertise heeft maar dankzij het project een eerste stap in heeft kunnen zetten. Verdieping betreft het verder competenties en expertises.

ontwikkelen

van

specifieke

bestaande

Competentie verwijst naar kennis, vaardigheden en houding. Expertise verwijst naar kennis en ervaring. Input (INP) Netwerking en Samenwerking (N&S) Schaal en Reikwijdte (S&R) Competentie- en Expertiseopbouw (C&E) Versnelling (VER) Risico (RIS) Strategie (STR) Output (OUT)

p. 39


10

Aantal bedrijven dat „voor het eerst‟ in het beoogd kennisdomein een projectaanvraag indient voor publieke financiering

Meetniveau

ONTVANGER

Tijdsdimensie Type effect

UITVOERDER


N&S

S&R

C&E

OVERIG

MT (tussen 1 – 3 jaar na afloop) VER

RIS

STR

OUT

Beschrijving

Deze indicator meet de mate waarin bedrijven die nog niet eerder aan collectieve O&O projecten hebben deelgenomen hier een eerste stap in zetten. De samenwerking die hiervoor noodzakelijk is kan de kennisbasis van een bedrijf zowel verbreden als verdiepen omdat er contacten worden gelegd met bedrijven die andere of betere competenties en expertises bezitten.

Nodige variabelen

1. Aantal bedrijven dat „voor het eerst‟ een projectaanvraag indient voor publieke financiering en hun kenmerken


1. % deelnemende bedrijven binnen een project/programma‟s dat voor het eerst een projectaanvraag indient voor publieke ondersteuning 2. Aantal bedrijven dat „voor het eerst‟ een projectaanvraag voor publieke financiering heeft ingediend dat is goedgekeurd door de uitvoerder

Niveau indicator

Bedrijf

Periodiciteit


Meetmethode

Bedrijf/via interne administratie uitvoerder


Het aantal bedrijven dat voor het eerst een projectaanvraag indient kan ook worden gebruikt als indicatie van een gedragsverandering met betrekking tot de O&O strategie. Bedrijven zullen namelijk eerst intern een strategische visie moeten ontwikkelen dat voor samenwerking in collectieve innovatietrajecten stimuleert/als positief ervaart voordat ze hier een projectaanvraag voor zullen indienen.


p. 40


4.1.5 Indicatorfiches “Versnelling”

15

Aantal bedrijven dat erin geslaagd is om sneller tot „ontwikkeling‟ over te gaan

Meetniveau

ONTVANGER

Tijdsdimensie

UITVOERDER


Type effect

INP

N&S

S&R

C&E

OVERIG


RIS

STR

OUT

Beschrijving

Deze indicator meet de mate waarin een bedrijf sneller tot ontwikkeling van een product/proces/dienst gaat als gevolg van deelname aan een project. Hierbij kan er onderscheid gemaakt worden tussen nieuwe of gewijzigd producten, diensten, of processen. Het moet hierbij gaan om een versnelling die aan het project gerelateerd, en wel als gevolg van toename in kennis en expertise (tijdens of kort na afloop van het project).

Nodige variabelen

1. Aantal bedrijven dat er in geslaagd is om sneller tot ontwikkeling van een nieuw/vernieuwd product over te gaan 2. Aantal bedrijven dat er in geslaagd is om sneller tot ontwikkeling van een nieuwe/vernieuwde dienst over te gaan 3. Aantal bedrijven dat er in geslaagd is om sneller tot ontwikkeling van een nieuw/vernieuwd proces over te gaan


/

Niveau indicator

Bedrijf

Periodiciteit


Meetmethode



Het ontwikkelen van een bepaald product kan ook worden doorgetrokken naar het sneller op de markt brengen van een bepaalde innovatie. De indicatoren kunnen dan ook in die richting worden aangepast.


p. 41


4.1.6

Indicatorfiches “Risico”

16

Aantal bedrijven dat het projectrisico niet alleen zou kunnen of willen dragen


Beschrijving

ONTVANGER

UITVOERDER


N&S

S&R

OVERIG


VER

RIS

STR

OUT

Deze indicator meet de deelname van bedrijven aan riskantere O&O projecten dan dat ze alleen zouden doen bij het ontbreken van een collectief karakter (omdat de bedrijven minder risico lopen). Het kleinere risico wordt veroorzaakt door twee aspecten. Ten eerste vergroot de deelname van meerdere organisaties de competentie en expertise die voorhanden is, wat de kans op mislukking kleiner kan maken. Ten tweede zorgt een gedeeld risico dat de schade bij mislukking kleiner is. Deze indicator dient gemeten te worden gedurende of na afsluiting van het project.

Nodige variabelen

1. Aantal bedrijven dat aangeeft te hebben deelgenomen aan een project met een risico dat ze niet alleen zouden kunnen of willen dragen


1. % bedrijven binnen een project dat het projectrisico niet alleen zou kunnen of willen dragen

Niveau indicator

Bedrijf

Periodiciteit


Meetmethode



Het aantal bedrijven dat een projectrisico niet alleen zou kunnen of willen dragen is ook een indicator voor de mate waarin collectieve projecten leiden tot onderzoek dat anders niet zou worden uitgevoerd. Het geeft dus een waardeindicatie aan het collectief uitvoeren van een project.


p. 42


4.1.7 Indicatorfiches “Strategie”

17

Aantal bedrijven dat een onderzoek- en/of innovatiestrategie heeft ontwikkeld

Meetniveau

ONTVANGER

Tijdsdimensie


Type effect

Beschrijving

UITVOERDER

INP

N&S

S&R

OVERIG


VER

RIS

STR

OUT

Deze indicator meet het aantal bedrijven (evt. uit gebruikersgroep) dat in het verlengde van een project een langere termijn onderzoeks-/innovatiestrategie met concrete bedrijfsspecifieke doelstellingen heeft ontwikkeld of geactualiseerd. Het moet hierbij gaan om een strategie met een tijdshorizon van 3-5 jaar. Waar het hier om gaat is dat de kennis die men heeft opgebouwd gebruikt wordt om de competitieve positie, en de rol van O&O en innovatie, hierin te versterken op een strategische wijze.

Nodige variabelen

1. Aantal bedrijven ontwikkeld

dan

een

(langere

termijn)

innovatiestrategie

heeft

2. Aantal bedrijven geïmplementeerd

dan

een

(langere

termijn)

innovatiestrategie

heeft


1. Aantal bedrijven geactualiseerd

dan

zijn

(langere

termijn)

innovatiestrategie

heeft

Niveau indicator

Bedrijf

Periodiciteit


Meetmethode



/


p. 43


18

Aantal bedrijven dat zijn O&O projectmanagementvaardigheden heeft vergroot

Meetniveau

ONTVANGER

Tijdsdimensie


Type effect

Beschrijving

UITVOERDER

INP

N&S

S&R

OVERIG


VER

RIS

STR

OUT

Deze indicator meet het aantal bedrijven (evt. uit gebruikersgroep) dat dankzij deelname aan een project zijn projectmanagementvaardigheden heeft vergroot. Het betreft hier meestal bedrijven voor welke collectieve projecten relatief nieuw zijn voor wie niet alleen de uitkomst telt maar ook het opdoen van O&O projectgerelateerde vaardigheden. Door het meedraaien in een project ontwikkelen bedrijven projectvaardigheden die later in andere settings gebruikt kunnen worden. Ze doen ervaring op in onderhandelen met partners en IWT, het faseren van langdurige projecten, etc. Deze vaardigheden zijn complementair aan de directe uitkomst van het project en kunnen gebruikt worden bij toekomstige strategische beslissingen.

Nodige variabelen

1. Aantal bedrijven dat zijn O&O projectmanagementvaardigheden heeft vergroot (en of verdiept)


1. % bedrijven dat zijn O&O projectmanagementvaardigheden heeft vergroot

Niveau indicator

Bedrijf

Periodiciteit


Meetmethode



/


p. 44


4.1.8 Indicatorfiches “Output”

19

Aantal ontwikkelde prototypes (en/of testopstellingen)

Meetniveau

ONTVANGER

Tijdsdimensie

UITVOERDER


Type effect

INP

N&S

S&R

OVERIG


VER

RIS

STR

OUT

Beschrijving

Deze indicator meet het aantal prototypes (en/of testopstellingen) dat tijdens een project zijn ontwikkeld door de uitvoerder of door de bedrijven. De ontwikkeling van de prototypes moet plaatsvinden tijdens of kort na afloop van het project.

Nodige variabelen

1. Aantal ontwikkelde prototypes (en/of testopstellingen)


/

Niveau indicator


Periodiciteit


Meetmethode

Via interne administratie uitvoerder of bevraging feitelijke data bedrijven


/


p. 45


20

Aantal nieuwe (of vernieuwde) producten en/of diensten

Meetniveau

ONTVANGER

Tijdsdimensie

UITVOERDER


Type effect

INP

N&S

S&R

OVERIG


VER

RIS

STR

OUT

Beschrijving

Deze indicator meet het aantal nieuwe producten/diensten dat door een bedrijf wordt ontwikkeld als gevolg van een gezamenlijk project. Het betreft hier marktintroducties die tijdens of kort na afloop van het project worden uitgevoerd.

Nodige variabelen

1. Aantal bestaande producten of diensten dat op een nieuwe markt wordt geïntroduceerd (marktdifferentiatie) 2. Aantal nieuwe producten of diensten dat op een bestaande markt wordt geïntroduceerd (productdifferentiatie) 3. Aantal nieuwe producten of diensten dat op een nieuwe markt wordt geïntroduceerd (diversificatie)


/

Niveau indicator

Bedrijf

Periodiciteit


Meetmethode



/


p. 46


21

Aantal procesoptimalisaties/-vernieuwingen

Meetniveau

ONTVANGER

Tijdsdimensie


Type effect

Beschrijving

UITVOERDER

INP

N&S

S&R

OVERIG


VER

RIS

STR

OUT

Deze indicator meet het aantal nieuwe of verbeterde processen die in een bedrijf zijn ingevoerd als gevolg van een project. Het betreft hier procesaanpassingen die tijdens of kort na afloop van een project zijn doorgevoerd en die niet noodzakelijk leiden tot een nieuw product of diensten maar eerder tot doorlooptijdverkorting, „time-to-market‟ reductie en een hogere efficiëntie.

Nodige variabelen

1. Aantal verbeterde processen 2. Aantal nieuwe processen


1. Time-to-market reductie in tijdseenheid 2. Doorlooptijdverkorting in tijdseenheid 3. Efficiëntiewinsten uitgedrukt in % besparingen 4. Reductie in afval/uitval of zelfs milieubelasting

Niveau indicator

Bedrijf

Periodiciteit


Meetmethode

Via bevraging/feitelijke informatie bedrijven


/


p. 47


4.2

Meting van effecten aan de kant van de „uitvoerders‟

4.2.1 Indicatorfiches “Competentie- en expertiseopbouw”

11

Toename in onderzoekscapaciteit

Meetniveau

ONTVANGER

Tijdsdimensie


Type effect

Beschrijving

UITVOERDER

INP

N&S

S&R

OVERIG


VER

RIS

STR

OUT

Deze indicator meet de toename in onderzoekscapaciteiten als gevolg van het uitvoeren van een specifiek project. De toename betreft een blijvend effect na afloop van een project; een vorm van spillover als gevolg van het project. Deze toename kan diverse vormen aannemen, zoals een toename in onderzoekers of apparatuur, of het ontwikkelen van nieuwe methodes. Het moet hierbij gaan om een effect dat gedurende of direct na afloop van een project plaatsvindt. Gezien het ontwerp van het TETRA programma, zijn deze effecten te verwachten bij de hogescholen.

Nodige variabelen

1. Toename in onderzoekscapaciteit door een toename onderzoekers (VTEs) als gevolg van een specifiek project

in

het

aantal

2. Toename in onderzoekscapaciteit door een vernieuwing of uitbreiding van de apparatuur als gevolg van een specifiek project 3. Toename in onderzoekscapaciteit door het ontwikkelen van een nieuwe methode als gevolg van een specifiek project Mogelijke subindicatoren

/

Niveau indicator

Uitvoerder

Periodiciteit


Meetmethode



Indicator laat ruimte voor subindicatoren die een onderdeel beschrijven van onderzoekscapaciteit die niet in dit fiche vermeldt staat.


p. 48


12

Aantal publicaties

Meetniveau

ONTVANGER

Tijdsdimensie Type effect

UITVOERDER


N&S

S&R

C&E

OVERIG


RIS

STR

OUT

Beschrijving

Deze indicator meet de hoeveelheid publicaties over een specifiek project dat door de uitvoerder (of ontvanger) is behaald. De voornaamste type publicaties worden gepubliceerd in wetenschappelijke tijdschriften, vaktijdschriften, of als bijdragen in boeken. Deze publicaties moeten tijdens of kort na afloop van het project zijn uitgebracht.

Nodige variabelen

1. Aantal wetenschappelijke (peer reviewed) publicaties gerelateerd aan een specifiek project 2. Aantal bijdragen in boeken gerelateerd aan een specifiek project 3. Aantal bijdragen in (technische) tijdschriften gerelateerd aan een specifiek project


1. Aantal presentaties (bijdragen) op conferenties gerelateerd aan een specifiek project 2. Aantal publicaties dat in samenwerking is ontstaan (co-publicaties)

Niveau indicator

Uitvoerder/bedrijf

Periodiciteit


Meetmethode

Via interne administratie uitvoerder/bedrijf


Bijdrage aan een conferentie is een voorbeeld van ander type publicatie (via een zogenaamde „poster‟).


p. 49


13

Aantal afgeleverde thesissen/doctoraten

Meetniveau

ONTVANGER

Tijdsdimensie


Type effect

Beschrijving

UITVOERDER

INP

N&S

S&R

C&E

OVERIG


RIS

STR

OUT

Deze indicator meet het aantal Master of PhD. thesissen dat wordt begeleid en afgerond in directe relatie tot een specifiek project. Het moet hierbij gaan om thesissen die tijdens of op korte termijn na afloop van het project zijn afgerond en waarbij een substantieel deel van het onderzoek is betrokken. Het begeleiden van de thesissen vergroot de competentie en expertise van de begeleider en student, daarbij wordt er ook nieuw onderzoek uitgevoerd welke kennis voorhanden komt. In dit type projecten verandert ook de houding van studenten en docenten ten opzichte van innovatie, iets wat op termijn een positieve verandering met zich meebrengt.

Nodige variabelen

1. Aantal Master thesissen afgeleverd in directe relatie tot een specifiek project 2. Aantal PhD. thesissen afgeleverd in directe relatie tot een specifiek project


/

Niveau indicator

Uitvoerder

Periodiciteit


Meetmethode



/


p. 50


14

Aantal nieuwe onderzoeksthema‟s of onderzoekslijnen

Meetniveau

ONTVANGER

Tijdsdimensie

UITVOERDER


Type effect

INP

N&S

S&R

OVERIG


VER

RIS

STR

OUT

Beschrijving

Deze indicator meet het aantal nieuwe onderzoeksthema‟s of onderzoekslijnen dat als gevolg van een project door de uitvoerder is opgestart. Het moet hierbij gaan om onderzoeksthema‟s of onderzoekslijnen waar onderzoek die tijdens of kort na afloop van een project is begonnen.

Nodige variabelen

1. Aantal nieuwe onderzoeksthema‟s dat als gevolg van een project is opgestart 2. Aantal nieuwe onderzoekslijnen dat als gevolg van een project is opgestart (preciezer dan een onderzoeksthema)


1. Aantal onderzoeksthema‟s of onderzoekslijnen dat als gevolg van een project verder wordt ontwikkeld

Niveau indicator

Uitvoerder/hogescholen/kennisinstellingen

Periodiciteit


Meetmethode



/


p. 51


4.2.2 Indicatorfiches “Output”

Zie ook indicator 14.

19

Aantal ontwikkelde prototypes (en/of testopstellingen)

Meetniveau

ONTVANGER

Tijdsdimensie

UITVOERDER


Type effect

INP

N&S

S&R

OVERIG


VER

RIS

STR

OUT

Beschrijving

Deze indicator meet het aantal prototypes (en/of testopstellingen) dat tijdens een project zijn ontwikkeld door de uitvoerder of door de bedrijven. De ontwikkeling van de prototypes moet plaatsvinden tijdens of kort na afloop van het project.

Nodige variabelen

1. Aantal ontwikkelde prototypes (en/of testopstellingen)


/

Niveau indicator


Periodiciteit


Meetmethode

Via interne administratie uitvoerder of bevraging feitelijke data bedrijven


Een prototype is een eerste model van een product, handgemaakt of via bijv. rapid prototyping, waarmee optredende krachten, de werking of passing van onderdelen wordt getest en de productie wordt voorbereid.


p. 52


5

HOE KAN DE METING WORDEN AANGEPAKT?


Een dataverzamelingsplan dat is doorgesproken met alle relevante partijen.


De in deze handleiding voorgestelde aanpak en vragenlijst ter bevraging van de doelgroep.

2

De voorgestelde methodiek in de studie „Zelfevaluatie Competentiepolen‟ (IWT studie 62).

Het meten van effecten zal bijna per definitie moeten gebeuren bij de doelgroep/ontvangers (daar waar de effecten zich voordoen). Het geheim van een goede monitoring ligt in de afspraken die gemaakt worden met alle interne en externe betrokkenen (en stakeholders) over wie, welke data zal aanleveren en tegen wanneer. Deze afspraken dienen „ex-ante‟ gemaakt te worden. Concreet, bij het definiëren van doelstellingen en effecten, en de diverse relevante indicatoren, dient al samen met de doelgroep nagedacht te worden over de wijze waarop de indicatoren gemeten zullen worden. Zo kunnen er afspraken worden gemaakt met bedrijven over de informatie die zij dienen aan te leveren en de frequentie. Het is immers in het belang van de bedrijven dat overheidssteun blijft bestaan doordat de meerwaarde en dus de effecten op een duidelijke manier worden aangetoond. Er zijn verschillende manieren om deze afspraken het nodige gewicht te geven, gaande van „gentlemen‟s agreements‟ tot gedragscodes en zelfs contractuele bepalingen. Van belang is hier de afweging tussen de meerwaarde van de informatieverzameling versus het potentieel „afschrikwekkend‟ effect van de eis tot medewerking. Een open benadering en bespreking met de doelgroepen is aldus noodzakelijk om negatieve reacties te voorkomen. Bij effectmetingen is de veel gebruikte dataverzamelingsmethode de „bevraging‟ (zie IWTstudie 62 voor meer informatie over bevragingen) al dan niet in combinatie met de meer tijdrovende en duurdere technieken zoals interviews en workshops/focusgroepen. Tegelijk is het zo dat we vandaag de dag te maken hebben met overbevraging en zelfs bevragingsmoeheid. Selectiviteit zal dus van groot belang zijn.

Tip … Tijdens de laatste meeting van uw gebruikersgroep kunt u een formulier uitdelen met vragen rond „effecten‟ (uiteraard anoniem!).

Eens deze afspraken zijn gemaakt, dient er een monitoringsysteem te worden ontwikkeld waarbij „eenvoud‟ de regel moet zijn. Nauwe aansluiting bij bestaande (interne en/of externe) monitoringsystemen (zoals in het kader van RAP rapportage en/of TIS/TD/RIS) is hierbij dan ook aangewezen. Wat betreft de rapportage van de resultaten, ook hier dient aansluiting gezocht te worden bij bestaande systemen en rapportages. Zo is het bijvoorbeeld mogelijk om periodieke voortgangsrapporten aan te vullen met de gerealiseerde effecten (naast rapportage over activiteiten en acties).

p. 53


Het vertrouwen in de resultaten van een effectmeting kan toenemen door middel van zogenaamde „triangulatie‟. Dit betekent dat informatie uit diverse bronnen aan bod dient te komen om zo de validiteit te verhogen. Resultaten uit diverse analyses dienen met elkaar geconfronteerd te worden. Het is bijvoorbeeld belangrijk om tijdens een effectmeting aandacht te hebben voor succes maar ook voor falen, voor kwantitatieve maar ook voor kwalitatieve informatie. Tevens is het belangrijk dat bevindingen op het projectniveau systematisch afgetoetst worden aan de resultaten van effectmetingen op programma- en zelf op regionaal niveau. Hier ligt zeker ook een rol voor het IWT weggelegd die grootschaliger effectmetingen (op programmaniveau) periodiek dient te laten uitvoeren. Hoe gaat u te werk? Zoals hierboven al aangegeven, dienen de afspraken over het meten van de effecten en het bijhouden van de noodzakelijke data op voorhand te gebeuren (dat wil zeggen voor de aanvang van een project). Indien de gemaakte afspraken ertoe hebben geleid dat de bedrijven zelf bepaalde informatie bijhouden, dan komt het neer op het opvragen van deze informatie. Indien het gaat over de bereidheid tot medewerking van een bevraging, dan zal de bevraging zelf gelanceerd moeten worden. Er zijn verschillende mogelijkheden om een bevraging te doen (schriftelijk, via e-mail of via een internetbevraging). De goedkoopste en meest efficiënte manier is deze via email of internet (er zijn diverse internetbevragingstools beschikbaar). Hieronder presenteren we een overzicht van mogelijke vragen die gesteld kunnen worden om een selectie van belangrijke effecten te meten. Tabel 4: Voorbeelden van vragen (voor de bevraging naar effecten) Mogelijke vragen voor in de bevraging Om deel te nemen aan [project X] heeft u de volgende investeringen gedaan… 

… Euro‟s aan cofinanciering



… dagen actieve bijdrage tot het project



… dagen opvolging (gebruikersgroepen)



…

In relatie tot indicator… 1

Hoe significant is deze totale investering voor uw bedrijf? Bijv. (Niet significant, significant, Zeer significant, Geen mening) Als gevolg van deelname aan [project X] heeft u bijkomende investeringen moeten doen om de resultaten/uitkomsten van het project verder te ontwikkelen en/of te exploiteren.

2

Bijv. Helemaal oneens, Oneens, Oneens noch eens, Eens, Helemaal mee eens, N.V.T., Geen mening U hebt de volgende investeringen gedaan… 

… investering in Euro‟s ten gevolge van de aankoop van…



… investering in Euro‟s ten gevolge van aanwerving van personeel



… 3

Door deelname aan [project X] heeft u uw relevante netwerk (bedrijven, kennisinstellingen etc.) kunnen uitbreiden. Bijv. Helemaal oneens, Oneens, Oneens noch eens, Eens, Helemaal mee eens, N.V.T., Geen mening

p. 54


Door deelname aan [project X] heeft u uw relevante netwerk kunnen uitbreiden met…   

bedrijven kennisinstellingen overig

Als gevolg van deelname aan [project X] werkt u meer samen op het vlak van O&O en innovatie.

4

Bijv. Helemaal oneens, Oneens, Oneens noch eens, Eens, Helemaal mee eens, N.V.T., Geen mening Als gevolg van deelname aan [project vervolgsamenwerking aangegaan met…   

X]

bent

u

een

formele

bedrijven kennisinstellingen overig

Globaal genomen, hoe tevreden bent u met de kwaliteit van de doorverwijzing en de organisatie naar welke u bent doorverwezen.

5

Bijv. Helemaal niet tevreden, Niet tevreden, Tevreden, Zeer tevreden, Helemaal tevreden, N.V.T., Geen mening Zonder deelname aan [project X] zou u het uitgevoerde onderzoek NIET zelfstandig kunnen uitvoeren.

8

Bijv. Helemaal oneens, Oneens, Oneens noch eens, Eens, Helemaal mee eens, N.V.T., Geen mening Deelname aan [project X] heeft ertoe geleid dat u uw competenties en expertise verder heeft kunnen ontwikkelen/uitbreiden.

9

Bijv. Helemaal oneens, Oneens, Oneens noch eens, Eens, Helemaal mee eens, N.V.T., Geen mening Als gevolg van deelname aan [project X] heeft u uw …    

competenties verder verbreed competenties verder verdiept expertise verder verbreed expertise verder verdiept

Als gevolg van deelname aan [project X] is uw onderzoekscapaciteit vergroot dankzij een toename (in kwaliteit) van…   

11

aantal onderzoekers aanwezige apparatuur ontwikkelde methodes

Globaal genomen, dankzij deelname aan [project X] ben u erin geslaagd om uw ontwikkelingsproces te versnellen.

15

Bijv. Helemaal oneens, Oneens, Oneens noch eens, Eens, Helemaal mee eens, N.V.T., Geen mening Als gevolg van deelname aan [project X] bent u sneller tot ontwikkeling kunnen overgegaan van…  

een nieuw product een verbeterd product

p. 55

Kader voor de meting van effecten    

een een een een

nieuwe dienst verbeterde dienst nieuw proces verbeterd proces

[project X] heeft u in staat gesteld om deel te nemen aan een riskanter onderzoekstraject dan anders mogelijk zou zijn.

16

Bijv. Helemaal oneens, Oneens, Oneens noch eens, Eens, Helemaal mee eens, N.V.T., Geen mening Dankzij [project X] heeft u een (langere termijn) innovatiestrategie… 

geïntroduceerd



geüpdate (als u al een innovatiestrategie had)

Als gevolg van deelname aan [project projectmanagementvaardigheden vergroot

X]

heeft

u

uw

17

O&O

18

Bijv. Helemaal oneens, Oneens, Oneens noch eens, Eens, Helemaal mee eens, N.V.T., Geen mening Als gevolg van deelname aan [project X] heeft u… 

een of meerdere prototypes ontwikkeld



een testopstelling ontwikkeld (en of gebruikt van gemaakt)

Als gevolg van deelname aan [project X] heeft u… 

een bestaand product op een nieuwe markt kunnen brengen



een nieuw product op een bestaande markt kunnen brengen



een nieuw product op een nieuwe markt kunnen brengen

Als gevolg van deelname aan [project X] heeft u… 

een nieuw proces geïmplementeerd in uw bedrijf



Een verbeterd proces geïntroduceerd in uw bedrijf

19

20

21

p. 56


6

REFERENTIES

Aerts, K & Czarnitzki, D. (2006). „The Impact of Public R&D Funding in Flanders‟. IWT Studie 54. Arnold, E. (2009), Brussels, The Making of the FP6 Ex-post Evaluation Report, views presented at: „Taking stock and moving forward‟, Conference organized by European Commission, Research, Brussels June 18, 2009. Bodewes, H.; Nagle, M.; Van der Veen, G.; Zuijdam, F. (2009). „: 'Zelfevaluatie van competentiepolen'. IWT Studie 62. Bongers, F.; Kaashoek, B.; Ongena, G.; Verweijen. (2008). 'Werking en effecten van Collectief Onderzoek'. IWT Studie 61. Carlsson, J., M. Eriksson-Baaz, A.M. Fallenius and E. Lövgren (1999) Are Evaluations Useful? Cases from Swedish Development Cooperation, Sida Studies in Evaluation 99/1 (Department for Evaluation and Internal Audit). Casey, Tom, Isabelle Collins, TECHNOPOLIS (2004), The Monitoring & Impact Assessment Indicators Study: The MIPs Study, October. Cozzens, S. E. (2007), Maximising Social Impacts through Science and Technology: Carson‟s Quadrant, Presentation at “Impacts of Science”, 10-11 May, Vienna. European Commission (2004), Evaluating EU Activities – A Practical Guide for the Commission Services, Luxembourg: Office for Official Publications of the European Communities. European Commission. (2010). „Lisbon Strategy for Growth and Jobs: Towards a green and innovative economy‟. http://ec.europa.eu/archives/growthandjobs_2009/ European Commission (2010). „Europe 2020: A strategy for smart, sustainable and inclusive growth‟. http://ec.europa.eu/eu2020/index_en.htm European Court of Auditors (sd), Performance Audit Manual, Luxembourg: Court of Auditors. Georghiou, L.; Clarysse, B.; Steurs, G.; Bilsen, V.; Larosse, J. (2004). „Making the Difference: The Evaluation of "Behavioral Additionality" of R&D Subsidies‟. IWT Studie 48. Hatry, H.P. and K.E. Newcomer (2004), „Pitfalls of Evaluation‟, in: J.S. Wholey, H.P. Hatry and K.E. Newcomer, Handbook of Practical Program Evaluation. IDEA Consult & Falk, R. (2009). „Does Europe change R&D behaviour? Assessing the behavioral additionality of the Sixth Framework Programme. European Commission, DG Research. IKED/VINNOVA (2005), Public Research and Innovation Policy for the Good of Society: How to Assess the Way Forward?, Proceedings from IKED and VINNOVA Seminar, November 8 2004, Stockholm, Sweden. Louis Lengrand & Associés, PREST, ANRT, Reidev Ltd. (2006), SMART INNOVATION: A Practical Guide to Evaluating Innovation Programmes, January (wordt naar gerefereerd als to as SMART INNOVATION). Muldur, Ugur et al. A New Deal for an Effective European Research Policy – The Design and Impacts of the 7th Framework Programme, Dordrecht: Springer. OECD (2001), Evaluation Feedback for Effective Learning and Accountability, Paris: OECD. OECD (2002), Glossary of Key Terms in Evaluation and Results Based Management, Paris: OECD. OECD (2007), Assessing the Socio-Economic Impacts of Public Investment in R&D, Paris: OECD. OECD (2009), Enhancing Public Research Performance through Evaluation, Impact Assessment and Priority Setting, Paris: OECD. Papaconstantinou, George and Wolfgang Polt (1997), Policy Evaluation in Innovation and Technology: an Overview, in: Policy Evaluation in Innovation and Technology: Towards Best Practices, Paris: OECD. Sharpe, A. and J. Smith (2005), Measuring the Impacts of Research on Well-being: A Survey of Indicators of Well-being, Centre for the Study of Living Standards – Centre d‟étude des niveaux de vie”, Ottawa, Canada.‟

p. 57

Kader voor de meting van effecten Steurs, G.; Verbeek, A.; Vermeulen, H.; Clarysse, B. (2006). 'What difference do IWT R&D grants make for their clients'. IWT Studie 56. Thoenig, Jean-Claude (2000), Evaluation as Usable Knowledge for Public Management Reforms, Evaluation, Vol. 6, No. 2, 217-229. Verbeek, A.; Lykogianni, E.; Van Hoed, M. (2008). 'De effectiviteit van het Vlaamse Innovatiesamenwerkingsverband (VIS)'. IWT Studie 59.

p. 58


LIJST VAN TABELLEN Tabel 1: Invulformulier „doelstellingenhiërarchie‟ ............................................ 22 Tabel 2: Invulformulier inventarisatie relevante effecten (de „grid‟) .................. 25 Tabel 3: Menu van relevante „type‟ indicatoren .............................................. 30 Tabel 4: Voorbeelden van vragen (voor de bevraging naar effecten) ................. 54 Tabel 5: „Blauwdruk‟ doelstellingenhiërarchie „Competentiepolen‟ ..................... 62 Tabel 6: „Blauwdruk‟ doelstellingenhiërarchie „Collectief Onderzoek‟ .................. 66 Tabel 7: „Blauwdruk‟ doelstellingenhiërarchie „TETRA‟ ..................................... 69

LIJST VAN FIGUREN Figuur 1: Overzicht fasering .......................................................................... 6 Figuur 2: Programmaontwikkeling/-actie (Logic Model) ................................... 12 Figuur 3: Soorten van effecten en hun betekenis............................................ 14

p. 59


ANNEX 1:

BEKNOPT OVERZICHT PROGRAMMA: COMPETENTIEPOLEN

Situering en doelstellingen Competentiepolen zijn gedefinieerd als initiatieven die een substantiële “kennissokkel” willen uitbouwen inzake innovatie ten behoeve van belangrijke bedrijfssegmenten in Vlaanderen. Individuele projecten hebben in veel gevallen onvoldoende kritische massa om structureel de innovatie in een sector of specifiek domein te verbeteren. Competentiepolen kunnen aan deze problematiek een oplossing bieden door bestaande competenties te bundelen tot een coherent en effectief geheel van acties of projecten. Het betreft hier activiteiten die technisch en wetenschappelijk tot de “state of the art” behoren, met vrij directe en nuttige resultaten voor innovatie bij bedrijven. In deze speelt het overbruggen van de kloof tussen wetenschappelijke en economische innovaties een belangrijke rol binnen de Competentiepolen.

Doelgroep Het Competentiepolen progamma wenst een zo ruime mogelijke doelgroep van bedrijven, en in het bijzonder KMO‟s, te bereiken. Competentiepolen hebben een vraaggedreven, collectief en open karakter, weerspiegeld in onder andere de beheers- en beslissingsstructuren. Een aanvraag voor opstarting van een Competentiepool kan worden ingediend door: 

ofwel een groepering van bedrijven met al dan niet andere organisaties of instellingen, representatief voor de welomschreven doelgroep van bedrijven;



ofwel een collectief centrum dat middels het VIS-besluit erkend is als de facto een Vlaamse Innovatiesamenwerkingsverband;



ofwel een organisatie die de facto kan optreden namens een groep van bedrijven. Het representatieve karakter komt tot uiting door de nietcommerciële en neutrale positie die wordt ingenomen ten aanzien van de betrokken partijen.

p. 60


Gefinancierde activiteiten De aard van activiteiten die door Competentiepolen worden ondersteund kunnen sterk verschillen. Het zijn typen activiteiten met een open en collectief karakter gericht op kenniscreatie en kennisdiffusie, inzonderheid naar KMO's binnen de doelgroep:    

Thematische innovatiestimulering o sensibilisering o netwerkvorming Technologische dienstverlening Projecten voor collectieve kennisopbouw Roadmapping/toekomstverkenning

Competentiepolen zijn niet bedoeld voor:  

     

Studieactiviteiten en prototypeontwikkeling op maat van een individueel bedrijf Opstellen van businessplannen, marktstudies ten behoeve van ondernemingen, routinematige testen en berekeningen, investeringsprospecties, exportpromotie, uitvoeren van expertiseopdrachten in het kader van schadeclaims, etc. Certificatie, het invoeren van kwaliteitssystemen en aanverwante activiteiten Algemene belangenverdediging of commerciële vertegenwoordiging Bedrijfsgebouwen- en of bedrijvenpark opbouwen en exploiteren Kortingen toekennen op prestaties van derden Organisatie van algemene opleidingen Overlap met commerciële dienstverlening

In geen geval mogen de middelen van het programma benut worden als een subsidiekanaal voor individuele bedrijven.

p. 61


Blauwdruk van doelstellingen Tabel 5: „Blauwdruk‟ doelstellingenhiërarchie „Competentiepolen‟ Activiteiten

Intermediaire doelstellingen

Strategische doelstellingen

Impact

A1. Uitvoeren van contractonderzoek, coöperatief onderzoek en collectief onderzoek A2. Advisering en doorverwijzing

ID1. Verhogen van het aantal innovaties bij bedrijven

A3. Begeleiding van innovatietrajecten

ID2. Efficiënte inzet van middelen

A4. Uitvoeren van technologieverkenningen en roadmapping A5. Maken van publicaties (vakinhoudelijk en nietvakinhoudelijk) A6. Organisatie van evenementen en trainingen A7. Ondersteuning bij deelname aan nationaal en internationaal onderzoek

ID3. Verbeteren van afstemming, samenwerking en coördinatie binnen en rond de sector ID4. Creëren van voldoende kritische massa (op het vlak van onderzoek)

SD1. In collectief verband vergroten van innovatievermogen van bedrijven SD2. Verhogen internationale zichtbaarheid sector

I1. Behoud en verhogen van de concurrentiepositie van bedrijven (sociale en economische waardecreatie)

ID5. Verhogen van kennis en expertise bij bedrijven ID6. Vervullen intermediaire doorverwijsfunctie voor innovatie

A8. Uitvoeren van haalbaarheidsstudies

Tijd

p. 62


Nadere toelichting per doelstelling (focus op intermediaire doelstellingen) ID1.

Verhogen van het aantal innovaties bij bedrijven. De activiteiten binnen een Competentiepool hebben als doel het aantal innovaties bij deelnemende bedrijven te laten toenemen. Innovaties kunnen worden gekenmerkt als vernieuwingen of substantiële verbeteringen in een product, proces of dienst van een bedrijf. Het „nieuw‟ zijn wordt bekeken vanuit het perspectief van het bedrijf in kwestie.

ID2.

Efficiënte inzet van middelen. Als gevolg van de activiteiten van een Competentiepool moet een bedrijf in staat worden gesteld om meer O&O activiteiten te doen, op grotere schaal en wellicht ook met minder investeringen. Innovaties kunnen ook sneller worden gerealiseerd dan dat een bedrijf alleen zou kunnen. Gezien het collectieve karakter van de acties worden de publieke middelen in het belang van een groteren groep bedrijven ingezet.

ID3.

Verbeteren van afstemming, samenwerking en coördinatie binnen en rond de sector. De activiteiten van een Competentiepool streven een verbetering van afstemming, samenwerking en coördinatie na tussen bedrijven onderling, of tussen bedrijven en kennisinstellingen. Deze doelstelling beoogt indirect een toename op het aantal kruisbestuivingen, afname in het aantal duplicaties van O&O in onsuccesvolle richtingen ten gevolge van verbeterde afstemming, beter samenwerking en coördinatie.

ID4.

Creëren van voldoende kritische massa (op het vlak van onderzoek). De doelstelling is een toename in kritische massa te bewerkstelligen, dit vergroot het aantal betrokkenen en de reikwijdte van een Competentiepool. Indirect tracht deze doelstelling het innovatiepotentieel te vergroten. Een vergroting van de massa zorgt namelijk voor een groter kennispotentieel en helpt nieuwe onderzoekslijnen te starten. Tevens kan het makkelijker worden om O&O cofinanciering aan te treken.

ID5.

Verhogen van kennis en competenties bij bedrijven. De activiteiten van een Competentiepool trachten een stijging van kennis en competenties binnen bedrijven te bewerkstelligen waardoor het innovatiepotentieel van deze bedrijven toeneemt. Dit stimuleert een betere benutting van externe kennisbronnen als gevolg van een vergroting van het absorptievermogen van bedrijven.

ID6.

Vervullen intermediaire doorverwijsfunctie voor innovatie. De activiteiten van een Competentiepool hebben als doel „vraag‟ en „aanbod‟ van kennis, competenties of netwerken beter te laten matchen zodat problemen makkelijker kunnen worden opgelost.


ANNEX 2:

BEKNOPT OVERZICHT PROGRAMMA: COLLECTIEF ONDERZOEK

Situering en doelstellingen De belangrijkste doelstelling van het VIS/Collectief Onderzoek programma is het verhogen van de kennis en competentie van bedrijven. De resultaten die voortvloeien uit collectieve projecten moeten op korte of lange termijn leiden tot een economische meerwaarde bij de bedrijven. Deze kan gerealiseerd worden door innovaties, nieuwe ontwikkelingen, optimalisatie van producten/processen of diensten en implementatie van de resultaten bij de doelgroepbedrijven. Daarnaast moeten collectieve onderzoeksresultaten gevaloriseerd worden voor en door een zo ruim mogelijke groep van bedrijven.

Doelgroep De doelgroep die het VIS/CO programma wenst te bereiken, zijn groepen van (KMO)bedrijven uit alle industriële sectoren behalve de primaire sector. Zij kunnen een onderzoek laten uitvoeren op collectieve basis door een onderzoeksinstelling, omwille van een gezamenlijke problematiek, opportuniteit of interesse of omdat ze zelf weinig middelen hebben om onderzoek uit te voeren. Naast bestaande collectieve verbanden (bv. collectieve centra, competentiepolen), wenst het programma Collectief Onderzoek ook nieuwe collectieve verbanden aan te trekken, zoals ad-hoc consortia van bedrijven. Een project Collectief Onderzoek wordt aangevraagd door: 

ofwel een consortium van in hoofdzaak Vlaamse bedrijven. Bij de aanvraag dienen minimaal 10 bedrijven lid te zijn van het consortium, waaronder een representatieve kmo-vertegenwoordiging. Indien het consortium bij de aanvraag niet beschikt over een juridisch statuut, duidt het een vertegenwoordiger aan die als hoofdaanvrager optreedt. Dit lid van het consortium kan een bedrijf, collectief centrum, beroepsfederatie of andere organisatie zijn;



ofwel een organisatie die de facto kan optreden namens een groep van bedrijven zoals een beroepsfederatie of een specifieke belangenvereniging. Het representatief karakter komt tot uiting in de niet-commerciële en neutrale positie die wordt ingenomen ten aanzien van de betrokken bedrijven;



ofwel een collectief centrum dat via het VIS-besluit erkend is als een Vlaams innovatiesamenwerkingsverband; of een combinatie van de voorgaande.


Gefinancierde activiteiten De projecten Collectief Onderzoek omvatten activiteiten waarbij zowel elders ontwikkelde geavanceerde kennis wordt verzameld, als eigen kennis wordt opgebouwd binnen het innovatiesamenwerkingsverband. Het complete spectrum van onderzoek kan aan bod komen, voor zover het zich richt tot een collectief van bedrijven. Collectief Onderzoek is niet bedoeld voor:     

Projecten met een louter maatschappelijke finaliteit Prenormatieve activiteiten die in bepaalde sectoren van belang zijn Specifieke taken rond kennisopbouw, gerelateerd aan het feit dat het onderzoek niet binnen de huidige competentie van het centrum ligt Losstaande economische evaluaties om een inschatting te maken van werkings-, investeringskosten en ecologische voordelen Het ontwikkelen van specifieke toepassingen op maat van een individueel bedrijf

p. 65


Blauwdruk van doelstellingen Tabel 6: „Blauwdruk‟ doelstellingenhiërarchie „Collectief Onderzoek‟ Activiteiten



Impact

A1. Uitvoeren van collectief onderzoek, contractonderzoek, coöperatief onderzoek, ontwikkeling, ontwerp, … A2. Uitvoeren van literatuur- en octrooianalyses A3. Valideren van testresultaten (testcases, demonstraties, dry runs, …) en ontwikkelen van prototypes A4. Organiseren en bijwonen van vergaderingen gebruikersgroepen A5. Organiseren van workshops, seminaries en groepssessies A6. Aanleggen van databanken A7. Maken van publicaties gericht op de doelgroep

ID1. Ontwikkelen van nieuwe producten, processen en software ID2. Verhogen van kennis en competenties bij bedrijven ID3. Verhoging van de dienstverlening van het kenniscentrum aan bedrijven ID4. Aantrekken van nieuwe collectieve verbanden

SD1. In collectief verband vergroten van kennis en competenties bedrijven SD2. Valoriseren van onderzoeksresultaten door/voor een zo ruim mogelijke groep van bedrijven

I1. Creëren van economische meerwaarde bij (KMO) bedrijven uit alle sectoren behalve de primaire sector

ID5. Opzetten van nieuwe samenwerkingsverbanden ID6. Werven/aantrekken van nieuwe leden

A8. Creëren van een TD-TIS diensten adviesverlening A9. Voorbereiding tot bedrijfsprojecten (bijv. via IWT) A10. …

Tijd p. 66



Ontwikkelen van nieuwe producten, processen en software. De activiteiten in het kader van„Collectief Onderzoek hebben als doel het aantal nieuwe producten, processen en software dat wordt ontwikkeld te laten toenemen, in eerste instantie bij de leden van de gebruikersgroep, en in tweede instantie bij de ruimere doelgroep.

ID2.

Verhogen van kennis en competenties bij bedrijven. De activiteiten binnen Collectief Onderzoek trachten een stijging van kennis en competenties binnen bedrijven te bewerkstelligen waardoor het innovatiepotentieel van deze bedrijven toeneemt. Dit stimuleert tevens een betere benutting van externe kennisbronnen als gevolg van een vergroting van het absorptievermogen van bedrijven.

ID3.

Verhoging van de dienstverlening van het kenniscentrum aan bedrijven. De activiteiten binnen Collectief Onderzoek hebben als doel de dienstverlening van het kenniscentrum aan bedrijven te verhogen. Met een verhoogde dienstverlening probeert Collectief Onderzoek de match tussen „vraag‟ en „aanbod‟ van kennis, competenties of netwerken te verbeteren zodat problemen van bedrijven makkelijker kunnen worden opgelost. Onderliggend hieraan staat de doelstelling dat er meer en effectievere kennistransfer moet zijn tussen kenniscentrum en bedrijf.

ID4.

Aantrekken van nieuwe collectieve verbanden. De doelstelling is een toename in het aantal collectieve verbanden of de graad van georganiseerdheid van de sector/subsector. Ten gevolge hiervan beginnen meer bedrijven aan O&O, of intensiveren O&O actieve bedrijven hun investeringen, en kan men beter profiteren van expertise en aanwezige kennis.

ID5.

Opzetten van nieuwe samenwerkingsverbanden. Collectief Onderzoek beoogt nieuwe samenwerkingsverbanden op te zetten. Indirect streeft het zo innovatie na door een toename in het aantal kruisbestuivingen, het vergroten de beschikbare kennis en het efficiëntie van O&O. De kracht van een collectief samenwerkingsverband schuilt in kennisdeling en risicoreductie voor individuele bedrijven.

ID6.

Werven/aantrekken van nieuwe leden. Het doel om nieuwe leden binnen Collectief Onderzoek te werven vergroot het aantal bedrijven dat actief bezig is (of start) met O&O en innovatie. Daarmee stimuleert het bedrijven om al een eerste inspanning te doen op het vlak van O&O door de vereiste cofinanciering. Nieuwe leden versterken en verrijken tevens het netwerk.


ANNEX 3:

BEKNOPT OVERZICHT PROGRAMMA: TECHNOLOGIETRANSFER

Situering en doelstellingen Met projecten van TEchnologieTRAnsfer beoogt het IWT een dubbele doelstelling: 

Enerzijds beoogt men de innovatiecapaciteit van bedrijven en andere socialprofitorganisaties te vergroten door technologie en kennis te vertalen in concrete toepassingen via aangepaste informatie en demonstraties op maat.



Anderzijds streeft men ernaar de kennisbasis bij hogeronderwijsinstellingen te verbeteren. TETRA-projecten zetten niet alleen het onderwijs zelf kracht bij, maar versterken ook de maatschappelijke rol van instellingen van hoger onderwijs door wisselwerking te stimuleren met technologische, economische en maatschappelijke actoren.

De projecten stimuleren hogescholen ook om te netwerken met technologische, economische en maatschappelijke spelers. De onderzoeksresultaten zijn nuttig voor de onderwijsopdracht van de hogescholen. Het TETRA-fonds wil het technologisch onderzoek aan de Vlaamse instellingen van hoger onderwijs ondersteunen en hen actief laten bijdragen tot het innovatieproces in Vlaamse bedrijven, meer in het bijzonder in KMO‟s.

Doelgroep Het financieringskanaal is er voor alle Vlaamse instellingen van hoger onderwijs, met als prioritaire doelgroep de hogescholen (=mogelijke inschrijvers). Voor kennisdiffusie wordt de prioritaire doelgroep gevormd uit niethoogtechnologische Vlaamse KMO‟s en socialprofitorganisaties. Ook andere bedrijven en organisaties - grote ondernemingen, hoogtechnologische KMO‟s, buitenlandse bedrijven en organisaties - kunnen deelnemen, indien het project voldoet aan de doelstellingen van het programma. Van de bedrijven wordt cofinanciering van 7,5% gevraagd.

Activiteiten Het TETRA-fonds steunt toepassingsgerichte projecten die een innovatief concept bestuderen, waarvan de resultaten door bedrijven in Vlaanderen kunnen gebruikt worden. Het onderzoeksonderwerp bevat minimaal een technologische component en de resultaten zijn gericht op economische valorisatie. Het TETRA-fonds is niet bedoeld voor:    

Projecten die zich in hun hoofdmoot richten op het ontwikkelen van kennis (of het installeren van technologie) aan de hogeschool zelf Projecten die zich exclusief richten op de noden van één of enkele ondernemingen of het verder afwerken van generische projectresultaten in bedrijfseigen toepassingen Projecten die zich louter richten op maatschappelijke finaliteit, zonder economische meerwaarde Projecten die zich louter richten op de primaire sector

p. 68


Blauwdruk van doelstellingen Tabel 7: „Blauwdruk‟ doelstellingenhiërarchie „TETRA‟ Activiteiten A1. Uitvoeren van literatuur en octrooianalyses


A2. Maken van publicaties (vakpers etc.)

ID1. Verhogen van kennis en competenties bij bedrijven en uitvoerder

A3. Organiseren van technische workshops

ID2. Introduceren van een nieuw product, proces of dienst

A4. Aanpassen technologieën en methodes op maat van de bedrijven A5. Gebruiken en testen van technologie op laboschaal A6. Opschalen van gebruikte en geteste technologieën tot op industriële schaal A7. Bouwen van testopstelling of prototype, pilootproeven, proof of principle A8. Uitvoeren van case studies bij bedrijven of socialprofitorganisaties A9. Aanbieden/uitvoeren van vervolgtrajecten

ID3. Verhogen van de innovatiecompetenties van HO onderzoekers ID4. Uitbreiden van de infrastructuur en kenniscentra van HO ID5. Ontwikkeling van nieuwe dienstverlening (nieuw/vernieuwde opleiding)


Impact

SD1. Verbeteren van de kennisbasis bij instellingen van HO SD2. Meer O&O&I gericht onderwijs bij instellingen van HO SD3. Verhogen van de innovatiecapaciteit bij bedrijven en socialprofitorganisaties SD4. Stimuleren van „open innovatie‟ bij bedrijven en bij instellingen van HO

ID6. Beter inzicht in toekomstige onderzoeksnoden

SD5. Stimuleren van technologiegedreven kennisoverdracht tussen HO, bedrijven en „socialprofitorganisaties‟

ID7. Stimuleren van netwerking en samenwerking op vlak van IPR, delen van expertise en apparatuur

SD6. Creëren van een positieve(re) houding van bedrijven ten opzichte van innovatie

I1.

Verbetering O&O&I gerichtheid van het onderwijs aan HO

I2.

Verhogen van de innovativiteit van bedrijven/organisaties

A10. Begeleiding van eindwerken bij bedrijven en organisaties A11. …

Tijd

p. 69



Verhogen van kennis en competenties bij bedrijven. De activiteiten in het kader van een TETRA-project trachten een stijging van kennis en competenties binnen bedrijven te bewerkstelligen waardoor het innovatiepotentieel van deze bedrijven toeneemt. Dit stimuleert een betere benutting van externe kennisbronnen als gevolg van een vergroting van het absorptievermogen van bedrijven.

ID2.

Introduceren van een nieuw product, proces of dienst. De activiteiten gerelateerd aan een TETRA-project hebben als doel het aantal innovaties bij deelnemende bedrijven te laten stijgen. Innovaties kunnen worden gekenmerkt als vernieuwingen of substantiële verbeteringen in een product, proces of dienst van een bedrijf.

ID3.

Verhogen van de innovatiecompetenties van HO onderzoekers. Het TETRA-project beoogt een stijging in de innovatiecompetenties van HO onderzoekers te bewerkstelligen. Hieronder vallen zowel een toename in kennis en competenties als een toename in multidisciplinair handelen.

ID4.

Uitbreiden van de infrastructuur en kenniscentra van HO. Activiteiten in het kader van een TETRA-project hebben als doel het uitbreiden van de infrastructuur en kenniscentra van HO. Hiertoe behoort ook het vergroten van kennis binnen het HO over het gebruik van de kennisinfrastructuur en tevens het streven naar een beter uitgeruste kennisinfrastructuur.

ID5.

Ontwikkeling van nieuwe dienstverlening (nieuw/vernieuwde opleiding). Een doelstelling van TETRA-projecten is het ontwikkelen van nieuwe dienstverlening. In het kader van deze doelstelling beogen TETRA-projecten nieuwe of vernieuwde opleidingen op te zetten om zo een toename in kennis, competenties en absorptievermogen binnen de HO instellingen te bewerkstelligen, en op termijn binnen de bedrijven als gevolg van uitstromende studenten.

ID6.

Detecteren van nood aan bijkomend onderzoek. Een TETRA-project heeft als doel om de nood aan bijkomend onderzoek te detecteren. Hiermee tracht het de koppeling tussen „vraag‟ en „aanbod‟ van onderzoek te verbeteren om zo problemen sneller op te lossen.

ID7.

Stimuleren van netwerking en samenwerking op vlak van IPR, delen van expertise en apparatuur. In het kader van deze doelstelling probeert een TETRA-project meer netwerking en samenwerking op vlak van IPR te realiseren, zoals het delen van expertise en apparatuur. Het doel is om te komen tot meer en betere IPR bescherming van bedrijven en HO instellingen. Indirect kan deze doelstelling de kennis, competenties en het absorptievermogen van deelnemende organisaties beïnvloeden door een toename aan onderzoek.


ANNEX 4:

INVULFORMULIER DOELSTELLINGEN

Activiteiten A1. …

Intermediaire doelstellingen ID1. …

Strategische doelstellingen SD1. …

Impact I1. …

Tijd

p. 71


ANNEX 5:

LIJST VAN OVERIGE RELEVANTE INDICATOREN „Long list‟ met overige effectindicatoren (varianten)

Soorten effecten

Indicatoren

Input

1. Aantal (of %) bedrijven dat dankzij het project overgegaan is tot de introductie (of verhoging) van een eigen O&O budget.

Gaan er bijkomende investeringen/inspanningen zijn?

2. Aantal (of %) bedrijven dat dankzij het project overgegaan is tot het aanwerven van O&O medewerkers of het toewijden van bestaand personeel aan O&O.


1. Aantal (of %) bedrijven/organisaties dat dankzij het project meer is gaan samenwerken op het vlak van O&O&I dan vroeger.


2. Aantal (of %) bedrijven/organisaties dat in de nabije toekomst plant om samenwerkingsverbanden aan te gaan betreffende O&O&I. 3. Aantal gezamenlijke georganiseerde events (wetenschappelijke lezingen, workshops, etc.) dat in de context van een specifiek project is georganiseerd. 4. Aantal gezamenlijke publicaties in de context van een specifiek project. 5. Beschikbaarheid van een contactendatabank en de intensiteit van raadpleging daarvan.

Schaal en reikwijdte Laat het project toe om bedrijven deel te laten nemen aan onderzoek op grotere schaal?

Competentie- en expertiseopbouw Zal het project leiden tot competentieen expertiseopbouw?

1. Aantal deelnemende bedrijven en kennisinstellingen die via een specifiek project verbonden zijn (netwerkdensiteit/concentratie) 2. Aantal (of %) bedrijven dat dankzij het project toegang heeft gekregen tot beschikbare technologie en kennis waar ze anders geen toegang tot zouden kunnen krijgen. 1. Aantal bedrijven dat een procedure is gestart en/of heeft afgerond ter bescherming van hun intellectuele eigendom (octrooien, merknamen, publicaties, etc.). 2. Oordeel van de bedrijven over de bruikbaarheid (aansluiting tussen aanbod en vraag) en relevantie van de opgedane kennis. 3. Aantal afgestudeerden en hun tevredenheid over de kennis verworven in de cursus (mate van overeenstemming tussen verwachtingen en resultaten). 4. Aantal vervolgprojecten (of intenties tot) waarvoor subsidie wordt verkregen (Vlaanderen, EU).

Versnelling Zal het project de snelheid van O&O verhogen dan anders het geval zou zijn?

1. Aantal (of %) bedrijven dat dankzij het project erin geslaagd is om sneller toegang te krijgen toe essentiële kennis (of competenties)


Risico Leidt het project tot risico verkleining (in relatie tot onzekerheid van onderzoek?)

Strategie-vorming Zal het project de strategie van het bedrijf rond O&O veranderen?

1. Aantal (of %) bedrijven dat dankzij het project heeft deelgenomen aan een grootschaliger en ambitieuzer O&O project dan dat ze alleen zouden kunnen.

1. Aantal (of %) bedrijven dat dankzij het project meer zal investeren in O&O&I. 2. Aantal bedrijven dat (extra) personeel heeft toegewijd aan innovatiespecifieke onderwerpen. 3. Aantal bedrijven dat zelf initiatieven heeft genomen rond het creëren van een innovatiecultuur.

Output

1. Toename in marktaandeel als gevolg van een specifiek project.

Zullen er nieuwe producten of processen ontwikkeld worden? Of sterke optimalisaties?

2. Bevraging stuurgroep over het succes van de implementatie van (product, proces of diensten) innovaties (is er implementatie, wordt deze verwacht, indien niet waarom niet?). 3. Aantal spin-offs/spin-outs als gevolg van een project. 4. Aantal (of %) bedrijven dat dankzij het project hun competitiviteit heeft kunnen vergroten. 5. Aantal (of %) bedrijven dat dankzij het project hun exportpositie heeft versterkt. 6. Bevraging stuurgroep over bijdrage van het project aan verhoging naamsbekendheid.

p. 73

Op zoek naar de effecten

Recommend Documents