EVALUATIEFORMULIER OPROEP 4: KLASSIEK DEMONSTRATIEPROJECT
Projectnaam
Naam Evaluator
Evaluatieformulier demonstratieprojecten binnen de vierde oproep - 2013 Waarvoor dient dit formulier? Via dit formulier kunt u projecten evalueren die steun hebben aangevraagd in het kader van de oproep demonstratieprojecten. Op basis van de scores en opmerkingen in dit formulier worden de projectvoorstellen onderling vergeleken en beoordeeld. We willen U vragen om op basis van uw inzicht en inschattingsvermogen een score toe te kennen op alle hoofdvragen (1.a, 1.b,…). De bijkomende vragen in de volgende kolom zijn louter bijgevoegd als ondersteuning en kunnen een leidraad zijn bij het vormen van uw oordeel. Het is niet de bedoeling om op elke bijkomende vraag een antwoord te formuleren. Sommige bijkomende vragen zullen immers niet van toepassing zijn voor alle projecten. Waarop is de evaluatie gebaseerd? Het objectief van Flanders’ Care is het verbeteren van het aanbod van kwaliteitsvolle zorg en verantwoord ondernemerschap. Dit komt neer op het stimuleren van innovatieve producten, processen en diensten. De demonstratieprojecten dienen dit doel door de kloof te verkleinen tussen onderzoek naar nieuwe oplossingen en de vermarkting van die oplossingen, door projecten te steunen in het testen van hun oplossing in de uiteindelijke werkomgeving. Vanuit de objectieven van Flanders’ Care is het einddoel van deze evaluatie dan ook duidelijk: het selecteren van economisch levensvatbare projecten die de kwaliteit van de zorg verbeteren. Dit is vertaald in drie pijlers: 1. 2. 3.
Kwaliteit van zorg: Uiteraard is het belangrijk dat de voorziene middelen enkel worden ingezet waarvoor ze bedoeld zijn. Projecten moeten dan ook voldoen aan alle gestelde voorwaarden van een demonstratieproject. Aantoonbare kwaliteit van het onderzoek: De projecten moeten op een wetenschappelijk gefundeerde manier kunnen aantonen dat de voorgestelde oplossing de zorgkwaliteit verhoogt. Hiervoor dient te worden gesteund op de principes van Evidence Based Practice. Economisch levensvatbare producten en diensten: Omdat het gaat om het stimuleren van oplossingen en niet om fundamenteel onderzoek, is het de bedoeling dat de projecten na de steunperiode zelfstandig kunnen worden verdergezet. Er wordt dus gezocht naar projecten die hiertoe in staat zijn.
Hoe werkt het scoringsmodel? Om te garanderen dat enkel projecten worden gesteund die tegemoet komen aan de doelstellingen van Flanders’ Care, is het belangrijk dat alle projecten die steun krijgen ook voldoen aan bovenstaande vereisten. Er dient dus een selectie te worden gemaakt uit projecten die zowel demonstratieprojecten zijn, levensvatbaar zijn en op een wetenschappelijk gefundeerde manier de kwaliteit verhogen. Dit werd vertaald in het scoringsmodel. Er zijn vier mogelijke beoordelingen per vraag: 1. 2. 3. 4.
Onvoldoende Voldoende Goed Zeer goed
Een “Onvoldoende” op één van de hoofdvragen heeft verregaande gevolgen en wil zeggen dat het project niet langer in aanmerking komt voor steun. Of een aanvrager een “Onvoldoende” scoort, zal worden gebaseerd op de meerderheid van stemmen, waarbij een eventueel ‘ex aequo’ (evenveel “Onvoldoende” als niet “Onvoldoende” stemmen) als “Voldoende” wordt beschouwd. De projecten die wel voldoen, worden vervolgens gerangschikt volgens de scoring, waarbij volgende punten worden gehanteerd: Voldoende: 2 punten Goed: 3 punten Zeer goed: 5 punten U kan uw beoordelingen voorzien van bijkomende commentaar in de daartoe voorziene tekstvakken. Mogen we vragen om de vragen zeker van additionele commentaar te voorzien indien u de vraag als ‘Onvoldoende’ of ‘Zeer Goed’ beoordeelt?
Evaluatieformulier voor de oproep demonstratieprojecten – 2013
2
Bijkomende opmerkingen
Onvoldoende Voldoende Goed Zeer Goed
Einddoel van deze evaluatie: Het selecteren van economisch levensvatbare projecten die de kwaliteit van de zorg verbeteren.
1. Is dit een project dat de kwaliteit van zorg verbetert? 1.a Valt het project binnen de vooropgestelde thema's? Aanvraagformulier: Vraag 6
1.b Richt het project zich op (een deel van) de doelgroep? Aanvraagformulier: Vraag 2
1.c Is de oplossing gebruiksof testklaar?
Valt de oplossing duidelijk binnen één van onderstaande thema’s? - Product-, proces- of dienstinnovatie die de thuiszorg bevordert en/of de autonomie van de zorgbehoevende persoon versterkt, bvb.: ondersteunende technologieën technologie die gebrek kunnen compenseren interface technologie technologie voor aangepaste woning monitoring applicaties isolement doorbrekende oplossingen andere - Product-, proces- of dienstinnovatie voor het efficiënter inzetten van personeel in de thuiszorg, de thuis vervangende woonzorg of de intramurale zorg Is de oplossing gericht om een zorgnood in te vullen die één of meer van volgende doelgroepen treft? - Ouderen - Personen met een beperking - Personen met een hersenaandoening (dementie, andere niet aangeboren hersenaandoeningen, enz.) -
Aanvraagformulier: Vraag 5, 12
1.d Adresseert het project een reële en significante zorgnood en voldoet het aan de criteria voor kwaliteitsvolle zorg? Voldoet het project aan volgende internationale criteria?
Wordt door de aanvrager aangetoond dat de oplossing werkt? Beschikt de aanvrager over een functionerende toepassing? Om wat voor oplossing gaat het? Is het een nieuw product, dienst of proces en werden in het verleden al testen uitgevoerd? Of gaat het om een matuur product, dienst of proces die een nieuwe toepassing kent zonder al te veel aanpassingen? Werd het innovatieve product of de dienst reeds voor 95% ontwikkeld?
Relevantie: Waarom is het belangrijk om de oplossing te introduceren voor deze zorgnood? Welk nut dient de oplossing? (zie vraag 2.3) - Wat is de omvang van het probleem? Treft het probleem een significant deel van de bevolking? - Zijn de medische, psychosociale en/of maatschappelijke gevolgen van het probleem significant? - Komt de voorgestelde oplossing tegemoet aan het gestelde probleem?
Aanvraagformulier: Vraag 6, 9
Effectiviteit / werkzaamheid: Zal er sprake zijn van een positieve evidence-based impact op de zorgnood? (zie ook vraag 2b) Veiligheid: Wordt aandacht besteed aan het minimaliseren van de kans op aan de gebruiker toegebrachte schade door het toepassen van de oplossing? - Beschrijft het project een risico-analyse? - In welke mate besteedt het project aandacht aan de preventie van risico’s? - In welke mate besteedt het project aandacht aan veiligheid (veiligheid van de gebruiker, veiligheid van de gebruikte technologie)? - Wordt er voldoende aandacht geschonken aan het opleiden van Evaluatieformulier voor de oproep demonstratieprojecten – 2013
3
-
Bijkomende opmerkingen
Onvoldoende Voldoende Goed Zeer Goed
Einddoel van deze evaluatie: Het selecteren van economisch levensvatbare projecten die de kwaliteit van de zorg verbeteren.
de gebruikers en/of patiënten? In geval van een online oplossing: wordt voldoende aandacht geschonken aan de bescherming van de persoonsgegevens en de privacy van de testpopulatie?
Patiënt (of diens omgeving) gerichtheid / gebruiksvriendelijkheid: Worden de zorgprocessen gestuurd door de zorgbehoefte(n) van de gebruiker, zijn/haar zorgvragen, verwachtingen en voorkeuren? - Beantwoordt de oplossing aan de noden van de doelgroep? Beschrijft de aanvrager deze noden? Lijken ze realistisch? - Wordt/werd de gebruiker betrokken bij de ontwikkeling en het testen van de oplossing? - Houdt de aanvrager rekening met de kosten van de oplossing voor de toekomstige gebruiker? (indien van belang) - Lijkt de oplossing afgestemd op de competentie van de doelgroep? Tijdigheid: Zorgt de oplossing voor het verminderen/vermijden van wachttijden en soms schadelijk vertragingen voor zowel degenen die zorg ontvangen als degenen die zorg geven? (Indien van toepassing) - Levert de interventie zorg op het ogenblik dat de nood (aan zorg) zich aanbiedt? - Biedt de interventie oplossingen voor wachtlijsten en tekorten aan zorgverleners of plaatsen in zorginstellingen? Gelijkheid / billijkheid / toegankelijkheid: Wordt gelijke zorg verstrekt, zonder enig onderscheid op basis van de persoon van de aanvrager? Betreft de oplossing zorg die toegankelijk is voor al diegenen die de betreffende zorg behoeven (ongeacht persoonlijke kenmerken van de zorgvrager zoals geslacht, leeftijd, etniciteit, geografische locatie of sociaaleconomische status)?
Evaluatieformulier voor de oproep demonstratieprojecten – 2013
4
Goed
Zeer Goed
Onvoldoend eVoldoende
Evaluatieformulier voor de oproep demonstratieprojecten – 2013
5
Einddoel van deze evaluatie: Het selecteren van economisch levensvatbare projecten die de kwaliteit van de zorg verbeteren.
Bijkomende opmerkingen
2. Kwaliteit van het onderzoek en de voorgestelde aanpak? 2.a
Zal de projectmethodiek de effecten van het beoogde initiatief goed aantonen?
-
Aanvraagformulier: Vraag 7
2.b
Wordt het onderzoek in lijn met de principes van Evidence Based Practice gevoerd?
-
-
Aanvraagformulier: Vraag 8
-
2.c
Is er sprake van een goed ontwikkelde kennisborging? Zullen de projectresultaten goed worden geborgd en achteraf kunnen worden verspreid?
-
-
-
Hebt u vertrouwen in de projectmethodiek, zoals uiteengezet in de aanvraag? Zijn de vooropgestelde onderzoeksvragen relevant in het aantonen van de criteria voor kwaliteitsvolle zorg of de toepasbaarheid van de oplossing? Blijkt uit de literatuur dat de oplossing leidt tot verlenging van leven of verbetering van levenskwaliteit, zelfredzaamheid en/of functionaliteit? Heeft de aanvrager hier onderzoek naar gedaan? Beschrijft de aanvrager hoe het onderzoek de principes van Evidence Based Practice na zal streven: M.a.w. zal het onderzoek op cijfermatige en gefundeerde wijze worden gevoerd en achteraf zelf evidence aanbrengen omtrent de geteste oplossing? Geeft de aanvrager aan welke Level of Evidence zal worden toegepast binnen het onderzoek? (Indien van toepassing) Level 1: 1 systematische review, meta-analyse of (gerandomiseerde) gecontroleerde klinische studie(s) Level 2: cohort onderzoek, patiënt-controle onderzoek, dwarsdoorsnede (cross-sectioneel) onderzoek of casuïstiek (case series of case report) Level 3: kwalitatief onderzoek (focusgroepen, interviews, observaties) Level 4: 1. mening van deskundigen (cliënten, professionals, ervaringsdeskundigen), gebaseerd op eigen ervaring, beschrijvende studies of rapporten van expertcomités; 2. ‘algemeen aanvaard’ handelen op basis van positieve ervaringen van gebruikers, professionals en ervaringsdeskundigen of een achterliggende theoretisch logische, effectieve gedachte. Is er een testgroep en een controlegroep gedefinieerd? Beschrijft de aanvrager hoe de verworven kennis afdoende zal worden vastgelegd? (bvb. in een paper, presentatie, handleidingen,…) Heeft ten minste één van de partners de juiste kennis en liefst ook ervaring om het onderzoek en de onderzoeksresultaten systematisch en goed te documenteren? Is het duidelijk hoe het finale onderzoeksrapport zal worden opgesteld?
Aanvraagformulier: Vraag 7,8,12
2.d
Is het samenwerkingsverband goed gestructureerd en dekt het alle nodige competenties af? Is het in staat om een voldoende grote en kwalitatieve testpopulatie samen te stellen, het onderzoek te
-
Beschrijft de aanvrager op realistische manier hoe de verschillende partners een complementair projectteam vormen, zodat er een bekwame en duidelijk aangeduide verantwoordelijke is voor: Het samenstellen van de testgroep(en) Het voeren en documenteren van testresultaten Het verwerken en objectiveren van de gegevens Het uitvoeren van de zorg en begeleiden van de gebruikers en/of patiënten Het bewaken van de kwaliteit
Goed
Zeer Goed
voeren en te borgen en het project afdoende te beheren?
-
Aanvraagformulier: Vraag 7
-
Onvoldoend eVoldoende
Evaluatieformulier voor de oproep demonstratieprojecten – 2013
6
Einddoel van deze evaluatie: Het selecteren van economisch levensvatbare projecten die de kwaliteit van de zorg verbeteren.
Bijkomende opmerkingen
Andere kritische rollen Wordt een projectleider aangeduid? Heeft deze persoon ervaring in het leiden van soortgelijke projecten of gelijkwaardige kennis? Wordt beschreven hoe de testgroep zal worden bereikt? Is de beschreven testgroep omvangrijk genoeg? Hebben de partners ervaring of kennis met betrekking tot het beheren van een testpopulatie? Zal professioneel worden omgesprongen met de testgroep en de gegenereerde gegevens, lijkt de privacy gewaarborgd?
Zeer Goed
Goed
Bijkomende opmerkingen
Onvoldoende Voldoende
Einddoel van deze evaluatie: Het selecteren van economisch levensvatbare projecten die de kwaliteit van de zorg verbeteren.
3. Is het project economisch levensvatbaar? 3.a
3.b
Biedt de technologie of de oplossing een duidelijke, geloofwaardige en significante value proposition? Is het innovatief?
-
Aanvraagformulier: Vraag 12
-
Heeft de aanvrager al eens grondig nagedacht over de commercialisering of uitrol van de oplossing? Kan de aanvrager een duidelijk en geloofwaardig business model formuleren, of zal hij/zij dit kunnen na het project? De bedoeling is om beloftevolle zorginnovaties een laatste duwtje in de rug te geven. Achterliggende assumptie is dat er minder kans zal zijn op een succesvolle implementatie, als de aanvrager hier in deze fase nog niet heeft bij stilgestaan.
-
-
-
-
Biedt de oplossing werkelijk een waardevolle oplossing voor een specifiek probleem? Is deze waarde propositie duidelijk? Is deze oplossing aanzienlijk beter (op vlak van resultaten, gebruiksgemak, kostprijs,..) dan eventuele bestaande oplossingen voor dezelfde zorgnood? Is de oplossing vernieuwend, of innovatief? Is dit geen me too project? Welke nieuwe kennis en/of inzichten worden gecreëerd met dit project? Is de value proposition duidelijk en concreet? Wat is de impact van de oplossing op de doelgroep? Staat het business model al vast? Hoe zal de oplossing worden omgezet in een commercieel product of dienst? Is dit business model geloofwaardig en realistisch? (denk dan vooral aan de klanten die worden voorop gesteld, de leveranciers en het economische en technische ecosysteem waarbinnen de oplossing zal werken, enz.) Hoe zal de oplossing aan de man worden gebracht? Het business model geeft aan hoe de oplossing inkomsten zal genereren. Welke klanten worden hoe bediend? Waarvoor betalen de klanten? Het business model bepaalt samen met de value proposition mee het innovatieve karakter van het project. Let wel, het gaat hier niet om een gedetailleerd business plan! Enkel het concept wordt gevraagd. Een handig hulpmiddel om hierover na te denken en een model te formuleren is het Business Model Canvas, dat werd ontwikkeld door Alex Osterwalder. (http://www.businessmodelgeneration.com/canvas) Voorbeeld; De oplossing is een softwarepakket om een bepaalde patiëntengroep op te volgen na een behandeling. De vraag is dan: hoe gaat het inkomsten genereren? Wordt de software verkocht aan de patiënten? Aan de ziekenhuizen? Zal er geld worden verdiend door gerichte reclame te publiceren op de portaalwebsite van de oplossing? Wordt er een totaaloplossing aangeboden? En wie moet dan worden betrokken? Ziekenhuizen, ontwikkelaars, hardwareleveranciers, apothekers,…?
Aanvraagformulier: Vraag 11
-
-
Staat het business model nog niet vast? Wat zijn dan de mogelijkheden? Geeft de aanvrager aan dat er reeds opties werden of worden bestudeerd? Zal het demonstratieproject bijdragen tot een doorbraak bij het bepalen van het business model? Wordt hiermee rekening gehouden in het onderzoek?
Let wel: Het is ook mogelijk dat het project als doel heeft om een efficiëntieverhoging te onderzoeken en uit te testen binnen de organisatie van de zorgactor. Dit wordt ook beschouwd als een zorginnovatie. In dat geval zijn onderstaande vragen relevanter: -
-
Werd bestudeerd hoe en in welke mate de implementatie van de oplossing zal bijdragen tot de betere of meer efficiënte werking van de zorgverlener? Werd al eens een groffe en op assumpties gebaseerde business case opgesteld voor de oplossing? Zal de oplossing zeker worden geïmplementeerd als de testresultaten positief zijn? Werden hiervoor al afspraken gemaakt? Evaluatieformulier voor de oproep demonstratieprojecten – 2013
7
3.c
-
Kan de oplossing ook worden overgenomen door vergelijkbare zorginstellingen? Worden hiervoor de nodige maatregelen getroffen bij de implementatie?
Zal de aanvrager na het project beschikken over een goed team dat de uitrol in goede banen kan leiden?
-
Aanvraagformulier: Vraag 13
-
Is al vastgesteld wie de oplossing verder zal implementeren of commercialiseren? Zal dit gebeuren door één van de partners of door een nieuw op te richten entiteit? Heeft ten minste één van de partners de juiste ervaring en kennis in huis om deze implementatie te leiden? Beschrijft de aanvrager op een geloofwaardige manier hoe de verdere implementatie zal uitgevoerd worden na het demonstratieproject? Heeft de aanvrager rekening hierbij gehouden met een internationale vermarkting?
-
3.d
Heeft de aanvrager een realistisch plan om de oplossing te vermarkten of te implementeren na het demonstratieproject, of een duidelijke visie hoe hij tot dit plan zal komen? Geldt dit zowel binnen Vlaanderen als Internationaal?
-
-
-
Zeer Goed
Goed
Bijkomende opmerkingen
Onvoldoende Voldoende
Einddoel van deze evaluatie: Het selecteren van economisch levensvatbare projecten die de kwaliteit van de zorg verbeteren.
Heeft u vertrouwen in de manier waarop het project naar de markt zou gaan of hoe de oplossing zal worden geïmplementeerd binnen zorgactoren? Zijn de stappen die de aanvrager voorstelt concreet genoeg? Werd er al een implementatieplan voorbereid? Is het duidelijk dat de aanvrager heeft stilgestaan bij de implementatie na het demonstratieproject? Heeft de aanvrager rekening gehouden met een internationale vermarkting?
Aanvraagformulier: Vraag 13
3.e
Wordt waardevolle kennis gecreëerd en geborgen? Kan deze kennis worden beschermd door middel van intellectuele eigendomsrechten of andere methoden?
-
-
-
Zal het project intellectuele eigendomsrechten genereren en zal de aanvrager deze kunnen beschermen? Is een andere methode voorzien om het concept of de technologie te beschermen? Beschikt het samenwerkingsverband over de nodige expertise of voorziet het bijstand door experten om deze rechten te creëren en te borgen? Worden er goede afspraken gemaakt binnen de samenwerking omtrent intellectuele eigendom?
Aanvraagformulier: Vraag 12
3.f
Biedt de oplossing geloofwaardige mogelijkheden voor een internationale valorisatie?
-
Zou het voorgestelde business model ook kunnen worden toegepast buiten Vlaanderen of in het buitenland? Houdt de aanvrager hier rekening mee in zijn beschrijving van het business model? Beschikt het samenwerkingsverband al over contacten met kanalen of klanten buiten Vlaanderen of in het buitenland?
Aanvraagformulier: Vraag 11
3.g
Wordt aangegeven wie het businessplan zal opstellen? Aanvraagformulier: Vraag 13
-
Geeft het samenwerkingsverband aan dat aan het eind van het project een kwalitatief businessplan kan worden opgeleverd? Is het duidelijk wie dit zal doen en lijkt deze partij in staat dit te doen, gebaseerd op de huidige functie of achtergrond van de partij.
Evaluatieformulier voor de oproep demonstratieprojecten – 2013
8
Ondertekening Vul de onderstaande verklaring in. Ik verklaar dat ik dit evaluatieformulier naar waarheid, correct en volledig heb ingevuld. Tevens verklaar ik de vertrouwelijkheid van de dossiers volgens de deontologische code van de Vlaamse Overheid te bewaren en enkel te communiceren binnen de betrokken administraties.
datum
dag
maand
jaar
plaats naam van de indiener functie handtekening
Aan wie bezorgt u de aanvraag? De afgedrukte en ondertekende versie van het evaluatieformulier kan u op het onderstaand adres bezorgen: Coördinatie Flanders’ Care Departement Welzijn, Volksgezondheid en Gezin Koning Albert II-laan 35 bus 30 1030 Brussel
[email protected] De elektronische versie kan worden gestuurd naar:
[email protected]
Evaluatieformulier voor de oproep demonstratieprojecten – 2013
9