Wetenschappelijk artikel

UNIVERSITEIT GENT FACULTEIT POLITIEKE EN SOCIALE WETENSCHAPPEN

The wisdom of the judges: een comparatief onderzoek tussen in-house en crowdsourced selectieprocedures bij idea competitions.

Wetenschappelijk artikel aantal woorden: 9972

BASTIAAN BACCARNE

MASTERPROEF COMMUNICATIEWETENSCHAPPEN afstudeerrichting NIEUWE MEDIA & MAATSCHAPPIJ

PROMOTOR: PROF. DR. LIEVEN DE MAREZ COMMISSARIS: KAREL VERBRUGGE COMMISSARIS: DIMITRI SCHUURMAN

ACADEMIEJAAR 2011 - 2012

Inzagerecht in de masterproef (*)

Ondergetekende,Bastiaan Baccarne geeft hierbij toelating / geen toelating (**) aan derden, nietbehorend tot de examencommissie, om zijn/haar (**) proefschrift in te zien.

Datum en handtekening 01/04/2012

Deze toelating geeft aan derden tevens het recht om delen uit de scriptie/ masterproef te reproduceren of te citeren, uiteraard mits correcte bronvermelding. ----------------------------------------------------------------------------------(*) Deze ondertekende toelating wordt in zoveel exemplaren opgemaakt als het aantal exemplaren van de scriptie/masterproef die moet worden ingediend. Het blad moet ingebonden worden samen met de scriptie onmiddellijk na de kaft. (**) schrappen wat niet past

________________________________________________________________________________________

ABSTRACT

Innovations are less and less created top-down. Due to the enormous speed at which innovations come to the market and the big amount of failing innovations there is a growing need for active end-user participation in the idea generation and the further development of the ideas. One of the methods to involve end-users is crowdsourcing. A common task that is outsourced to the crowd is the generation of ideas. Previous research showed crowdsourced idea generations produces ideas which are more innovative and have more added value for the end-user compared to ideas generated by an internal team of professionals. Crowdsourced ideas even seem to generate more profit. But what if the crowd is also asked to evaluate these ideas and select which ideas should be further developed? What would be the characteristics of such a selection compared to a selection made by an internal team of professionals? By comparing the idea selection by professionals in the project “Mijn digitaal idee voor Gent” with the crowdsourced selection, this research contributes to the academic knowledge concerning this topic. The comparison in this research is based on the quality dimensions innovativeness, added value for the end-user and feasibility. The results show that the ideas in the selection by the crowd have more added value for the end-user. Concerning the quality dimensions innovativeness and feasibility there seems to be no significant difference. Crowdsourced evaluation and selection procedures apparently have certain advantages. Using the crowd to select and evaluate ideas can save costly labour and development costs and shows which ideas have the most added value for the end-user. What’s more, according to this research, a crowdsourced selection doesn’t seem to select ideas which are less feasible nor less innovative compared to ideas selected by professionals.

2

1. Inleiding De economische, maatschappelijke en technologische omgeving waarin we vandaag leven verandert razendsnel. Dit zorgt ervoor dat bedrijven en organisaties worden uitgedaagd. De consumenten worden mondiger, nieuwe media en ICT toepassingen worden bijna dagelijks op de markt gebracht, nieuwe markten ontstaan, gezinsuitgaven worden anders verdeeld, ... Om een antwoord te kunnen bieden op deze uitdagingen is het als organisatie belangrijk om niet bij de pakken te blijven zitten. Innovatie komt dan ook steeds centraler te staan in de strategische planning van organisaties. Deze veranderingen vinden zo snel plaats dat de druk om snel en succesvol te innoveren enorm vergroot is (Chen, Reilly, & Lynn, 2012; Kessler & Chakrabarti, 1996). Het ontwikkelingsproces van de innovatie moet zo kort mogelijk zijn en is het belangrijk om innovatieve producten of diensten op de markt te brengen die niet floppen (Bonabeau, 2009). Traditionele innovatieprocessen vetrekken vanuit het geloof dat een innovatie best top-down wordt ontwikkeld. In dat geval worden innovaties ontwikkeld door de interne R&D afdeling, ontwerpers en de marketing afdeling. De gebruiker heeft volgens deze stroming immers weinig of geen expertise inzake de technische mogelijkheden, noch inzake de marktsituatie en denkt bovendien vaak te beperkt (Leonard & Rayport, 1997; Schulze & Hoegl, 2008). Of zoals Henri Ford zou gezegd hebben “If I'd asked my customers what they wanted, they'd have said a faster horse”. Marktonderzoek gaat eventueel wel polsen naar de noden of problemen die gebruikers hebben, maar het is een intern team dat hier vervolgens creatieve oplossingen voor gaat zoeken (Griffin & Hauser, 1993). Zo heeft een organisatie bovendien veel meer controle over de intellectuele eigendomsrechten en passen de ideeën beter binnen de strategische plannen (Poetz & Schreier, 2010). Deze klassieke aanpak heeft echter bepaalde beperkingen. Katila & Ahuja (2002) toonden bijvoorbeeld aan dat het steeds intern genereren van nieuwe ideeën na een tijdje minder en minder succesvolle ideeën oplevert. Er is dan ook steeds meer aandacht (zowel in wetenschappelijk onderzoek als in de praktijk) voor een grotere participatie van de eindgebruikers. Deze “open innovatie” stroming gelooft dat ook de gebruikers relevant kunnen bijdragen aan het ontwikkelingsproces en betrekt hen dan ook actief bij het bedenken en ontwikkelen van creatieve oplossingen voor hun problemen en noden (Matthing, Sanden, & Edvardsson, 2004; Von Hippel, 1994). Zo wordt getracht producten of diensten te ontwikkelen die dichter bij de markt staan, producten die eerder “demand driven” zijn dan “market push”. Inspraak van, en samenwerking met de gebruikers, wordt door nieuwe ICT toepassingen bovendien een stuk gemakkelijker. Het internet en de web 2.0 applicaties in het bijzonder maken het mogelijk dat er kan worden nagedacht en samengewerkt “in het collectieve” (Bonabeau, 2009). Open source projecten als Linux, Wikipedia en de Mozilla software bewezen reeds dat gebruikers sterk innovatieve producten kunnen ontwikkelen zonder de hulp van professionele organisaties (Lakhani & von Hippel, 2003; von Hippel, 2001). Leimeister (2009) maakt een onderscheid tussen 3 stromingen binnen deze open innovatie beweging. Enerzijds is er de “lead-user methode” (Von Hippel, 1986). Deze methode gaat vooraf op zoek naar personen die sterk innovatieve eigenschappen vertonen bij het gebruik van een bepaald product of een bepaalde dienst. Deze lead-users gaan vervolgens samenwerken met de interne R&D afdeling om zo tot een 3

innovatie te komen. Een tweede stroming omvat de “toolkits for user innovation” (Ebner, Leimeister, & Krcmar, 2009) of “internet toolkits” (Franke & Piller, 2004). Dit zijn online applicaties en toolkits zoals SDK’s (Software development kits) die eindgebruikers stimuleren om zelf nieuwe ideeën of producten te bedenken. Op die manier wil men de gebruikers stimuleren zelf nieuwe producten en diensten te gaan ontwikkelen. Als derde stroming onderscheidt Leimeister “idea competitions” (Ebner et al., 2009; Piller & Walcher, 2006). Bij idea competitions vaardigt een organisatie een online uitdaging uit waarop iedereen kan antwoorden met ideeën of oplossingen. Vervolgens wordt een selectie gemaakt van de beste ideeën en worden de bedenkers hiervan vaak beloond. Dit onderzoek spitst zich toe op deze laatste stroming. Een andere concept binnen open innovatie is crowdsourcing. Crowdsourcing besteedt bepaalde taken, die voorheen door professionals werden uitgevoerd, uit aan grote groep gebruikers die deze op vrijwillige basis mee helpen uitvoeren.

Ondanks een steeds grotere belangstelling voor user involvement bij innovatieprocessen is er nog maar weinig comparatief onderzoek gevoerd naar de verschillen tussen klassieke innovatiemethoden en methoden waarbij de eindgebruikers worden betrokken wat betreft crowdsourcing en idea competitions. Voorgaand onderzoek toonde aan dat het bedenken van nieuwe ideeën door middel van crowdsourcing andere resultaten oplevert dan deze van een interne R&D afdeling. De ideeën die door middel van crowdsourcing tot stand kwamen blijken innovatiever te zijn (Kristensson, Gustafsson, & Archer, 2004; Poetz & Schreier, 2010), beter bij de noden van de gebruikers te passen (Poetz & Schreier, 2010) en zelfs meer winst op te leveren (Ogawa & Piller, 2006). Er is dus een empirische indicatie dat crowdsourcing wel degelijk voordelen heeft (Blohm, Bretschneider, Leimeister, & Krcmar, 2010). Deze masterproef focust zich op de fase na de idea competition. Heeft het inschakelen van de de gebruikers ook voordelen wanneer de beoordeling van de ideeën aan hen wordt overgelaten? Gaat de sterkte van crowdsourcing misschien verloren doordat de selectieprocedure finaal toch gebeurt door interne teams? Kiest de organisatie in dat geval eerder voor producten of diensten die minder innovatief zijn doordat men terugvalt op zaken waar men meer zekerheid over heeft? Op zoek naar een antwoord op deze vragen wordt in deze masterproef het verschil onderzocht tussen de eigenschappen van een selectie door de gebruikers en een selectie door interne professionals. Er wordt nagegaan of deze selecties verschillen op vlak van innovativiteit, meerwaarde voor de gebruiker en uitvoerbaarheid. Open innovatie Een van de theoretische uitgangspunten van open innovatie is het werk van James Surowiecki (2005) en eerder onderzoek van Francis Galton (1907). Surowiecki stond ervan versteld dat een groep individuen erin slaagde getrainde probleemoplossers te overtreffen in het vinden van oplossingen voor problemen van een soms zeer geavanceerde aard. Zijn bevindingen toonden aan dat een groep, in de juiste omstandigheden, slimmer kan zijn dan zijn slimste lid. Of het nu het raden van een gewicht betrof of zelfs het voorspellen van de toekomst. Dit fenomeen werd “the wisdom of crowds” gedoopt.

4

“After all, think about what happens if you ask a hundred people to run a 100-meter race, and then average their times. The average time will not be better than the time of the fastest runners. It will be worse. It will be a mediocre time. But ask a hundred people to answer a question or solve a problem, and the average answer will often be at least as good as the answer of the smartest member. With most things, the average is mediocrity. With decision making, it’s often excellence. You could say it’s as if we’ve been programmed to be collectively smart.“ (Surowiecki, 2004, p. 11) The wisdom of crowds moet echter aan bepaalde voorwaarden voldoen. Elk individu moet onafhankelijk van elkaar een antwoord kunnen formuleren zonder het antwoord van de anderen te kennen. Zo vertrekt elke deelnemer enkel en alleen vanuit de kennis die hij of zij op dat moment heeft (er is op dat moment sprake van gedecentraliseerde informatie) (Surowiecki, 2004). Wanneer er sociale interactie plaatsvindt, worden de resultaten vertekend door sociale processen. Dit haalt de algemene intelligentie van de groep naar beneden (Lorenz, Rauhut, Schweitzer, & Helbing, 2011). In een wereld waarin alles en iedereen met elkaar verbonden is, is het echter niet zo evident om vanuit gedecentraliseerde kennis problemen op te lossen. Internet en nieuwe ICT ontwikkelingen vormen in die zin een bedreiging voor de wisdom of crowds. Verder moet de groep probleemoplossers voldoende divers zijn en moet er een doordacht mechanisme zijn om de individuele ideeën te transformeren tot een collectieve beslissing (Surowiecki, 2004). Ondanks de veelvuldige verwijzingen naar the wisdom of crowds in de literatuur rond open innovatie is dit principe dus niet altijd toepasbaar. Bovendien is dit fenomeen enkel bewezen voor objectieve, meetbare informatie waar men een gemiddelde van kan nemen. Dit ligt enigszins anders bij het bedenken van innovatieve ideeën. Een concept dat beter past in deze context is Pierre Lévy’s “collectieve intelligentie” (Lévy, 1994; Murugesan, 2007). Collectieve intelligentie duidt op de intelligente beslissingen die worden genomen wanneer individuen en organisaties met verschillende achtergronden hun individuele kennis net wel gaan samenbrengen. Door sociale interactie wordt individuele kennis gedeeld, gecorrigeerd, ontsloten, verwerkt, verrijkt en geëvalueerd. Op die manier komt men tot resultaten die beter zijn dan de resultaten die door een enkel individu worden bekomen (Noubel, 2004). In de genetwerkte maatschappij waarin we vandaag leven (Castells, 2011) is het concept collectieve intelligentie meer dan ooit van toepassing. Web 2.0 toepassingen openen ongekende mogelijkheden om de collectieve intelligentie naar een hoger niveau te tillen (Hoegg, Martignoni, Meckel, & Stanoevska-Slabeva, 2006). Een mooie illustratie hiervan is bijvoorbeeld Wikipedia. Open innovatie baseert zich voornamelijk op deze principes voor het ontwikkelen van innovaties. De ontwikkeling van de innovatie, die vroeger voornamelijk intern gebeurde, wordt nu meer en meer uitbesteed aan de gebruikers zelf. Er wordt niet alleen op zoek gegaan naar de noden van de gebruikers, maar er wordt ook samen met hen naar concrete oplossingen gezocht. Door gebruikers reeds te betrekken in een vroeg stadium van het ontwikkelingsproces wordt gehoopt tot innovaties te komen die zeer dicht aansluiten bij de markt (Enkel, Perez Freije, & Gassmann, 2005). Open innovatie gaat dus veel verder dan klassiek marktonderzoek op basis van focusgroepen en consumentensurvey’s (Bonabeau, 2009).

5

De concrete implementatie van open innovatie is echter niet altijd even makkelijk te verzoenen met een vaak gesloten bedrijfscultuur. De druk om te innoveren is het hoogst in sterk competitieve markten. Het is echter in deze sterke competitieve omgeving dat het meest wordt gevreesd dat iemand anders met de ideeën gaat lopen. Bezorgdheden inzake intellectueel eigendom van ideeën die gegenereerd zijn in samenwerking met de eindgebruikers zijn niet steeds onterecht. Concrete voorbeelden van bedrijven die de open innovatie methode ten volle omarmden zijn onder meer Innocentive1, Ideawicket 2, Treadless3, iStockPhoto 4, The goldcorp challenge5 en Fellowforce 6. Crowdsourcing Een specifieke manier om aan open innovatie te doen is door middel van crowdsourcing. De term crowdsourcing werd voor het eerst gebruikt door Jeff Howe (2006) in Wired Magzine. Zijn artikel “the rise of crowdsourcing” verbindt “outsourcen”, de term die binnen bedrijven wordt gebruikt om iets uit te besteden aan derden, met de “wisdom of crowds” van Surowiecki en collectieve intelligentie van Lévy. Hij beschrijft crowdsourcing als een fenomeen waarbij alledaagse mensen hun vrije tijd gebruiken om problemen mee te helpen oplossen. De crowd wordt door hem omschreven als een grote en ongekende groep mensen. Via een online crowdsourcingplatform gaan bedrijven door middel van een open vraag op zoek naar creatieve antwoorden op deze vraag bij een breed, divers en verspreid netwerk van individuen. Crowdsourcing baseert zich in tegenstelling tot de lead-user methode op een systeem van zelfselectie (Piller & Walcher, 2006). Crowdsourcing mag niet worden verward met open source. Bij open source wordt samengewerkt aan een gemeenschappelijk project zonder commerciële doeleinden. Dit is helemaal niet het geval bij crowdsourcing. “The design team, as enlarged and diverse as it has become, is nothing like the crowd. Where design teams and other group collaborations rely on collections of experts, the wise crowd insists on the presence of non-experts, on the presence of amateurs. Crowdsourcing, a distributed problem-solving model, is not, however, open-source practice. Problems solved and products designed by the crowd become the property of companies, who turn large profits off from this crowd labor. And the crowd knows this going in. And the Frankfurt boys roll in their graves.” (Brabham, 2008, p. 76) Deze opmerking analyseert crowdsourcing op een kritische manier. Bij crowdsourcing worden de individuen die de creatieve arbeid leveren immers niet of nauwelijks betaald. De bedrijven die het initiatief namen daarentegen worden eigenaar van de intellectuele eigendomsrechten en gaan deze ideeën gebruiken om een maximale winst te genereren. Op die manier kunnen bedrijven of organisaties flink besparen op de kosten

1

http://www.innocentive.com/ http://www.ideawicket.com/ 3 http://www.threadless.com/ 4 http://www.istockphoto.com/ 5 http://www.ideaconnection.com/open-innovatie-success/Open-Innovatie-Goldcorp-Challenge-00031.html 6 http://www.fellowforce.com/ 2

6

van een innovatietraject. Maar een kritische bemerking die hierbij kan worden gemaakt is of deze tendens niet tot een nieuwe vorm van uitbuiting leidt waarbij de kloof tussen de winst die de organisatie opstrijkt en de opbrengst voor de bedenkers van de innovaties onverantwoord groot is (Brabham, 2008)? Crowdsourcing is ook voor de organisatoren niet zonder gevaren. Wanneer een bedrijf de crowdsourcing slecht aanpakt, een slechte naam heeft of slecht omgaat met the crowd kan deze crowd zich ook tegen de initiatiefnemer keren. Dit fenomeen wordt “crowdslapping” genoemd (Brabham, 2008). Bovendien loopt een bedrijf of organisatie steeds het risico dat iemand anders met de ideeën gaat lopen. De term crowdsourcing dekt een brede lading. Geiger, et al. (2011) onderzochten verschillende crowdsource initiatieven en stelden op basis hiervan een taxonomie van methoden op. Een eerste manier waarop aan crowdsourcing kan worden gedaan is “integrative sourcing without remuneration” waarbij gratis usergenerated content centraal staat. Onder deze vorm van crowdsourcing vallen onder meer wiki’s, user generated content, reacties en tagging door gebruikers. Een tweede vorm van crowdsourcing is “selective sourcing without crowd assessment”. Dit zijn de idea competions waarbij ideeën worden ingezonden, maar niet zichtbaar zijn voor de andere gebruikers, en er een prijs wordt uitgereikt aan een of meerdere winnende ideeën. Voorbeelden hiervan zijn Innocentive7 en het Belgische Brainspot 8. Wanneer de ingezonden ideeën wel zichtbaar zijn voor de andere gebruikers en men elkaars ideeën kan beoordelen is er sprake van “Selective sourcing with crowd assessment”. “Mijn digitaal idee voor Gent”, de case die in dit onderzoek wordt bestudeerd, valt onder deze categorie. Websites zoals Treadless9 waarop de inzendingen (designs, foto’s, ...) van de gebruikers worden verkocht vallen onder de noemer “Integrative sourcing with successbased remuneration”. De zogeheten micro-tasks, ten slotte, maken gebruik van“Integrative sourcing with fixed remuneration”. Bij micro-tasks gaat men niet enkel creatieve taken, maar ook zeer praktische kleine taken uitbesteden aan de crowd. Het voorbeeld bij uitstek is Amazon’s mechanical turk 10. Het gaat hierbij om een soort van freelancing op micro-niveau. Idea competitions Deze masterproef focust specifiek op idee-generatie en idee-selectie door de crowd. Dit gebeurt meestal door middel van idea competitions. De klassieke vorm van een idea competition is dat er een bepaalde uitdaging (vaak challenge geheten) wordt uitgevaardigd door een organisatie. Vervolgens verloopt er een vooraf vastgelegde termijn (gemiddeld 4 tot 26 weken) waarbinnen men een oplossing of idee kan insturen. Idea competitions vinden voornamelijk online plaats waardoor de inspanning voor zowel organisator als deelnemer relatief laag is. De kosten zijn eveneens relatief laag en de toegankelijkheid is groot voor beide partijen. De rechten van het idee worden vrijwel altijd afgestaan aan de organiserende partij en voor hun eigen profijt gebruikt. Deze inzendingen zijn niet zichtbaar voor de andere gebruikers en worden geëvalueerd door een jury van professionals. Vaak worden er een of meerdere winnaars geselecteerd. In de meeste gevallen krijgen de winnende ideeën een financiële beloning of credits op het crowdsourceplatform. 7

www.innocentive.com/ www.brainspot.biz/ 9 www.threadless.com/  10 www.mturk.com 8

7

Door het competitie element wordt gehoopt dat men harder zijn best zal doen en met een winning-idea op de proppen zal willen komen dat zo uniek mogelijk is (Ebner et al., 2009; Howe, 2006; Leimeister et al., 2009). Een andere vorm, die door Geiger, et al. (2011) “Selective sourcing with crowd assessment” wordt genoemd laat toe dat de gebruikers elkaars ideeën wel kunnen zien. In dit geval kan commentaar worden gegeven op ideeën, kan er in interactie worden gegaan en kunnen ideeën worden beoordeeld door de gebruikers zelf. De grote hoeveelheid ideeën die op die manier worden gegenereerd, moet ook worden verwerkt en geëvalueerd. Dit is een zeer arbeidsintensief proces waardoor het interessant kan zijn te weten wat de specifieke eigenschappen zijn van een selectie die wordt overgelaten aan de crowd. Een competitief model vergroot de stimulus om een zo innovatief mogelijk idee in te zenden, maar daardoor wordt samenwerking tussen verschillende gebruikers meestal onmogelijk. Dit is ten voordele van Surowiecki’s wisdom of crowds, maar laat echter geen collectieve intelligentie toe (Krieger & Wang, 2010; Paulus & Yang, 2000). Een andere uitdaging voor de organisators van crowdsourcing is om de motivatie bij de deelnemers hoog genoeg te houden. Sommige uitdagingen vergen immers heel wat tijd en inspanning van de deelnemers (Ahonen & Lietsala, 2007). In sterk concurrentiële marktsituaties is het bovendien vaak moeilijk om de gesloten bedrijfscultuur te combineren met een zeer open innovatiestrategie. Om een challenge uit te vaardigen moet immers informatie over het bedrijf worden blootgegeven wil men nuttige inzendingen krijgen. Wanneer er daarenboven sprake is van een feedbacksysteem bij de community moet een bedrijf nog meer informatie vrijgeven en worden de ingezonden ideeën bovendien beschikbaar voor de concurrentie. Besluitvorming door de crowd Een van de redenen waarom crowdsourcing een populaire innovatiemethode is, is omdat het de zwaktes van interne innovatiediensten opheft. Interne innovatiediensten hebben immers een bepaalde vooringenomenheid die het moeilijk maakt om disruptief te innoveren. Vaak blijft men hangen in een soort gewoonte doordat men binnen de bestaande structuren en mogelijkheden denkt. Bovendien moet men zichzelf minder bewijzen (doordat er geen competitie-element is). Daardoor kan men veel moeilijker outside the box denken (Bonabeau, 2009; Katila & Ahuja, 2002). Crowdsourcing kan hier deels een oplossing voor vormen, maar moet dan wel goed aangepakt worden. Gebruikers hebben immers ook de neiging om binnen hun gekende denkkader na te denken. Er moet dan ook goed worden nagedacht over de gebruikte methoden en incentives. Bonabeau (2009) stelt dat er bij het nemen van beslissingen door de crowd 3 zaken in beschouwing moeten worden genomen. Ten eerste moet de samenstelling van de crowdsourced jury zo divers mogelijk zijn. Hoe diverser, zowel socio-economisch als qua expertise, de crowd is, hoe beter het resultaat zal zijn. Ook het aantal juryleden moet groot genoeg zijn. Hierbij kan de analogie worden gemaakt met de wet van Linus uit de open source beweging: “With enough eyeballs the bugs are shallow.” (Raymond, 1999). Ten tweede moet men streven naar een doordacht systeem dat zorgt voor de additieve aggregatie van de verschillende meningen. Ten slotte moet, indien mogelijk, gestreefd worden naar een vorm van zelf-organisatie. Hierbij verwijst Bonabeau naar de organisatie van bv. Wikipedia en de manier waarop dit medium er, door een intern systeem van controle, toevoeging en waardering, voor zorgt dat het geheel meer is dan de som van de delen. De manier waarop het mechanisme is georganiseerd is dus cruciaal voor het falen of succes van het project.

8

Vragen als “Moeten alle participanten een gelijke stem hebben?”, “Wat zijn de interactiemogelijkheden?”, “Wat is zichtbaar voor wie?” ... verdienen de nodige aandacht want zij maken of kraken het project. Voorgaand comparatief onderzoek: crowdsourcing heeft bepaalde voordelen Er werd nog maar relatief weinig comparatief onderzoek gevoerd naar de verschillen tussen crowdsourcing en taken die worden uitgevoerd door professionals. Bestaand voorgaand comparatief onderzoek toonde aan dat er wel degelijk voordelen zijn verbonden aan crowdsourcing. Poetz & Schreier (2012) onderzochten of er een verschil was tussen de ideeën die gegenereerd worden door gebruikers (in de vorm van een idea contest) en de ideeën die uit een brainstorm van een interne R&D afdeling afkomstig zijn. Het betrof in deze studie ideeën inzake nieuwe producten voor babyvoeding. De ideeën werden blind geëvalueerd door het hoofd van de R&D afdeling en de CEO van het bedrijf. Uit de resultaten bleek dat de ideeën van de professionals lager scoorden qua innovativiteit en minder meerwaarde boden voor de gebruiker, maar hun ideeën waren wel gemakkelijker uitvoerbaar. Dit laatste is waarschijnlijk te wijten aan het feit dat de professionals, wat productieprocessen betreft, een grondigere kennis hebben. Er werd bovendien een algemene kwaliteitsindex berekend en ook hierop scoorden de ideeën van de crowd significant hoger. Ander comparatief onderzoek (Kristensson et al., 2004) vergeleek de prestaties van studenten met die van professionals inzake het bedenken van nieuwe GSM diensten. Studenten bleken ook hier innovatievere ideeën te hebben. Kristensson, et al. weten dit aan het feit dat professionals te veel vasthielden aan wat technisch mogelijk was. Ogawa & Piller (2006), ten slotte, toonden aan dat ideeën bedacht door gebruikers bovendien commercieel succesvoller kunnen zijn dan intern gegenereerde ideeën. Deze onderzoeksresultaten vormen een sterke indicatie dat gebruikers, naast het definiëren van noden en problemen, ook sterker kunnen zijn in het vinden van oplossingen dan professionals. Dit onderzoek neemt deze bevindingen mee naar de volgende stap in het innovatieproces: de selectieprocedure. Niet alle ideeën kunnen immers worden ontwikkeld. Kunnen gebruikers hier ook hun meerwaarde tonen of niet? De klassieke literatuur zou argumenteren van niet. Gebruikers denken immers te weinig aan de haalbaarheid van ideeën (zowel technisch als economisch), zijn te weinig toekomstgericht, kennen de bedrijfsstrategie niet en er zou misschien zelfs vriendjespolitiek in het spel zijn. Aanhangers van open innovatie, daarentegen, zouden misschien enthousiaster zijn over de resultaten. Hoe dan ook is het interessant te weten wat nu precies de eigenschappen zijn van een selectie die wordt overgelaten aan de eindgebruikers. Dit laat toe om deze evaluatie naar waarde te schatten.

2. Methodologie Het project: mijn digitaal idee voor Gent Om deze onderzoeksvragen te kunnen beantwoorden bestudeert dit onderzoek de selectie van de ideeën die gegenereerd werden in het kader van het crowdsourcing initiatief “Mijn digitaal idee voor Gent”. Dit is een project waarbij de Stad Gent bij haar inwoners naging wat hun ideeën zijn inzake digitale innovaties voor de stad. Dit project beantwoordt aan de criteria die werden vooropgesteld voor dit onderzoek. Ten eerste moest het bedrijf of de organisatie de nood hebben om te innoveren. Als stad in een snel veranderende omgeving, op zowel technisch, economisch als maatschappelijk vlak, heeft Stad Gent zeker en vast deze behoefte. Het 9

diende uiteraard om een initiatief gaan waarbij crowdsourcing werd gebruikt als methode om inbreng van de gebruikers te verzamelen met als bedoeling ook effectief iets met deze verzamelde ideeën te gaan doen. Verder was het noodzakelijk dat de organisatie van dit initiatief de resultaten en het verwerkingsproces ervan openlijk willen delen. De crowd moest bovendien de mogelijkheid hebben om te stemmen op de ingezonden ideeën, maar de selectie van ideeën door interne professionals diende onafhankelijk gebeuren van deze gebruikersinput. Ten slotte was het noodzakelijk dat de organisatie groot genoeg is en bereid is om een onafhankelijke evaluatie van de ideeën uit beide selecties toe te laten door interne experts die voordien nog niet bij de idee-selectie waren betrokken. “Mijn digitaal idee voor Gent” werd georganiseerd door de Stad Gent (een stad in België) en het IBBT (Interdisciplinair Instituut voor Breedband Technologie, een onafhankelijke onderzoeksinstelling gesubsidieerd door de Vlaamse overheid, die innovatie in de ICT sector stimuleert en ondersteunt) en is onderdeel van het Europees project SMARTiP 11 (Smart Metropolitan Areas Realised Through Innovation & People) dat wordt gesubsidieerd door het CIP 12 (Competitiveness & Innovation) programma. SMARTiP is een project dat streeft naar het ontwikkelen van user-centric innovaties die moeten leiden tot “smart cities”. Hieronder wordt voornamelijk het ontwikkelen van nieuwe publieke diensten verstaan. Een belangrijke focus bij dit project ligt op het “empoweren” van de burger en op “smart engagement”. Naast het project in Gent lopen gelijkaardige initiatieven in Manchester (Engeland), Keulen (Duitsland), Oulu (Finland) en Bolonga (Italië). De bedoeling is dat deze steden onderling samenwerken om hun burgers meer inspraak te geven en door een actieve samenwerking met de burgers de stad van de toekomst vorm te geven. De projecten binnen SMARTiP focussen zich rond de thema’s “smart engagement”, “smart environment” en “smart mobility”. Idee-generatie Het initiatief “Mijn digitaal idee voor Gent” maakte gebruik van crowdsourcing als methode om de burgers van de stad actief te betrekken bij het beleid en om ideeën te sprokkelen omtrent digitale stadsinnovaties bij een grote groep gebruikers. Als online interactieplatform voor het project werd gekozen voor Uservoice 13. Dit is een platform waarop gebruikers op een gemakkelijke manier ideeën kunnen geven en opmerkingen kunnen geven op de ideeën van anderen. Zowel de ideeën als de opmerkingen kunnen beoordeeld worden door middel van “votes”. Per IP-adres kan men maximaal 3 stemmen uitdelen. Op die manier worden gebruikers verplicht na te denken over wat echt belangrijk is voor hen. Hoe meer stemmen een idee krijgt, hoe hoger het idee in de lijst komt te staan. De vraag die op dit platform werd gesteld aan de Gentenaars was “Hoe kan ICT het leven in Gent aangenamer maken?” Het project werd gelanceerd op 1 april 2011. De bekendmaking en promotie van het platform gebeurde via de wekelijkse persconferentie van de Stad Gent. Verder werd ook een mail verstuurd naar de Gentse studenten, werd het initiatief opgepikt door verschillende sociale netwerksites (Facebook, Twitter en LinkedIn) en verscheen het op enkele blogs. Het resultaat was dat ongeveer 5.500 mensen de website bezochten en 1410 mensen zich registreerden (wat een voorwaarde was

http://www.smart-ip.eu/ http://ec.europa.eu/cip/ 13 http://www.uservoice.com/ 11 12

10

om te kunnen stemmen, commentaar te kunnen geven en ideeën in te kunnen zenden). Als incentive werd onder de deelnemers een iPad 2 verloot. Belangrijk hierbij is dat de verloting van de prijs volledig willekeurig was en niet werd bepaald door het aantal stemmen dat een idee had gekregen. Doordat de inzendingen zichtbaar waren voor de anderen en men met elkaar in interactie kon gaan maakte dit platform dus gebruik van collectieve intelligentie zoals werd bedoeld door Lévy (1994). De respondenten namen op basis van zelfselectie deel aan dit initiatief. De klassieke media gaf het initiatief niet echt veel aandacht, maar de link werd wel verspreid via sociale media en blogs. Hierdoor kan worden verwacht dat deelnemers niet volledig willekeurig en representatief waren voor de Gentse bevolking. Doordat de incentive om deel te nemen ook zeer technologisch van aard was wordt dit hoogstwaarschijnlijk nog versterkt. Gezien het thema van de vraag die aan de bevolking werd gesteld is dit echter minder problematisch. Het crowdsourcinginitiatief wilde immers voornamelijk bij deze doelgroep polsen naar hun ideeën. Het project leverde een totaal van 128 ideeën op. Idee-selectie Professionals. Deze 128 ideeën werden door de professionals geëvalueerd door middel van een evaluatieformulier dat werd ingevuld door afgevaardigden van de verschillende stakeholders. Als methodiek hiervoor werd voor de COCD box14 gekozen. Deze methode vraagt de evaluatoren de ideeën in te delen naargelang hun haalbaarheid en hun originaliteit. Op basis hiervan krijgen de ideeën het label “NOW” (een realiseerbaar, maar niet zo origineel idee), “HOW” (het idee is nog niet realiseerbaar op dit moment, maar wel zeer origineel) en “WOW” (een realiseerbaar en origineel idee). De evaluatoren deden deze analyse onafhankelijk van de stemming door de crowd op het Uservoice platform. Op basis van de COCD-analyse werd een selectie gemaakt van een aantal ideeën waarmee binnen dit project werd verder gewerkt. The Crowd.

Doordat de selectie van de professionals onafhankelijk van de beoordeling door de crowd

gebeurde is dit project een uiterst geschikt project voor dit onderzoek. Op basis van het aantal stemmen van de gebruikers op het Uservoice platform werd voor dit onderzoek een tweede selectie gemaakt. Bij de eerste analyse van de ingezonden ideeën bleek dat verschillende ideeën meerdere malen voorkwamen. Om een goede analyse toe te laten werden identieke ideeën samengevoegd en de stemmen voor deze ideeën werden bij elkaar opgeteld. Deze analyse herleidde het aantal unieke ideeën van 128 naar 97. Het overzicht van deze 97 ideeën werd voorgelegd aan één van de projectcoördinatoren van “Mijn digitaal idee voor Gent” die aanduidde welke ideeën er door hen verder waren meegenomen in het SMARTiP project. De organisatoren selecteerden van deze 97 ideeën 30 ideeën. Om tot de top 30 van de crowd te komen moest worden gekozen op basis van welke variabele dit zou gebeuren. Het Uservoice platform geeft immers gegevens over zowel het totaal aantal stemmen dat een idee kreeg, het aantal unieke personen dat voor dit idee stemde als het gemiddeld aantal stemmen per persoon die op dit idee stemde. Dit onderzoek koos om de top 30 op te stellen aan de hand van het totaal aantal stemmen voor een idee. Wanneer iemand meerdere malen stemt op hetzelfde idee wil deze persoon immers meer gewicht toekennen aan dat idee. Er werden in het totaal 4800 stemmen uitgebracht. Door op basis van deze gegevens een tweede selectie op te stellen onderscheidt dit

14

http://www.cocd.org/nl/node/53

11

onderzoek twee selecties van 30 ideeën die onafhankelijk van elkaar tot stand zijn gekomen. Van de 97 oorspronkelijke ideeën bleken er 12 ideeën in beide selecties voor te komen. Bepaling van de kwaliteit van de ideeën Om te weten te komen of, en op welke dimensies, de selectie door de crowd kwalitatief verschilt met de selectie door professionals werd elk geselecteerd idee geëvalueerd op basis van 3 schalen door 4 experts. Er werd telkens door middel van een zevenpunten schaal gemeten in welke mate een idee innovatief is, het idee een voordeel voor de gebruiker biedt en in welke mate het idee uitvoerbaar is. De keuze voor deze variabelen berust op voorgaand onderzoek. Deze 3 kernvariabelen om de kwaliteit van ideeën te beoordelen werd onder meer gebruikt door Poetz & Schreier (2012), Amabile et al. (2005), Franke, von Hippel en Schreier (2006) en Moreau en Dahl (2005). Onder het begrip innovativiteit wordt verstaan: de mate waarin het idee nieuw is in vergelijking met andere producten of diensten die reeds bestaan in andere steden. “Voordeel voor de gebruikers” werd omschreven als de mate waarin dit idee tegemoetkomt aan de noden of problemen van Gentenaars of bezoekers van Gent en hen bijgevolg een bepaalde meerwaarde biedt. Wat betreft de uitvoerbaarheid werd de experts expliciet gevraagd om rekening te houden met zowel de technische, juridische, beleidsmatige, inhoudelijke als economische aspecten van het idee. Deze 3 kwaliteitsdimensies werden gemeten op een zevenpunten schaal waarbij score 1 stond voor “helemaal niet nieuw/helemaal geen voordeel/helemaal niet uitvoerbaar” en score 7 stond voor “heel nieuw/heel veel voordeel/zeer gemakkelijk uitvoerbaar”. De experts hadden ook de mogelijkheid om een vakje “met dit idee is het stadsbestuur niets” aan te vinken. Indien dit vakje werd ingevuld mochten de drie bovenstaande variabelen open worden gelaten voor dat idee. De keuze voor deze optie werd gemaakt naar aanleiding van een pre-test van het evaluatieformulier. Een van de evaluatiepunten van deze pre-test was dat er enkele ideeën tussen stonden waarmee het stadsbestuur mogelijk niet veel was. De evaluatie werd uitgevoerd door 4 experts inzake digitale stadsontwikkeling binnen het stadsbestuur: Bart Rosseau (coördinator-expert van de cel e-Strategie), Karl-Filip Coenegrachts (departementshoofd strategie en coördinatie), Annemie De Tremerie (adjunct van de directie, dienst economie - innovatie) en Ann Bernaert (business analist bij Digipolis, het ICT bedrijf van Stad Gent). Deze personen worden geacht expert te zijn in de sector, goed op de hoogte te zijn van digitale stadsinnovaties, een goede kennis te hebben omtrent de technische mogelijkheden en bijgevolg een goede beoordeling te kunnen maken van de verschillende kwaliteitsdimensies. Om de evaluatie zo objectief mogelijk te kunnen uitvoeren werden de ideeën uit beide selecties willekeurig door elkaar gehaald en werd hun oorsprong onbekend gemaakt. Doordat er 12 ideeën in beide selecties voorkwamen moesten de experts in het totaal 48 ideeën beoordelen. Om de experts zoveel mogelijk op dezelfde lijn te krijgen wat de inhoud van de concepten innovativiteit, voordeel voor de gebruiker en uitvoerbaarheid betreft werd er een uitgebreide beschrijving van deze concepten toegevoegd aan het evaluatieformulier en werd er een korte mondelinge toelichting gegeven. Dit is essentieel voor een goede, veralgemeenbare, evaluatie (Hayes & Krippendorff, 2007). De ideeën werden telkens voorzien van een passende titel waaronder de oorspronkelijke uitleg van de inzender van het idee te zien was. Om de vergelijking iets makkelijker te maken werden de ideeën in de mate van het mogelijke

12

thematisch gegroepeerd. Op het einde van het evaluatieformulier kregen de experts ten slotte de mogelijkheid om eventuele algemene opmerkingen te formuleren. Deze beoordeling is, doordat het moeilijk kwantificeerbare parameters betreft, niet gemakkelijk objectief te maken. Dit brengt de betrouwbaarheid en veralgemeenbaarheid van de evaluatie in het gevaar. Om na te gaan in welke mate de experts op dezelfde lijn zaten werd gebruik gemaakt van Krippendorf’s alpha. Dit is een rigoureuze betrouwbaarheidsindex die de overeenkomst tussen 2 of meer evaluatoren nagaat wanneer deze een reeks elementen moeten beoordelen op een schaal. Hoe meer hun oordeel gelijkaardig is, hoe groter deze index zal zijn en hoe groter de kans is dat dezelfde resultaten zullen worden bekomen door andere experts. Hoe groter dus de algemene generaliseerbaarheid van de resultaten zal zijn (Hayes & Krippendorff, 2007; Krippendorff, 2004; Poetz & Schreier, 2010). Om deze betrouwbaarheidsindex te berekenen werd gebruik gemaakt van een gratis beschikbare macro voor SPSS15 . De Krippendorf’s alpha waarden voor de dimensies innovativiteit, meerwaarde voor de gebruiker en uitvoerbaarheid zijn respectievelijk 0,025, 0,215 en 0,245. Deze waarden zijn aan de lage kant, wat te verklaren valt door de diversiteit aan invalshoeken bij de experts. De experts beoordeelden de ideeën immers elk vanuit hun specifieke achtergrond (communicatie, beleid, ICT en innovatie) wat de resultaten op alle drie de evaluatiedomeinen beïnvloedt. Bovendien betreft het thematisch zeer uiteenlopende ideeën en is het niet gemakkelijk om in te schatten in welke mate een nieuw product of een nieuwe dienst meerwaarde biedt voor een gebruiker (Amabile, Conti, Coon, Lazenby, & Herron, 1996; Kristensson et al., 2004). Uit deze cijfers blijkt dat de eensgezindheid omtrent de uitvoerbaarheid (KAPLHA = 0,245) van een idee en de meerwaarde dat een idee (KAPLHA = 0,215) biedt voor de gebruikers stukken groter is dan de eensgezindheid inzake de innovativiteit ervan (KALPHA = 0,025). Om de onderzoeksvragen van dit onderzoek te kunnen beantwoorden werd per idee voor elke dimensie het gemiddelde berekend van de scores van de 4 experts. Op die manier heeft elk idee per kwaliteitsdimensie slechts 1 score. Vergelijken van de twee selecties Een eerste manier om na te gaan of, en op welke dimensies de twee selecties van elkaar verschillen is door per dimensie de gemiddelde scores van de twee selecties met elkaar te vergelijken. Dit word onderzocht door middel van een t-toets. Om een t-toets mogen gebruiken moet de data echter normaal verdeeld zijn. Dit wordt getest door de Kolmogorov-Smirnov test. Indien niet aan de normaliteit is voldaan, wordt deze hypothese getoetst door middel van een Mann-Whitney test. De nulhypothese voor deze analyse is dat er geen verschil is tussen de gemiddelde scores van de twee selecties. Een andere manier om na te gaan of de selectie door de crowd en de selectie door de professionals van elkaar verschillen is door het aantal top-ideeën te vergelijken. Welk van de twee selecties selecteerde het meeste top-ideeën? Om dit na te gaan werd, analoog met het onderzoek van Poetz & Schreier (2012), per dimensie een nieuwe variabele aangemaakt die de waarde 1 kreeg indien voor dat idee de respectievelijke dimensie 15

http://www.afhayes.com/spss-sas-and-mplus-macros-and-code.html

13

een gemiddelde score hoger dan 4 haalde. De andere ideeën kregen de waarde 0 voor deze variabele. Vervolgens werd door middel van een Chi²-toets vergeleken of de ene selectie significant meer top-ideeën selecteerde dan de andere groep. Er werd op dezelfde manier een algemene variabele aangemaakt die de waarde 1 kreeg indien voor dat idee alle drie de dimensies hoger scoorden dan 4. Dit maakt een vergelijking mogelijk wat algemene top-ideeën betreft. Ten slotte werd onderzocht of de ene groep significant meer ideeën selecteerde die als “niet nuttig voor het stadsbestuur” werden gezien. Gezien de selectie door professionals gebeurde door interne mensen met kennis van zaken is de hypothese dat in die selectie geen enkel idee zal voorkomen dat niet bruikbaar is voor het stadsbestuur.

3. Resultaten In het algemeen kregen de 48 geëvalueerde ideeën geen bijzonder hoge score wat innovativiteit betreft (gemiddelde = 3,37 op een zevenpunten schaal). Dit resultaat wordt bevestigd in de commentaar van een van de experts: “Over het algemeen had ik geen WOW-gevoel bij de ideeën wat betreft het innovatief gehalte”. Een andere commentaar stelt: “Veel zaken hebben te maken met mijn werkterrein en lijken daarom voor mezelf niet meer zo innovatief”. Het crowdsourcing initiatief lijkt in dat opzicht gefaald te zijn in het genereren van echt innovatieve ideeën. De ideeën blijken in het algemeen echter wel vrij veel voordeel te bieden voor de gebruikers (gemiddelde = 5,52 op een zevenpunten schaal) en vrij goed uitvoerbaar te zijn (gemiddelde = 4,71 op een zevenpunten schaal). Wanneer wordt gekeken naar de correlaties tussen de kwaliteitsdimensies blijkt er een vrij sterk negatief lineair verband te zijn tussen de innovativiteit van een idee en de uitvoerbaarheid ervan (r = -0,66; p = 0,00). Dit ligt in lijn met de verwachtingen en hangt samen met het spanningsveld tussen kleine, snelle, makkelijk en vaak goedkoop te implementeren incrementele innovaties enerzijds en grote, moeilijke en vaak duurdere disruptieve innovaties anderzijds (Poetz & Schreier, 2010). Ten slotte blijkt er een positieve correlatie te bestaan tussen het aantal stemmen dat een idee kreeg van de gebruikers en de mate waarin het idee voordeel biedt voor de gebruiker (r = 0,34; p = 0,01). Waarschijnlijk werd een idee dus voornamelijk op basis van de geboden meerwaarde beoordeeld door de gebruikers en minder op basis van innovativiteit (r = -0,06; p = 0,65) en uitvoerbaarheid (r = -0,19; p = 0,16). De ideeën die veel stemmen kregen van de gebruikers leefden duidelijk ook het meest. Er is immers een zeer sterke correlatie (r = 0,97; p = 0,00) tussen het aantal stemmen dat een idee kreeg en het aantal commentaren bij dat idee. Om gebruik te mogen maken van de t-test moet eerst worden nagegaan of de data in elke groep normaal verdeeld is. Onderstaande tabel toont de resultaten van de Kolmogorov-Smirnov test die aantoont dat alle data normaal verdeeld is. Alle groepen hebben immers een p-waarde groter dan 0,05.

14

Tabel 1: Nagaan van de normaliteit van de data door middel van een Kolmogorov-Smirnov test selectie door de crowd

selectie door de professionals

(n = 30)

(n = 30)

innovativiteit

meerwaarde voor gebruikers

uitvoerbaarheid

innovativiteit

meerwaarde voor gebruikers

uitvoerbaarheid

KolmogorovSmirnov Z

0,50

0,78

0,67

0,93

0,90

0,83

p-waarde

0,96

0,58

0,76

0,36

0,39

0,49

Het vergelijken van de gemiddelde innovativiteitscores voor beide selecties door middel van een t-test toont aan dat er geen significant verschil blijkt te bestaan wat betreft de gemiddelde innovativiteit (t = 0,96; p = 0,34) van de ideeën in beide selecties. Ook wat betreft de gemiddelde uitvoerbaarheid van de ideeën kan geen significant verschil tussen de selectie door de crowd en de selectie door de professionals worden vastgesteld (t = -0,55; p = 0,58). Wat echter wel significant blijkt te verschillen is de mate waarin de selectie meerwaarde biedt voor de gebruiker. De ideeën uit de selectie van de crowd bieden significant meer meerwaarde voor de gebruikers dan de de ideeën uit selectie van de professionals (t = 2,28; p = 0,03). Dit bevestigt het vermoeden dat gebruikers de ideeën voornamelijk selecteren op basis van de geboden meerwaarde ervan. Tabel 2: Verschillen tussen de selectie van de crowd en de selectie van de professionals wat betreft innovativiteit, meerwaarde voor de gebruikers en uitvoerbaarheid. selectie door de crowd

selectie door de professionals

(n = 30)

(n = 30)

gemiddelde*

standaardafwijking

gemiddelde*

standaardafwijking

t-waarde**

p-waarde

innovativiteit

3,48

0,95

3,26

0,81

0,96

0,342

meerwaarde voor gebruikers

5,69

0,55

5,36

0,57

2,28

0,026

uitvoerbaarheid

4,64

1,09

4,78

0,85

-0,55

0,583

* Score op een zevenpunten schaal ** Aantal vrijheidsgraden = 58; varianties voor iedere t-test bij beide groepen gelijk

De crowd en de professionals selecteerden elk 30 ideeën uit een totaal van 97 ideeën. Slechts 12 van de 97 ideeën werden zowel door de crowd als door de professionals geselecteerd. Ondanks deze kleine overlapping blijkt de kwaliteit van de ideeën wat betreft innovativiteit en uitvoerbaarheid, zoals hierboven wordt aangetoond, echter niet echt te verschillen. Er kan enkel een verschil worden vastgesteld voor wat betreft de meerwaarde voor de gebruiker. Wanneer beide selecties worden vergeleken wat betreft het gemiddeld aantal stemmen dat een idee kreeg op het crowdsource platform scoort de selectie van de crowd uiteraard hoger. De selectie van de crowd werd immers gebaseerd op het aantal stemmen van de gebruikers. Het gemiddeld aantal stemmen dat een idee kreeg bedraagt bij de selectie van de professionals 88,6 en bij de selectie van de 15

crowd 132,73. Dit verschil blijkt verrassend genoeg echter niet significant te zijn (t = 0,61; p = 0,55). Ondanks het feit dat er slechts 12 ideeën door beide jury’s werden geselecteerd, selecteerden de professionals dus toch ideeën die erg door de crowd werden gesmaakt. Een gemiddelde score middelt alle ideeën echter uit naar een centrale waarde. Het is dus mogelijk dat de hoge score van de top-ideeën op die manier wordt gecompenseerd door ideeën met een veel lagere score. Dit zou de resultaten kunnen vertekenen. De ene selectie kan misschien beter in staat zijn om top-ideeën te identificeren dan de andere selectie. Dit is niet meteen zichtbaar door middel van een t-test. Om dit na te gaan werden per kwaliteitsdimensie de top-ideeën geïdentificeerd als zijnde de ideeën met een score hoger dan 4 op de zevenpunten schaal. Een idee werd als algemeen top-idee gedefinieerd indien alle 3 de kwaliteitsdimensies hoger scoorden dan 4. Uit deze analyse blijkt dat wat innovativiteit betreft 9 top-ideeën werden geselecteerd door de crowd en 6 door de professionals. Dit verschil blijkt echter niet significant te zijn (χ2 = 0,8; p = 0,37). Voor de kwaliteitsdimensie “meerwaarde voor de gebruikers” bevat de selectie van de crowd enkel top-ideeën. Ook de selectie van de professionals bevat bijna uitsluitend top-ideeën. Slechts 2 ideeën van de professionals hebben een score lager of gelijk aan 4. Dit zorgt ervoor dat 2 van de 4 cellen (50%) een fe < 5 heeft. Daardoor kan de Chi2 toets niet worden uitgevoerd voor deze variabele. De crowd selecteerde 18 top-ideeën wat betreft de uitvoerbaarheid. De professionals selecteerden voor deze dimensie 22 top-ideeën. Dit verschil blijkt evenwel ook niet significant te zijn (χ2 = 1,2; p = 0,27). Inzake de algemene top-ideeën, ten slotte, werden er 6 door de crowd en 4 door de professionals geselecteerd. De Chi2 toets toont niettemin aan dat ook dit verschil niet significant is (χ2 = 0,48; p = 0,49). Ondanks het feit dat geen van deze verschillen significant is, zijn deze resultaten wel een indicatie dat een selectie door gebruikers iets meer innovatieve ideeën oplevert, iets meer ideeën oplevert die een grote meerwaarde voor de gebruikers hebben en iets meer algemene top-ideeën bevat. De professionals neigen daarentegen iets beter te scoren wat betreft de best uitvoerbare ideeën. Dit wordt ook als algemene opmerking gegeven door een van de experts. “Typisch voor crowdsourcing is dat ze zich niet verhinderd voelen door de verdere uitvoering, noch budget.” Tabel 3: Verschillen tussen het aantal top-ideeën in elke selectie. meerwaarde voor de gebruikers

innovativiteit

uitvoerbaarheid

algemeen

geen topidee

top-idee*

geen top idee

top-idee*

geen top idee

top idee*

geen top idee

top idee*

selectie door de crowd (n = 30)

fo

21

9

0

30

12

18

24

6

fe

22,5

7,5

1

29

10

20

25

5

selectie door de professionals (n = 30)

fo

24

6

2

28

8

22

26

4

fe

45

15

1

29

10

20

25

5

Chi² ** p-waarde

0,8

> 20% = fe < 5

1,2

0,48

0,371

---

0,273

0,488

* Een idee werd als top-idee gedefinieerd indien het idee een gemiddelde score hoger dan 4 had (gemeten op een zevenpunten schaal) ** fo voor alle cellen ≥ 1

16

Ondanks de hypothese dat geen enkel idee uit de selectie door professionals zou worden gemarkeerd als “Met dit idee is het stadsbestuur niets” blijken in beide selecties drie ideeën voor te komen die door minstens 1 expert als dusdanig werden geëvalueerd. Er is dus geen significant verschil wat betreft het aantal waardeloze ideeën in beide selecties.

4. Conclusie en discussie Conclusie en implicaties Om na te gaan of, en op welke dimensies een selectie van ideeën door de crowd verschilt met een selectie door een intern team van professionals werden twee onafhankelijk van elkaar tot stand gekomen selecties met elkaar vergeleken. De kwaliteitsdimensies die hiervoor werden gebruikt zijn innovativiteit, meerwaarde voor de gebruiker en uitvoerbaarheid. De vergelijking word zowel gemaakt op basis van de gemiddelde scores als op basis van het aantal top-ideeën in elke selectie. De resultaten van dit onderzoek tonen aan dat de ideeën uit een selectie door de crowd significant meer meerwaarde bieden voor de gebruikers dan de ideeën uit een selectie door professionals. Gebruikers blijken voornamelijk die ideeën te selecteren die voldoende beantwoorden aan hun noden en oplossingen bieden voor hun problemen. Dit is een mooie illustratie van het need-driven karakter van crowdsourcing. Doorheen het innovatie-ontwikkelingsproces kan worden vastgesteld dat gebruikers in eerste instantie worden ingeschakeld in het definiëren van hun noden en vervolgens actief worden betrokken bij het bedenken van oplossingen voor die noden en problemen. Dit onderzoek toont aan dat het bij de volgende stap in het stage-gate proces, de selectie van deze ideeën, zeker een meerwaarde heeft om ook hier de gebruikers bij te betrekken. Op die manier worden de ideeën die niet beantwoorden aan de concrete noden van de gebruikers en bijgevolg geen meerwaarde hebben voor hen reeds uit de long-list weggefilterd. Dit levert enerzijds een tijdswinst op doordat interne panels een kleinere lijst van ideeën te evalueren krijgen, maar het levert ook een financiële winst op. Ideeën die te weinig meerwaarde bieden voor de gebruikers worden immers niet langer meegenomen in het ontwikkelingsproces waardoor hier ook niet onnodig in wordt geïnvesteerd. Het is als bedrijf of organisatie bovendien niet gemakkelijk om een goede inschatting te maken van de mate waarin een idee een bepaalde meerwaarde heeft voor de gebruikers. Door de evaluatie en selectie van ideeën te integreren in het crowdsourcing platform wordt hier meteen inzicht in gekregen. De stroming die eerder kritisch staat tegenover het actief betrekken van eindgebruikers zou argumenteren dat gebruikers echter niet stil staan bij de uitvoerbaarheid van de ideeën. Dit onderzoek toont evenwel aan dat er wat de uitvoerbaarheid betreft geen significant verschil bestaat tussen de ideeën uit de selectie van de crowd en de ideeën uit de selectie van de professionals. Ook uit een analyse van de commentaren van de gebruikers op de ideeën blijkt dat de haalbaarheid van ideeën wel degelijk een thema was dat regelmatig aan bod kwam en werd bediscussieerd. Wat het innovatief gehalte van de ideeën betreft kon geen significant verschil worden vastgesteld. Dit valt waarschijnlijk te verklaren doordat de innovativiteit van een idee voor de gebruikers ondergeschikt is aan de meerwaarde dat een idee biedt aan de gebruiker. De resultaten van dit onderzoek inzake idee-selectie door de crowd liggen enigszins gelijk met de resultaten van voorgaand comparatief onderzoek naar idee-generatie door de crowd (Kristensson et al., 2004; Poetz & Schreier, 2010). Wat de kwaliteitsdimensie “meerwaarde voor de gebruikers” betreft bleek uit dit onderzoek dat de gebruikers net als bij de idee-generatie ook bij de idee-selectie hoger scoren dan de professionals. 17

Onderzoek inzake de idee-generatie toonde aan dat de ideeën van de gebruikers innovatiever waren, maar wel minder makkelijk uitvoerbaar zijn. Ondanks er in dit onderzoek geen significant verschil werd vastgesteld wat deze kwaliteitsdimensies betreft, is er wel een indicatie in die richting. Vermoedelijk is het verschil tussen de crowd en de professionals dus kleiner bij de idee-selectie dan bij de idee-generatie. Desalniettemin toont dit onderzoek aan dat een selectie door de crowd wel degelijk een meerwaarde kan zijn gezien ze op geen van de gemeten kwaliteitsdimensies slechter scoort dan een selectie door professionals en op 1 kwaliteitsdimensie zelfs beter scoort. Kritische analyse De analyse in dit onderzoek werd uitgevoerd op basis van 3 dimensies: innovativiteit, meerwaarde voor de gebruikers en uitvoerbaarheid. Om praktische redenen moest een keuze worden gemaakt tussen een breed gamma aan mogelijke kwaliteitsdimensies. Experts willen immers geen uren aan een stuk bezig zijn om de ideeën te beoordelen. Dit is enerzijds zeer vermoeiend voor de experts, wat de resultaten zeker niet ten goede komt en anderzijds is het vrijwel onmogelijk om experts te vinden die bereid zijn om die tijdsinvestering te maken. De keuze voor de kwaliteitsdimensies in dit onderzoek berusten dan wel op voorgaand wetenschappelijk onderzoek, de resultaten geven slechts een gedeeltelijk beeld doordat niet alle mogelijke dimensies in dit onderzoek werden opgenomen. Andere kwaliteitsdimensies zoals de mate waarin een idee bijvoorbeeld meer of minder financieel aantrekkelijk is of hoe goed het idee zich positioneert ten opzichte van andere producten of diensten op de markt kunnen ook zeer interessant zijn. Een ander aspect dat ook niet in beeld werd gebracht bij dit onderzoek is de mate waarin de ideeën passen binnen de algemene strategie van het bedrijf of de organisatie. Er kan worden verondersteld dat dit iets is waarvan gebruikers helemaal niet wakker liggen. Voor een bedrijf of organisatie is dit echter wel een belangrijk element om een idee al dan niet mee te nemen naar de volgende fasen van het ontwikkelingsproces. De “uitvoerbaarheid” zou eventueel ook kunnen worden gemeten aan de hand van verschillende subdimensies zoals ingeschatte kostprijs, inhoudelijke haalbaarheid, compatibiliteit met bestaande technologieën, politieke haalbaarheid, etc. Gezien dit onderzoek aantoont dat de selectie door de crowd en de selectie door professionals slechts op 1 van de onderzochte kwaliteitsdimensies verschillen, maar anderzijds ook wordt vastgesteld dat slechts 12 ideeën in beide selecties voorkwamen kan de vraag worden gesteld op weke dimensies deze selecties dan wel verschillen. De criticasters van crowdsourcing krijgen wat innovativiteit betreft in deze case enigszins gelijk. De gebruikers blijken er bij het generen van ideeën niet echt in geslaagd buiten het gekende denkkader te treden. De ideeën uit beide selecties waren dan ook niet niet spectaculair qua innovativiteit. Veel ideeën waren bovendien zeer gelijkaardig of vaag omschreven. Echt zeer sterke ideeën kwamen in dit project niet naar boven. Het blijft dus zeker interessant om te onderzoeken hoe er bij crowdsourcing voor kan worden gezorgd dat de gebruikers geprikkeld worden om outside the box te denken en met echt innovatieve ideeën op de proppen te komen. De ideeën in deze case waren vaak herkauwde ideeën, ideeën die reeds bestaan of variaties op bestaande ideeën. Desalniettemin toont zowel het genereren van deze ideeën als het selecteren van deze ideeën wel aan dat dit zaken zijn waar de gebruikers nog te weinig van op de hoogte zijn of waarnaar toch een grote vraag naar blijkt te bestaan.

18

Zowel wat het wetenschappelijk onderzoek als de toepassing ervan betreft is crowdsourcing, en open innovatie in het algemeen, iets dat zich voornamelijk in de commerciële sector situeert. Veelal gaat het om het bedenken van nieuwe producten voor een bepaald bedrijf dat dit product vervolgens, al dan niet in samenwerking met de gebruiker, gaat ontwikkelen en ten slotte op de markt brengt om er op die manier een zo groot mogelijke winst mee te genereren. Dit onderzoek situeert zich in een heel ander ecosysteem. Een stad heeft als belangrijkste taak om de belastingen die ze ontvangt van haar burgers op een zo efficiënt mogelijke manier aan te wenden om het leven van de inwoners en gebruikers van de stad zo aangenaam mogelijk te maken. Een succesvolle innovatie moet voor een stad dus geen maximale winst opleveren, maar een zo groot mogelijk voordeel voor haar gebruikers bieden aan een zo laag mogelijke kost. Dit is ten nadele van de generaliseerbaarheid van deze onderzoeksresultaten. Zowel wat de generatie van ideeën betreft als de selectie ervan heeft dit immers bepaalde implicaties. Bij het genereren van ideeën is de nood of de wil om van de stad een aangenamere plaats te maken om in te leven en te wonen waarschijnlijk een belangrijke motivatie. Deze incentive was hoogstwaarschijnlijk belangrijker dan de iPad 2 die werd verloot onder de deelnemers. De burgers van de stad krijgen door middel van crowdsourcing een kans om hun idee voor te stellen en effectief invloed uit te oefenen op het beleid van de stad. Dit is een heel andere motivatie om deel te nemen dan wanneer het een crowdsourcing project van een commercieel bedrijf betreft dat op zoek is naar een nieuw product om te kunnen verkopen aan de gebruikers. Ook bij de selectieprocedure door de crowd heeft dit een invloed. Er wordt hoogstwaarschijnlijk van uitgegaan dat de ideeën die de stad verder ontwikkelt gratis zullen zijn en voor iedereen ter beschikking zullen worden gesteld. Een stem voor een idee is in dit geval een stem die je geeft voor een concrete verandering in jouw directe omgeving en niet een stem voor iets dat binnenkort in jouw winkel te koop zal zijn. Ter nuancering moet wel worden vermeld dat verschillende deelnemers dachten dat ze een grotere kans maakten om de prijs te winnen als hun idee het meeste stemmen had, ondanks het feit dat de iPad 2 willekeurig werd verloot onder de deelnemers. Daardoor spoorden ze vrienden en kennissen aan om op hun idee te stemmen. Dit aspect van vriendjespolitiek is jammergenoeg inherent verbonden aan crowdsourcing. Zelfs indien er geen iPad 2 zou verloot worden hebben inzenders van een idee er immers nog steeds belang bij dat hun idee verder door de organisatie wordt ontwikkeld gezien dit voor hen een bepaald voordeel inhoudt. Bij onderzoek naar crowdsourcing dient de nuance te worden gemaakt dat het succes ervan zeer sterk afhankelijk is van de sector waarin het initiatief plaatsvindt. Om goede ideeën en een goede selectie van die ideeën toe te laten is het noodzakelijk dat voldoende gebruikers vrij goed op de hoogte zijn van de sector waarbinnen op zoek wordt gegaan naar een innovatie. Er moet in de eerste plaats voldoende ervaring zijn met het gebruik of de noden binnen een bepaald domein. Dit is zeker niet altijd evident. Wanneer bijvoorbeeld op zoek wordt gegaan naar innovatieve methoden om kankercellen beter te kunnen onderzoeken is de groep gebruikers die hier iets zinnig over kan zeggen vaak zeer klein. Bovendien is de kennis in dat geval zo specifiek dat de kans groot is dat de bedenker van een goed idee dit idee gewoon zelf zal gaan ontwikkelen. Zeker wanneer de ideeën ook nog eens voor iedereen zichtbaar zijn om een evaluatie van de ideeën toe te laten is het risico reëel dat het idee door een derde partij wordt gestolen. In de sector van publieke dienstverlening waarbinnen dit onderzoek plaatsvond is dit echter geen probleem en kan

19

crowdsourcing zowel wat idee-generatie als idee-selectie zonder problemen worden gebruikt om tot betere resultaten te komen. Een van de grote moeilijkheden bij het beoordelen van ideeën is de objectiviteit. Er is immers geen objectieve, meetbare waarheid inzake de innovativiteit van een idee. Ook wat de meerwaarde voor de gebruikers en de uitvoerbaarheid betreft is het onmogelijk de objectieve werkelijkheid te meten. De methode die in dit onderzoek wordt gehanteerd is wel een goede representatie van de inschatting door experts met kennis van zaken. Deze experts krijgen in hun job ook regelmatig de taak de kwaliteit van ideeën in te schatten en moeten regelmatig beslissen welke ideeën verder zullen worden ontwikkeld en welke niet. De evaluatie van de ideeën zou ook op een kwantitatief sterkere manier kunnen worden gemeten door een groot aantal gebruikers een survey te laten invullen. Op die manier zou de veralgemeenbaarheid en de objectiviteit van de resultaten groter zijn, maar door het gebrek aan expertise van de gebruikers zouden deze resultaten veel minder betrouwbaar zijn. Voor de kwaliteitsdimensies waar in dit onderzoek voor werd gekozen zou dergelijke aanpak enkel meerwaarde bieden wat betreft meerwaarde voor de gebruiker. Inzake innovativiteit heeft de eindgebruiker onder meer te weinig kennis van het huidige aanbod van producten en diensten. Al kan hiertegen worden geargumenteerd dat een innovatie niet noodzakelijk nieuw an sich hoeft te zijn, maar ook nieuw kan zijn voor een bepaalde doelgroep. Wat de kwaliteitsdimensie “uitvoerbaarheid” betreft heeft de eindgebruiker meestal geen kennis omtrent de kostprijs van een productieproces, de technische haalbaarheid van een idee, de mate waarin een idee economisch interessant is, enzovoort. Een objectief meetbare variabele om te meten in welke mate een idee succesvoller is dan een ander idee is door na te gaan welk idee het meeste winst genereerde. Dit heeft echter verschillende nadelen. Ten eerste was dit in deze case niet mogelijk doordat de producten of diensten die finaal uit het ontwikkelingstraject zullen voortvloeien niet de bedoeling hebben om winst te genereren. Ten tweede is dit pas helemaal op het einde van de NPD cyclus meetbaar. Na de idee-generatie en idee-selectie doorloopt een idee immers verschillende ontwikkelingsstadia die ook een invloed kunnen uitoefenen op het eindresultaat. Een van de redenen waarom er niet echt innovatieve ideeën werden gegenereerd is waarschijnlijk dat de incentive niet was gekoppeld aan de kwaliteit van een ingezonden idee. Deze problematiek is fundamenteel bij de organisatie van crowdsourcing. Wanneer de incentive wordt gekoppeld aan de prestaties van de gebruikers sluit dit immers bijna per definitie de openheid van de crowdsourcing uit. Ingezonden ideeën moeten onzichtbaar zijn voor de andere gebruikers anders worden de beste ideeën gewoon gekopieerd. Wanneer de winnende ideeën bovendien worden bepaald door een selectie die de crowd maakt, zal vriendjespolitiek nog meer invloed hebben. Degene die de meeste aanhangers kan mobiliseren zal in dat geval met de prijs gaan lopen. Dit is niet alleen oneerlijk voor de andere deelnemers, het vertekent ook grondig de resultaten van zo’n gebruikersselectie. Dergelijk systeem heeft echter ook bepaalde voordelen. Door de incentive te koppelen aan de kwaliteit van de ideeën zal men meer top-ideeën genereren door het competitie element en zijn de ideeën onzichtbaar voor de concurrentie. Ten slotte is dergelijk gesloten systeem de enige manier om Surowiecki’s (2005) wisdom of crowds toe te laten. Enkel door de ingezonden ideeën te verbergen voor de andere deelnemers is er immers sprake van gedecentraliseerde kennis en onafhankelijk van elkaar ingestuurde ideeën. Een open systeem waarbij alle ideeën zichtbaar zijn door de

20

andere gebruikers is echter het enige systeem dat idee-selectie door de crowd toelaat. Hier wordt theoretisch gebouwd op de collectieve intelligentie van Levy (1994). De selectie en interactie door de crowd laat bij dit systeem toe dat de resultaten wijzer zijn. Dit onderzoek toont aan dat de uitkomst van de idee-generatie en selectie niet minder uitvoerbaar is en zelfs meer meerwaarde biedt voor de gebruikers dan wanneer dit door professionals zou gebeuren. Een uitdaging bij een degelijke open aanpak van crowdsourcing waar in dit onderzoek minder aandacht naar uitging is de rol van de commentaren. Zoals ook Bonabeau (2009) stelt is het bij besluitvorming door de crowd essentieel om een doordacht systeem van additieve aggregatie te ontwikkelen. Ondanks de veronderstelling dat de conclusie van de commentaren waarschijnlijk wordt gereflecteerd in het totaal aantal stemmen dat een idee krijgt, is een grondigere analyse van de rol, inhoud en meerwaarde van commentaren zeker opportuun. Dit onderzoek deed comparatief onderzoek naar de rol van de eindgebruiker in de fase van de idee-selectie. Het ontwikkelingsproces van een innovatie stopt echter niet bij de idee-selectie. Als interessant toekomstig onderzoek zou op een comparatieve manier kunnen worden onderzocht in welke mate de idee-ontwikkeling door de crowd verschilt met de idee-ontwikkeling door professionals. Een andere interessante piste is door niet enkel de crowd te vergelijken met de professionals, maar deze ook te vergelijken met een derde groep waarbij de crowd en de professionals samen tot bepaalde resultaten komen. Deze kruisbestuiving kan zowel wat idee-generatie, idee-selectie als idee-ontwikkeling interessante resultaten opleveren. Doordat dit onderzoek zich focuste op een niet commerciële case zijn de resultaten misschien niet volledig generaliseerbaar. Het is in die optiek zeker interessant om deze resultaten te vergelijken met onderzoek in een commerciële omgeving. Worden daar dezelfde verschillen waargenomen? Dergelijk onderzoek zou ook toelaten de financiële return als kwaliteitsdimensie te gaan gebruiker. Deze parameter is tenslotte het objectiefst en is voor de meeste bedrijven finaal ook het interessantst. Dit onderzoek toonde aan dat de twee selecties enkel bleken te verschillen qua meerwaarde voor gebruiker. De vraag kan echter worden gesteld of er nog andere verschillen zijn tussen de ideeën die worden geselecteerd door de crowd en ideeën die worden geselecteerd door de professionals die in dit onderzoek niet werden gemeten. Ten slotte kan het ook interessant zijn het verschil te onderzoeken tussen de ideeën die voortvloeien uit een gesloten idea competition en de ideeën die voortvloeien uit een open idea competition.

21

5. Bibliografie Ahonen, M. & Lietsala, K. (2007). Managing service ideas and suggestions - information systems into innovation brokering. Paper presented at the Tekes Haas Conference of Service Innovation, Berkeley. Amabile, T. M., Barsade, S. G., Mueller, J. S. & Staw, B. M. (2005). Affect and creativity at work. Administrative science quarterly, 50(3), 367-403. Amabile, T. M., Conti, R., Coon, H., Lazenby, J. & Herron, M. (1996). Assessing the work environment for creativity. Academy of management journal, 39(5), 1154-1184. Blohm, I., Bretschneider, U., Leimeister, J. M. & Krcmar, H. (2010). Does collaboration among participants lead to better ideas in IT-based idea competitions? An empirical investigation. Paper presented at the the 43rd Hawaii International Conference on System Sciences (HICSS-43), 2010. Bonabeau, E. (2009). Decisions 2.0: the power of collective intelligence. MIT Sloan management review, 50 (2), 44-52. Brabham, D. C. (2008). Crowdsourcing as a model for problem solving: an introduction and cases. Convergence, 14(1), 75-90. Castells, M. (2011). The Rise of the Network Society: The Information Age: Economy, Society, and Culture. Oxford: Wiley-Blackwell. Chen, J. Y., Reilly, R. R. & Lynn, G. S. (2012). New product development speed: too much of a good thing? Journal of product Innovation Management, 29(2), 288-303. Ebner, W., Leimeister, J. M. & Krcmar, H. (2009). Community engineering for innovations: the ideas competition as a method to nurture a virtual community for innovations. R & D management, 39(4), 342-356. Enkel, E., Perez Freije, J. & Gassmann, O. (2005). Minimizing market risks through customer integration in new product development: learning from bad practice. Creativity and Innovation Management, 14 (4), 425-437. Franke, N. & Piller, F. (2004). Value creation by toolkits for user innovation and design: The case of the watch market. The Journal of product innovation management, 21(6), 401-415. Franke, N., Von Hippel, E. & Schreier, M. (2006). Finding commercially attractive user innovations: a test of lead-user theory. Journal of product Innovation Management, 23(4), 301-315. Galton, F. (1907). Vox populi. Nature, 75, 450-451.

22

Geiger, D., Seedorf, S., Schulze, T., Nickerson, R. & Schader, M. (2011). Managing the crowd: towards a taxonomy of trowdsourcing processes. Paper presented at the the Seventeenth Americas Conference on Information Systems, Detroit, Michigan. Griffin, A. & Hauser, J. R. (1993). The voice of the customer. Marketing science, 1-27. Hayes, A. F. & Krippendorff, K. (2007). Answering the call for a standard reliability measure for coding data. Communication Methods and Measures, 1(1), 77-89. Hoegg, R., Martignoni, R., Meckel, M. & Stanoevska-Slabeva, K. (2006). Overview of business models for Web 2.0 communities. Proceedings of GeNeMe, 2006, 23-37. Howe, J. (2006). The rise of crowdsourcing. Wired magazine, 14, 1-4. Katila, R. & Ahuja, G. (2002). Something old, something new: a longitudinal study of search behavior and new product introduction. Academy of management journal, 45(8), 1183-1194. Kessler, E. H. & Chakrabarti, A. K. (1996). Innovation speed: a conceptual model of context, antecedents, and outcomes. The Academy of Management Review, 21(4), 1143-1191. Krieger, M. & Wang, Y. (2010). Ideas2ideas: encouraging constructive ideation. Monterey, California: Stanford University. Krippendorff, K. (2004). Content analysis: An introduction to its methodology. Thousand oaks, California: Sage Publications. Kristensson, P., Gustafsson, A. & Archer, T. (2004). Harnessing the creative potential among users. Journal of product Innovation Management, 21(1), 4-14. Lakhani, K. R. & von Hippel, E. (2003). How open source software works: "free" user to user assistence. Research policy, 32(6), 923-943. Leimeister, J. M., Huber, M., Bretschneider, U., & Krcmar, H. (2009). Leveraging crowdsourcing: activation-supporting components for IT-based ideas competition. Journal of management information systems, 26(1), 197-224. Leonard, D. & Rayport, J. F. (1997). Spark innovation through empathic design. Harvard business review, 75, 102-115. Lévy, P. (1994). L'intelligence collective: pour une anthropologie du cyberspace. Paris: La découverte Paris. Lorenz, J., Rauhut, H., Schweitzer, F. & Helbing, D. (2011). How social influence can undermine the wisdom of crowd effect. Proceedings of the National Academy of Sciences, 108(22), 9020. Matthing, J., Sanden, B., & Edvardsson, B. (2004). New service development: learning from and with customers. International Journal of Service Industry Management, 15(5), 479-498.

23

Moreau, C. P. & Dahl, D., W. (2005). Designing the solution: The impact of constraints on consumers' creativity. The Journal of consumer research, 32(1), 13-22. Murugesan, S. (2007). Understanding Web 2.0. IT Professional, 9(4), 34. Noubel, J. F. (2004). Collective intelligence, the invisible revolution. TheTransitioner. Geraadpleegd via http://www.earth-intelligence.net/dynamaster/file_archive/ 070118/14da9d70ab635fb6f161a44fbf08dd75/Noubel%20on%20Collective%20Intelligence.pdf op 20 april 2011. Ogawa, S. & Piller, F. T. (2006). Reducing the risks of new product development. MIT Sloan management review, 47(2), 65-71. Paulus, P. B. & Yang, H.C. (2000). Idea generation in groups: A basis for creativity in organizations. Organizational behavior and human decision processes, 82(1), 76-87. Piller, F. T. & Walcher, D. (2006). Toolkits for idea competitions: a novel method to integrate users in new product development. R & D management, 36(3), 307-318. Poetz, M. K. & Schreier, M. (2012). The value of crowdsourcing: can users really compete with professionals in generating new product ideas? Journal of Product Innovation Management, 27(2), 245-256. Raymond, E. (1999). The cathedral and the bazaar. Knowledge, Technology & Policy, 12(3), 23-49. Schulze, A. & Hoegl, M. (2008). Organizational knowledge creation and the generation of new product ideas: a behavioral approach. Research policy, 37(10), 1742-1750. Surowiecki, J. (2005). The wisdom of crowds. New York: Random House. Von Hippel, E. (1986). Lead users: a source of novel product concepts. Management science, 32(7), 791-805. Von Hippel, E. (1994). "Sticky information" and the locus of problem solving: implications for innovation. Management science, 40(4), 429-439. Von Hippel, E. (2001). Innovation by user communities: learning from open-source software. MIT Sloan management review, 42(4), 82-86.

24