Kwantitatief en kwalitatief onderzoek naar IT-USE van informatiesystemen Michael U.A. Breitenbach University of Twente Business, Public Administration and Technology
[email protected]
ABSTRACT Het ontwikkelen van informatiesystemen is een kostbare aangelegenheid. Voor het onderzoeken naar het succes van een informatiesysteem wordt vaak gebruik gemaakt van maar één methode, kwalitatief of kwantitatief onderzoek. Beide methoden worden gebruikt om onderzoek te doen naar IT-USE van het elearning-systeem Teletop. Hier komt naar voren dat er verschillen zijn in de uitkomsten. Vooral op de factoren systeem kwaliteit als ook informatie kwaliteit scoort Teletop niet voldoende. De twee methoden vullen elkaar goed aan en het is aan te vbevelen om vaker beide te gebruiken.
Keywords Technology Acceptance Model, effort expectancy, performance expectancy, system use, Unified Theory of Acceptance and Use of Technology, USE-IT, perceived usefulness, effort expectancy, quantitative research, qualitative research.
1. INLEIDING Jaarlijks worden door bedrijven miljoenen euro’s geïnvesteerd in nieuwe informatiesystemen. Informatiedeskundigen, consultants en vele andere partijen worden ingezet om deze te ontwikkelen en in te voeren op een zo ideaal mogelijke manier. Toch komt het nog steeds vaak voor dat een systeem niet het beoogde resultaat geeft of dat het zelfs een totale mislukking (failure) is [SHO04]. Hoe is dit mogelijk? Hebben de deskundigen hun werk niet goed gedaan? Het succes van informatiesystemen hangt zoals men weet af van verschillende factoren. Veel adviseurs richten zich hierbij vooral op de wensen van de gebruikers en gaan er al vanuit dat ze de belangrijkste stap hebben gedaan richting succes als ze de gebruikerswensen gedestilleerd hebben. Er is veel onderzoek verricht naar het succes en de acceptatie van informatiesystemen, dit onderzoek richt zich meestal op een van de twee globale onderzoeksmethoden, kwalitatief dan wel kwantitatief onderzoek. Permission to make digital or hard copies of all or part of this work for personal or classroom use is granted without fee provided that copies are not made or distributed for profit or commercial advantage and that copies bear this notice and the full citation on the first page. To copy otherwise, or republish, to post on servers or to redistribute to lists, requires prior specific permission. 3rd Twente Student Conference on IT , Enschede June, 2005 Copyright 2005, University of Twente, Faculty of Electrical Engineering, Mathematics and Computer Science
Davis [DAV89] heeft laten zien dat er nog meer factoren meebepalend zijn voor het gebruik van een informatiesysteem. In zijn Technology Acceptance Model (TAM) noemt hij de variabelen die de factoren perceived usefulness en perceived ease of use beïnvloeden. Onder perceived usefulness verstaat Davis: “de mate waarin een persoon gelooft dat het gebruik van een systeem zijn arbeidsprestaties zal verbeteren.” Het begrip perceived ease of use omschrijft hij als: “de mate van moeite die de gebruiker denkt te hebben met het gebruik van het systeem.” Deze twee determinanten leiden tot een bepaalde houding naar het gebruik van het systeem en beïnvloeden de intentie om het systeem te gebruiken. In een onderzoek van Hendrickson [HEN96] worden de bevindingen van Davis bevestigd. In 2003 heeft Venkatesh e.a [VEN03] verschillende theorieën over acceptatie van technologie gecombineerd tot een integraal model. Het model waar het hier om gaat heet Unified Theory of Acceptance and Use of Technology model (UTAUT). De termen perceived ease of use en perceived usefulness zijn nu vervangen door respectievelijk effort expectancy en performance expectancy. Naast deze twee determinanten beschouwt het UTAUT nog social influence en facilitating conditions als belangrijke determinanten. Veel van het uitgevoerde onderzoek leunt maar op één bepaalde methode, kwantitatief of kwalitatief ([MAT01], [CHA96], [VEN03]). Sinds kort maken sommige onderzoekers gebruik van beide methodes en komen hier tot interessante resultaten [KAP05]. Onderzoek naar gebruik en acceptatie van informatiesystemen wordt ook omschreven als onderzoek naar IT-USE. Voor de toekomst is het van groot belang om te weten wat de belangrijke verschillen zijn van de twee onderzoeksmethoden, en hoe deze gebruikt kunnen worden bij het ontwikkelen en ontwerpen van nieuwe informatiesystemen.
2. PROBLEEMSTELLING Om een onderzoek te kunnen doen naar de verschillen tussen de uitkomsten van kwantitatief en kwalitatief onderzoek op het succes van informatiesystemen moest er een informatiesysteem gekozen worden. Gezien de tijdsrestrictie ligt het voor de hand om een systeem te kiezen dat redelijk dichtbij in de omgeving te vinden is en waar een makkelijk te benaderen doelgroep mee te maken heeft. De keuze is gevallen op het learning-space systeem Teletop, dat op de Universiteit Twente (UT) wordt gebruikt voor ondersteuning van de lesvakken.
De onderzoekspopulatie bestaat uit studenten van de UT, die het systeem moeten gebruiken voor hun vakken. Door de beschikbaarheid van een grote groep studenten voor het onderzoek is de keuze, deze groep als onderzoekspopulatie te nemen, gebaseerd. De probleemstelling luidt: Wat is het verschil tussen de uitkomsten van kwantitatief en kwalitatief onderzoek naar IT-Use op informatiesystemen?
3. ONDERZOEKSVRAGEN Om de onderzoeksvraag te kunnen beantwoorden, werden een aantal subvragen opgesteld. Via het vinden van de antwoorden op deze subvragen zal er getracht worden om een antwoord te vinden. Deze subvragen zijn gericht op Teletop als het specifiek te onderzoeken systeem. Onderzoeksvragen: • • • •
Hoe kan kwalitatief onderzoek naar IS-succes gebruikt worden bij Teletop? Hoe kan kwantitatief onderzoek naar IS-succes gebruikt worden bij Teletop? Hoe kan kwantitatief en kwalitatief onderzoek gebruikt worden voor het meten van IS-succes bij Teletop? Wat zijn de uitkomsten van kwantitatief en kwalitatief onderzoek naar Teletop?
In dit onderzoek wordt onder succes van een informatiesysteem verstaan: “De gebruiker is tevreden over het systeem.”
4. ONDERZOEKSMETHODE Het onderzoek bestaat uit drie delen, als eerste is er een literatuurstudie, om tot een antwoord van de eerste twee vragen te komen. Deze antwoorden leiden tot twee onderzoeksmodellen, kwalitatief en kwantitatief, die nader omschreven worden. Voor het kwantitatieve model wordt er een vragenlijst gemaakt welke gebaseerd is op de gevonden modellen tijdens de literatuurstudie. Het kwalitatieve onderzoek wordt uitgevoerd door middel van interviews die afgenomen worden van studenten. Het tweede deel van het onderzoek bestaat uit het ondervragen van de studenten. Voor het kwantitatieve onderzoek zal gebruik worden gemaakt van minimaal zestien studenten, waarvan de helft een niet-technische studie, zoals bestuurskunde en psychologie, volgt en de andere helft een technische studie, zoals informatica of technische natuurkunde. Deze twee groepen vormen een homogene groep. Voor het kwalitatieve onderzoek zullen vier studenten ondervraagd worden door middel van interviews, hier zijn weer de helft technisch en de andere helft niet-technisch. Als toevoeging naar het hoofdonderzoek is er een onderscheid gemaakt tussen deze twee groepen, hiervoor zijn deze dus onderscheiden in een technische groep en een niettechnische. De uitkomsten van de enquêtes en de interviews zullen met elkaar worden vergeleken en geanalyseerd, wat zal leiden tot de conclusie en het antwoord op de hoofdvraag en vormt deel drie.
5. ONDERZOEK Wetenschappelijk onderzoek, zowel kwantitatief als kwalitatief, houdt zich bezig met het verklaren van oorzaken van verschijnselen, het vinden van betere methoden of met het meer inzicht krijgen in bepaalde effecten. Wetenschappelijk onderzoek is dikwijls zeer complex en wordt vaak multidisciplinair beoefend. Ook is er sprake van een zekere taakverdeling tussen fundamenteel en praktijkgericht onderzoek. Het wordt zowel gedreven door nieuwsgierigheid als door de maatschappelijke vraag. Doorslaggevend voor het beoefenen van onderzoek zijn de aanpak van het probleem en het niveau van de bewijskracht van de onderzoeksresultaten
5.1 Kwalitatief Onderzoek In deze paragraaf zal globaal uitgelegd worden wat onder kwalitatief onderzoek wordt verstaan en zal aansluitend nader ingegaan worden op het gebruik ervan met betrekking tot onderzoek naar gebruik en acceptatie van informatiesystemen.
5.1.1 Algemeen “Onderzoek waarbij je overwegend gebruik maakt van gegevens van kwalitatieve aard en dat als doel heeft onderzoeksproblemen in of van situaties, gebeurtenissen en personen te beschrijven en te interpreteren.” [BAA01] Er zijn verschillende methoden binnen kwalitatief onderzoek om aan de benodigde gegevens te komen. Zoals in de definitie al is aangeduid gaat het om het observeren dan wel het vergaren van meningen van personen, deze gegevens kunnen via interviews, observaties of casestudies verkregen worden. Een belangrijk punt bij kwalitatief onderzoek is het vaststellen van de doelgroep in welke de respondenten gezocht moeten worden, zodat deze representatief zijn voor de gehele groep.
5.1.2 Naar gebruik van IT Voor het onderzoek naar het gebruik van IT zijn er verschillende kwalitatieve methoden ontwikkeld. Deze methoden laten uiteindelijk goed zien wat de perceptie van een gebruiker ten aanzien van het informatiesysteem is. Een belangrijk model is het USE-IT-model van Lagendijk e.a. [LAG00]. Dit model onderscheidt drie determinanten die de weestand en het succes bepalen van een IS. De drie determinanten zijn zoals ook te zien in het volgende figuur, relevance, requirements en resources. Hierbij wordt onder relevance verstaan “de mate waarin de gebruiker verwacht dat het IT-systeem zijn problemen zal oplossen of zal bijdragen bij het realiseren van zijn actuele relevante doelen.” Requirements wordt door Spil gedefinieerd als “de mate waarin de behoeften van de gebruiker tegemoet worden gekomen door de productkwaliteit van de innovatie.” en resources beschrijft hij als “de mate waarin hulpmiddelen beschikbaar zijn voor het ontwerpen, gebruiken en onderhouden van het informatiesysteem.” [SPI05] Door deze drie factoren te onderzoeken door middel van interviews en observaties kan een goede indicatie gegeven worden in hoeverre het informatiesysteem succesvol is. Om de verschillende factoren te bepalen, is een vragenlijst ontwikkeld die gebruikt kan worden bij de doelgroep. Via interviews kan vervolgens een beeld verkregen worden in hoeverre de verschillende factoren een rol spelen bij het succes van het informatiesysteem.
5.2.2 Naar gebruik van IT Het begin van het kwalitatief onderzoek naar het succes van informatiesystemen is gemaakt door Davis [DAV89]. Perceived Usefulness en Ease of Use zijn voor hem de belangrijkste determinanten die bijdragen aan de intentie en het uiteindelijke gebruik van informatiesystemen.
Perceived Usefulness
Figuur 1 The success factors of information systems Een van de belangrijkste modellen die bij kwalitatief onderzoek wordt gebruikt, is het geherformuleerde IS-succes model van DeLone en McLean [DEL02]. In dit model geven DeLone en McLean de gebruiker een centrale rol door middel van de variabelen user satisfaction (gebruikers tevredenheid) en use (gebruik). Om het mogelijk te maken om via dit model het succes te meten is het belangrijk om te bepalen vanuit welk gezichtpunt hiernaar gekeken zal worden, dit is afhankelijk van de belanghebbende en het type systeem dat gebruikt wordt. Onafhankelijk van de belanghebbende en het systeem blijven de uiteindelijke voordelen afhankelijk van het gebruik en de gebruikers tevredenheid. In het model van DeLone en McLean zijn het gebruik en de gebruikerstevredenheid afhankelijk van drie andere factoren: informatiekwaliteit, systeemkwaliteit en servicekwaliteit.
Information Quality
Use (Intentention to use)
System Quality
Net Benefits
User Satisfaction Service Quality
Figuur 2 The Reformulated IS Success
5.2 Kwantitatief Onderzoek In de volgende paragrafen zal duidelijk gemaakt worden wat onder kwantitatief onderzoek wordt verstaan en op welke manieren het uitgevoerd kan worden bij onderzoeken naar het gebruik van informatiesystemen?
5.2.1 Algemeen Onderzoek waarbij gezocht wordt naar algemene wetmatigheden op basis van een theorie of theoretisch uitgangspunt. Bij deze methode wordt Door middel van statistische berekeningen kunnen verbanden gelegd worden tussen verschillende uitkomsten en factoren.
Attitude Towards Using
External Variables
Behavioral Intention to Use
System Use
Perceived Ease of Use
Figuur 3 TAM Davis heeft ter verificatie van het model een aantal onderzoeken uitgevoerd, waarin hij gebruik heeft gemaakt van uitkomsten van vragenlijsten die de vooral de verhouding tussen de perceived usefulness, perceived ease of use en system use bekeken. Zoals al in de inleiding is vermeld verstaat Davis onder “perceived usefulness” de mate waarin een persoon gelooft dat het gebruik van een systeem zijn arbeidsprestaties zal verbeteren, en “perceived ease of use” is de mate van moeite die de gebruiker denkt te hebben met het gebruik van het systeem. Om samenhangen tussen deze factoren te kunnen ontdekken, onderzocht Davis de gegevens op onderlinge correlatie en maakte hij hierbij gebruik van regressieanalyse. Het Technology Acceptance Model (TAM) van Davis werd door vele onderzoekers gebruikt om bepaalde effecten te kunnen verklaren. Venkatesh e.a. [VEN03] gingen ervan uit dat er nog meer factoren zijn die de intentie en het gebruik van het systeem bij de gebruiker beïnvloeden. Hiervoor hebben ze een model ontwikkeld dat als basis het TAM van Davis gebruikt. Naast de theorie van Davis betrekken Venkatesh e.a. ook een aantal andere modellen over acceptatie van IT, zoals het Model of PC Utilization van Thompson en de Theory of Reasoned Action van Fishbein en Ajzen. Het resultaat hiervan is het UTAUT-model (Unfied Theory of Acceptance and Use of Technology), zie figuur 4. Het model, dat al in de introductie werd genoemd, is door middel van uitgebreide statistische berekeningen onderzocht op zijn toepasbaarheid. Venkatesh heeft hiervoor gebruik gemaakt van een regressieanalyse.
Tabel 1 Vragenlijst USE-IT bij Teletop P Primary Process P1
P2 P3
• lezen • samenvattingen maken • informatie opzoeken Wat voor omstandigheden zorgen ervoor dat de studie niet zoals gepland wordt gevolgd? Waar haal je je informatie op?
P4
Hoe loopt het contact naar de docenten
P5
Hoe loopt het contact naar de medestudenten?
P6
Wie zou er nog meer bij de studie betrokken moeten zijn?
P7
Wat vind je belangrijk aan het contact met docenten en medestudenten?
Figuur 4 UTAUT-model Door kwantitatief onderzoek, o.a. correlatieonderzoek, naar de verschillende verhoudingen tussen de verschillende determinanten is vastgesteld dat het model een goede weergave geeft van deze verhoudingen.
Hoe deel je je studie in?
REL Relevance R1
Wat vind je bij je studie een belangrijk onderdeel?
5.3 Combinatie Kwalitatief en Kwantitatief
R2
In een studie van Kaplan [KAP05] werd onderzoek gedaan naar drie verschillende medische informatiesystemen. In al deze drie case-studies komt zij met behulp van kwalitatief onderzoek, naast het kwantitatief onderzoek, tot belangrijke aanvullende uitkomsten, waardoor bijvoorbeeld het falen van een systeem toch nog verklaard kon worden.
Wat zijn punten in je studieomgeving die een belemmering vormen voor het goed volgen van onderwijs?
R3
Heb je ideeën voor verbeteringen betreffende de vorm van de studie?
R4
In welke vorm is ICT belangrijk voor je?
Tot dezelfde conclusie kwam ook van der Meijden in haar onderzoek naar de toegevoegde waarde van het evalueren van elektronische patiënten dossiers [MEI05].
R5
Welk aspect van de studie zou je missen als het zou worden verwijderd?
6. ONDERZOEK NAAR TELETOP
Voor het uitvoeren van de interviews heb ik gezocht naar een viertal studenten van de Universiteit Twente, waarbij twee met een technische en twee met een niet-technische studie. Er zijn twee informaticastudenten ondervraagd, het technische gedeelte, en een psychologiestudent en een student die toegepaste onderwijskunde volgt. De antwoorden van de studenten op de verschillende vragen worden gebruikt om te kijken in hoeverre Teletop aansluit aan het primaire proces en de wensen dan wel voorkeuren die de studenten hebben wat betreft de leermethode.
Teletop is een e-learning systeem dat ontwikkeld werd ter ondersteuning van de studenten bij hun studie. Met het systeem dat via internet toegankelijk is, is het mogelijk om het rooster te bekijken, studiemateriaal op te halen, zoals college-sheets of artikelen, en kunnen ook de e-mail-adressen gevonden worden van de docenten en de studenten die aan het vak meedoen. Via Teletop heeft de student ook de mogelijkheid om vragen te stellen aan de docent en kan hij uitwerkingen van opdrachten inleveren. Op dit moment wordt er nog niet voor elk vak gebruik gemaakt van Teletop, maar groeit het aantal gestaag.
6.1 Kwalitatief Onderzoek 6.1.1 Setup Voor het kwalitatieve onderzoek naar het succes van Teletop is gebruik gemaakt van een aangepast interviewschema van het USE-IT-model van Spil e.a. [SPI05] . Uit het model zijn i.v.m. de beperktheid van middelen niet alle aspecten overgenomen, maar werd het beperkt tot vragen naar het primaire proces en de relevantie. Tabel 1 laat de vragen zien die gesteld zijn voor het onderzoek.
6.1.2 Uitkomsten Over het algemeen kan gesteld worden dat Teletop een aardig systeem is als het gaat om het verstrekken van vakinformatie. De studenten hebben op zich al voldoende andere mogelijkheden om met elkaar of met de docent te communiceren, hierbij wordt vooral gebruikt gemaakt van e-mail, en verschillende instantmessenger zoals ICQ en MSN. Een instant-messenger is een programma waarmee twee of meer gebruikers rechtstreeks met elkaar kunnen communiceren via het internet. Als communicatiemiddel is Teletop op dit moment niet bijzonder geschikt, dit komt mede doordat actuele informatie soms te laat of niet beschikbaar gesteld wordt, of dat er op antwoorden op vragen die gesteld worden op de site lang gewacht moet worden. ICT is voor beide groepen studenten heel belangrijk, terwijl de technische studenten veel met ICT te maken hebben ook buiten hun studie, bijvoorbeeld voor het spelen van games, hebben de
niet-technische studenten vooral voor de communicatie en het maken van opdrachten hiermee te maken. Communicatie is hier een belangrijke relevantie-factor. Aan de hand van de antwoorden op de USE-IT vragen kan ook nagegaan worden in hoeverre het model van DeLone en McLean van toepassing is.
groep studenten werd ingedeeld in twee groepen, de eerste groep bestaat uit studenten met een niet-technische studie, de andere groep bestaat uit studenten die een technische studie volgen. De studenten kregen allen de vraag om de enquête in te vullen en weer in te leveren.
6.2.2 Uitkomsten
De student heeft behoefte aan duidelijke informatie die op afroep beschikbaar is. Dit zijn onderdelen die te maken hebben met de information quality uit het model. Informatie is hier een verdere relevantiefactor. De studenten gaven aan dat bepaalde informatie soms onduidelijk beschikbaar werden gesteld, of verouderd zijn.
In de volgende subparagrafen komen de statistische uitwerkingen en de conclusies aan de hand van deze. Zo is te achterhalen of effort expectancy en performance expectancy een positieve bijdrage leveren aan het willen gebruiken van Teletop. De scores van de enquêtes zijn te vinden in de bijlage.
De student heeft verder niet zoveel behoefte aan communicatie met de docent, maar als deze nodig is moet deze ook zo snel mogelijk reageren op de vraag. Op Teletop is het wel mogelijk om vragen te stellen, maar worden deze, afhankelijk van het vak, vaak laat of niet beantwoord.
Er wordt een onderscheid gemaakt tussen de technische en niettechnische studenten maar ook zal er een totale uitkomst bekeken worden.
6.2 Kwantitatief onderzoek
Tabel 3 laat zien dat er een lichte positieve correlatie bestaat tussen performance en gebruik en effort en gebruik bij de technische studenten.
6.2.1 Setup Voor het uitvoeren van het kwantitatieve onderzoek werd een vragenlijst uit het UTAUT-model van Venkatesh aangepast en werden hieruit twee onderdelen apart uitgehaald, de Performance expectancy en de Effort expectancy. Het onderzoek van de UTAUT probeert te bepalen hoe succesvol het informatiesysteem is door te bekijken of de gebruiker ook daadwerkelijk het systeem gebruikt, omdat Teletop een systeem is dat eigenlijk door de docent onmisbaar is gemaakt is de vraagstelling van dit gedeelte om toch nog een interessante uit onderzoek. Voor deze enquête werd gebruik gemaakt van Likert-schalen, deze waardering gaat van 1 (helemaal mee eens) tot 5 (helemaal mee oneens), op deze manier is het mogelijk om berekeningen uit te voeren. Tabel 2 Enquêtevragen Performance Expectancy P1
Ik vind Teletop bruikbaar voor mijn studie.
P2
Het gebruik van Teletop zorgt ervoor dat ik mijn taken sneller uitvoer.
P3
Het gebruik van Teletop zorgt voor grotere efficiëntie.
P4
Door het gebruik van Teletop zal ik hogere cijfers krijgen.
Effort Expectancy E1
Mijn interactie met Teletop is duidelijk en begrijpbaar.
E2
Het is makkelijk voor mij om vaardig met het systeem te worden.
E3
Ik vind het een makkelijk te gebruiken systeem.
E4
Het leren omgaan met Teletop is eenvoudig voor mij.
Behaviour B1
Ik zou Teletop ook gebruiken als er geen documenten op te halen waren
Als onderzoekspopulatie werden studenten van de UT gekozen die ook met Teletop te maken hebben tijdens hun studie. Deze
Performance
Effort
Tabel 3 Correlatie Technische Studenten Performanc Effort e Pearson 1 -.062 Correlation Sig. (1-tailed) .432 N 10 10 Pearson Correlation Sig. (1-tailed) N
Use
Pearson Correlation Sig. (1tailed) N
-.062
1
.432
Use .444 .099 10 .477 .082
10
10
10
.444
.477
1
.099
.082
10
10
10
Bij de niet-technische studenten is er ook sprake van een lichte positieve correlatie tussen performance en gebruik, maar is deze minder significant dan bij de technische studenten (zie tabel 4). Er is hier geen correlatie tussen effort en gebruik te ontdekken.
Tabel 4 Correlatie Niet-technische Studenten Performanc Effort e Performance
Pearson Correlation Sig. (1-tailed)
1
7. VERGELIJK RESULTATEN Use
.443
.332
Teletop is een bruikbaar systeem, maar is nog niet helemaal succesvol wat het beoogde gebruik betreft. Het is voor niettechnici redelijk moeilijk om te leren, maar dat beïnvloed niet het gebruik ervan. Bepaalde functionaliteiten zijn nog niet optimaal in het systeem en worden liever via omwegen verkregen, zoals de communicatiemogelijkheden met de docent.
.136
.221
8
8
8
.443
1
.012
.136 8
8
.489 8
.332
.012
1
.221 8
.489 8
8
Het kwantitatieve onderzoek onderzoekt eerder de bevindingen met het huidige systeem. Wat vinden de studenten van het systeem, is het eenvoudig te gebruiken en zinvol?
Wordt er naar de totale populatie gekeken is er een zwak positieve correlatie te zien tussen performance en gebruik, deze is ook significant (zie Tabel 5). Er is geen sprake van correlatie tussen effort en gebruik.
Als het naar de verschillende factoren van DeLone en McLean wordt gekeken kunnen via de uitkomsten uit het UTAUTonderzoek ook hierop antwoorden gevonden worden. Zo is de systems quality wat betreft de usability voor niet-technische studenten laag, terwijl voor de technische studenten deze hoog is.
N Effort
Use
Pearson Correlation Sig. (1-tailed) N Pearson Correlation Sig. (1-tailed) N
Tabel 5 Correlatie Totale Populatie Performanc Effort e Performance
Pearson Correlation Sig. (1-tailed) N
Effort
Use
Pearson Correlation Sig. (1-tailed) N Pearson Correlation Sig. (1-tailed) N
1
Use
-.221
.413(*)
.189
.044
18
18
18
-.221
1
-.124
.189 18
18
.313 18
.413(*)
-.124
1
.044
.313
18
18
18
* Correlation is significant at the 0.05 level (1-tailed) Naast deze uitkomsten was een belangrijk verschil tussen beide populaties, dat de Effort Expectancy gemiddeld hoog gewaardeerd is door de niet-technische studenten (2,97) en laag door de technische studenten (1,4). Hieruit zou men kunnen concluderen dat Teletop voor technische studenten beter en sneller te begrijpen is dan voor niet-technische studenten. Opvallend is hier dan dat er juist bij de technische studenten een positieve correlatie is tussen effort en gebruik en bij de andere groep niet. Hier zou het misschien zo kunnen zijn dat vooral de technische studenten kritischer zijn richting effort dan de niet-technische studenten, of dat ze de beter op letten op de gebruiksvriendelijkheid. Het kan ook zo zijn dat de niet-technische studenten de systemen gewoon gebruiken zoals dat van hun verwacht wordt en gewoon hun werk doen zonder stil te staan bij de functionaliteiten.
Via het kwalitatieve onderzoek komt naar voren waarin de student eigenlijk behoefte heeft en wat zijn primaire processen zijn. Via de antwoorden van de studenten kan men al redelijk bepalen of bepaalde functies binnen een informatiesysteem geaccepteerd zullen worden en gebruikt. Zo zal er nauwelijks gebruik worden gemaakt van de mogelijkheid tot discussiëren of het stellen van vragen via Teletop, maar zal er rechtstreeks via mail of via messenger contact opgenomen worden met de docent dan wel de medestudent.
8. CONCLUSIE EN DISCUSSIE Tijdens het onderzoek is gebleken dat de uitkomsten van de twee verschillende onderzoeksmethoden, kwalitatief en kwantitatief, beide niet tot dezelfde resultaten leiden, maar elkaar aanvullen. Het is volgens mij belangrijk om in bepaalde gevallen waar een systeem belangrijk is voor het succes van een onderneming, beide soorten onderzoek uit te voeren. Belangrijke hulpmiddelen zijn hierbij het USE-IT model van Lagendijk en o.a. het UTAUT-model van Venkatesh. Een goede combinatie kan mijns inziens worden verkregen door middel van het model van DeLone en McLean. In dit model zou zowel gebruik gemaakt kunnen worden van kwantitatieve methoden als kwalitatieve. In het begin werd er op gewezen dat er veel middelen in omgaan bij het ontwikkelen van informatiesystemen. Nu het gebleken is dat het al bij zo een relatief klein systeem tot belangrijke verschillen dan wel waardevolle aanvullende informatie is gekomen, zal dit bij grotere systemen zeker ook het geval zijn, van daar is het aan te bevelen ook bij andere projecten beide systemen toe te passen. Een kleine kanttekening van het onderzoek kan worden gemaakt met betrekking tot de onderzoekspopulatie. Deze heb ik beperkt tot de studenten die het systeem voor hun studie moeten gebruiken. Het zou interessant zijn om bij hetzelfde onderzoek de docenten te betrekken om zo ook van hun kant de beperkingen of mogelijke verbeteringen van het systeem te kunnen achterhalen. Gezien de beperktheid van het onderzoek is het aan te bevelen om hetzelfde onderzoek op uitgebreidere schaal uit te voeren met een groter systeem en over meerdere tijdsperiodes. Het is goed mogelijk dat via het uitgebreide onderzoek tot andere uitkomsten kan leiden dan die in dit onderzoek.
ACKNOWLEDGMENTS Ik wil hierbij iedereen bedanken die mij bij het uitvoeren van dit onderzoek geholpen hebben.
REFERENTIES [BAA01] Baarda, D.B., M.P.M. de Goede, Basisboek Kwalitatief Onderzoek, eerste druk. Groningen: Stenfert Kroese, 2001
the 34th Hawaii International Conference on System Sciences, 2001 [MAT01] Mathieson, K., e.a. ; Extending the Technology Acceptance Model: The influence of Perceived User Resources, The DATA BASE for Advance in Information Systems - Summer 2001 (Vol. 32, No. 3), p. 86-112. [MEI05]
Meijden, M. van der; Quantitative and Qualitative methods: Added value in evaluating electronic patient records; E-Health Systems Diffusion and Use: The Innovation, the User and the USE IT Model, eds. R. W. Schuring and T. A. M. Spil, Idea Group Publishing, in press.
[SHO04]
Shoniregun, C.A.; An investigation of information systems project failure and its implication on organizations, International Journal of Services Technology and Management 2004, Vol. 5, No.1, p. 25 - 41
[SPI05]
Spil, T.A.M.; e.a. ; Combining Qualitative and Quantitative Methods in IS in Health Care Revisited, The USE IT model case studies: IT perceptions in the Multiple Sclerose, Rheumatism and Stroke healthcare chains., eds. R. W. Schuring and T. A. M. Spil, Idea Group Publishing, in press.
[VEN00]
Venkatesh, V., Davis, F. D.; A Theoretical Extension of the Technology Acceptance Model: Four Longitudinal Field Studies; Management Science, February 2000, Vol. 46 Issue 2, pag. 186.
[VEN03]
Venkatesh, V., Morris, M. G., Davis, G. B., & Davis, F. D. (2003). User acceptance of information technology: toward a unified view. MIS Quarterly, 27 (3), p. 425-478
[DAV89] Davis, F. D. (1989); Perceived Usefulness, Perceived Ease of Use, and User Acceptance of Information Technology. MIS Quarterly, 13 (3), p.319-340. [DEL02]
DeLone, W.H., McLean, E.R.; Information Systems Success Revisited. Proceedings of the 35th Hawaii International Conference on System Sciences, 2002
[GEF98]
Gefen, D., Mark, K.; The Impact of Developer Responsiveness on Perceptions of Usefulness and Ease of Use: An Extension of the Technology Acceptance Model, The DATA BASE for Advances in Information Systems - Spring 1998, Vol. 29, No. 2, p. 35-49
[HEN96]
[KAP05]
[LAG00]
Hendrickson, A.R., Collins, M.R. ; An Assessment of Structure and Causation of IS Usage, The DATA BASE for Advance in Information Systems - Spring 1996 (Vol. 27, No. 2), p. 61-67. Kaplan, B., Combining Qualitative and Quantitative Methods in IS in Health Care Revisited, E-Health Systems Diffusion and Use: The Innovation, the User and the USE IT Model, eds. R. W. Schuring and T. A. M. Spil, Idea Group Publishing, in press. Lagendijk, P.J.B., e.a.; Telecommunication as a Medicine for General Practitioners; Proceedings of
Bijlage 1 Scores UTAUT-onderzoek Teletop
Scores Technische Studenten P1
P2
P3
P4
TP
E1
E2
E3
E4
TE
B1
1
2
3
3
4
3
2
2
1
1
1,5
3
2
3
3
2
4
3
2
2
2
2
2
4
3
2
4
3
5
3,5
1
1
1
1
1
3
4
4
3
4
4
3,75
2
2
1
1
1,5
4
5
2
3
2
3
2,5
2
1
2
1
1,5
3
6
3
3
3
4
3,25
2
1
1
1
1,25
3
7
2
2
3
4
2,75
1
2
2
1
1,5
4
8
1
2
2
4
2,25
1
1
1
1
1
3
9
2
2
2
3
2,25
2
1
2
1
1,5
3
10 gem.
2
4
3
5
3,5
1
2
1
1
1,25
4
2,3
2,9
2,7
4
2,975
1,6
1,5
1,4
1,1
1,4
3,4
Scores Niet-technische studenten P1
gem.
P2
P3
P4
TP
E1
E2
E3
E4
TE
B1
1
2
2
2
3
2,25
3
3
4
3
3,25
2
2
1
3
2
3
2,25
3
3
3
2
2,75
3
3
2
2
2
3
2,25
2
2
2
3
2,25
4
4
3
4
3
4
3,5
3
3
4
3
3,25
3
5
2
2
3
3
2,5
2
3
3
4
3
4
6
1
2
2
2
1,75
2
2
4
3
2,75
2
7
3
3
3
4
3,25
3
3
2
3
2,75
3
8
2
3
3
4
3
3
4
4
4
3,75
4
2
2,625
2,5
3,25
2,594
2,625
2,875
3,25
3,125
2,969
3,125
