Onderzoekspartners
Zwop: Evaluatie van informatie en informatiesystemen in organisaties
Stephan Poelmans (Wiskunde & Informatica, VLEKHO) Jan Vanthienen (Beleidsinformatica, K.U.Leuven) Koen Milis (Information Management, EHSAL) Patrick Wessa (Handelswetenschappen, Lessius Hogeschool) Christophe Croux (Oper. Onderzoek en Bedrijfsstatistiek,
K.U.Leuven) Bart Baessens (Beleidsinformatica, K.U.Leuven)
Key Words: Enterprise systems, Informatiesystemen, Indicatoren, Kennisontginning, Usability,
Dirk Van Lindt (Wiskunde & Informatica, VLEKHO) Gerd Van den Eede (Wiskunde & Informatica, VLEKHO) Monique Snoeck (Beleidsinformatica, K.U.Leuven) Wilfried Lemahieu (Beleidsinformatica, K.U.Leuven)
2
1
Doelstellingen
4 dimensies
Kerncompetenties opbouwen rond het evalueren van systemen voor de captatie, verwerking en verspreiding van (grote hoeveelheden) data, informatie en kennis. 2. Selectie, implementatie, gebruik en aanpassing van informatiesystemen moet leiden naar maximale symbiose met andere systemen, de bedrijfsstrategie, bedrijfscultuur en de omgeving waarbinnen het bedrijf functioneert. De doelstellingen worden vertaald in vier dimensies waarrond onderzoek zal geclusterd worden. Rond elk thema werden (en worden) binnen de associatie reeds inspanningen geleverd (binnen één of meerdere instellingen). 3
Discovery & knowledge management
1.
Discovery & knowledge management: evaluatie van bedrijfsvariabelen
Concrete doelstellingen:
Capteren, verwerken en verspreiden van data, informatie en kennis
Beoordelen van de bruikbaarheid van operationele ICT
Alignment & agility
Afstemmen van ICT op de bedrijfsnoden
Organisationele betrouwbaarheid en robuustheid
Flexibiliteit en complexiteit combineren met robuustheid en betrouwbaarheid
EHSAL Usability Alignment & Agility Discovery & Knowledge Management Betrouwbaarheid & Robuustheid
X X X
KULeuven Lessius Vlekho X X X X X X X X 4
Usability: evaluatie van de bruikbaarheid, kwaliteit en impact van informatiesystemen
Onderzoekskader: De transformatie van data naar informatie naar kennis (business intelligence) en anderzijds naar manieren om kennis te capteren en te delen (knowledge management). Het gebruiken van datawarehouses & data mining technieken om optimale captatie van informatie te verzekeren. (“knowledge discovery and data mining (KDD)”). Statistische en econometrische technieken uit de tijdreeksanalyse kunnen dan gebruikt worden om voorspellingen te maken en bedrijfssimulaties uit te voeren.
Usability
Onderzoekskader: Hoe kunnen we de kwaliteit van informatie en informatiesystemen binnen een bedrijfsadministratieve context meten? Hoe kunnen we de bedrijfswaarde van informatiesystemen meten en verbeteren? Wat is de invloed van technologische kenmerken, jobkenmerken, betrokkenheid van de eindgebruiker, ondersteuning en opleiding op de bruikbaarheid van een Informatiesysteem? Wat is de invloed van een informatiesysteem op: de jobinhoud van de eingebruikers, de organisatie van een onderneming? Scope:
Technieken ontwikkelen om een groot aantal gecorreleerde tijdreeksen te reduceren tot een kleiner aantal, met een minimaal verlies aan voorspellende kracht. Multivariate simulatiemodellen opstellen om tot betere voorspellingen te komen. De ontwikkelde methodologie moet geïmplementeerd worden en toegepast op praktijkvoorbeelden. 5
Informatiesystemen, BPM-systemen, ERP-systemen
Wetenschappelijk raamwerk
Technology Acceptance Theory Task/Technology Fit Theory Organizational Behaviour Change Management Adaptability of ICT Human Computer Interaction
6
1
Alignment & agility: evaluatie van afstemming en wendbaarheid van systemen
Organisationele betrouwbaarheid en robuustheid
Onderzoekskader:
Onderzoekskader:
(Informatie)systemen, bedrijfsregels en bedrijfsprocessen zijn met elkaar verweven. Enerzijds scheppen informatiesystemen de mogelijkheid om bedrijfsprocessen grondig te hervormen.
Anderzijds worden de mogelijkheden gelimiteerd door externe regelgeving en de bedrijfspolitiek en –strategie.
Het afstemmen van bedrijfsstrategie en ICT systemen is een belangrijke succesfactor. Deze afstemming heeft een significante impact op de return van een onderneming.
Ook de afstemming van systemen tussen organisaties (ketenintegratie) is een aandachtspunt. Vooral wanneer systemen zoals CRM, supply chain systems of extended ERP (ERP II) geïmplementeerd worden.
Hoe slagen organisaties onder omstandigheden van complexiteit en vereiste flexibiliteit er in om toch in hoge mate betrouwbaar te zijn?
Wat is de invloed van de organisatiestructuur, cultuur, besluitvorming, communicatie en leiderschap op de verenigbaarheid van flexibiliteit en betrouwbaarheid van de Management processen en systemen in een organisatie?
Wetenschappelijk raamwerk
High Reliability Theory, aangevuld met elementen uit de - informatiekunde - organisatieleer - systeemtheorie 7
8
Statistische Software OOF-project:
Commercieel of Academisch? Criteria: Kwaliteit Usability Lage kost (productie, onderhoud, implementatie) Disseminatie (Marketing) Added value
Het Compendium als instrument voor de integratie van (empirisch) onderzoek in het onderwijs KULeuven: Christophe Croux KULeuven: Bart Baesens Vlekho: Stephan Poelmans Ehsal: Koen Milis
Business Model voor de creatie, het onderhoud en publicatie van (statistische) software 9
10
Uitgangspunten
Business Model
Business Model: Lage kost (ontwikkeling, onderhoud, publicatie) Hoge opbrengst (disseminatie, financieel) Blijvende meerwaarde
Open Source / Open Access
Toepassingen: Onderwijs (“constructivism”) Onderzoek (“reproducible research”)
A Framework for Statistical Software
(Johnson 2001, Edwards 2005, Välimäki 2005) Business & Marketing Models
(Osterwalder 2004, Constantinides 2004) Development, Maintenance, and Publishing within an Open-Access Business Model (DSC 2007 Auckland NZ) (reviewed in Computational Statistics) 11
12
2
Pull Commercial Software R&D
Pull Business Processes
Push
Commercial Software R&D
Push
Educational Processes
Constructive competition Government
R Framework
Educational Processes
Push & Pull
library(“publish”)
Research Processes Statistical Research Software
Business Processes
Government Research Processes
CRAN Paper
Paper
13
14
Voorbeeld: meting van attitude
Toepassingen
male
2 papers – Applied Statistics Conference How to objectively rate investment experts in absence of full disclosure? An approach based on a near perfect discrimination model. Learning Attitudes, Peer Assessment, and Gender in the context of a Social Constructivist Statistics Course
female
Separate learners
15
16
Connected learners
Peer Assessment
Relationships
Studenten =
onderzoekers Attitudes
Test Scores
Gender
Peer Assessment
Peer Assessment = Peer
Review = Leeractiviteit <> Evaluatie-instrument
Experiences 17
18
3
Probleemstelling
Oplossing (OOF Project) Ontwikkeling van een Compendium Platform
Studenten kunnen onderzoeksresultaten niet
reproduceren/hergebruiken. Bijgevolg: Samenwerking & Peer Assessment zeer moeilijk (slorpt zeer veel tijd op) De docent observeert enkel het eindproduct (er is geen informatie over het leerproces)
Studenten/onderzoekers zijn verplicht om zeer veel
taken te herhalen vooraleer ze vooruitgang kunnen boeken.
Iedereen kan via een eenvoudige internet connectie: Statistische berekeningen uitvoeren (thin client) Berekeningsobjecten archiveren, delen, opzoeken en citeren Onderzoeksresultaten reproduceren en reproduceerbaar maken Onderoeksmodules hergebruiken voor verder onderzoek
19
20
Compendium Platform
Reproduceerbaar Onderzoek
Een Compendium is een electronische bundeling
Berekeningsobject bevat alle informatie om de
van tekst, data en software die de onderzoeker/gebruiker in staat stelt de wetenschappelijke bevindingen te reproduceren en te hergebruiken. Dit systeem ondersteunt:
analyse te:
Reproduceren:
Exact Na wijzigingen van parameters, data, R code Sensitiviteit te onderzoeken
Citeren in publicaties Hergebruiken (nieuwe R modules) Zoeken naar verwante objecten
Samenwerking in wetenschappelijk onderzoek Evaluatie van leerprocessen Disseminatie van onderzoeksresultaten
21
22
Tijdspad van een opdracht
Onderzoeksproces
Docent(e) formuleert doelstellingen
Vertegenwoordigt een groot percentage van de
leertijd
Docent(e) stelt een onderzoeksopdracht op
Heeft de kenmerken van een black-box: Problemen blijven verborgen Productie-inspanning wordt niet gemeten Niet reproduceerbaar (voor docent en student) Niet herbruikbaar voor toekomstig onderzoek Wie is de auteur? (plagiaat, free-riding, ...)
Studenten werken (in groep) aan de opdracht Het eindresultaat (paper) wordt beoordeeld
=> productevaluatie
23
24
4
Onderzoeksopdracht
Empowerment
HTTP GET request naar central webserver. User Interface = 100% HTML Gebruiker stuurt HTTP POST request Centrale webserver genereert R code en stuurt opdracht naar R server (distributed computing) 25
26
Dedicated R server voert opdracht uit Resultaat wordt naar gebruiker gestuurd (HTML, png, postscript)
Resultaat Berekening
Resultaat Berekening
Png formaat
Postscript (herschaalbaar, exporteerbaar)
27
Resultaat Bloggen
28
Archief van Berekeningsobjecten
29
30
5
Object
Object
Datum, rekentijd, links, bronnen, etc... GUUID R code Parameters Gegevens (datareeksen) Commentaren, keywords, tags, etc... R output HTML output Afbeeldingen (png, postscript) etc...
31
Object :: R code
32
Object :: Reproduce
33
Search Engine
34
Impact? 4.5 M gebruikers in 2006 [Borghers,Wessa, 2005] Citaties: Neuroscience, BMC Genomics, European Food Research and Technology, Journal of Electronic Resources in Medical Libraries, Functional Ecology, Journal of Animal Science, Nature, Ornis Fennica, Journal of Field Ornithology, Folia Zool., Journal of Animal Breeding and Genetics, Journal of Molecular Evolution, Annales Zoologici Fennici, Journal of Structural Geology, Journal of Statistics Education, Genes, Brain and Behavior, Journal of Lipid Research, PLoS Pathogens, IEEE Transactions on Knowledge and Data Engineering, Col. Vol. Sci. Pap. ICCAT, Applied Mathematics and Computation, Nucleic Acids Research, Informs, IEEE Transactions on Nuclear Science, arXiv:0704.0655v1 [astro-ph], etc.. 35
36
6
