Webgebaseerde ontsluiting loggegevens van IDEAS
Afstudeeropdracht bachelor informatica David Beniers, Anand Mandhre, Michiel van Kempen Bastiaan Heeren, Harold Pootjes
Inhoud •
Opdracht
•
IDEAS
•
Aanpak
•
Taakverdeling
•
Demonstratie (?)
•
ABI Project
•
Conclusie
•
Vragen en discussie
Opdracht •
Web-applicatie
•
Informatie over gebruik van IDEAS uit gelogde interacties
•
Voor docenten, beleidsmakers, ontwikkelaars
Programma-eisen: •
Tonen gebruik door applicaties, hoe vaak, wanneer, performance
•
Tonen interacties tussen applicaties en IDEAS
•
Tonen gebruik door individuele gebruikers
•
Open source software
IDEAS •
Interactive Domain-specific Exercise AssistantS
•
Interactieve assistenten voor hulp aan studenten bij oplossen van opgaven (wiskunde middelbare school, propositie logica, lineaire algebra)
•
Web-services bij CS UU
•
Applicaties: oefenomgevingen (activemath, dwo, genexas, mathdox)
•
Project(en) bij Faculteit Computer Science, Open Universiteit en Departement voor Informatie en Computing Sciences. http://ideas.cs.uu.nl/ (Alex Gerdes, Bastiaan Heeren, Johan Jeuring)
IDEAS: Applicaties ActiveMath
DWO
Overbruggingscursussen
Middelbare school wiskunde
(Math-Bridge project)
Genexas Logica (Open Universiteit)
(Freudenthal Instituut)
Programmeertutor Programmeren (Onderzoeksproject Alex Gerdes)
Aanpak •
Non-intrusive approach
•
Business Intelligence
•
Gebruik bestaande software
•
–
open source BI suite
–
Pro/contra bestaande software
Verdeling taken –
Data-import (Extractie, Transformatie, Laden)
–
Data-analyse van modelleren DataWareHouse
–
Analyse- en Presentatiemodules
Aanpak: Non-intrusive approach •
IDEAS ongemoeid
•
Onafhankelijk van IDEAS omgeving
•
Enige afhankelijkheid IDEAS database (Lezen)
•
Reden: performantie en flexibiliteit
Aanpak: Business Intelligence •
•
•
Data Visualisatie
Verzamelen van gegevens uit bedrijfsprocessen en omzetten in nuttige informatie voor belanghebbenden Voorbeeld: opgeslagen verkooptransacties omzetten in jaaroverzichten vanuit verschillende dimensies (filiaal, product, balans) Bronnen: IDEAS database, web-sites
Engine
WOLIP DWH
Reporting, Dashboards, KPI & Analysis
Datawarehouse
ETL WOLIP ODS
Integratie
CDC/EAI/ESB/…
IDEAS SQLITE DB
Te ontwikkelen
Source
Aanpak: gebruik bestaande software •
Open source BI suite SpagoBI (http://www.spagoworld.org , http://spagobi.eng.it/SpagoBI)
Aanpak: gebruik bestaande software •
Verschuiving van ontwikkelen naar leren en configureren
•
Modelleren DWH, softwareontwikkeling in ETL, ontwerpen schermen en grafieken
•
Pro en contra: + Veel meer functionaliteiten en mogelijkheden + Ondersteuning open source groep (forum, web-sites) + Dichter bij dagelijkse praktijk Software Engineering (leerdoel) – Installatie en configuratie is complex – Veel nieuwe kennis nodig (ETL, DWH) – Veel uitzoekwerk (veel modules voor analyse en presentatie)
Taakverdeling •
Data import (Extractie, Transformatie, Laden)
•
Data analyse en modelleren DataWareHouse
•
Analyse- en Presentatiemodules
Data Visualisatie
Engine
WOLIP DWH
Reporting, Dashboards, KPI & Analysis
Datawarehouse
ETL WOLIP ODS
Integratie
CDC/EAI/ESB/…
IDEAS SQLITE DB
Te ontwikkelen
Source
Data analyse en modelleren DataWareHouse (Bron) Source dimension source genexas genexas genexas genexas genexas genexas genexas genexas genexas genexas genexas genexas genexas genexas genexas genexas genexas
service generate generate generate derivation derivation onefirsttext derivation derivation derivation derivation generate derivation generate derivation generate generate derivationtext
Performance dimension
Location dimension
responsetime 0.172323 0.221545 0.008267 0.0092 0.009747 0.017016 0.008835 0.008626 0.008613 0.00826 0.041408 0.058158 0.108355 0.153326 0.032519 0.346247 0.037005
ipaddress 131.211.150.16 131.211.150.16 131.211.150.16 131.211.150.16 131.211.150.16 131.211.150.16 131.211.150.16 131.211.150.16 131.211.150.16 131.211.150.16 131.211.150.16 131.211.150.16 131.211.150.16 131.211.150.16 131.211.150.16 131.211.150.16 131.211.150.16
Date dimension en Time dimension time 2009-04-17 15:12:52.855854 2009-04-17 15:17:08.951817 2009-04-17 15:18:08.35103 2009-04-17 15:19:45.33667 2009-04-17 15:19:51.131017 2009-04-17 15:19:55.251186 2009-04-17 15:19:56.699745 2009-04-17 15:19:57.911981 2009-04-17 15:19:59.590795 2009-04-17 15:21:08.515536 2009-04-17 15:22:21.249125 2009-04-17 15:22:24.563867 2009-04-17 15:26:55.564809 2009-04-17 15:26:58.246265 2009-04-17 15:29:08.371122 2009-04-17 15:29:36.006697 2009-04-17 15:29:39.961166
Usage dimension exerciseID logic.dnf logic.dnf logic.dnf logic.dnf logic.dnf logic.dnf logic.dnf logic.dnf logic.dnf logic.dnf logic.dnf logic.dnf logic.dnf logic.dnf logic.dnf logic.dnf logic.dnf
input output { "source": "genexas", { "result": "method" [ } :"generate", "params" : { "source": "genexas", { "result": "method" [ } :"generate", "params" : { "source": "genexas", { "result": "method" [ } :"generate", "params" : { "source": "genexas", { "result": "method" [ } : "derivation" , "params { "source": "genexas", { "result": "method" [ } : "derivation" , "params { "source": "genexas", { "result": "method" [ } : "onefirsttext" , "param { "source": "genexas", { "result": "method" [ } : "derivation" , "params { "source": "genexas", { "result": "method" [ } : "derivation" , "params { "source": "genexas", { "result": "method" [ } : "derivation" , "params { "source": "genexas", { "result": "method" [ } : "derivation" , "params { "source": "genexas", { "result": "method" [ } :"generate", "params" : { "source": "genexas", { "result": "method" [ } : "derivation" , "params { "source": "genexas", { "result": "method" [ } :"generate", "params" : { "source": "genexas", { "result": "method" [ } : "derivation" , "params { "source": "genexas", { "result": "method" [ } :"generate", "params" : { "source": "genexas", { "result": "method" [ } :"generate", "params" : { "source": "genexas", { "result": "method" [ } : "derivationtext" , "para
Data analyse en modelleren DataWareHouse •
Datawarehouse: database dat is gespecialiseerd voor rapportage en analyse van operationele gegevens.
•
Dimensional modeling: ontwerpen van datawarehouse m.b.v. “dimensies” en “feiten”
•
Dimensie: bron voor selecteren van gegevens (b.v. datum, tijd).
•
Feit: kwantitatief (optelbaar) gegeven van “iets” (b.v. bedrag en hoeveelheid van verkooptransacties).
Data analyse en modelleren DataWareHouse
Data import (Extractie, Transformatie, Laden) •
ETL zijn een processen en behelst … –
extractie van data van externe bronnen (IDEAS DB);
–
transformatie naar analytisch database model;
–
laden in datawarehouse
•
ETL processen wordt periodiek uitgevoerd (configuratie SpagoBI)
•
Implementatie ETL is softwareontwikkeling
•
Eigen ontwikkelomgeving (TALEND Open Studio, Eclipse gebaseerd)
Data import (Extractie, Transformatie, Laden)
DWH
Datawarehouse
Data Visualisatie & Presentatie
ETL ODS
Integratie
ETL IDEAS DB, XLS, GEOIP data
Bronnen
Engine
Reporting, Dashboards, KPI & Analysis
Analyse- en Presentatiemodules •
OnLine Analytical Processing (Interactief, datakubus)
•
Charts (Voorgedefinieerde interactieve grafieken)
•
Reports (tabellen en tekst)
•
Visual Query (Zelf bevragen en presenteren)
•
Afhankelijk van gebruikerswensen
Demonstratie •
WOLIP applicatie
ABI project Okt-dec 2011 Dec 2011 Jan-mei 2012 Mei 2012
Projectplan, aanpak BI Start verdiepingsopdrachten Modelleren, ETL, schermen, prototype Demo prototype, evaluatie, extra programma-eisen
Mei-aug 2012
Nieuwe specificaties, modelleren, ETL, schermen
Jul-sept 2012
Hervatten verdiepingsopdrachten
Sept-nov 2012 Dec 2012
Aanpassen ETL, installeren productieomgeving Afronding ?
Conclusie •
Toepassen bestaande software mogelijk
•
Focus verschuift van programmeren naar leren en configureren
•
BI geschikt als oplossing, maar is veel omvattend
Vragen en discussie
