Open data voor en door IT-architecten
Even voorstellen • Lex Slaghuis, directeur bij Wikiwise @ajslaghu
– Informatica en consulting achtergrond – Nauw betrokken bij de ontwikkelingen in het open data veld
• Wikiwise – Wiki’s, open content, open samenwerking en open data
Wat is open data?
Data is voor computers, niet voor mensen. Open overheids data dient te voldoen aan de wetgeving, meer specifiek de WOB artikel 10!
Waar komt het vandaan?
Een datastore kan zowel live-data (verkeer) als historische data aanbieden
Hoe kan je het vinden?
Een register slaat geen data op. Het verwijst enkel naar de data. Het werkt als een telefoonboek.
Wat kan je er mee?
mobile
pad
MS DOS
Waarom Open data?
Want … • Data kan door ‘oneindig’ veel partijen divers ingezet worden – Economische meerwaarde, dus banen en belastingen
Oude economie Nieuwe economie
Hoe groot gaat het worden? • In Nederland zijn er bij overheden zo’n 50.000 -150.000 databases. – Er zijn nu ongeveer 1000 datasets vrijgegeven
• UK > 8000 datasets • US > 378,529 datasets • Kwantiteit is geen kwaliteit, maar…
Hoe snel gaat dat dan? Europeana, de Europese cultuur database met data van meer dan 1000 culturele instellingen heeft afgelopen maand alle metadata als open data beschikbaar gemaakt.
Op Geo informatie vlak gaat er EU breed data vrijgegeven worden. (Deze data ligt in Nederland bij de provincies en beschrijft wie-wat-waar)
Wat gaat het opleveren ? • De EC schat de extra waarde van open data in Europa op 140 miljard per jaar. – Nieuwe toepassingen, bedrijven en kanalen – Nieuwe mogelijkheden, dienstverlening en producten Meerwaarde is: -Toegevoegde economie. Voor overheden komt dit binnen middels groei en in extra BTW, loonbelastingen, etc.
Informatie ontsluiten wordt een normale taak bij overheden
Techniek
Open data
Juridisch
Organisatie
Organis atie
Open data een bedreiging?
• Experts voelen zich bedreigd – Niet langer exclusief eigenaar van data – Niet langer enige die de data kan duiden – Algorithmes en methodes ter discussie
• De echte experts staan niet op je loonlijst, die kan je namelijk niet betalen! • Als je een echte expert bent, wat heb je dan te vrezen?
Organis atie
Open data een risico voor business owners?
• Verantwoordelijkheid voor gevolgen van onjuist hergebruik
• Waarom zou de overheid mogen besluiten wat goed of fout hergebruik is?
• Financieringsmodellen onder druk (KvK verkoopt publieke informatie aan personen en ... marketingbureaus) • Als de meerwaarde zo groot is, waarom dan genoegen nemen met monopolistische financieringsmodellen?
Juridisc h
Juridische uitdagingen
• Niet kunnen ontsluiten. Data zit vast in licentie contracten met derden
• `Verkeerde’ juridische voorwaarden. Hoe goed het ook bedoelt is.
Maak open data onderdeel van de inkoopvoorwaarden , wordt weer eigenaar van je data en geef het vrij!
Maak data als echte open data vrij als CC0 (Creative Commons 0 licentie) en/of volg de definitie van de rijksoverheid. – Voor internationaal hergebruik is CC0 is must
Techni ek
Goede open data is niet makkelijk
• Open data wordt veelal op subsites gepubliceerd. Eenmalig kan dit goed, bijvoorbeeld door een CSV bestand te plaatsen. • Als het aantal databronnen toeneemt zijn er 2 opties: – Bouw / Koop een datastore, waarin alle systemen data publiceren • Voordeel: Relatief goedkoop, en een oplossing voor alle diverse databronnen.
– Ontsluit je datawarehouse middels een portal • Voordeel: Ondanks de kosten in 1 project veel data vrijgeven. Wel wordt data die niet in het warehouse staat gemist.
Datastores
Techni ek
• Bouw / Koop een datastore, waarin alle systemen data publiceren – Voordeel: Betaalbare oplossing voor alle diverse (heterogene) databronnen.
Internet
Data Store
FTP
CRM
E-mail
Fin
FTP
Reverse proxy
Prod
Geo
Techni ek
• Ontsluit je datawarehouse middels een portal – Voordeel: Ondanks de kosten in 1 project veel data vrijgeven. Wel wordt data die niet in het warehouse staat gemist. Sync Internet
Web interface
Data Ware House
Sync Sync
Reverse Proxy
CRM
Fin
Prod
Geo
Pas op voor API’s!
Techni ek
• Een API is niet per definitie ‘open data’. Immers er kunnen restricties ontstaan in het hergebruik vanwege de techniek – De oliebollen test: Kan alle data aanwezig in de API efficient uitgelezen worden door een derde en vervolgens up-to-date gehouden worden? (Repliceerbaarheid) • •
Zorg voor bulk transacties waarbij consistentie gerealiseerd kan worden. Ontsluit dus ook PK’s en FK’s (of persistente substituten). Denk ook na over het up-date proces. Kan iemand snel nieuwe, gewijzigde en VERWIJDERDE items op halen?
• Pas op; meerdere API’s in Nederland hebben het al verkeerd gedaan: – 10 miljoen API calls om een database van 500MB (compressed) te repliceren.... Slecht voor het milieu.
• CSV wordt ook wel de Kalashnikov van open data genoemd.... • Linked Open Data is vooralsnog een belofte
Techni ek
Vergeet de zachte kant niet
• Zorg voor contactmogelijkheden en en context informatie middels een subsite.... Want enkel een FTP is wel heel erg karig. Tip: Meld je data aan op data.overheid.nl dan kan men de data eenvoudig vinden.
Public ecosystem
Open data eco systeem voor bedrijven Jouw organisatie DATA APP
DATA
Public Datasharing:
APP
Public Leadsharing & Referalls
Private Datasharing:
Private Leadsharing & Referalls
DATA
Partners
APP
Public ecosystem
Public Datasharing
•
Jouw organisatie DATA
Public Datasharing:
APP
Models: – Publiek data hergebruik voor klant platformen – Publiek data hergebruik voor BI – Data delen for ‘ecosystem based’ innovation – Klanten kunnen ‘hun’ data delen (zoals nu met Oauth Api’s en CSV downloads)
DATA APP
• Meer inzicht en nieuwe toepassingen voor toegevoegde waarde
Public Leadsharing & Referalls Public ecosystem
Jouw organisatie
DATA APP
DATA Public Leadsharing & Referalls
• Models: – Webverkeer naar Publieke toepassingen • Verbeterdebuurt.nl, overheids websites (vergunning aanvragen)
– Webverkeer van publieke toepassingen • Ideal!
– Whitelabels /Wholeselling • Integratie van toepassingen van derden in eigen platformen
APP
• Juiste tijd en plaats voegt waarde toe voor klanten en aanbieders
Private Datasharing Jouw organisatie
Models: – Communaal datadelen met (meerdere) partners
DATA
• Zoektocht naar complementaire datapartners: Senseo van bigdata.
– Data verkopen – Data inkopen
APP
Private Datasharing:
• Meer inzicht en nieuwe toepassingen voor toegevoegde waarde DATA
Partners
APP
Private Leadsharing & Referalls Jouw organisatie
• Models: – – – –
Webverkeer delen of adverteren Betaalde leads Sponsormodel Advertising
DATA APP
• Schakel met media partners
– Whitelabels and Wholeselling •
Apps embedded in Apps
– Of een combinatie Private Leadsharing & Referalls
DATA
APP
• Juiste tijd en plaats voegt waarde toe voor klanten en aanbieders Partners
Rigoreus anders.... Data in en uit Out
Partners of Internet
Web interface
Data Ware House
CRM Fin Prod
ETL Server
In
Geo
Data Ware House
Sales App
Marketi ng App
Geo App
• Er zijn allerlei combinaties te maken... • Bereid je voor een veelvoud aan apps en data bronnen – Failsafe / safe to fail – Gracefull degradation van apps, services en data – Redundante databronnen!
Recap • Bereid je voor op open data en data van partners – Infrastructuur voor het ophalen en verspreiden van data. Heterogeniteit vraagt flexibiliteit. – Informatie als risico voor processen, diensten en data als product
• Succes!
Vragen?
