De kwaliteit van semantische standaarden verdient aandacht!

standaarden

t

De kwaliteit van semantische standaarden verdient aandacht!

Kwaliteitsmodel voor semantische standaarden

Veel organisaties streven naar interoperabiliteit. Een belangrijk middel om dit doel te behalen zijn semantische standaarden. De afgelopen jaren zijn dan ook vele semantische standaarden geïntroduceerd. Er is echter weinig bekend over de kwaliteit van semantische standaarden. Dat is opmerkelijk, want de kwaliteit van die standaarden is ongetwijfeld van invloed op de mate waarin het doel van interoperabiliteit behaald kan worden. Met behulp van een instrument kan de kwaliteit van een standaard inzichtelijk worden gemaakt.

informatie / september 2010

Erwin Folmer

18

Iedereen wil interoperabiliteit, alles moet met alles kunnen samenwerken, niet alleen op systeemniveau maar juist ook op proces- en organisatieniveau. De belangrijkste reden voor organisaties om interoperabiliteit na te streven zijn effectiviteit en efficiëntie in het samenwerken met bijvoorbeeld partners, toeleveranciers en klanten. Een gebrek aan interoperabiliteit is kostbaar, zoals verschillende onderzoeken laten zien. Zo worden de kosten van gebrek aan interoperabiliteit in de automobielindustrie in de Verenigde Staten geschat op 1 miljard dollar en een twee maanden langere ontwerptijd dan strikt noodzakelijk (Brunnermeier & Martin, 2002). Ook de overheid heeft belang bij het nastreven van interoperabiliteit, onder meer vanuit maatschap-

pelijk oogpunt. Denk aan de consequenties bij een ramp wanneer de verschillende hulpdienstorganisaties niet interoperabel met elkaar zijn. Daarnaast doen zich bij thema’s als het elektronisch patiëntendossier en de verwijsindex risicojongeren ook interoperabiliteitsvraagstukken voor. Standaarden zijn een belangrijk middel voor het bereiken van interoperabiliteit; er is een mix van standaarden noodzakelijk voor zowel technische zaken als de semantiek van informatie-uitwisseling. Het interoperabiliteitsraamwerk in figuur 1 laat dit zien; tussen haakjes staan voorbeelden van standaarden waarmee dit kan worden ingevuld. De technische standaarden zijn randvoorwaardelijk, maar de echte uitdaging ligt bij de seman-

Samenvatting In het streven naar interoperabiliteit worden semantische standaarden ingezet, maar er is weinig aandacht voor de kwaliteit ervan. Een kwaliteitsinstrument is een belangrijk hulpmiddel om de kwaliteit van standaarden inzichtelijk te maken en te verbeteren. Het biedt een model om naar de standaard te kijken, inzicht in wat van invloed is op de kwaliteit en ideeën voor verbetering van de standaard en voor aanpassingen in het standaardisatieproces. tische standaarden waarin de betekenis van de informatie-uitwisseling centraal staat. Verticale semantische standaarden zijn gericht op een specifieke sector, terwijl horizontale sectoroverstijgend zijn. In de praktijk zijn verticale standaarden altijd noodzakelijk om goed aan te sluiten bij de context van de organisatie. Sterker nog, de internationale verticale standaarden hebben vaak nog een specifieke invulling nodig om bijvoorbeeld in de context van een land (zoals Nederland) perfect te kunnen aansluiten bij de bedrijfsprocessen. Dit is noodzakelijk om interoperabiliteit te kun-

nen behalen. De SETU-standaard (www.setu.nl) bijvoorbeeld is een toegespitst profiel op basis van de HR-XML-standaard voor de specifieke context van het inhuren van tijdelijk personeel in Nederland. Op haar beurt maakt HR-XML weer gebruik van de horizontale taal van OAGIS die gebruikt wordt in verschillende sectoren. Een overzicht van semantische standaarden is te vinden op www.semanticstandards.org. (In het vervolg van dit artikel worden met de term ‘standaard’ semantische standaarden bedoeld.)

Common Semantics

Vertical Industry Vertical Industry Vertical Industry Language: Language: Language: Human Resource … Healthcare (HL7) (HR-XML) (more than 100)

Semantic Interoperability

Horizontal Language (UBL, OAGIS)

Common Syntax (XML)

Syntactical Interoperability (often part of technical interoperability)

Service Discovery (UDDI)

Service Description (WSDL) Technical Interoperability XML Messaging (SOAP)

Transport (HTTP, SMTP, FTP, BEEP)

Common Networking (TCP/IP)

Figuur 1. Interoperabiliteitsraamwerk (gebaseerd op Jian & Zhao, 2003)


Common Messaging Mechanism (Web Services)

Service Composition (WS-BPEL)

Common Communication Mechanism (Internet)

FOCUS

0VUPGTDPQF (Other interoperability models sometimes include other levels like Organizational and Legal interoperability)

19

standaarden

t


Weinig bekend over de kwaliteit van standaarden

20

Wat vinden de standaardisatie organisaties zelf van de kwaliteit? Een onderzoek onder 37 beheerorganisaties van standaarden (waaronder internationale standaarden zoals XBRL, HR-XML, ACORD en HL7 en nationale standaarden zoals SETU, StUF en Aquo) laat zien dat meer dan 90 procent van de ondervraagde opstellers van standaarden vindt dat de kwaliteit van hun standaard verbeterd kan worden (zie figuur 2). Daarnaast vindt ook een zeer ruime meerderheid dat een verbetering in kwaliteit van hun standaarden zal bijdragen aan betere interoperabiliteit. Ook laat het onderzoek zien dat de kwaliteit van een standaard essentieel is om het uiteindelijke doel van interoperabiliteit te behalen (meer dan 90 procent van de respondenten is de mening toegedaan, zie figuur 3). Minder overtuigend maar nog steeds zeer nadrukkelijk is de relatie tussen het kwaliteitsniveau en de kans op succesvolle adoptie van een standaard. Er is dus ruimte voor kwaliteitsverbeteringen die kunnen leiden tot betere interoperabiliteit en betere adoptie van de standaarden. Het is echter lastig de kwaliteit te verbeteren als de kwaliteit niet bekend is. De respondenten (meer dan 80 procent) willen een instrument gebruiken om de kwaliteit van hun standaarden te bepalen. Maar dan moet dit wel beschikbaar zijn. Overigens laten de uitkomsten ook zien dat standaardisatieontwikkelaars zeker geneigd zijn om hoge kwaliteit na te streven en open te staan voor een kritische blik op hun werk door toepas-

Er is weinig bekend over de kwaliteit van standaarden. Dat is opmerkelijk, want als standaarden een middel zijn om het doel van interoperabiliteit te behalen, dan zal de kwaliteit van de standaarden ongetwijfeld van invloed zijn op de mate waarin de doelen behaald kunnen worden. In tegenstelling tot andere disciplines, zoals software-engineering, is er weinig literatuur en kennis beschikbaar over wat een kwalitatief goede standaard is die een effectieve bijdrage levert aan interoperabiliteit. Dit definieert ook ons kwaliteitsbegrip: fitness for use! (definitie van kwaliteitsgoeroe Juran). Het overheidsbeleid (www.noiv.nl) richt zich voornamelijk op de openheid van een standaard, wat slechts één kwaliteitsaspect is. Een kwalitatief hoogwaardige standaard is ongetwijfeld een open standaard, maar het omgekeerde is niet noodzakelijkerwijs waar: een open standaard hoeft niet per definitie een kwalitatief hoogwaardige standaard te zijn. Overigens wordt in de toetsing van standaarden voor de ‘pas-toe- of leg-uitlijst’ van de Nederlandse overheid een sterke nadruk gelegd op de openheid. Daarnaast worden ook andere kwaliteitsaspecten (bruikbaarheid, potentieel en impact) meegenomen in de toetsing voor opname op de lijst. Semantische standaarden kennen een Statements about the current standards development process ongekende complexiteit in vergelijking Quality assurance is an met andere standaarden en worden explicit part of our current development process of the anders ontwikkeld en beheerd. Het standard. merendeel van de IT-standaarden There is not a minimum wordt al buiten de officiële standaardiquality check in place before satieorganisaties (zoals ISO en NEN) the standard is released. ontwikkeld, namelijk in zogenaamde industrieconsortia zoals W3C en An instrument/tool is used OASIS. Wanneer we naar semanto measure the quality of our standard. tische standaarden kijken, gaat het echter nog een stap verder aangezien The quality of the current die grotendeels door een eigen organistandard can be satie ontwikkeld worden (bijvoorbeeld improved. HR-XML door het HR-XML Consortium). Dit kan impact hebben op de 0% 20% 40% 60% 80% 100% kwaliteit; op zijn minst zal de kwaliteit daardoor sterk verschillen per semantiFiguur 2. Standaardisatieorganisaties over sche standaard. de kwaliteit van hun standaarden

Strongly disagree Disagree Partly disagree partly agree Agree Strongly agree

Statements about the desired quality situation A minimum quality level of our standard is needed to achieve interoperability. Strongly disagree Disagree Partly disagree partly agree Agree Strongly agree

A minimum quality level of our standard is needed for high adoption rates. I will not use an instrument/tool to measure the quality of our standard when it will be available. It would be helpful to have an instrument/tool/knowledge to gain insight in the quality of our standard. If the quality of the standard is not known than it is hard to improve the standard. 0%

20%

40%

60%

80%

100%

Figuur 3. Standaardisatieorganisaties over de gewenste kwaliteit van hun standaarden

sing van een kwaliteitsinstrument. Een eventueel gebrek aan kwaliteit van een standaard heeft meerdere oorzaken, maar uit te sluiten valt de motivatie van de standaardisatieontwikkelaars. Eerder onderzoek heeft aangetoond dat juist bij semantische standaarden de ontwikkelaars intrinsiek gemotiveerd zijn.

kennis) en aan het resultaat. Het resultaat moet aanknopingspunten bieden om verbeteringen uit te voeren, een rapportcijfer 8 is dan ook niet voldoende. Deze randvoorwaarden maken uiteindelijk tooling, in de vorm van een softwaretool als meetinstrument, noodzakelijk.

Een kwaliteitsinstrument

Een eerste kwaliteitsmodel is gebaseerd op voornamelijk het domein van software-engineering, waar kwaliteit al jaren onder de aandacht is. Dat heeft geleid tot meerdere ISO-standaarden (met name ISO 9126) die de kwaliteit van software beschrijven. Op basis hiervan is het in figuur 4 weergegeven kwaliteitsmodel voor semantische standaarden gedestilleerd in het INTEGRATEproject (www.integrate-project.nl) en getoetst met experts. Het kwaliteitsmodel in figuur 4 laat niet de volledig uitwerking voor elk kwaliteitsattribuut zien. Ter illustratie: het kwaliteitsattribuut Volwassenheid (onder Betrouwbaarheid) bevat meerdere attributen, waaronder Stabiliteit. Deze attributen kunnen meerdere metrieken bevatten, en daarnaast wordt vastgelegd hoe de waarde van de metriek bijdraagt aan de uiteindelijke waarde voor het attribuut. Een eenvoudig voorbeeld: het attribuut Stabiliteit heeft als metriek de hoeveelheid releases van een


Hoe ziet zo’n instrument waarmee we de kwaliteit van een standaard inzichtelijk kunnen maken eruit? Om een kwaliteitsinstrument te ontwikkelen is veel kennis nodig: wat is een kwalitatief goede standaard? Welke kwaliteitsaspecten zijn van invloed, en hoe zijn die te meten? Maar ook over het onderwerp zelf: wat is een semantische standaard? Uit welke componenten bestaat een semantische standaard? Want daar zal de kwaliteitsthermometer in gestoken moeten worden. Het is noodzakelijk te weten hoe de kwaliteitsthermometer eruit kan zien, maar ook waar we hem in kunnen steken. Op metaniveau zou een kwaliteitsinstrument moeten bestaan uit een kwaliteitsmodel dat zowel kwaliteitsattributen bevat als de metrieken hoe deze attributen meetbaar te maken zijn. Daarnaast zijn er nog randvoorwaarden gerelateerd aan het gebruik (tijdsduur gebruik, minimale noodzakelijke

Het kwaliteitsmodel

21

standaarden

t

»Een aandachtsverschuiving naar de kwaliteit van standaarden voorkomt dat standaarden een doel op zich worden en zal de relatie tussen standaarden en interoperabiliteit versterken

«

standaard in de afgelopen vijf jaar. Een potentiële meting van één release (in vijf jaar) kan door middel van het scoringsmechanisme leiden tot de waarde ‘zeer stabiel’ voor het attribuut Stabiliteit.

Eerste gebruik van het instrument Als eerste testcase is het kwaliteitsmodel getest op de SETU-standaard. Dit is een door TNO-experts ontwikkelde standaard die verplicht gesteld is door de Nederlandse overheid. Dit betekent dat toetsing door een expertgroep heeft plaatsgevonden, evenals positieve besluitvorming in het Forum Standaardisatie op basis van een openbare consultatieronde, en tot slot positieve besluitvorming door het College Standaardisatie. Het is dus een standaard met een hoge kwaliteitsverwachting,

maar ook een standaard waarbij de ontwikkelaars gedreven zijn om de kwaliteit van de standaard waar mogelijk te verbeteren. De uitkomst is een algemeen positief beeld over de kwaliteit van de SETU-standaard. Toch zijn er ook voldoende verbeterpunten geïdentificeerd, zowel op details als op hoofdlijnen. In het kort zijn er verbeterpunten waargenomen op het gebied van scoping (aansluiting met de doelgroep) en het gebruik van opties (verminderen) in de standaard. Het leverde ook eenvoudige punten op die tot op heden gewoonweg over het hoofd werden gezien, bijvoorbeeld gerelateerd aan verouderde informatie op de website. De frisse blik helpt om deze zaken, die eenvoudig zijn aan te passen, inzichtelijk te maken. Kwaliteit van standaarden

3.4 Portabiliteit

3.6 Adoptiegraad

Volwassenheid

Aanpassingsvermogen

Acceptatiegraad gebruikers

Fouttolerantie

Co-existentiemogelijkheid

Consistentie

Vervangbaarheid

3.2 Betrouwbaarheid

Beschikbaarheid hulpmiddelen


Beschikbaarheid kennis/ondersteuning

22

3.1 Effectiviteit

3.3 Bruikbaarheid

3.5 Onderhoudbaarheid

3.7 Openheid

Probleemgerichtheid

Begrijpelijkheid

Aanpasbaarheid

Openheid proces

Accuraatheid

Implementeerbaarheid

Stabiliteit

Openheid specificatie

Compliance

Testbaarheid

Figuur 4. Kwaliteitsmodel voor standaarden (gebaseerd op onder andere ISO 9126)

Conclusies Standaardisatie mag zich op veel aandacht verheugen, maar die is veelal gefocust op zaken als openheid en daarmee samenhangende kwesties zoals patenten en aanbestedingsvraagstukken. Verbazingwekkend is de weinige aandacht voor de kwaliteit van standaarden terwijl interoperabiliteit toch het doel is om efficiëntie en leveranciersonafhankelijkheid te behalen. Hoe weten we dan of de standaard wel een optimale bijdrage levert aan deze doelen? Zonder het kwaliteitsaspect in ogenschouw te nemen worden standaarden te veel gezien als heilige graal. De standaard wordt het doel, in plaats van een middel om op een effectieve en efficiënte manier interoperabiliteit te bereiken. Een aandachtsverschuiving naar de kwaliteit van standaarden voorkomt dat standaarden een doel op zich worden en zal de relatie tussen standaarden en interoperabiliteit versterken. Daarbij is een kwaliteitsinstrument een belangrijk hulpmiddel om de kwaliteit van standaarden inzichtelijk te maken en te verbeteren. Alleen standaarden die aan bepaalde criteria voldoen, gerelateerd aan interoperabiliteit, noemen we kwalitatief hoogwaardige standaarden. De belangrijkste vraag is wat het gebruik van het kwaliteitsinstrument voor standaarden oplevert. Kort samengevat: • een model om naar de standaard te kijken: een frisse blik; • inzicht in wat van invloed is op de kwaliteit van een standaard; • ideeën voor verbetering van de standaard; • ideeën voor aanpassingen in het standaardisatieproces.

Het helpt de standaardisatieontwikkelaar om met een frisse blik naar de standaard te kijken en daarbij een gevoel te krijgen hoe de kwaliteit te beïnvloeden is. Gedurende het gebruik zal de standaardisatieontwikkelaar ideeën ontwikkelen hoe de standaard te verbeteren is of mogelijkheden zien om het standaardisatieproces te veranderen om een hogere kwaliteit te bereiken. In ultieme vorm is het kwaliteitsinstrument een meetinstrument (zoals een thermometer) voor standaarden, dat wil zeggen een compleet gereedschap inclusief ‘tool’ en ‘gebruikshandleiding’. De plannen hiervoor zijn er en het vervolgonderzoek wordt nu uitgevoerd. Op dit moment ligt er een bruikbaar kwaliteitsmodel, met een stevig fundament, dat als ‘bril’ kan worden gebruikt om standaarden in de praktijk mee te toetsen. Noot Gefaciliteerd door TNO, Universiteit Twente (prof. dr. Jos van Hillegersberg), Novay (dr. ir. Paul Oude Luttighuis) en NOiV verricht de auteur promotieonderzoek naar de kwaliteit van semantische standaarden. Voor meer informatie over dit onderzoek kunt u contact opnemen met de auteur.

Literatuur Brunnermeier, S.B. & S.A. Martin (2002). Interoperability costs in the US automotive supply chain. Supply Chain Management 7(2), pp. 71-82. Jian, H. & H. Zhao (2003). A Conceptual Model for Comparative Analysis of Standardization of Vertical Industry Languages. Paper presented at the Workshop on Standard Making: A Critical Research Frontier for Information Systems, Seattle. Links www.integrate-project.nl www.noiv.nl www.semanticstandards.org www.setu.nl Ir. Erwin Folmer is standaardisatieonderzoeker en adviseur voor TNO Informatie- en Communicatietechnologie, Universiteit Twente en Nederland Open in Verbinding. E-mail: [email protected].


Een standaard waarvan de implementaties in de praktijk niet met elkaar kunnen samenwerken zonder grote aanpassingen, waarvan de implementaties niet testbaar zijn en waarvan elk half jaar een nieuwe versie uitkomt met correcties voor fouten, leidt dat echt tot een efficiënte interoperabiliteit? Waarschijnlijk niet.

23

De kwaliteit van semantische standaarden verdient aandacht!

Recommend Documents