Het visualiseren van argumentatie. Susan van den Braak

Het visualiseren van argumentatie

Susan van den Braak

1

Overzicht

Argument visualisatie Wat? Waarom? Hoe?

Onderzoek Methode Resultaten

Voorbeeldproject Making Sense of Evidence

2

Overzicht




3

Het visualiseren van argumenten

Het visualiseren van argumenten en tegenargumenten Identificeer de verschillende onderdelen van een argument en

de (inferentiële) relaties ertussen Het resultaat wordt weergegeven in “box and arrow” diagrammen (bv. een boom of een graaf) Hierdoor wordt de structuur van een argument weergegeven

en wordt duidelijk hoe de premissen en conclusies samenhangen

4

Argument diagram

5

Bouwstenen van argument diagrammen

Knopen (boxen, cirkels, …) Representeren claims, proposities, statements, beweringen Deze vormen de premissen en conclusies van een argument

Links tussen knopen (lijnen, pijlen) Representeren relaties, connecties, inferenties Waarbij de pijl de richting van de relatie van premisse naar

conclusie weergeeft Relaties kunnen zowel positief als negatief zijn

6

Verschillende modellen van argumentatie

Ieder model heeft zijn eigen bouwstenen Toulmin Analyseerde de logische structuur van argumenten Argumenten bestaan uit datums (feiten), claims (beweringen),

warrants (rechtvaardigingen), rebuttals (weerleggingen), qualifiers en backings (ondersteuning) Deze concepten kunnen gebruikt worden om argumenten te visualiseren

Wigmore Ontwikkelde een methode om bewijs in een rechtszaak te

visualiseren Wigmore’s diagrammen bestaan uit veel verschillende typen knopen (verschillende soorten bewijs) en relaties

7

Toulmin diagram

8

Wigmore diagram

9

Voordelen van argument visualisatie

Het visualiseren van informatie helpt bij: Overzichtelijk weergeven van grote hoeveelheden informatie Beter structureren van gedachten Makkelijker communiceren

Het visualiseren van argumenten helpt bij: Het oplossen van “wicked problems”

• Deze problemen zijn onduidelijk of niet compleet gespecificeerd en hebben geen duidelijke criteria waaraan de oplossing moet voldoen Het nadenken over de structuur van een argument en het

expliciet maken van claims. Dit zorgt ervoor dat studenten hun argumenten beter kunnen beoordelen doordat ze: • Makkelijker kunnen nagaan of hun argumenten worden ondersteund door bewijs • Makkelijker sterke en zwakke punten van hun argumenten kunnen identificeren • Makkelijker inconsistenties en gaten kunnen ontdekken

10

Argument visualisatie software

Het structureren en visualiseren van argumenten door middel van een computerinterface Araucaria (http://www.computing.dundee.ac.uk/staff/creed/araucaria/) Rationale (Reason!Able) (http://austhink.com/) Belvedere (http://lilt.ics.hawaii.edu/lilt/software/belvedere/index.html) Cohere (http://cohere.open.ac.uk/) Convince Me (http://www.soe.berkeley.edu/~schank/convinceme/) Questmap En vele anderen… (http://www.phil.cmu.edu/projects/argument_mapping/)

11

Toepassingsgebieden

Onderwijs Aanleren van redeneer- en argumentatietechnieken Aanleren van discussietechnieken

Gezamenlijke probleemoplossing Structureren van discussies Structureren van gezamenlijke en conflicterende argumenten

Recht Oplossen van misdaden (criminaliteitsanalyse) Voorbereiden van rechtszaken Nemen van beslissingen door de rechter

12

Araucaria

Araucaria is vooral gericht op onderwijs, maar is bovenal een wetenschappelijke tool en minder geschikt voor dagelijks gebruik. Argumenten worden opgebouwd door middel van het

selecteren van regels tekst uit brondocumenten Maakt gebruik van argumentatieschema’s Ondersteunt verschillende argumentatie modellen en kan deze automatisch vertalen

13

Araucaria diagram

14

Rationale

Rationale is een commerciële tool en is daardoor makkelijker in het gebruik. Het wordt vooral gebruikt in het onderwijs. Argumenten worden opgebouwd door het handmatig

toevoegen van knopen aan de graaf Het programma bevat ook verschillende templates Gebruikers kunnen hun aangeven in welke mate zij zeker zijn van bepaalde elementen van hun argumenten Bevat functionaliteit om makkelijker te kunnen werken met grote diagrammen

15

Rationale diagram

16

Araucaria versus Rationale

In Araucaria is het alleen mogelijk om door middel van het selecteren van tekst een diagram te maken Hierdoor is er wel altijd een directe link met het brondocument In Rationale is zo’n link alleen mogelijk via hyperlinks

Araucaria is expliciet gebaseerd op verschillende modellen van argumentatie en biedt de mogelijkheid om argumentatie schema’s te gebruiken Rationale is makkelijker in het gebruik en biedt de gebruikers meer ondersteuning, daarnaast is er meer vrijheid bij het maken van diagrammen In Araucaria kan bijvoorbeeld maar één tegenargument per

(sub)conclusie gebruikt worden Rationale biedt meer verschillende knooptypen en relaties

17

Verwachte effecten van deze software

Verschillende auteurs claimen dat gebruikers van de argument visualisatie software profiteren doordat: Hun redeneerkwaliteiten verbeteren Ze efficiënter redeneren Ze sterkere argumenten maken Ze betere beslissingen nemen Ze sneller en beter leren

18

Overzicht




19

Argument visualisatie software testen

Usability Is het programma eenvoudig in gebruik, makkelijk te leren en

overzichtelijk?

Effectiviteit Wat is het effect van het gebruik van de software op de

prestaties van de gebruikers? • Gaan de gebruikers echt beter redeneren? • Welke voordelen heeft de software ten opzichte van andere methoden?

20

Argument visualisatie software testen

Usability Is het programma eenvoudig in gebruik, makkelijk te leren en

overzichtelijk?

Effectiviteit Wat is het effect van het gebruik van de software op de

prestaties van de gebruikers? • Gaan de gebruikers echt beter redeneren? • Welke voordelen heeft de software ten opzichte van andere methoden?

21

Voorwaarden voor valide onderzoek

Criteria voor valide experimenten Gebruik betrouwbare maten en meetmethodes Gebruik ten minste één controle groep Randomiseren Homogeniseren of counterbalancen

Van den Braak et al. (2006)

22

Voorbeeld onderzoeksopzet

Pre-test Bepaal of er vooraf al verschillen tussen de groepen bestaan

Testopdracht Beide groepen maken dezelfde opdracht Laat de ene groep de software gebruiken en tenminste één

controle groep een ander medium (bijvoorbeeld pen en papier) of een andere software tool

Post-test Meet achteraf of de software effect heeft op de algemene

redeneerkwaliteiten

23

Voorwaarden voor valide onderzoek

Criteria voor valide experimenten Gebruik betrouwbare maten en meetmethodes Gebruik ten minste één controle groep Randomiseren Homogeniseren of counterbalancen

24

Het vinden van betrouwbare maten

Het meten van de effectiviteit van een argument visualisatie tool is moeilijk, hiervoor is het nodig de geproduceerde argumenten te beoordelen: Kwaliteit van de structuur van het argument (objectief)

• Gedetailleerdheid (bijvoorbeeld het aantal elementen in een argument) • Coherentie en geldigheid Kwaliteit van de inhoud van het argument (subjectief;

beoordeling door expert nodig) • Compleetheid • Relevantie • Toepasselijkheid

25

Een overzicht van bestaand onderzoek

Verschillende auteurs hebben de effecten van argument visualisatie software op de prestaties van de gebruikers gemeten Convince Me Questmap Belvedere Reason!Able

Van al deze onderzoeken hebben we de validiteit bekeken en beoordeeld naar aanleiding van de eerder genoemde criteria Van den Braak et al. (2006)

26

Resultaten Convince Me

Geen valide experiment

Test

Software groep

Controle groep

p

Opdracht

.6

.45

< 0.05

Post-test

.5

.4

< 0.05

Significante effecten

27

Resultaten Questmap


Test

Software groep

Controle groep

p

Pre-test

-

-

0.305

Post-test

5.15

4.50

0.137

Geen significante effecten

28

Resultaten Belvedere

Valide experiment

Test

Software type Matrix

Graaf

Tekst

Opdracht

79.4

67.5

60.4

< 0.49

Post-test

15.2

15.18

14.90

< 0.96

Geen significante effecten

29

p

Resultaten Reason!Able


De prestaties van de studenten verbeterden door het gebruik van Reason!Able sterker dan door conventionele leermethoden

Er worden geen uitspraken gedaan over de significantie van de gevonden verschillen

30

Conclusie

Niet alle experimenten leveren significante resultaten op, maar de gevonden verschillen wijzen wel in de goede richting Het enige valide experiment (Belvedere) toonde geen

significante verschillen aan Significante verschillen werden alleen gevonden in een invalide experiment (Convince Me)

Het is nodig nieuw onderzoek uit te voeren dat het in Van den Braak et al. (2006) voorgestelde stappenplan volgt om aan te tonen dat argument visualisatie software de prestaties van de gebruikers echt verbetert

31

Overzicht




32

Het “Making Sense of Evidence” project

Het ondersteunen van criminaliteitsanalisten door middel van software in: Het ontdekken van patronen Het kunnen aanwijzen van inconsistenties Het identificeren van missend bewijs Het communiceren van de resultaten van de analyse

Voorkomen van tunnelvisie (?)

33

De taak van analisten binnen een rechercheonderzoek Moeten een objectieve kijk op de zaak en het gevonden bewijs geven en zo veel mogelijk alternatieven onderzoeken Selecteren, filteren en evalueren van de binnenkomende

informatie Visualiseren van deze informatie in schema’s (tijdslijnen of relatieschema’s)

Dit proces resulteert in nieuwe zoekvragen voor de rechercheurs die verbonden zijn aan de zaak

34

Het AVERs prototype

Argument Visualization for Evidential Reasoning based on stories

Sense-making software voor criminaliteitsanalyse Analisten kunnen scenario’s van wat er gebeurd zou kunnen

zijn construeren en visualiseren en kunnen deze verhalen verbinden aan de beschikbare bewijsstukken zodat: • Het structureren van grote hoeveelheden bewijs makkelijker wordt • Meerdere scenario’s tegelijkertijd beoordeeld (kunnen) worden • Aangegeven kan worden waarom bepaalde scenario’s ondersteund of verworpen worden door bepaald bewijsmateriaal


35

Het visualiseren van scenario’s en bewijs

Structureren en inzichtelijk maken van informatie door middel van scenario’s Het vergelijken van verschillende hypotheses (scenario’s)

Het verbinden van de op deze manier geconstrueerde scenario’s met het beschikbare bewijs De onderliggende redenering expliciet maken en vastleggen

hoe bepaalde bewijsstukken het verhaal ondersteunen Kritisch oordelen over de vastgelegde relaties

36

Het visualiseren van scenario’s en bewijs

Structureren en inzichtelijk maken van informatie door middel van scenario’s Deze scenario’s worden gevisualiseerd door middel van

temporele/causale netwerken

Het verbinden van de op deze manier geconstrueerde scenario’s met het beschikbare bewijs Deze relaties tussen bewijs en gebeurtenissen worden

gevisualiseerd door middel van argumenten

37

De gebruikersinterface van AVERs menu visualisatie

edit

38

Specifieke eisen voor deze software

Argument visualisatie software voor criminaliteitsanalyse moet de gebruiker in staat stellen om: Een directe link tussen de knopen en de originele

bewijsstukken bij te houden Argumentatie schema’s te gebruiken om aan te geven welk soort bewijs er gebruikt is en de relatie tussen bewijs en scenario’s kritisch te kunnen beoordelen

39

Voorbeeld: De zaak Rijkbloem

Nicole, een bakkersdochter, gaat weg bij Rijkbloem, een kruimeldief. Nicole gaat met haar ouders langs Rijkbloem. Er ontstaat een ruzie tussen Rijkbloem en Nicole’s vader, die eindigt in de dood van vader De politie krijgt twee verhalen te horen: Nicole en haar moeder vertellen dat tijdens de ruzie Rijkbloem

een pistool trok, aanlegde en vader door het hoofd schoot Rijkbloem beweert dat moeder een revolver uit haar handtas pakte en op hem richtte. Toen hij haar arm wegsloeg, ging de revolver af en werd vader geraakt

40

Scenario’s in AVERs

41

Scenario’s ondersteunen in AVERs

42

De relaties tussen scenario en bewijs

Worden weergegeven door middel van argumentatie schema’s Veelvoorkomende redeneerpatronen voor redeneren over

bewijs, bestaande uit een of meer premissen en een conclusie • ALS een getuige iets zegt DAN is het waar • ALS het DNA van het bloed op het mes overeenkomt met DNA slachtoffer DAN is het mes het moordwapen

Bij elk schema horen kritische vragen Kritische vragen zijn er om een schema te testen Als een schema de tests niet doorstaat, dan moet je je

afvragen of het bewijs het scenario wel echt ondersteunt

43

Argumenten in AVERs

44

De evaluatie van AVERs

Toetsend (kwantitatief) onderzoek Onderzoeken hoe de gebruiksvriendelijkheid van de software

beoordeeld wordt Onderzoeken wat het effect is van de software op de prestaties van de gebruiker Onderzoeken of de gebruikte kennisrepresentatie overeenkomt met de praktijk

45




46

Het testen van de “usability” van AVERs

Laat de gebruikers de software gebruiken zonder instructies vooraf en kijk of ze in staat zijn om een voorbeelddiagram na te maken (experiment 1) Laat de gebruikers de gebruiksvriendelijkheid van de software beoordelen op een 5-puntsschaal (experiment 2) Cognitive Walkthrough (afstudeerscriptie Jauco Noordzij)

47

Resultaten Maat

Experiment 1

Gebruiksvriendelijkheid van het geheel

3,13

2,80

Gebruiksgemak van specifieke functies

4,03

3,31

Begrijpelijkheid

3,13

Alle maten zijn op een schaal van 1 tot 5

48

Experiment 2

Resultaten Maat

Experiment 1

Experiment 2

Gebruiksvriendelijkheid van het geheel

3,13

2,80

Gebruiksgemak van specifieke functies

4,03

3,31

Begrijpelijkheid

3,13

Mogelijke verklaring voor de daling in waardering: In experiment 1 werd een beperkte versie van AVERs getest

waarin alleen argumenten gemaakt konden worden In experiment 2 werd een complete en complexere versie getest werd waarin ook scenario’s gemaakt konden worden

49

Resultaten

Het gebruiksgemak van specifieke functies is toereikend Het aanmaken van nieuwe knopen, quotes, schema’s en links,

en het inklappen van knopen en links is onderzocht

De gebruiksvriendelijkheid van het geheel moet verbeterd worden Met name de traagheid van het systeem wordt als een nadeel

ervaren

50




51

Het testen van de effectiviteit van AVERs

Onderzoeken of de prestaties van AVERs gebruikers beter zijn dan die van anderen De treatment groep gebruikt AVERs terwijl de controle groep

een andere tool of pen en papier gebruikt

Onderzoeken of bepaalde functies de prestaties van de gebruikers verbeteren Zowel de treatment als de controle groep gebruiken (een

andere versie van) AVERs

52

Het testen van de effectiviteit van AVERs

Onderzoeken of de prestaties van AVERs gebruikers beter zijn dan die van anderen Onderzoeken of bepaalde functies de prestaties van de gebruikers verbeteren

53

Probleem: omgaan met grote zaken

Grote diagrammen moeten leesbaar en handelbaar blijven Wensen van criminaliteitsanalisten: Verschillende abstractie niveaus

• Inzoomen op details • Overzicht houden op het geheel

54

Functionaliteit: omgaan met grote zaken

Compressie en decompressie Het zichtbaar of onzichtbaar maken van bijvoorbeeld schema’s

Refinement Het invoegen van nieuwe knopen tussen twee reeds

verbonden knopen

55

Compressie

56

Refinement

57

Het experiment “effectiviteit”

Proefpersonen 16 criminaliteitsanalisten en studenten van de politieacademie

in Zutphen 2 condities

Taak Het analyseren van een simpele moordzaak in AVERs

bestaande uit 5 brondocumenten

Metingen Kwaliteit van de analyse Snelheid Begrip van de zaak


58

Resultaten

Meting

Treatment groep

Controle groep

1,01

0,73

,05*

16,25

15,50

,40

Structuur

6,00

4,75

,24

Correctheid

6,25

1,88

,04*

3286 sec

3972 sec

,06(*)

14,88

14,14

,16

Kwaliteit Compleetheid

Snelheid Begrip

59

p

Resultaten

Alle resultaten in de voorspelde richting Slechts twee resultaten significant Aanbevelingen Herhaal experiment met een groter aantal proefpersonen Gebruik een uitgebreidere, ingewikkeldere casus

60



beoordeeld wordt Onderzoeken wat het effect is van de software op de prestaties van de gebruiker Onderzoeken of de gebruikte kennisrepresentatie overeenkomt met de manier van redeneren van de doelgroep

61

De kennisrepresentatie

Hoe redeneren experts, toekomstige gebruikers, …? Hoe interpreteren zij de relaties die in het systeem worden

vastgelegd en waarom interpreteren zij die op deze manier?

Representatie moet overeenkomen met de praktijk en zo natuurlijk mogelijk zijn Zo dicht mogelijk bij de werkelijke aard van de kennis blijven

62

Het experiment “kennisrepresentatie”

Proefpersonen:

14 rechtenstudenten and 13 AIO’s aan de rechtenfaculteit

Taak: Benoemen van de aard van verschillende relaties Kiezen van een richting voor het representeren van

verschillende soorten informatie

63

Taak 1

64

Taak 2

65

Resultaten

Met name voor de relaties tussen bewijsstukken en gebeurtenissen is de richting van belang voor het begrijpen ervan Het omdraaien van de richting maakt het interpreteren van de

relaties moeilijker

Voor alle soorten informatie heeft de voorgestelde richting de voorkeur Het theoretische model dat ten grondslag ligt aan AVERs komt overeen met de intuïties van potentiële gebruikers

66

Conclusie

Verschillen AVERs ten opzichte van andere tools: Het systeem is gebaseerd op een theorie van het redeneren

over bewijs Het is gedetailleerder en complexer dan meer generieke systemen • Het is hierdoor moeilijker te gebruiken voor niet-professionals • Deze functionaliteit echter is wel nodig voor gebruik in de praktijk • Training is daarom belangrijk Er is empirisch onderzoek gedaan naar zowel de usability als

de effectiviteit van deze software • Hierbij is het van belang grote zaken te gebruiken in combinatie met getrainde proefpersonen • Helaas zijn tot nu toe slechts bepaalde functies van de software getest

67

Vragen?

[email protected]

http://people.cs.uu.nl/susanb/

68

Het visualiseren van argumentatie. Susan van den Braak

Recommend Documents