Mining Social Structures from Genealogical Data (MISS) Karl Tuyls, Toon Calders, Frans Oliehoek, Bijan Ranjbarsahraei, Julia Efremova Nederlandse Organisatie voor Wetenschappelijk Onderzoek
Introduction Brabants Historical Information Center (BHIC) maintains a large collection of historical documents: Birth certificate
Succession records
Marriage certificate
Criminal records
Death certificate
Property transfer records
Problem: How to derive identities of persons and social structures from large sets of genealogical data available as text and photographs with incomplete information.
Nederlandse Organisatie voor Wetenschappelijk Onderzoek
Objectives of MISS Project Match across different sources of data (structural and nonstructural text records) Match non-person entities Using active learning for incorporating expert knowledge Automatic discovery of patterns Navigational support
Nederlandse Organisatie voor Wetenschappelijk Onderzoek
Example Property Transfer (14-Jan-1805) Petrus van der Wielen en zijn vrouw Allegonda Rodijnen, woonachtig in Grave verklaren voor notaris W. Smits aldaar dat zij 12.023 gulden en 3 stuivers geleend hebben van Mr. Edm. Ruijs en zijn vrouw Clara M.P. van Aefferden. Getuigen: Mr. A.J.J.H. Verheijen, amptman van Grave, en Peter le Muller. Geprotocolleerde toevoegingen: - Op verzoek van Mr. Edm. Ruijs, wonend te Grave, wordt op vertoon van bovenstaande akte, deze geregistreerd te Velp op 15.01.1805 door Benj.A. de Jong, secretaris. In de marge is nog vermeld dat de akte na betaling van de 40e penning op 14.01.1805 te Grave is geregistreerd in het Protocol van Veste en Verbanden. Het geheel geregistreerd op 24.04.1805 door E. van Rooij, beëdigd klerk.
Marriage Certificate (16-Feb-1817) Petrus van der Wielen
Allegonda Rodijnen
Johannes Wouters
Johannes Gregorius van der Wielen
Johanna Arts
Barbara Wouters
Name Alternative
Death Certificate (05-Feb-1850) Petrus van der Wielen
Aldegundis Rodijnen
Johannes Catharina van der Wielen
Mathijs van de Wiggelaar
Property Transfer (12-Feb-1805) Petrus van der Wielen en zijn vrouw Allegonda Rodijnen, woonachtig in Grave verklaren voor notaris Wijnand Smits aldaar dat zij van Olimpia Knoop, wonend te ‘s-Hertogenbosch. 1120 gulden geleend hebben. Getuigen: P.H. Heimach en J.T. Esmans. Geprotocolleerde toevoegingen: - Bovenstaande akte na bewijs van betaling van de 40e penning geregistreerd in het Prothocol van Vesten en Verbanden¿ ter secretarie van Grave op 14.02.1805 door W. Smits, secr. Embertus J. van Rooij verzoekt de schepenen van Reek op vertoon van een kopie van de obligatie deze te registreren. Aldus geschiedt op 09.11.1805. Het geheel geregistreerd op 14.11.1805 te Velp door Benj. A. de Jong, secr. In de kantlijn: Arreté le présent Registre le 12. Juillet 1811. De Muller.
Nederlandse Organisatie voor Wetenschappelijk Onderzoek
Pilot Phase MAISFLEXIS
MEMORIX List of Small Villages in Noord-Brabant (+ variations)
FROG (NLP Software)
MySQL Database
Dutch Place Names from DANS (Dutch Social Science Data Center)
Entity Matching Engine
Information Catalog
Graph Visualization
Pilot Phase
(Developed Software)
2
1 Nederlandse Organisatie voor Wetenschappelijk Onderzoek
Summary of work Delivering required data from BHIC center Data integration over the database Applying simple matching techniques to the database Developing visualization software
Nederlandse Organisatie voor Wetenschappelijk Onderzoek
Future directions Answering fundamental questions • How to effectively assess precision and recall • How to validate the database (ground truth) • How to deal with uncertainties: o Probabilistic relational models o Extension of ILP Practical Tools • Visual link inspection and labeling tool • Person Information Catalog
Nederlandse Organisatie voor Wetenschappelijk Onderzoek