MEDISCHE BEELDANALYSE Josien Pluim
1
2
3
Opleiding Informatica, Rijksuniversiteit Groningen, 1996 Scientific Computing and Imaging
4
Opleiding Promotie UMC Utrecht
5
Opleiding
Juni 2001
6
Werk Tijd aan Yale University, VS
7
Werk Sinsdien terug in UMC Utrecht Imaging Division, UHD Beeldanalyse
8
Imaging Division Disciplines Radiologie Radiotherapie Nucleaire geneeskunde Medische beeldvorming en beeldanalyse Beeldvorming en –analyse omvat zo’n 90 onderzoekers, waaronder informatici, wiskundigen, natuurkundigen, electrotechnici, biologen, ….
9
Imaging Division Onderzoekgebieden Beeldacquisitie (fysica Magnetic Resonance Imaging) Beeldanalyse Beeldondersteunde diagnostiek Beeldgeleide behandeling
10
11
Medische beeldvorming …
Andreas Vesalius, 1543: De Humane Corporis Fabrica
12
… was vroeger zeer invasief
Rembrandt, 1632: “De anatomische les van dr. Nicolaes Tulp” Tulp”
13
Niet-invasieve beeldvorming
Wilhelm Konrad Röntgen
Ontdekking Röntgenstralen op 8 November 1895 Instituut voor Natuurkunde, Universiteit van Würzburg, Duitsland
14
Niet-invasieve beeldvorming
Wilhelm Konrad Röntgen
15
Niet-invasieve beeldvorming 28 december 1895
Wilhelm Konrad Röntgen
5 januari 1896
16
Niet-invasieve beeldvorming 08-11-1895: Ontdekking x-stralen 28-12-1895: Eerste diagnostische foto Wenen
28-12-1895: Inzending artikel 05-01-1896: Publicatie artikel Univ. Verlag Würzburg
14-01-1896: Eerste beeldgeleide chirurgie Birmingham
17
Medische beeldvorming - in het UMC Utrecht • Eerste CT scanner: • Eerste SPECT scanner: • Eerste MRI scanner:
1977 1980 1986
18
Modaliteiten Conventionele radiografie Digitale Subtractie Angiografie (DSA) Computed Tomography (CT) CT Angiografie (CTA) Ultrageluid Single Photon Emission Computed Tomography (SPECT) Positron Emission Tomography (PET) Electro Encephalography (EEG) Magneto Encephalography (MEG) Magnetic Resonance Imaging (MRI) etc.
19
Röntgendoorlichting
Röntgenbuis
Patiënt
Detector/ film
20
Röntgendoorlichting: radiografie Röntgenstraling is een vorm van electromagnetische straling waarvoor het menselijk lichaam gedeeltelijk transparant is. Hiermee kan niet-invasief de anatomie van het lichaam (vooral botstructuren) zichtbaar gemaakt worden.
21
Conventionele radiografie
Enkels
Wervels
22
23
Angiografie: afbeelden van vaten Met contrastmiddel kunnen bloedvaten goed worden afgebeeld. Contrastmiddel wordt via catheter op de goede plek in de bloedbaan gebracht. Subtractie van beelden met en zonder contrastmiddel.
24
Interventies Radiografie wordt veel gebruikt als hulpmiddel bij chirurgische ingrepen. Angiografie wordt veel gebruikt als beeldvorming bij vasculaire interventies. Dotteren Stentplaatsing Aneurysma coiling
25
Computed Tomography CT
26
Computed Tomography CT
27
CT principe Uit veel projectieopnames wordt het beeld van een plak gereconstrueerd.
28
CT scan gebroken schouder
29
Dynamische CT van het hart
30
Ultrageluid
31
Definitie ultrageluid Wat is ultrageluid? Geluid met frequentie > 20.000 Hz, te hoog voor het menselijk gehoor. Medisch ultrageluid: Frequentie rond 3.500.000 Hz
32
Ultrageluid: diepte meten Uit de reflectietijd (en de geluidssnelheid van het medium) kan de afstand worden bepaald.
33
Magnetic Resonance Imaging (MRI)
34
Een heel sterke magneet …
35
MRI principe Het menselijk lichaam bevat veel waterstof.
waterstofkern (1 proton)
36
MRI principe Waterstofkernen worden door een magnetisch veld ‘gericht’.
37
MRI principe Door de kernen op een speciale manier ‘aan te slaan’ worden de protonen uit evenwicht gebracht. Door te meten hoe de kernen terugkeren naar hun evenwichtstoestand, kan informatie worden verkregen over anatomie en functie van weefsels en organen.
38
MRI hersenscans
T1
T2
IR
PD
FLAIR
39
Dynamische MRI van het hart
Normale hartklep
40
Dynamische MRI van het hart
Normale hartklep Vernauwde hartklep
41
Afbeeldingsartefacten: susceptibiliteit
42
Afbeeldingsartefacten: susceptibiliteit
43
De oude anatomische les
Invasieve beeldvorming
44
De nieuwe anatomische les
45
46
Ontwikkelingen Aantal beelden neemt toe. In het UMC Utrecht in 2013: 180.000 verrichtingen Radiologie >>180.000 beelden
47
Ontwikkelingen
48
Ontwikkelingen
49
50
Ontwikkelingen
51
Beperking menselijke waarneming
Is de middelste cirkel links of rechts groter?
52
Beperking menselijke waarneming
Welk vlak is donkerder: A of B?
53
Beeldverwerking en -analyse Gebruikt in • beeldreconstructie • beeldsegmentatie • beeldregistratie en fusie • visualisatie • beeldverbetering • beeldgeleide behandeling • computer-aided detectie en diagnose • …
54
Digitale beelden Digitale beelden bestaan uit pixels/voxels. Grijswaarde hangt af van de gemeten fysische grootheid.
151
171
210
207
172
242
230
164
211
241
201
149
213
203
172
131
55
Digitale beelden Een beeld is in feite een verzameling getallen en daar kunnen we dus mee rekenen. 13 23 29 34 39 36 31 33 33 32 34 39 36 33 39 44 46 47 47 48 48
10 20 30 35 36 34 30 31 29 30 31 36 33 32 39 43 45 46 46 47 48
9 16 31 36 34 32 27 27 25 27 28 32 28 27 36 41 44 45 46 47 48
10 15 31 36 34 30 23 22 22 25 28 30 23 21 30 39 45 46 47 48 49
10 15 29 35 35 28 18 18 22 26 30 30 18 15 26 36 46 48 48 50 51
9 14 26 34 35 24 15 19 25 28 30 27 14 12 25 36 45 48 49 50 51
8 11 23 33 33 19 14 23 27 30 29 22 9 13 29 37 43 47 48 49 50
8 9 21 33 30 15 14 26 27 31 27 17 7 15 33 39 40 46 47 48 49
7 8 17 34 28 16 22 25 27 14 12 6 15 26 29 37 38 44 43 45 47
8 7 14 30 26 17 24 26 24 6 3 8 18 27 28 31 40 41 40 42 46
8 8 11 26 23 19 27 25 17 1 4 18 24 27 28 27 39 40 39 41 45
9 10 10 22 22 20 27 20 8 8 20 34 33 29 30 30 37 44 42 42 43
10 11 9 18 21 22 24 13 4 21 37 44 43 36 32 37 40 46 42 41 41
8 10 7 14 19 22 19 8 9 34 44 46 52 47 36 42 45 43 39 38 39
8 9 6 10 17 22 14 4 17 41 45 50 56 54 45 42 45 39 36 37 40
11 9 6 9 15 21 10 2 24 44 46 55 56 56 54 42 41 36 35 38 43
12 10 7 7 10 18 8 14 30 45 50 50 54 61 59 48 41 40 38 38 41
16 14 9 7 8 14 3 7 20 37 38 51 61 60 57 52 47 44 38 35 36
20 15 10 9 7 11 4 6 15 21 15 31 48 56 61 53 46 42 36 35 39
23 15 13 12 8 10 4 9 15 16 10 19 30 50 63 53 46 39 35 37 45
27 17 15 15 8 7 3 10 15 23 24 28 25 33 50 51 46 40 35 37 44
31 17 15 16 9 7 7 18 23 31 27 29 25 20 36 51 42 39 35 37 43
33 18 13 14 9 9 11 25 31 34 24 21 27 22 31 50 42 36 35 39 44
33 20 13 12 7 7 9 24 29 28 22 17 29 26 20 39 42 37 37 39 42
36 26 17 11 8 7 2 1 10 27 29 21 26 25 19 35 45 45 37 37 41
37 30 19 13 9 6 2 2 14 25 25 24 27 20 17 33 44 42 36 36 40
40 31 21 15 10 8 4 9 26 33 28 29 29 21 22 33 38 38 35 36 39
43 38 27 20 14 9 5 12 31 32 32 34 27 21 27 34 38 34 33 36 39
44 39 29 21 15 11 8 15 34 34 40 39 26 24 31 34 38 30 33 36 39
45 45 35 26 16 9 5 8 22 35 35 26 22 34 41 37 33 28 32 36 38
45 43 35 25 15 10 7 7 16 20 19 15 29 45 45 41 33 26 32 36 38
46 44 36 26 16 11 8 5 11 16 25 34 54 53 36 38 36 24 31 36 37
45 42 38 27 17 11 4 7 17 39 47 54 54 46 36 34 39 34 33 34 36
46 44 39 29 19 13 7 8 18 44 48 56 53 40 33 34 34 33 32 34 36
46 44 39 29 20 14 7 8 17 43 46 54 48 32 30 35 31 31 32 33 36
56
Basis beeldverwerking
57
Basis beeldverwerking
x -1
58
Basis beeldverwerking
pixel(x,y) – pixel(x-1,y)
59
Basis beeldverwerking
pixel(x,y) – pixel(x,y-1)
60
Basis beeldverwerking
61
Basis beeldverwerking Histogram grijswaarden
62
Basis beeldverwerking Drempelen
63
Basis beeldverwerking Drempelen
64
Basis beeldverwerking Region growing
+
65
Iets minder simpel: segmentatie Active Shape Models Idee: Bouw een model op basis van voorbeelden, dat gemiddelde vorm en variatie weergeeft.
66
Segmentatie: active shape models
67
Segmentatie: active shape models
68
Segmentatie: active shape models En zo nog een heleboel poses…..
69
Segmentatie: active shape models Uit al deze punten kan een model gebouwd worden. Dit beschrijft de gemiddelde positie van de punten en de variatie daarin.
70
71
72
73
Segmentatie: active shape models Pas het model op een nieuw beeld.
74
Segmentatie: kNN Weefseltypes in het brein k Nearest Neighbour classificatie
75
Segmentatie: kNN Twee MR beelden van één patiënt. Geven verschillende kenmerken weer. Van een aantal patiënten zijn segmentaties van deze beelden beschikbaar. Met deze informatie kunnen andere beelden gesegmenteerd worden.
76
Segmentatie: kNN
grijswaarden beeld 2
k Nearest Neighbour classificatie Voorbeeld met 4 weefseltypen
+
k=1 k=7
grijswaarden beeld 1
77
Segmentatie: kNN Resultaat
78
Registratie Ruimtelijk in overeenstemming brengen van beelden
MRI brein
CT brein
79
Registratie Ruimtelijk in overeenstemming brengen van beelden
80
Registratie Ruimtelijk in overeenstemming brengen van beelden
81
Registratie Twee beelden, een doelbeeld en een bewegend beeld. Bewegend beeld wordt getransformeerd om het op het doelbeeld te krijgen.
doelbeeld
bewegend beeld
82
Registratie Bewegend beeld wordt getransformeerd. Een maat van overeenkomst wordt berekend.
83
Registratie Een betere transformatie wordt gezocht tot de optimale waarde van de maat van overeenkomst is gevonden.
84
Maat van overeenkomst • Corresponderende punten • Afstand tussen contouren • Verschil in grijswaarden
-
85
Voorbeeld: DSA bewegingscorrectie DSA: digitale subtractie angiografie
-
=
Beweging van de patiënt geeft artefacten in DSA beelden
86
DSA bewegingscorrectie
correctie
Origineel DSA beeld
Gecorrigeerd DSA beeld
87
Computer-aided detection Screening: Enorme hoeveelheden beelden. Hoe de abnormale gevallen te vinden?
88
Computer-aided detection Leer een computer aan de hand van voorbeelden
Nodules
Normaal
89
Computer-aided detection
kenmerk 2
Beschrijf de klassen van voorbeelden met kenmerken
gezond abnormaal
kenmerk 1
90
Screening: voorbeelden
91
Screening: voorbeelden
92
Screening Doelen: • Computer doet voorselectie waardoor clinicus slechts een klein percentage hoeft te zien. • Computer attendeert clinicus op verdachte gebieden.
93
94
SEGMENTATIE VOOR PLANNING VAN RADIOTHERAPIE Stefan Klein, Robin Langerak
95
Radiotherapie: bestraling Radiotherapeutische bestralingen gebeuren met een lineaire versneller, in een serie van behandelingen.
Lineaire versneller
96
Radiotherapie: bestraling Probleem: beweging van de anatomie
cervix
97
Huidige situatie
MRI scanner
Lineaire versneller
98
MR-linac Geïntegreerde MRI scanner en lineaire versneller.
versneller
MLC
Concepttekening straal
99
MR-linac
100
Proof of principle Versneller heeft geen effect op kwaliteit MRI.
101
Radiotherapie: bestraling Tegenwoordig kan het bestralingsveld een specifieke vorm krijgen door de multileaf collimator, waardoor de bestraling nauwkeuriger wordt.
Lineaire versneller
Multileaf collimator
102
Radiotherapie: bestraling
Conventionele dosisverdeling
Multileaf collimator dosisverdeling
103
Segmentatie doelgebieden Voor meer nauwkeurige behandelmogelijkheden zijn meer nauwkeurige intekeningen van de doelgebieden nodig. Dit is een tijdrovend proces (zo’n 30 minuten per patiënt). Aanpak: atlas-gebaseerde segmentatie Gebruik segmentaties van andere patiëntbeelden om automatisch intekeningen voor nieuwe patiënten te maken.
104
Segmentatie van de prostaat in MRI
105
3D MRI
Voorbeelden van handmatig gesegmenteerde prostaten
106
Atlas-gebaseerde segmentatie Nieuwe patiënt
registreer
Andere patiënten: atlas
107
Atlas-gebaseerde segmentatie Nieuwe patiënt transform Andere patiënten: atlas
108
Atlas-gebaseerde segmentatie Nieuwe patiënt
transform
Andere patiënten: atlas
109
Atlas-gebaseerde segmentatie Nieuwe patiënt
Andere patiënten: atlas transform
110
Atlas-gebaseerde segmentatie Nieuwe patiënt
Andere patiënten: atlas
111
Fuseren Gepropageerde intekeningen
112
Fuseren Gepropageerde intekeningen
majority vote
113
Toepassing prostaat Database van 200 MR beelden van de prostaat, door experts ingetekend.
Een paar voorbeelden
114
Voorbeeld resultaat
Intekening expert Intekening computer
115
SEGMENTATIE VAN DE RIBBEN VOOR HIFU BEHANDELING Yolanda Noorda
116
MR-guided HIFU MR-guided High Intensity Focused Ultrasound Met ultrageluid weefsel dusdanig verhitten dat cellen sterven.
117
MR-guided HIFU Ultrageluid in bed van MR scanner. MR beelden voor anatomische en temperatuurinformatie.
118
Segmentatie ribben Bij behandeling van de lever moeten de ribben ontweken worden (pijn). Voor behandelplanning is segmentatie van de ribben nodig.
119
Segmentatie ribben Detectie van de lichaamscontour waar de ribben in liggen.
120
Segmentatie ribben Deze contour wordt “platgeslagen” tot een 2D beeld.
121
Kenmerken berekenen In dit beeld wordten kenmerken van ribben (langgerekte, lichte structuren) berekend.
122
Ribben vinden De ribben worden gevonden door een aantal paden tegelijk van links naar rechts te vinden.
123
Reconstructie naar 3D De gevonden paden kunnen worden teruggeprojecteerd naar 3D. Deze dienen als initialisatie voor het segmenteren van de hele ribben.
124
DETECTIE VAN VERANDERING Marius Staring
125
Detecteren van verandering in longkanker De groundglass nodule is een vorm van longkanker. Verandering in grootte en/of dichtheid is een belangrijke indicatie van verergering van de ziekte.
126
Huidige praktijk Visueel worden de baseline en follow-up beelden vergeleken.
baseline scan
follow-up scan
127
Huidige praktijk De grootte (en dichtheid) worden ruwweg geschat.
baseline scan
follow-up scan
128
Doel De beoordeling verbeteren door een verschilbeeld beschikbaar te maken.
baseline scan
follow-up scan
verschilbeeld
129
Probleem Door de registratie verdwijnt het verschil tussen de nodules
130
Probleem Oplossing: het gebied van de nodule moet niet vervormen.
131
Registratie Methode die gebieden van nodules niet vervormd.
standaardmethode
aangepaste methode
132
Registratie Voorbeeld tumoren in CT beeld
standaardmethode
aangepaste methode
133
Detectie van verandering: evaluatie Studie: • Data van een grote screening studie. • 4 radiologen beoordelen de verandering in nodules, met en zonder verschilbeeld, in twee sessies • Referentiestandaard is een zeer ervaren vijfde radioloog
134
Evaluatie
135
Evaluatie Vergelijking met ervaren radioloog grootte
dichtheid
1
0.8
0.8
0.6
0.6 0.4 0.4 0.2
0.2
0
0 O1
O2
O3
O4
O1
mean
Ox
O2
O3
O4
mean
standaard met verschilbeeld observer x
136
Uitkomsten Conclusies: De beschikbaarheid van een verschilbeeld verbetert de prestatie van de radioloog. Overeenkomst met ervaren radioloog en onderling neemt toe. Verbetering is meest prominent voor moeilijke gevallen.
137
DIGITALE PATHOLOGIE Mitko Veta
138
Voorbeeld van een borstkankerbiopt
139
Pathologie Lab work-flow Biopsieweefsel wordt in paraffineblokken gefixeerd.
Van de blokken worden coupes gesneden, op glasplaatjes gelegd en gekleurd.
Een patholoog onderzoekt de coupes (met een microscoop).
140
Digitale pathologie
De coupes worden tegenwoordig ook met scanners gedigitaliseerd.
Hierdoor is automatische analyse door een computer mogelijk, om • de patholoog te ondersteunen • subjectiviteit te verminderen.
141
Gradering van borstkanker Biopten krijgen een graad toegekend op de Bloom and Richardson schaal. De waarden lopen van 1 (best) tot 3 (slechtst). De graad is gebaseerd op kenmerken van het tumorweefsel, zoals de gemiddelde celgrootte en mitose (celdeling).
142
Automatisch detecteren van cellen Voorbewerken van de beelden Colour unmixing: hematoxyline isoleren
Morfologie: rommel verwijderen en cellen verduidelijken
hematoxyline &eosine beeld
143
Celkernen detecteren Cellen: donkere punten met hoge puntsymmetrie.
144
Celkernen detecteren Vanuit deze middelpunten “groeien” tot een rand in het beeld.
145
Resultaten sdf
146
Studie naar borstkanker bij mannen Data van 101 patiënten Gedigitaliseerde biopten Kennis van ziekteverloop
147
Studie naar borstkanker bij mannen Cellen automatisch gedetecteerd in elk beeld. Per patiënt werd de gemiddelde celgrootte berekend.
148
Resultaten Vergelijking met handmatig gesegmenteerde cellen
149
Resultaten kleine cellen
Kaplan-Meier overlevingscurve: patiënten verdeeld in twee groepen, een groep met gemiddeld kleine en een groep met grote cellen.
grote cellen
150
151
BRAIN-COMPUTER INTERFACE Patrik Andersson
152
Brain-computer interface Gebruikt hersensignalen voor directe communicatie met een apparaat, waarbij de spieren omzeild worden.
153
Brain-computer interface Hiermee kunnen patiënten met ‘locked-in’ syndroom communiceren en controle uitoefenen op hun omgeving. Deze patiënten zijn volledig bij bewustzijn, maar compleet verlamd. • Eindstadium van ALS (Amyotrophic Lateral Sclerosis). • Schade aan de hersenstam. Een BCI is bedoeld om bijvoorbeeld een rolstoel aan te sturen of een computermuis.
154
Implantatie Voor een BCI is implantatie van electroden in het brein nodig. Cruciale vraag: waar moeten deze electroden geplaatst worden voor het beste resultaat? Voorstudie met functionele MRI
155
functionele MRI Principe Beeld het brein af tijdens activiteit en tijdens rust. Analyseer de verschillen in de beelden.
156
functionele MRI Analyse: Verschil tussen taak- en rustbeelden meten. Bewegingscorrectie, analyse verschillen, classificatie, etc.
157
Aansturing robot Taak: kijk naar de groene stip en focus je gedachten op de gele driehoek in de richting die je wilt bewegen.
158
Aansturing robot Feedback: beeld van de camera in de robot.
159
Hersenactiviteit Signaal per bewegingsrichting
160
Aansturing robot Real-time analyse netwerk
161
Resultaten Vier proefpersonen, elke twee tests. Afgelegde routes afgebeeld.
162
Wetenschap en Onderwijs E-mail:
[email protected] Onderzoekinstituut: Image Sciences Institute www.isi.uu.nl MSc opleiding Universiteit Utrecht: Biomedical Image Sciences (BIS) www.bis.uu.nl
163
