INFOKOMMUNIKÁCIÓ
ÚJDONSÁG
MEDIP – Platformfüggetlen szoftver keretrendszer orvosi képfeldolgozáshoz Dr. Emri Miklós, Debreceni Egyetem, PET Centrum Dr. Hajdu András, Dr. Kormos János, Lencse Zsolt, Debreceni Egyetem, Informatikai Intézet A projekt célja egy olyan platformfüggetlen, multimodalitású informatikai fejlesztôi környezet kialakítása, amely lehetôvé teszi a kutatási eredmények termékekben történô megjelenését, valamint megfelelô informatikai hátteret biztosít a képfeldolgozás körében végzett alap- és alkalmazott kutatásokban történô fejlesztésekhez. A kidolgozandó fejlesztôi rendszer integrálja az alapszintû képfeldolgozási algoritmusokat, a korszerû szegmentációs, regisztrációs és képfúziós technikákat, a felületmodellezési algoritmusokat, valamint a térinformatikai szoftverekben alkalmazott interaktív komputergrafikai megoldásokat. A fejlesztôi környezet hatékonyságának és használhatóságának bemutatására három klinikai demonstrációs program – képfúzión alapuló 3D besugárzástervezés, végeselem számításokon alapuló mûtéti beavatkozás tervezése, 4D izotópdiagnosztikai vizsgálatok vizualizációja – készül.
BEVEZETÉS Az orvosi képfeldolgozással foglalkozó kutatók és klinikusok számára az irodalomból megismert korszerû módszerek (pl. szegmenteció, regisztráció, 2D- és 3D képfúzió, digitális agyatlasz-technika, 3D felületmodellezés) és szoftverek rendkívül nehezen, vagy egyáltalán nem érhetôk el, mivel az új fejlesztéseket elsôsorban tudományos céllal, kutatólaboratóriumokban, valamint komoly informatikai háttérrel rendelkezô klinikákon dolgozzák ki. Amennyiben ezek a szoftverek elérhetôvé válnak, klinikai alkalmazásuk azért nem tekinthetô optimálisnak, mert fejlesztôik igényei szerint készültek, így integrálásuk a helyi diagnosztikai rendszerbe gyakran lehetetlen. Az orvosi képfeldolgozással foglalkozó cégek csak nehezen tudják implementálni saját szoftvereikbe az irodalomban megjelenô legújabb algoritmusokat, mert a két szoftverfejlesztési stratégia – azaz a saját kutatási célra és a kereskedelmi célra történô fejlesztés – között lényeges különbségek vannak. A kutatóintézetekben a cél a gyors fejlesztés, ezért az itt fejlesztett programok általában egyszerûek, az adott célnak megfelelô felhasználói felülettel rendelkeznek. A szoftverfejlesztô cégek programjainak viszont ismerni kell a szabványos fájlformátumokat (pl. DICOM), a felhasználói felületének igazodnia kell a piaci elvárásokhoz. Ezt az ellentmondást az információs technológiával és a multimodalitású képfeldolgozással foglalkozó egyetemi kutatók, valamint az orvosi képfeldolgozás területén hardverés szoftverfejlesztéseket végzô cég mérnökei által közösen kidolgozott fejlesztôi keretrendszer segítségével fel lehet ol-
44
IME III. ÉVFOLYAM 5. SZÁM 2004. JÚNIUS
dani. A kutatók és hallgatók számára elérhetô könyvtárrendszer megfelelô keretet nyújthat a képfeldolgozó algoritmusaik implementálására, míg ugyanezen könyvtárrendszer felhasználásával a szoftverfejlesztô cég szakemberei az orvosi képfeldolgozás területén értékesítendô piaci terméket fejleszthetnek. Így ez a közösen kidolgozott fejlesztôi rendszer biztosíthatja egy tudásközpont és egy technológiai központ hosszú távú együttmûködését, és ezáltal az alap- és alkalmazott kutatási eredmények piaci termékben történô gyors megjelenését. Ennek a gondolatmenetnek megfelelôen sikerült létrehozni azt a konzorciumot, amelynek munkájában egyetemi kutatók, képfeldolgozást alkalmazó klinikusok, valamint orvosi berendezéseket és szoftvereket gyártó cég mérnökei vesznek részt. A konzorcium egy közös projekt [3] keretében – a hasonló fejlesztésekben szerzett több tíz emberévnyi fejlesztôi tapasztalat alapján – megfogalmazta azokat a célkitûzéseket, amelyeket megvalósítva a felvázolt kritériumoknak eleget tevô fejlesztôi környezet kialakítható. Az új rendszer kialakításának szükségességét alátámasztották az orvosi képfeldolgozásban széleskörûen elterjedt programcsomagok (VTK, Khoros, Analyse, Iris Explorer, IDL, MATLAB, SPM) használata közben szerzett tapasztalatok. Általános véleményként fogalmaztuk meg, hogy ezek a szabadon elérhetô, vagy megvásárolható szoftverek egy-egy speciális területen kiválóan alkalmazhatók. Problémát jelent azonban integrálásuk egy olyan program kidolgozása érdekében, amellyel szemben elvárás a korszerû felhasználói felület és az optimális számítási teljesítmény, mivel az egyes szoftverek más-más fejlesztési elképzelés mentén készültek, más-más adatszerkezetet alkalmaznak és más-más bôvítési lehetôséget kínálnak.
CÉLKITÛZÉS A projekt célja egy olyan platformfüggetlen, multimodalitású informatikai fejlesztôi környezet kialakítása, amely lehetôvé teszi a kutatási eredmények termékekben történô megjelenését, valamint megfelelô informatikai hátteret biztosít a képfeldolgozás körében végzett alap- és alkalmazott kutatásokban történô fejlesztésekhez. Fontos szempont volt, hogy a kidolgozandó fejlesztôi rendszer integrálja az alapszintû képfeldolgozási algoritmusokat, a korszerû szegmentációs, regisztrációs és képfúziós technikákat, a felületmodellezési algoritmusokat, valamint a térinformatikai szoftverekben alkalmazott interaktív komputergrafikai megoldásokat.
INFOKOMMUNIKÁCIÓ
ÚJDONSÁG
Az elsô fejlesztési periódusban a cél nem meghatározott programok készítése, hanem egy olyan széleskörû könyvtárrendszer kidolgozása volt, amely biztosítja, hogy ugyanazon technológiák felhasználásával lehessen a különbözô orvosi területek (neurológia, kardiológia stb.) matematikailag szükségszerûen különbözô képfeldolgozási algoritmusait implementálni. Sikeres megvalósítás esetén ez a rendszer lehetôséget teremt a késôbbi kutatási eredmények implementálására, a konzorciumi tagok további együttmûködésére. A fejlesztôi környezet folyamatos karbantartása, a szoftverkönyvtárak bôvítése a témához kapcsolódó tudományos diákköri- és szakdolgozati témakörök révén hallgatók bevonásával is biztosítható.
MEGVALÓSÍTÁS A megvalósítás a konzorcium által fejlesztett és kereskedelemben beszerezhetô szoftverkönyvtárakból kialakított platformfüggetlen, háromrétegû fejlesztôi környezet kialakításából, valamint három demonstrációs program segítségével hatékonyságának, ill. használhatóságának bemutatásából áll. A demonstrációs programok specifikálása, tesztelése klinikai szakemberek bevonásával történik. A fejlesztôi környezet egyes rétegei az orvosi képfeldolgozás különbözô témaköréhez kidolgozandó programok sajátságainak megfelelôen a funkcionális (vagy matematikai) feladatokhoz, a megjelenítéshez és az interaktív grafikához, valamint a felhasználói felület kezeléséhez kidolgozott szoftverkönyvtárakat jelentik. A funkcionális réteg kidolgozását standard C++ nyelv korszerû tervezési módszereinek alkalmazásával oldottuk meg. A multidimenzionális, parametrizált típusú adatstruktúrák modellezését és kezelésükhöz szükséges algoritmusokat absztrakt módon implementáltuk [1]. Így az adattárolással és az elemi képfeldolgozással kapcsolatos algoritmusokat a képi modalitástól függetlenül, általánosan kezeljük.
Hasonló absztrakcióval dolgoztuk ki a fájlformátum-független input/output felületet, amelynek a felhasználásával a fejlesztôi rendszert tetszôleges kép- és adatformátum kezelésével lehet kibôvíteni az alapkönyvtárak változtatása nélkül, amelyek alapkiépítésben a DICOM, INTERFILE, Analyze és MINC formátumokat ismerik. A képfeldolgozás további fontos objektumai a profil- és kinetikai görbék, valamint a VOI (volume of interest) struktúrák. A vizualizációs réteg, azaz a megjelenítési és a 3D interaktív komputergrafikai algoritmusok kidolgozása önálló programozás-technikai feladat volt. Jelentôs erôforrás-ráfordítást igényelt az interaktív VOI- és referenciapont kijelölô grafikai felület kialakítása a térinformatikai szoftverekben alkalmazott módszerek mintájára. E szoftvermodul hatékonysága befolyásolja a kész programok használhatóságát, mert pl. a VOI analízis és a referenciapontok kijelölése az orvosi képfeldolgozás leggyakoribb, szakértelmet és komoly idôráfordítást igénylô feladatai közé tartoznak. (1. ábra) A képfeldolgozó programok fejlesztése szükségszerûen megköveteli egy felhasználói felület használatát biztosító szoftverkönyvtár alkalmazását. Ehhez célszerû olyan rendszert kiválasztani, amely több platformon is elérhetô. A kiválasztott szoftvercsomag, valamint a kidolgozott OpenGL alapú megjelenítési- és funkcionális szoftverkönyvtárak illesztésével sikerült a platformfüggetlen fejlesztôi környezetet kialakítani (2. ábra).
KLINIKAI TESZTPROGRAMOK A fejlesztôi környezet kialakítása és tesztelése után három klinikai demonstrációs program – képfúzión alapuló 3D besugárzástervezés, végeselemes számításokon alapuló mûtéti beavatkozás tervezése, 4D izotópdiagnosztikai vizsgálatok vizualizációja – segítségével vizsgáltuk a rendszer hatékonyságát és használhatóságát.
1. ábra Képregisztrációs- és képfúziós felhasználói felület és a VOI kijelölés eredménye
IME III. ÉVFOLYAM 5. SZÁM 2004. JÚNIUS
45
INFOKOMMUNIKÁCIÓ
ÚJDONSÁG
2. ábra Platformfüggetlen fejlesztôi környezet
Képfúzión alapuló 3D besugárzás-tervezés Egy besugárzás-tervezés során a cél mindig az, hogy a nagy sugárdózisú tartományok konformálisak legyenek a PTV (planning target volume) alakjával, ami egyúttal az ép szövetek sugárterhelésének csökkenését is eredményezi. A tervezés során használt, fentebb említett kitüntetett térfogatok (VOI-k) pontos kezdeti definiálása azért különösen fontos, mert az ennek során elkövetett hibákat a sugárkezelés megszokott klinikai rutinjában már csak kis valószínûséggel korrigálják, ugyanis ezeket a paramétereket a késôbbiekben általában nem ellenôrzik. A VOI-k kijelölésére a négy metszetképalkotó eljárásból (CT, MRI, SPECT, PET) származó digitális és képi információk használhatók. A 3D tervezéshez a CT-adatok mindenképpen szükségesek, hiszen ezek jelenítik meg a röntgensugár gyengülésén alapuló anatómiai információt, és biztosítják a pontos dózisszámításhoz nélkülözhetetlen szöveti elektrondenzitás- értékeket. Az életképes daganattömeg elhelyezkedésérôl a CT csak közelítô információt szolgáltat, hiszen a kóros képletek csak a normális anatómiai viszonyoktól eltérô elhelyezkedésük vagy méretük alapján differenciálhatók. Ugyanez a megállapítás érvényes a hagyományos MR- képalkotásra is. A SPECT- módszer a nyomjelzô anyagok többnyire afiziológiás volta és az eljárás rossz felbontóképessége következtében csak igen korlátozottan használható az életképes daganatszövet megjelenítésére. Így a besugárzás-tervezés számára ma még egyedül a PET-technika ad lehetôséget az életképes daganatszövet pontos körülhatárolására, ugyanis a fiziológiás nyomjelzôanyagokkal elméletileg bármilyen anyagcsere-folyamatot képes megjeleníteni. A kidolgozott szoftver segítségével a tervezést végzô szakember tetszôlegesen választhat egy személy esetében a rendelkezésre álló CT-, MRI-, SPECT- és PET-vizsgálatok képanyagaiból. Ezeket egyedi vagy fúzionált módban tudja megjeleníteni, szükség esetén a regisztrációt automatikus és manuális (landmark alapú) módszerekkel tudja elvégez-
46
IME III. ÉVFOLYAM 5. SZÁM 2004. JÚNIUS
ni. A céltérfogat kijelöléséhez automatikus- és manuális VOI-kijelölô módszereket lehet alkalmazni. A kijelölt 3D VOI-k valósidôben elôállított 3D felületmodell segítségével egy 3D vizualizációt biztosító ablakban is megjeleníthetôk. Végeselemes számításokon alapuló mûtéti tervezés Az orvosi informatika egyik egyre nagyobb kihívásokkal szembesülô ágazata a mûtéti tervezés, a beavatkozások számítógépes szimulációja. Az új mûtéti eljárások kidolgozásánál ez a megközelítés különösen nagy elônyt jelent, hiszen az olcsó tesztelés mellett a várható eredmények is megbecsülhetôk. A klinikus így egy egyszerû röntgen vagy akár CT felvétel által nyújtottnál sokkal konkrétabb adatokkal rendelkezhet még, mielôtt egyetlen szikevágás is történne. Ha öszszekapcsoljuk a felület- és testrekonstrukciós technikákat a mérnöki szoftverek nyújtotta testmodell-szerkesztô lehetôségekkel és a végeselemes elemzést lehetôvé tevô (FEM/FEA) szoftverekkel, olyan gyakorlati alkalmazásokat hozhatunk létre, amelyek alkalmasak például az egyes mûtéti beavatkozások hatékonyságát becsülni és értékelni. Kutatásaink célja a projekt szoftverkönyvtárára támaszkodva az ortopédia területén használható alkalmazások létrehozása, különös tekintettel a csontmûtétekre. Kiinduló adatként a CT berendezés által szolgáltatott képfájlokat használjuk. Egyfelôl egy új beavatkozás elméleti vizsgálatát végezzük, másfelôl egy eset-orientált, interaktív alkalmazást fejlesztünk a csípôízület hibáit javító mûtéti beavatkozások szimulálására és elemzésére. Ez a két irányvonal sok részfeladat tekintetében átfedi egymást. Ilyen például a tulajdonképpeni képadatok kinyerése az egyes orvosi fájlformátumokból, a képek javítása, a megfelelô szegmentációs technika kiválasztása, CAD – orientált testfelépítés, adatcsere a FEM/FEA eszközzel, a virtuális beavatkozás geometriájának megfelelô leírása. Távlati célként pedig a protézis-beültetés vizsgálatához, illetve személyre szabott protézisek kifejlesztéséhez, majd CAM rendszerrel végrehajtott gyártá-
INFOKOMMUNIKÁCIÓ
ÚJDONSÁG
sához szükséges grafikai és modellezési funkciók kialakítását lehet megfogalmazni. Az eddig elért eredményeinket a [2, 3, 5, 6] publikációk tartalmazzák. 4D izotópdiagnosztikai vizsgálatok vizualizációja Ez a nukleáris medicina témakörébe sorolható tesztprogram a különbözô dinamikus tomográfiás- vagy planáris vizsgálatok egyedi, vagy fúzionált vizualizációjához kidolgozandó korszerû grafikai megoldások bemutatására készült. A fejlesztés célja elsôsorban az OpenGL alapú vizualizációs könyvtáraink és a megfelelô hardveres gyorsítással rendelkezô videokártyák együttes tesztelése volt. A tervezéstôl napjainkig kiemelt figyelmet fordítunk a folyamatosan változó, új OpenGL technológiai megoldások orvosi képfeldolgozásban történô alkalmazhatóságának vizsgálatára. Ebben a tesztprogramban a felület- és térfogat renderelt, multiumodalitású megjelenítés algoritmusait teszteljük. A primer adathalmazból a megfelelô elôkészítési procedúrák (simítás, interpoláció, transzformáció, szegmentáció és klaszter analízis) után a megjelenítendô szervek, szervrészek (pl. szív, tüdô) idôben változó felületmodelljét állítjuk elô. A 3D megjelenítés a kiválasztott felületek esetében lehet „álló” vagy idôben változó. Egy másik üzemmódban ugyanezen objektumokat volume-renderelt módszerrel lehet megjeleníteni. Ebben az esetben azt kívánjuk vizsgálni, hogy ez a rendkívül nagy számítási- és tárolási kapacitást igénylô eljárás milyen korlátokkal alkalmazható az orvosi képfeldolgozás esetében.
EREDMÉNYEK Projektünk eddig elért eredménye, hogy rendelkezünk egy olyan platformfüggetlen, C++ alapú komplex fejlesztôi rendszerrel, amelyet jelenleg egyszerre három helyen – két egyetemi intézetben és egy fejlesztô cégnél – használunk. A három rétegû, funkcionalitást, vizualizációt és felhasználói felületet tartalmazó könyvtárrendszert a projekt indításakor [4] megfogalmazott elképzeléseinknek megfelelôen tudtuk alkalmazni Windows XP, Linux és IRIX operációs rendszer alatt. A fejlesztô rendszert sikeresen alkalmaztuk több, az agykutatás területéhez kapcsolódó programunk implementálása során [7]. A klinikai partnerekkel közösen kidolgozott három különbözô, az orvosi munkát támogató képfeldolgozó program fejlesztése és optimalizálása jelenleg is tart, azonban az elsô tapasztalatok alapján rendszerünk az ilyen irányú munkában is alkalmazhatónak ígérkezik.
KÖSZÖNETNYILVÁNÍTÁS Köszönjük azon klinikai partnerek együttmûködését, akik a projekt keretében készített tesztprogramokkal kapcsolatos szakmai elvárásokat megfogalmazták és a programok felhasználói tesztelésében aktívan szerepet vállalnak. Fejlesztéseinket részben az IKTA4 6/2001, OTKA T032361, NKFP1A/0010/2002 és F043090 pályázatok segítségével finanszíroztuk.
IRODALOMJEGYZÉK [1] Opposits Gábor, Valastyán Iván, Trón Lajos, Emri Miklós: Multimodalitású orvosi képfeldolgozás céljaira kidolgozott absztrakt szoftverkönyvtár, Neumann János Számítógéptudományi Társaság Képfeldolgozók és Alakfelismerôk Szakosztályának IV. konferenciája, Miskolctapolca 2004, 227 – 231 [2] Csernátony Zoltán, Hajdu András, Manó Sándor and Zörgô Zoltán: 3D modell készítése ortopédiai mûtétek szimulálásához, KÉPAF4 (2004), Miskolc-Tapolca, Hungary, 43-49. [3] Zoltán Csernátony, András Hajdu, Sándor Manó and Zoltán Zörgô: The „spiral cut” technique for leg lengthening II – Finite Element Analysis, 1st Hungarian Conference on Biomechanics (2004), Budapest, Hungary, to appear. [4] Hajdu András and Kormos János: A Debreceni Egyetem intézeteinek együttmûködése különbözô képfeldolgozási projektekben, Informatika a Felsôoktatásban 2002 (2002), Debrecen, Hungary, 773-780.
[5] Hajdu András and Zörgô Zoltán: Orvosi szoftver keretrendszer mûtéti tervezéshez, KÉPAF 3 (2002), Domaszék, Hungary, 140-151. [6] Zoltán Zörgô, András Hajdu, Sándor Manó, Zoltán Csernátony and Szabolcs Molnár: Analyzis of a new femur lengthening surgery, IEEE IASTED International Conference on Biomechanics (BioMech 2003) (2003), Rhodes, Greece, Biomechanics/34-38. [7] Valastyán Iván, Balkay László, Emri Miklós, Trón Lajos; Validált kvantitatív PET szimulátor használata az orvosi képfeldolgozásban és diagnosztikai kutatásokban, Neumann János Számítógéptudományi Társaság Képfeldolgozók és Alakfelismerok Szakosztályának IV. konferenciája, Miskolctapolca 2004, 303 – 308.
IME III. ÉVFOLYAM 5. SZÁM 2004. JÚNIUS
47
INFOKOMMUNIKÁCIÓ
ÚJDONSÁG
A SZERZÔK BEMUTATÁSA
48
Dr. Emri Miklós egyetemi diplomáját fizikusként szerezte a Kossuth Lajos Tudományegyetemen 1984-ben. Ezután az orvosbiológiai kutatásokhoz kapcsolódó módszertani- és szoftverfejlesztéssel foglalkozott. Egyetemi doktori diszszertációját áramlási citometriás adat-
feldolgozás területén végzett munkáinak összefoglalásából 1994-ben védte meg. Orvosi képfeldolgozással 1987 óta foglalkozik, PhD. dolgozatát a statisztikus parametrikus képfeldolgozás témában készítette el. Jelenlegi munkahelyén a Debreceni Egyetem PET Centrumában tudományos munkatársként a multimodalitású orvosi képfeldolgozás különbözô területeivel foglalkozik.
Dr. Hajdu András matematikus egyetemi diplomáját 1996-ban szerezte a Kossuth Lajos Tudományegyetemen. 2003-ban a Debreceni Egyetemen PhD. fokozatot szerzett a Matematika és Számítástudományok területen. Fô érdeklôdési köre diszkrét matematikai
módszerek elméleti kutatása és azok alkalmazása elsôsorban a digitális képfeldolgozás területén. További kutatási területe még orvosi képfeldolgozási problémák vizsgálata, fôként ortopédiai beavatkozások szimulációjával kapcsolatban. Jelenleg a Debreceni Egyetem Információtechnológia tanszékén dolgozik tanársegédként.
Dr. Kormos János a KLTE TTK-n 1976-ban szerezte jeles rendû okleveles matematikusi diplomáját. Ezután a többdimenziós autoregressziós idôsorok paramétereinek becslésével foglalkozott. Az eredményeket összegezve írta és
védte meg 1980-ban doktori disszertációját. 1991 májusában sikeresen védte meg „Közel nem stacionárius folyamatok statisztikai elemzése” címû kandidátusi értekezését. 1996-ban létrehozott egy alakfelismerés kutatócsoportot. Jelenleg a Debreceni Egyetem Információtechnológia tanszékét vezeti habilitált egyetemi docensként.
Lencse Zsolt egyetemi diplomáját programtervezô matematikusként szerezte a Kossuth Lajos Tudományegyetemen 1992-ben. Fô érdeklôdési
területe a rendszertervezés, képfeldolgozás és szoftverhonosítás. Jelenleg tudományos munkatársként dolgozik a Debreceni Egyetem Információtechnológia tanszékén.
IME III. ÉVFOLYAM 5. SZÁM 2004. JÚNIUS
