A „MEDIP - PLATFORMFÜGGETLEN SZOFTVER KERETRENDSZER ORVOSI KÉPFELDOLGOZÁSHOZ” PROJEKT BEMUTATÁSA THE “MEDIP – PLATFORM INDEPENDENT SOFWARE SYSTEM FOR MEDICAL IMAGE PROCESSING” PROJECT Emri Miklós, Hajdu András, Kormos János, Lencse Zsolt Debreceni Egyetem, PET Centrum, 4026 Debrecen, Bem tér 18/c. Debreceni Egyetem, Informatikai Kar, 4010 Debrecen, Pf. 12)
1. Bevezetés Az orvosi képfeldolgozással foglalkozó kutatók és klinikusok számára az irodalomból megismert korszerű módszerek (pl. szegmenteció, regisztráció, 2D- és 3D képfúzió, digitális agyatlasz-technika, 3D felületmodellezés) és szoftverek rendkívül nehezen, vagy egyáltalán nem érhetők el, mivel az új fejlesztéseket elsősorban tudományos céllal, kutatólaboratóriumokban, valamint komoly informatikai háttérrel rendelkező klinikákon dolgozzák ki. Amennyiben ezek a szoftverek elérhetővé válnak, klinikai alkalmazásuk azért nem tekinthető optimálisnak, mert fejlesztőik igényei szerint készültek, így integrálásuk a helyi diagnosztikai rendszerbe körülményes, gyakran lehetetlen. Az orvosi képfeldolgozással foglalkozó cégek csak nehezen tudják implementálni saját szoftvereikbe az irodalomban megjelenő legújabb algoritmusokat, mert a két szoftverfejlesztési stratégia - azaz a saját kutatási célra és a kereskedelmi célra történő fejlesztés - között lényeges különbségek vannak. A kutatóintézetekben a cél a gyors fejlesztés: elegendő az ismert fájlformátumok használata, megengedett bármilyen helyben meglévő vagy implementált szoftver, vagy szoftverkönyvtár alkalmazása. Ezek a programok általában egyszerű, az adott célnak megfelelő felhasználói felülettel rendelkeznek. A szoftverfejlesztő cégek programjainak viszont ismerni kell a szabványos fájlformátumokat (pl. DICOM, INTERFILE), a felhasználói felületének igazodnia kell a piaci elvárásokhoz. Ezek a szoftverek üzleti megfontolásból zártak, vagy nehezen fejleszthetők, általában csak diagnosztikai célú képfeldolgozást támogatnak, ami pl. a multimodalitású orvosi képfeldolgozás területével foglalkozó kutatók számára korlátokat jelent. Ezt az ellentmondást az információs technológiával és a multimodalitású képfeldolgozással foglalkozó egyetemi kutatók, valamint az orvosi képfeldolgozás területén hardver- és szoftverfejlesztéseket végző cég mérnökei által közösen kidolgozott fejlesztői keretrendszer segítségével fel lehet oldani. Egy ilyen működő fejlesztői környezet sajátossága, hogy akadémiai oldalról nyitott, piaci oldalról zárt, azaz licencekkel védett. A kutatók és hallgatók számára elérhető könyvtárrendszer megfelelő keretet nyújthat a képfeldolgozó algoritmusaik implementálására, míg ugyanezen könyvtárrendszer felhasználásával a szoftverfejlesztő cég szakemberi az orvosi képfeldolgozás területén értékesítendő piaci terméket fejleszthetnek. Így ez a kutatók és mérnökök által közösen kidolgozott fejlesztői rendszer biztosíthatja egy tudásközpont és egy technológiai központ hosszú távú együttműködését, és ezáltal az alap- és alkalmazott kutatási eredmények piaci termékben történő gyors megjelenését. Ennek a gondolatmenetnek megfelelően sikerült létrehozni azt a
konzorciumot, amelynek munkájában egyetemi kutatók, képfeldolgozást alkalmazó klinikusok valamint orvosi berendezéseket és szoftvereket gyártó cég mérnökei vesznek részt. A konzorcium egy közös projekt keretében megfogalmazta azokat a célkitűzéseket, amelyeket megvalósítva a felvázolt kritériumoknak eleget tevő fejlesztői környezetet tudott kialakítani. Feltételrendszerként a hasonló fejlesztésekben szerzett több tíz emberévnyi fejlesztői tapasztalat, saját anyagi erőforrások és pályázati támogatás állt a rendelkezésre. A projekt célja a multimodalitású orvosi képfeldolgozás körében végzett alap- és alkalmazott kutatásainkra épülő olyan informatikai háttér kialakítása volt, amely lehetővé teszi a kutatási eredmények klinikai hasznosítását is. A fejlesztés koncepciója a korszerű szegmentációs, regisztrációs és képfúziós technikák valamint a térinformatikai rendszerekben alkalmazott interaktív komputergrafikai megoldások integrálása volt egy rendszerben. A többrétegű szoftverrendszer a kifejlesztendő célprogramok sajátságainak megfelelően funkcionális feladatokhoz, a megjelenítéshez és az interaktív grafikához valamint a felhasználói felület kezeléséhez kidolgozott programmodulokat jelentette. A projekt során több teszt-program és három demonstrációs program készült el. A teszt-programok célja az egyes fejlesztési periódusokban az optimális hardver- és szoftver környezet kiválasztása volt. A komplex fejlesztői környezet használhatóságát szemléltető demonstrációs programok pedig az ortopédia, az onkológia valamint a nukleáris medicina területén speciális képfeldolgozási feladatokat igénylő informatikai megoldások bemutatására szolgálnak. Tervezésük és tesztelésük orvosi szakértők bevonásával történt. A fejlesztések mellett több alapkutatási feladat is szerves részét képezte a projektnek: a szegmentációs- és a geometriai modellek kezelésével kapcsolatos algoritmusok kidolgozására, ill. a saját és implementált módszerek optimalizálására került sor. A kutatási eredmények beépítése a kifejlesztendő szoftvermodulokba a fejlesztési folyamat egyik legfontosabb szempontja volt, hiszen ezek az eredmények teszik lehetővé a hatékonyabb megjelenítő és interaktív programok készítését, amely közvetve a diagnosztikai ill. terápiás tevékenység minőségének javulását eredményezi. A kialakított rendszernek a projekt futamidején túli fejlesztése Ph.D. és egyetemi hallgatók bevonásával folyamatosan biztosítható, így a szoftverkönyvtárak „tudása” a dinamikusan fejlődő grafikai hardvereszközök teljesítménynövekedésének megfelelően javítható. Ez lehetőséget teremt egy egyetemi tudásközpont, valamint egy technológiai központ között a további együttműködéshez is. 2. A rendszer megvalósítása A megvalósítás a konzorcium által fejlesztett és kereskedelemben beszerezhető szoftverkönyvtárakból kialakított platformfüggetlen, háromrétegű fejlesztői környezet kialakításából, valamint három demonstrációs program segítségével hatékonyságának, ill. használhatóságának bemutatásából állt. A demonstrációs programok specifikálása, tesztelése klinikai szakemberek bevonásával történt. A fejlesztői környezet egyes rétegei az orvosi képfeldolgozás különböző témaköréhez kidolgozandó programok sajátságainak megfelelően a funkcionális (vagy matematikai) feladatokhoz, a megjelenítéshez és az interaktív grafikához, valamint a felhasználói felület kezeléséhez kidolgozott szoftverkönyvtárakat jelentették. A funkcionális réteg kidolgozását a standard C++ nyelv korszerű tervezési módszereinek alkalmazásával oldottuk meg. A multidimenzionális (2-, 3- vagy több dimenziós), parametrizált típusú adatstruktúrák modellezését és kezelésükhöz szükséges algoritmusokat absztrakt módon implementáltuk [1], azaz a metszetképalakotó berendezések (PET, SPECT, MRI, CT, UH) képi információit általánosan kezeljük. A kidolgozott szoftverkönyvtárakban a tomográfiás méréseket a 3D látómező valamely (folyamatos eloszlású) fizikai paraméterének meghatározott szerkezetű 3D térrács mentén vett leképezésként modellezzük.
Hasonló absztrakcióval dolgoztuk ki a fájlformátum-független input/output felületet, amelynek a felhasználásával a fejlesztői rendszert tetszőleges kép- és adatformátum kezelésével lehet kibővíteni az alapkönyvtárak változtatása nélkül, amelyek alapkiépítésben a DICOM, INTERFILE, Analyze és MINC formátumokat ismerik. A képfeldolgozás további fontos objektumai a profil- és kinetikai görbék, valamint a VOI (volume of innterest) struktúrák. A VOI kezelés szervesen kapcsolódik a projekt egyes kutatási területeihez. A vizualizációs réteg, azaz a megjelenítési és a 3D interaktív komputergrafikai algoritmusok kidolgozása egy önálló programozás-technikai feladat volt. E fejlesztés során a funkcionális rétegben specifikált tárolási osztályok és az OpenGL szoftverkönyvtárak közötti információátviteli feladatokat kellett megoldani. Jelentős erőforrás-ráfordítást igényelt az interaktív VOI- és referenciapont kijelölő grafikai felület kialakítása a térinformatikai szoftverekben alkalmazott módszerek mintájára. E szoftvermodul hatékonysága befolyásolja a kész programok használhatóságát, mert pl. a VOI analízis és a referenciapontok kijelölése az orvosi képfeldolgozás leggyakoribb, szakértelmet és komoly időráfordítást igénylő feladatai közé tartoznak. Projektünk eredménye, hogy rendelkezünk egy olyan platformfüggetlen, C++ alapú komplex fejlesztői rendszerrel, amelyet jelenleg egyszerre három helyen – két egyetemi intézetben és egy fejlesztő cégnél – használunk. A három rétegű, funkcionalitást, vizualizációt és felhasználói felületet tartalmazó könyvtárrendszert a projekt indításakor [4] megfogalmazott elképzeléseinknek megfelelően tudtuk alkalmazni Windows XP, Linux és IRIX operációs rendszer alatt. 3. Tesztprogramok klinikai gyakorlathoz A fejlesztői környezet kialakítása és tesztelése után három klinikai demonstrációs program – képfúzión alapuló 3D besugárzástervezés, végeselemes számításokon alapuló műtéti beavatkozás tervezése, 4D izotópdiagnosztikai vizsgálatok vizualizációja – segítségével vizsgáltuk a rendszer hatékonyságát és használhatóságát. 3.1. Képfúzión alapuló 3D besugárzástervezés Egy besugárzástervezési problémát akkor oldunk meg kifogástalanul, ha a tervezési céltérfogat (PTV: planning target volume) a szükséges dózist előírás szerint kapja meg, s ugyanakkor a szomszédos normális szöveteket, elsősorban a kritikus szerveket minimális (ideálisan nulla) sugárhatás éri (ICRU, Ling). A cél mindig az, hogy a nagy sugárdózisú tartományok konformálisak legyenek a PTV alakjával, ami egyúttal az ép szövetek sugárterhelésének csökkenését is eredményezi. A tervezés során használt, fentebb említett kitüntetett térfogatok (VOI-k) pontos kezdeti definiálása azért különösen fontos, mert az ennek során elkövetett hibákat a sugárkezelés megszokott klinikai rutinjában már csak kis valószínűséggel korrigálják, ugyanis ezeket a paramétereket a későbbiekben általában nem ellenőrzik. A VOI-k kijelölésére a négy metszetképalkotó eljárásból (CT, MRI, SPECT, PET) származó digitális és képi információk használhatók. A 3D tervezéshez a CT-adatok mindenképpen szükségesek, hiszen ezek jelenítik meg a röntgensugár gyengülésén alapuló anatómiai információt, és biztosítják a pontos dózisszámításhoz nélkülözhetetlen szöveti elektrondenzitás-értékeket. Az életképes daganattömeg elhelyezkedéséről a CT csak közelítő információt szolgáltat, hiszen a kóros képletek csak a normális anatómiai viszonyoktól eltérő elhelyezkedésük vagy méretük alapján differenciálhatók. Ugyanez a megállapítás érvényes a hagyományos MR-képalkotásra is. A SPECT-módszer, bár funkcionális metszetképalkotó eljárás, a nyomjelző anyagok többnyire
afiziológiás volta és az eljárás rossz felbontóképessége következtében csak igen korlátozottan használható az életképes daganatszövet megjelenítésére. Így a besugárzástervezés számára ma még egyedül a PET-technika ad lehetőséget az életképes daganatszövet pontos körülhatárolására, ugyanis a fiziológiás nyomjelzőanyagokkal elméletileg bármilyen anyagcsere-folyamatot képes megjeleníteni. A kidolgozott szoftver segítségével a tervezést végző szakember tetszőlegesen választhat egy személy esetében a rendelkezésre álló CT-, MRI-, SPECT- és PET-vizsgálatok képanyagaiból. Ezeket egyedi vagy fúzionált módban tudja megjeleníteni, szükség esetén a regisztrációt automatikus és manuális (landmark alapú) módszerekkel tudja elvégezni (1. ábra). A céltérfogat kijelöléséhez, amelyhez egyedi képek vagy regisztrált képpárok egyaránt használhatók, automatikus- és manuális VOI-kijelölő módszereket lehet alkalmazni. A kijelölt 3D VOI-k valósidőben előállított 3D felületmodell segítségével egy 3D vizualizációt biztosító ablakban is megjeleníthetők. Amennyiben térbeli standardizálásra alkalmas MRI-vizsgálat képanyaga is rendelkezésre áll, a céltérfogat egy digitális agyatlasz kiválasztott struktúráival, valamint a CT-képekből kinyert csontváz felületmodelljével együttesen is megjeleníthető.
1.
ábra
Képregisztrációs- és képfúziós felhasználói felület és a VOI kijelölés eredménye a 2D- és 3D multimodalitású vizualizáció segítségével 3.2. Végeselemes számításokon alapuló műtéti tervezés Az orvosi informatika egyik egyre nagyobb kihívásokkal szembesülő ágazata a műtéti tervezés, a beavatkozások számítógépes szimulációja. Az új műtéti eljárások kidolgozásánál ez a megközelítés különösen nagy előnyt jelent, hiszen az olcsó tesztelés mellett a várható eredmények is megbecsülhetők. A klinikus így egy egyszerű röntgen vagy akár CT felvétel által nyújtottnál sokkal konkrétabb adatokkal rendelkezhet még, mielőtt egyetlen szikevágás is történne. Ha összekapcsoljuk a felület- és testrekonstrukciós technikákat a mérnöki szoftverek nyújtotta testmodell-szerkesztő lehetőségekkel és a végeselemes elemzést lehetővé tevő (FEM/FEA) szoftverekkel, olyan gyakorlati alkalmazásokat hozhatunk létre, amelyek alkalmasak például az egyes műtéti beavatkozások hatékonyságát becsülni és értékelni. Kutatásaink célja a projekt szoftverkönyvtárára támaszkodva az ortopédia területén használható alkalmazások létrehozása volt, különös tekintettel a csontműtétekre. Kiinduló adatként a CT berendezés által szolgáltatott képfájlokat használjuk. Egyfelől egy új beavatkozás elméleti vizsgálatát végezzük, másfelől egy eset-orientált, interaktív alkalmazást
fejlesztünk a csípőízület hibáit javító műtéti beavatkozások szilmulálására és elemzésére. Ez a két irányvonal sok részfeladat tekintetében átfedi egymást. Ilyen például a tulajdonképpeni képadatok kinyerése az egyes orvosi fájlformátumokból, a képek javítása, a megfelelő szegmentációs technika kiválasztása, CAD-orientált testfelépítés, adatcsere a FEM/FEA eszközzel, a virtuális beavatkozás geometriájának megfelelő leírása (2. ábra). Távlati célként pedig a protézis-beültetés vizsgálatához, illetve személyre szabott protézisek kifejlesztéséhez, majd CAM rendszerrel végrehajtott gyártásához szükséges grafikai és modellezési funkciók kialakítását lehet megfogalmazni. Ehhez igen jelentős segítséget nyújt a rapid-prototyping technológia, amelyhez az általunk előállított geometriai modellezés szintén jó megoldást kínál. Az eddig elért eredményeinket a [2,3,5,6,8] publikációk tartalmazzák.
2.
ábra
Műtéti tervezőfelület és egy véges elemes analízis eredménye 3.3. 4D izotópdiagnosztikai vizsgálatok vizualizációja Ez a nukleáris medicina témakörébe sorolható tesztprogram a különböző dinamikus tomográfiás- vagy planáris vizsgálatok egyedi, vagy fúzionált vizualizációjához kidolgozandó korszerű grafikai megoldások bemutatására készült. A fejlesztés célja elsősorban az OpenGL alapú vizualizációs könyvtáraink és a megfelelő hardveres gyorsítással rendelkező videokártyák együttes tesztelése volt. A tervezéstől napjainkig kiemelt figyelmet fordítunk a folyamatosan változó, új OpenGL technológiai megoldások orvosi képfeldolgozásban történő alkalmazhatóságának vizsgálatára. Ebben a tesztprogramban a felület- és térfogat renderelt, multiumodalitású megjelenítés algoritmusait teszteltük. A primer adathalmazból a megfelelő előkészítési procedúrák (simítás, interpoláció, transzformáció, szegmentáció és klaszter analízis) után a megjelenítendő szervek, szervrészek (pl. szív, tüdő) időben változó felületmodelljét állítottuk elő. A 3D megjelenítés a kiválasztott felületek esetében lehet ’álló’ vagy időben változó. Egy másik üzemmódban ugyanezen objektumokat volume-renderelt módszerrel lehet megjeleníteni. Ebben az esetben azt kívánjuk vizsgálni, hogy ez a rendkívül nagy számításiés tárolási kapacitást igénylő eljárás milyen korlátokkal alkalmazható az orvosi képfeldolgozás esetében. 4. Köszönetnyilvánítás
Köszönjük azon klinikai partnerek együttműködését, akik a projekt keretében készített tesztprogramokkal kapcsolatos szakmai elvárásokat megfogalmazták és a programok felhasználói tesztelésében aktívan szerepet vállaltak. Kutatásainkat és fejlesztéseinket részben az IKTA4 6/2001, OTKA T032361, NKFP-1A/0010/2002 és F043090 pályázatok támogatásával végeztük. Irodalomjegyzék [1] Opposits Gábor, Valastyán Iván, Trón Lajos, Emri Miklós: Multimodalitású orvosi képfeldolgozás céljaira kidolgozott absztrakt szoftverkönyvtár, Neumann János Számítógéptudományi Társaság Képfeldolgozók és Alakfelismerők Szakosztályának IV. konferenciája, Miskolctapolca 2004, 227 - 231 [2] Zoltán Csernátony, András Hajdu, Sándor Manó and Zoltán Zörgő: 3D modell készítése ortopédiai műtétek szimulálásához, KÉPAF4 (2004), Miskolc-Tapolca, Hungary, 43-49. [3] Zoltán Csernátony, András Hajdu, Sándor Manó and Zoltán Zörgő: The "spiral cut" technique for leg lengthening II – Finite Element Analysis, 1st Hungarian Conference on Biomechanics (2004), Budapest, Hungary, to appear. [4] András Hajdu and János Kormos: A Debreceni Egyetem intézeteinek együttműködése különböző képfeldolgozási projektekben, Informatika a Felsőoktatásban 2002 (2002), Debrecen, Hungary, 773-780. [5] András Hajdu and Zoltán Zörgő: Orvosi szoftver keretrendszer mûtéti tervezéshez, KÉPAF 3 (2002), Domaszék, Hungary, 140-151. [6] Zoltán Zörgő, András Hajdu, Sándor Manó, Zoltán Csernátony and Szabolcs Molnár: Analyzis of a new femur lengthening surgery, IEEE IASTED International Conference on Biomechanics (BioMech 2003) (2003), Rhodes, Greece, Biomechanics/34-38. [7] Valastyán Iván, Balkay László, Emri Miklós, Trón Lajos; Validált kvantitatív PET szimulátor használata az orvosi képfeldolgozásban és diagnosztikai kutatásokban, Neumann János Számítógéptudományi Társaság Képfeldolgozók és Alakfelismerők Szakosztályának IV. konferenciája, Miskolctapolca 2004, 303 – 308. [8] András Hajdu, János Kormos, Attila Lukács, Árpád Pányik, Csilla Szabó, Péter Veres and Zoltán Zörgő: Multipurpose 3D modelling for virtual clinical interventions, IEE CIMED 2005, Lissabon, Portugal, accepted
