Digitális képfeldolgozás alkalmazása interaktív multimédia anyagok fejlesztésénél, mezõgazdasági kísérletek értékelésénél Berke József Pannon Agrártudományi Egyetem, Georgikon Mezõgazdaságtudományi Kar, Szaktanácsadási, Továbbképzési és Informatikai Központ, 8360 Keszthely, Deák F. u. 57., Pf. 71. Email:
[email protected] 1.
Bevezetés
A harmadik évezred küszöbén az információ szelektálásában, feldolgozásában különös jelentõséggel bír a képfeldolgozás. Ismert tény, hogy az ember és a környezete közötti kapcsolatban a vizuális információ a legfontosabb a tömörsége miatt. Néhány példa kiragadásával bemutatjuk a vizuális információnak multimédia anyagoknál betöltött szerepét, és a közeljövõ, várhatóan /az oktatásban is/ meghatározó vizuális informatikai alkalmazásait: • DVD, mint adathordozó, • MediaServer, mint vizuális kiszolgáló szerver, • VRML, mint 3D INTERNET, • VirtualGIS, mint 3D térinformatika. A digitális képfeldolgozással nyert információk egy interaktív oktató anyag elkészítéséhez egyben vizuális és szöveges adatokat is szolgálnak, egymáshoz szorosan kapcsolódó formában. Szeretnénk áttekintõ képet adni az Egyetemünkön folyó, digitális képfeldolgozáshoz kapcsolódó kutatási módszerek fejlesztésérõl, valamint az elért eredmények és a digitális képfeldolgozás témakörében létrehozott interaktív tananyag oktatási alkalmazásáról. Tíz évvel ezelőtt a digitális képfeldolgozás speciális eszközöket (hardware és software is) igényelt. Napjainkban a személyi számítógép alapú eszközök ugrásszerű fejlődése a képi információk feldolgozását is szinte mindenki számára elérhető közelségbe hozza. Mindez a változás érezhető a digitális képfeldolgozás megismerésére jelentkező hallgatói és alkalmazói igény növekedésében is. 2.
A vizuális információ szerepe napjainkban és a közeljövõben
Napjaink kommunikációs technikája nem tartalmaz egységesnek nevezhetõ nyelvi réteget. Bár az angol nyelv szerepe és jelentõsége tovább erõsödött az INTERNET terjedésével, egyes országok (Franciaország, Németország, stb.) tudatosan erõsítik világméretû kommunikációs nyelvi felületük terjedését. A vizuális információ, mint információt közvetítõ nyelv ilyen értelemben egységesnek tekinthetõ. Az utóbbi pár évben jelentõsen megnõtt a szerepe. Ehhez kapcsolódóan két dinamikusan fejlõdõ terület jellemzõit tekintjük át. Az egyik ezek közül az INTERNETINTRANET, amely az információk hálózati úton történõ terjedését uralja. Az 1. ábra a digitális képi információ növekedését szemlélteti a hálózaton. A grafikon jól mutatja azt
a tényt, hogy a vizuális információ részaránya jelentõsen megnõtt a 90-es évek közepe óta. Ez a tendencia tovább fog erõsödni az elkövetkezõ pár évben, maga után vonva a telekommunikáció kiszélesedését, új technikai eszközök (adathordozók, processzorok, stb.) gyors és látványos fejlõdését és új kutatási és alkalmazói eljárások világméretû bevezetését illetve elterjedését. A fenti tény jól érzékelhetõ a jelenlegi INTERNET alkalmazások és fejlesztések mellett egy másik terület, a multimédia alapú anyagok erõteljes térhódításával. Ismert tény , hogy egy jól megszerkesztett multimédia eszközöket felvonultató anyag információ közlõ hatékonysága jelentõsen felülmúlja bármely eddig ismert és alkalmazott technika, eljárás hatékonyságát ide értve a TV technikát is. Nem véletlen, hogy a legnagyobb TVtársaságok hatalmas összegeket fordítanak a következõ évszázad televíziójának fejlesztésére amelyet jelenleg „interaktív televíziónak” neveznek. Bár nagyon valószínû, hogy jelentõs szerepet kap benne a „hálózati számítógép”, amely jelenleg kezd terjedni. A csupán audio információt átvivõ kommunikációs eszköz a telefon, várhatóan tradicionális jelentõségû lesz csupán. Kiegészül és hatékonyabbá válik a vizuális információk (képtelefon) átvitelével.
1. ábra A digitális képi információ várható fejlõdése 2000-ig 2.1
DVD
A jelenleg alkalmazott CD technika kidolgozása és bevezetése közel két évtizedes múltra tekint vissza. Jelenleg azonban már túlhaladott - jelentõsebb szoftverek, interaktív anyagok ma már több CD-t is megtöltenek. Ezért került bevezetésre a DVD (Digital Video Disc) az elmúlt évben, mint a professzionális digitális videotechnika, valamint a nagy kapacitású adattárolás egy lehetséges középtávú megoldása.
1995 szeptemberében kilenc elektronikai világcég szabványként bevezette a Digital Video Disc /DVD/ formátumot. A formátumot azóta szinte minden jelentõsebb elektronikai cég elfogadta. Nézzük milyen hasonlóság fedezhetõ fel a CD és a DVD között: • Mindkét adathordozó lemez 120 mm átmérõjû. • Az információt hordozó réteg vastagsága is azonos: 1.2 mm. • A DVD lejátszók olvassák a CD-DA formátumú audio lemezeket. • Az olvasófejek nincsenek közvetett fizikai kapcsolatban az adathordozóval. • Hatékony hibajavító kódokat tartalmaz mindkét rendszer. Lényeges eltérés azonban, hogy • a DVD rendszer kapacitása (4.7 GByte) közel hétszerese a CD lemezének, • a DVD alkalmas egyoldalas, de kétrétegû adatrögzítésre is, így 8.5 Gbyte egy lemez kapacitása. Mindez és számos egyéb kedvezõ tulajdonsága (teljes kompatibilitás a hagyományos CD-vel, jól ismert gyártástechnológia, szabványként történõ elfogadás, olcsó elõállíthatóság, kedvezõ pszichológiai tulajdonság, stb.) alkalmassá teszi korszerû és még hatékonyabb multimédia alapú anyag és bármely digitális információ adathordozójának. 2.2
MediaServer
A piacon megjelenõ és DVD alapú információ szórás megköveteli, hogy a (világ)hálózat is egyre több és hatékonyabb vizuális (mozgó, valós idejû) információ forrása legyen. Ezen gondolat megvalósítására példaként említjük a MediaServer-t, amely a hardver és szoftver együttes és célirányú fejlesztésének mintapéldájának is tekinthetõ. Célja egyszerû: nagy mennyiségû és valós idõben reagáló elsõsorban vizuális adatfolyam elérését tegyük lehetõvé a hálózaton. Ilyen eszközök fejlesztésével nagy hardver (pl. Silicon Graphics Inc.) fejlesztõ cégek, jelentõsebb szoftver fejlesztõ cégekkel közösen tudnak hatékonyan megbirkózni. Mindez természetesen a felhasználó és a szolgáltató oldaláról is a jelenleg alkalmazott, tipikusnak mondható átviteli sávszélesség nagyságrendi növekedését követeli. Várható elterjedése a következõ évtized elejére prognosztizálható. 2.3
VRML
A világméretû hálózat fejlõdése szükségszerûen megköveteli, olyan interaktív technológiák kifejlesztését és alkalmazását is amelyek „testre szabottak” azaz a jelenlegi világhálózatra és telekommunikációra építenek. A WWW (World Wide Web) egy közös, az ún. HTML (HiperText Markup Language) hipertextes programnyelvezetet használja. Több, jelentõsebb próbálkozás is született kiegészítésére, továbbfejlesztésére. Ezek közé sorolható a VRML (Virtual Reality Modelling Language) is, amely a „virtuális világ” lehetõségeivel, elõnyeivel és hátrányaival teszi lehetõvé az interaktív kommunikációt. A három dimenziós, szinte tisztán számítógépekkel létrehozott világban közvetlen kapcsolatot építhetünk ki más felhasználókkal, rendszerekkel. Közben aktívan használhatjuk a hálózaton a legtöbb emberi érzékszerv által gyûjtött információt, amelyek feldolgozása sokkal hatékonyabb számunkra, mint az eddig használt digitális rendszerek által szolgáltatottak. Mindezt természetesen a világhálózaton, a teljes informatikai szabadság adta lehetõségekkel. A
rendszer azonban nem korlátozódik csupán a hálózatra. Jelentõs szerepet tölt majd be a közeljövõ multimédia alapú fejlesztéseiben és alkalmazásaiban is. 2.4
VirtualGIS
Beszéltünk a közeljövõ vizuális informatikáját várhatóan jelentõsen meghatározó információhordozóról (DVD), információ szolgáltatóról (MediaServer) és információt leíró nyelvrõl (VRML). Végezetül szeretnénk egy konkrét alkalmazási példát megemlíteni amely, szintén jelenleg van fejlesztés és bevezetés alatt. A VirtualGIS vagyis a virtuális térinformatika a háromdimenziós valós világról gyûjtött adatainkat, háromdimenziós digitális információiként kezeli, tárolja és szolgáltatja. Az eddigi kétdimenziós térinformatikai rendszereket várhatóan a közeljövõben kiegészítik illetve felváltják a 3D-s szimulációra is alkalmas virtuális térinformatikai eszközök. Mindez természetesen megköveteli, hogy elsõsorban a Földrõl információit gyûjtõ rendszereink is jelentõs változáson essenek át. Ezek közül is kiemelkedik az ezredfordulóig tervezett távérzékelõ és helymeghatározó mûholdak drasztikus fejlesztésére fordított költségek. Érezhetõen szinte minden fejlesztés a 3D-s és/vagy multimédia alapú információkkal kerül kapcsolatba. Meggyorsítva ezáltal a 3D-s érzékelõ és felhasználó rendszerek világméretû elterjedését, gyors és hatékony alkalmazását. A „raszteres” világban már több éve tapasztalható, hogy jelentõs fejlesztések történtek és történnek napjainkban is, hogy a feldolgozásokat végzõ szoftverek is tartalmazzanak 3D-s képi információkat hatékonyan elõállító modulokat. Ami eddig a mozivásznon fikció volt csupán, mindaz itt kopogtat ajtónkon. Lényegesen átformálva az emberi társadalmakat és tovább növelve a földön eddig is tapasztalt fejlõdési aránytalanságokat. 3.
Képfeldolgozás kutatási és alkalmazási területei a Georgikon Karon
3.1
Fitopatogén gombák számítógéppel támogatott felismerése
A különbözõ fitopatogén gombák maghatározásának egyik klasszikus módszere a gombák szaporítóképleteinek morfológiai összehasonlítása [7]. Digitális képfeldolgozás céljára a Kis-Balatonon, a Balatonon, a tihanyi Belsõ-tó területén, a Velencei és a Fertõ tavakon gyûjtött izolátumokat használtuk fel [5]. A megfelelõen elkészített tartós preparátumokról binokuláris kutató-mikroszkóp és CCD kamera segítségével felvételeket készítettünk. A referencia képek tárgylemezmikrométer segítségével az összes alkalmazott nagyításhoz külön-külön készültek. Az egyes osztályoknak megfelelõ "tananyagot" ismert minták mérési eredményeit felhasználva határoztuk meg. Az osztályozást a súlyozott legközelebbi szomszédok módszerének alkalmazásával végeztük. A mérések során eddig nem mért, vagy hagyományos módszerekkel nehezen mérhetõ jellemzõket mértünk [1], mint: 1. Az objektum határvonalának hossza - perimeter. 2. Az objektumot alkotó pixelek száma - area. 3. Az objektum súlypontján átmenõ minimális szelõ hossza - minimal diameter. 4. Az objektum súlypontján átmenõ maximális szelõ hossza - maximal diameter. 5. Az objektum súlypontján átmenõ szelõk hosszának átlaga - (mean) diameter. 6. A súlypont és a legközelebbi határpont távolsága - minimal radius.
7. A kerület, terület és az átmérõ felhasználásával kialakított hosszúság - length. 8. A súlypont és a tõle legtávolabbi határpont távolsága - maximal radius. 9. Az objektummal azonos területû körlap sugara - mean radius. 10. A maximális és minimális szelõk aránya - flatness. 11. A terület és a kerület négyzetének aránya - shape. 12. Az objektum és a konvex burok területének hányadosa - convexity. 3.1.1 Korábbi vizsgálataink eredményei Morfológiailag eltérõ fitopatogén gombafajok osztályozásának találati pontossága , 12 gombanemzetség, 14 fajából vett ismeretlen minta azonosítása során közel 98 %-os volt. A morfológiailag hasonló fajok osztályozása során a találati pontosság jóval alacsonyabbnak bizonyult mint morfológiailag eltérõ fajok esetén. A statisztikai számításokból megállapítható volt, hogy a 12 paraméter négy alkalmasan megválasztott paraméterrel helyettesíthetõ a mérési eredmények alapján. Vagyis az általunk vizsgált minták morfológiai osztályozása négy alkalmasan származtatott paraméter segítségével hasonló eredménnyel prognosztizálható [3], [8], [11]. 3.1.2 Jelenlegi vizsgálataink Jelenlegi vizsgálataink az alkalmazott módszer pontosítására és egyes alternaria fajok /2. ábra/ jellemzõ paramétereinek mérésére terjednek ki. Szeretnénk továbbá az alkalmazott módszert a kísérletes pathológiai vizsgálatok könnyen alkalmazható vizsgálati módszerévé tenni. Napjainkban számos személyi számítógép alapú programrendszer lehetõvé tesz alapvetõ képfeldolgozási feladatok megoldását. A kiértékelések hardver és szoftver feltétele tehát könnyen elérhetõ. Az egyes feldolgozási eljárások, módszerek azonban kevésbé ismertek vagy nincsenek kidolgozva. Több olyan próbálkozásunk is született, amely ezen utóbbi hiány részleges pótlására irányult [2], [3], [4].
2. ábra Néhány, az alakfelismerés során mért gombafajról készült digitális kép
3.2
Vetõmagvak gyommagfertõzöttségének vizsgálata
A fitopatogén gombák felismerése során kapott eredmények alapján megpróbáltuk egyes gyommagvak felismerését. Egy-egy kultúrnövény magvai közé veszélyes gyomok magjait kevertük, majd a korábban ismertetett paramétereket mértük. A mérések után a NN-módszerrel osztályoztuk [6] illetve ismertük fel az egyes fajok magjait. A felvételezés során 20-20 ismert magról készítettünk referencia felvételeket. Ezek mérésével felépítettünk egy tananyagot, amely a további, ismeretlen minták osztályozását teszi lehetõvé. A felvételezéseket CCD kamerával és CCD Scanner-el is elvégeztük. Kíváncsiak voltunk, hogy a két felvételezési technika között mutatkozó felbontásbeli különbségek (CCD kamera kb. 0.5 millió pixel/felvétel, Scanner kb. 3 millió pixel/felvétel) mennyire érvényesülnek a felismerés során. Két alapvetõ hibát mértünk: 1. szegmentálási hiba (a felismert és a valós objektumok közötti eltérés), 2. döntési hiba a kultúrnövényre (a téves osztályba sorolt magvak részaránya). Értékeléseink alapján megállapítható, hogy 1. a szegmentálási hiba általában meghaladta a döntési hibát, 2. a két felvételezési technika hibáinak összehasonlításakor teljesen váratlan eredményt kaptunk: a nagyobb felbontású scanner-rel készült képek felismerésekor mindkét hiba jelentõsen megnõtt (valószínûleg a scanner automatikus szintrevágásának köszönhetõen), 3. a szegmentálási hiba utólagosan, manuális korrekcióval csökkenthetõ volt, ekkor azonban megnövekedett a döntési hiba. Vagyis manuálisan könnyen elkülöníthetõk az objektumok, de nem a megfelelõ határok mentén. A korábban osztályozásban legjobbnak ítélt négy paraméterrel történõ felismerés döntési hibája <2% volt. Jelenleg a felismerés gyakorlati alkalmazhatóságát vizsgáljuk.
3. ábra Vetõmagvak gyommagfertõzöttségének osztályozása során vizsgált magvak
4.
Kutatásokra épülõ tananyagok alkalmazási lehetõségei
A kutatási eredmények alkalmazási lehetõségeként elkészítettünk egy interaktív képfeldolgozást oktató program rendszert /TANKÉP - 4. ábra/ [4], [9], [10], [13], valamint - az elmúlt év végén - egy a digitális képfeldolgozást oktató tankönyvet /5. ábra/, [2]. A program lehetõségeinek rövid összefoglalója mellett elsõsorban az eddigi oktatási tapasztalatokra és alkalmazási lehetõségekre térnénk ki bõvebben. A tananyag felépítésére jellemzõ, hogy az alapszintû ismeretanyag nyolc fejezetben került összefoglalásra. A rendszer tartalmazza az egyes interdiszciplinák köré csoportosított alkalmazások bemutatását is. Az elméleti részek gyakorlására külön program modul található. A tanulás folyamatát és a számonkérést közel fél ezer ellenõrzõ kérdés segíti. A digitális képfeldolgozást mint tantárgyat a TANKÉP alapján oktattuk a felsõfokú informatikai szakképzésben, a nappali tagozatos oktatásban (gazdasági agrármérnök szak, szakirány orientáltan) és a Gábor Dénes Mûszaki Informatikai Fõiskola Keszthelyi tagozatán [12], [14]. A tantárgy szerepel a Ph.D. képzésben is, az „Integrált növényvédelmi módszerek elméleti alapjai” A-típusú fõprogram keretein belül.
4. ábra A digitális képfeldolgozást interaktív módon oktató program rendszer egyes moduljai A hallgatók visszajelzéseit összegezve megállapítható, hogy azon hallgatók akik rendszeresen dolgoznak vagy részt vesznek grafikai jellegû alkalmazásokban, fejlesztésekben kimondottan hasznosnak ítélték az elméleti megalapozást és az egyes eljárások gyakorlásának lehetõségét. A csupán érdeklõdõ hallgatók elsõsorban az egyes alkalmazásokat - szakirányhoz illeszkedõen - tartották kiemelten fontosnak.
A teljesség igénye nélkül álljon itt néhány kiragadott példa az digitális képfeldolgozást interaktív módon bemutató rendszer lehetséges alkalmazására: - távoktatás, - önálló tanulás, - face-to-face rendszerû oktatás , - felsõfokú nappali oktatás, szakképzés, Ph.D. képzés, - szakemberek és szakoktatók.
5. ábra A „digitális képfeldolgozás és alkalmazásai” c. könyv borítója
5. [1]
[2] [3] [4] [5] [6] [7]
[8]
[9] [10]
[11] [12] [13] [14]
Irodalomjegyzék BERKE, J. -‐ GYÕRFFY, K. -‐ FISCHL, G. -‐ KÁRPÁTI, L. -‐ BAKONYI, J. (1993): The application of digital image processing in the evaluation of agricultural experiments, 5th International Conference CAIP'93 Budapest. Springer-‐Verlag, Lecture Notes in Computer Science, 719:780-‐787. BERKE, J. -‐ HEGEDÛS, GY. CS. -‐ KELEMEN, D. -‐ SZABÓ, J. (1996): Digitális képfeldolgozás és alkalmazásai. Keszthelyi Akadémia Alapítvány, Keszthely, ISBN 963 04 7466 2. BERKE, J. (1994): Digitális képfeldolgozás alkalmazása mezõgazdasági kísérletek értékelésében. Magyar Tudományos Akadémia, kandidátusi disszertáció. BERKE, J. -‐ SZABÓ, J. -‐ KELEMEN, D. -‐ HEGEDÛS, GY. CS. (1996): Digitális képfeldolgozást oktató multimédia szoftver rendszer /TANKÉP 1.0/, PATE Keszthely, PICTRON Kft., Budapest. FISCHL, G. -‐ BERKE, J. (1993): Use of digital picture processing system for determining the rust species of reed. 39th Plant Protection Days, Budapest, 91. BERKE, J. -‐ FISCHL, G. (1992): Possibilities of using computer analysis in identification of phytopathogenic fungi, 38th Plant Protection Days, Budapest, 78. BERKE, J. -‐ KÁRPÁTI, L. -‐ GYÕRFFY, K. -‐ FISCHL, G. (1994): Applied Digital Image Processing Methods in the Evaluation of Agricultural Experiments, A2-‐Science and Technology in the Alpine-‐Adriatic Region, 5:8-‐10. BERKE, J. (1995): Applied Statistical Pattern Recognition for the Identification of the Phytopathogenic Fungi and Determination Morphologically Features, Computational Modelling and Imaging in Biosciences -‐ COMBIO'95, Kecskemét, Hungary, I.3-‐9. BERKE, J. -‐ SZABÓ, J. -‐ KELEMEN, D. -‐ HEGEDÛS, GY. CS. (1995): Digitális képfeldolgozást oktató rendszer fejlesztése, Képfeldolgozási és térinformatikai alkalmazások, Keszthely, 16-‐18. SZABÓ, J. -‐ HEGEDÛS, GY. CS. -‐ KELEMEN, D. -‐ BODROGI, H. -‐ BERKE, J. (1996): „TANKÉP” computerised educational, exercising and examiner system for teaching digital image processing, Mesterséges látási rendszerek alkalmazása a mezõgazdaság mûszaki fejlesztésénél „Workshop”, PATE Kaposvár. BERKE, J. -‐ GYÕRFFY, K. (1996): Statisztikus alakfelismerési paraméterek alkalmazása identifikálásra és morfológiai jellemzõk meghatározására, Óvári Tudományos Napok, Mosonmagyaróvár, IV. 988-‐995. BERKE, J. -‐ KÁRPÁTI, L. -‐ GYÕRFFY, K. -‐ FISCHL, G. (1996): Interaktív képfeldolgozás -‐ kutatás, fejlesztés és oktatás, Informatika a felsõoktatásban ’96, Debrecen, 670-‐ 681. SZABÓ, J. -‐ HEGEDÛS, GY. CS. -‐ KELEMEN, D. -‐ BODROGI, H. -‐ BERKE, J. (1996): „TANKÉP” számítógépes oktató, gyakorló és vizsga rendszer a képfeldolgozás tanításához, Informatika a felsõoktatásban ’96, Debrecen, 682-‐688. BERKE, J. -‐ KÁRPÁTI, L. -‐ GYÕRFFY, K. -‐ FISCHL, G. (1995): Applied Image Processing as a Subject of Scientific Instruction for Hungarian and Foreign Students, A2-‐Science and Technology in the Alpine-‐Adriatic Region, 6:10-‐11.
APPLICATION OF IMAGE PROCESSING IN DEVELOPING INTERACTIVE MULTIMEDIA MATERIA AND EVALUATING AGRICULTURAL EXPERIMENTS József Berke Institute for Extension, Further Education and Information Technology of Pannon University of Agricultural Sciences Georgikon Faculty of Agronomy 8360 Keszthely, Deák F. u 57 . Email :
[email protected]
Abstract The effective use of digital imageous information has a great importance in developing interactive educational materia. It is a fact, that in the interaction between mankind and environment visual information is the most important because of its solidity. We carry out a research in the field of measuring the psycho-‐visual effects of digital imageous information used while developing multimedia materia. This presentation aims to give a brief overview of our previous results, the role of visual information in connection with multimedia materia, and the following important visual applications in the near future : -‐ DVD as a medium of data -‐ MediaServer as a visual ancillary server -‐ VRML as 3D INTERNET -‐ VirtualGIS as 3D Geographical Information Systems Today the use of interactive visual devices can be very important in the world-‐ wide, society-‐forming network, revolutionising the role of former, comfortable but not interactive media. Digital image processing enables the description of parameters which can not be measured through exact and traditional methods in the evaluation of agricultural research. We have been dealing with this problem for almost ten years and in this presentation we would like to sum up the results of previous years.
