Využití pokročilých statistických metod pro zpracování obrazu fluorescenční emise rostlin ovlivněných lokálním biotickým stresem

Jihočeská univerzita v Českých Budějovicích Ústav fyzikální biologie, Nové Hrady

Využití pokročilých statistických metod pro zpracování obrazu fluorescenční emise rostlin ovlivněných lokálním biotickým stresem Disertační práce

Karel Matouš

Školitel: Ladislav Nedbal Ústav systémové biologie a ekologie, Akademie věd České republiky, v.v.i. Zámek 136, 37333 Nové Hrady

Nové Hrady 2008

Matouš K, 2008 : Využití pokročilých statistických metod pro zpracování obrazu fluorescenční emise rostlin ovlivněných lokálním biotickým stresem. Disertační práce – 99 stran, Jihočeská univerzita, Ústav fyzikální biologie, Nové hrady, Česká Rep.

Prohlašuji, že svoji disertační práci jsem vypracoval samostatně pouze s použitím pramenů a literatury uvedených v seznamu citované literatury. Prohlašuji, že v souladu s § 47b zákona č. 111/1998 Sb. v platném znění souhlasím se zveřejněním své disertační práce, a to v nezkrácené podobě fakultou elektronickou cestou ve veřejně přístupné části databáze STAG provozované Jihočeskou univerzitou v Českých Budějovicích na jejích internetových stránkách.

Datum: 4.7.2008 Podpis:

i

SEZNAM PUBLIKACÍ Matouš K, Benediktyová Z, Berger S, a kol. (2006) - Case study of combinatorial imaging: What protocol and what chlorophyll fluorescence image to use when visualizing infection of Arabidopsis thaliana by Pseudomonas syringae? Photosynth Res 90, (3):243-253 Berger S, Benediktyová Z, Matouš K, a kol. (2007) - Visualization of dynamics of plantpathogen interaction by novel combination of chlorophyll fluorescence imaging and statistical analysis: differential effects of virulent and avirulent strains of P-syringae and of oxylipins on A-thaliana. J Exp Bot 58, (4):797-806 Pineda M, Soukupová J, Matouš K, Nedbal L a Barón M - Conventional and combinatorial chlorophyll fluorescence imaging of tobamovirus - infected plants. Photosynthetica – přijato k publikaci.

ii

PROHLÁŠENÍ Potvrzuji, že má úloha v přípravě publikací použitých v dizertaci spočívala v následujícím •

Pro článek

Berger S, Benediktyová Z, Matouš K, a kol. (2007) - Visualization of dynamics of plantpathogen interaction by novel combination of chlorophyll fluorescence imaging and statistical analysis: differential effects of virulent and avirulent strains of P-syringae and of oxylipins on A-thaliana. J Exp Bot 58, (4):797-806 jsem samostatně vytvořil všechny programové nástroje a použil jsem jich k analýze experimentálních dat, která získali ostatní autoři. • Totéž platí pro článek Pineda M, Soukupová J, Matouš K, Nedbal L a Barón M - Conventional and combinatorial chlorophyll fluorescence imaging of tobamovirus - infected plants. Photosynthetica - přijato k publikaci • V článku Matouš K, Benediktyová Z, Berger S, a kol. (2006) - Case study of combinatorial imaging: What protocol and what chlorophyll fluorescence image to use when visualizing infection of Arabidopsis thaliana by Pseudomonas syringae? Photosynth Res 90, (3):243-253 jsem prvním autorem, protože jde hlavně o popis statistických metod, které jsem použil k rozpoznání infekce. On behalf of the other co-authors, the above mentioned declaration was confirmed by:

Doc. RNDr. Ladislav Nedbal, DrSc. ………………………………………………

V Nových Hradech, 28.6.2008 Ing. Karel Matouš

…………………………………………………………....

iii

PODĚKOVÁNÍ Děkuji mému školiteli, Ladislavu Nedbalovi, za jeho pomoc při prohloubení mých znalostí v oblasti rostlinné fyziologie. Zvláště oceňuji jeho podporu během řešení různých projektů a řadu podnětných diskuzí, které umožnily tyto projekty úspěšně realizovat. Dále děkuji Zuzaně Benediktyové za její spolupráci na řadě projektů. Její rady a pomoc byly neocenitelné. Děkuji také Anamice Mishra a to především za spolupráci na projektu rozpoznávání rostlinných druků. Spolupráce s ní mi pomohla uspořádat a prohloubit si znalosti v oblasti zpracování signálu. Dále bych rád poděkoval Ladislavu Cséfalvayovi. Jeho zkušenosti s použitím zobrazovacích fluorimetrů byly klíčové pro získání kvalitních dat nutných pro mou práci. Rovněž děkuji Julii Soukupové jejíž pomoc a rady při řešení mnoha projektů byly velmi cenné. Velký dík patří Pavlu Pudilovi z Fakulty managementu Vysoké školy ekonomické v Praze sídlící v Jindřichově Hradci za jeho pomoc při prohloubení mých znalostí metod selekce příznaků. Dále pak Jiřímu Grimovi a Petru Somolovi z Ústavu teorie informace a automatizace AV v Praze za jejich cenné rady z oblasti příznakového rozpoznávání při řešení mnoha projektů. Děkuji také Milanu Bokovi z téhož ústavu za cenné rady a podnětné diskuse. V neposlední řadě bych rád poděkoval firmě Photon System Instrument s.r.o. a jejím zaměstnancům za jejich pomoc při pochopení funkcí zobrazovacích fluorimetrů a struktury dat.

iv

ZKRATKY A PROMĚNNÉ1 Třída

ω - množina všech tříd ωi - i-tá třída množiny tříd Ω N - počet tříd množiny Ω Příznak

ξ - množina všech příznaků ξi - i-tý příznak množiny příznaků ξ D - počet všech příznaků (dimenze)

χ - podmnožina množiny všech příznaků Dfinal - u selekce příznaku, počet vybraných příznaků, v případě extrakce, konečná dimenze Obraz X - množina obrazů xi - i-tý obraz množiny obrazů X xin- n-tý příznak i-tého obrazu množiny obrazů X X(ωk) - podmnožina množiny X obsahující obrazy náležicí třídě ωk xi(ωk) - i-tý obraz množiny obrazů X(ωk) x(ωk)in- n-tý příznak i-tého obrazu množiny obrazů X(ωk) Statistické vlastnosti x - průměrný vektor (centroid) množiny příznaků X x (ω k ) - průměrný vektor (centroid) množiny příznaků X(ωk)

C( X ,ξ m ,ξ n ) - kovariance m-tého a n-tého příznaku množiny obrazů X C( X (ω k ) ,ξ m ,ξ n ) - kovariance m-tého a n-tého příznaku množiny obrazů X(ωk) ρ ( X ,ξ m ,ξ n ) - korelace m-tého a n-tého příznaku množiny obrazů X ρ ( X (ω k ) ,ξ m ,ξ n ) - korelace m-tého a n-tého příznaku množiny obrazů X(ωk) C ( X ) - kovarianční matice množiny obrazů X C ( X ( ω k )) - kovarianční matice množiny obrazů X P ( X ) - korelační matice množiny obrazů X P ( X ( ω k )) - korelační matice množiny obrazů X

1

Zkratky nejsou abecedně seřazeny, protože se domnívám, že je zde výhodnější řazení do bloků podle významu. Velké tučné znaky reprezentují matice, malé tučné znaky vektory a ostatní znaky skaláry.

v

Míry vzdálenosti E(xi, xj)- Euklidovská vzdálenost mezi obrazy xi a xj MD(ωk , xi) - Mahalanobisova vzdálenost obrazu xi od třídy ωk BD(ωk , ωl) - Bhattacharyova vzdálenost mezi třídami ωk a ωl Ostatní A - váhová matice w - vektor vah w0 - práh p(ξ|ωi) - aposteriorní pravděpodobnost J - hodnota kriteriální funkce Chl – chlorofyl PSI – Fotosystém I PSII – Fotosystém II

vi

OBSAH Seznam publikací........................................................................................................................ii Prohlášení ..................................................................................................................................iii Poděkování ................................................................................................................................iv Zkratky a proměnné....................................................................................................................v Obsah ........................................................................................................................................vii Seznam tabulek..........................................................................................................................ix Seznam obrázků..........................................................................................................................x Seznam příloh ............................................................................................................................xi Abstrakt ....................................................................................................................................xii 1 Úvod..................................................................................................................................1 1.1 Chlorofylová fluorometrie...............................................................................................1 1.1.1 Fotosyntéza....................................................................................................................1 1.1.2 Luminiscence a fluorescence ........................................................................................3 1.1.3 Chlorofylový fluorescenční přechodový jev .................................................................5 1.1.4 Fluorescenční parametry ...............................................................................................6 1.2 Příznakové rozpoznávání ................................................................................................8 1.2.1 Příznak, obraz, třída ......................................................................................................9 1.2.2 Statistické příznakové rozpoznávání ...........................................................................13 1.3 Redukce dimenzionality................................................................................................22 1.3.1 Selekce příznaků .........................................................................................................23 1.3.2 Extrakce příznaků........................................................................................................36 1.3.3 Kritérium optimality....................................................................................................40 2 Přehled práce...................................................................................................................42 3 Materiály a metody .........................................................................................................43 3.1 Zobrazovací chlorofylová fluorometrie ........................................................................43 3.2 Měřící protokoly............................................................................................................44 3.3 Rostlinný materiál .........................................................................................................44 3.4 Naměřená data...............................................................................................................45 3.5 Volba a nastavení metod statistického příznakového rozpoznávání.............................45 3.6 Použitý software a hardware .........................................................................................46 4 Výsledky .........................................................................................................................47 4.1 Rozpoznávání rostlinných druhů s využitím metod statistického příznakového .........47 4.1.1 Použitá data .................................................................................................................47 4.1.2 Analýza pomocí fluorescenčních parametrů ...............................................................47 4.1.3 Volba metody pro klasifikaci ......................................................................................48 4.1.4 Volba metody selekce příznaků ..................................................................................51 4.2 Case study of combinatorial imaging: What protocol and what chlorophyll fluorescence image to use when visualizing infection of Arabidopsis thaliana by Pseudomonas syringae?.................................................................................................55 4.3 Visualization of dynamics of plant-pathogen interaction by novel combination of chlorophyll fluorescence imaging and statistical analysis: Differential effects of virulent and avirulent strains of P. syringae and of oxylipins on A. thaliana ...............68 4.4 Conventional and combinatorial chlorophyll fluorescence imaging of tobamovirus-infected plants ..........................................................................................79 4.5 Programové nástroje pro analýzu dat ............................................................................91 4.5.1 Nástroj Segmentation ..................................................................................................91 vii

4.5.2 Nástroj Process ............................................................................................................93 4.5.3 Nástroj Compare .........................................................................................................93 4.5.4 Nástroj Feature_sel......................................................................................................93 5 Shrnutí .............................................................................................................................95 6 Literatura .........................................................................................................................96

viii

SEZNAM TABULEK Tabulka 4.1 Výkonnosti klasifikátorů ......................................................................................49

ix

SEZNAM OBRÁZKŮ Obrázek 1.1 Elektronový transport na tylakoidních membránách vyšších rostlin .....................2 Obrázek 1.2 Molekula chlorofylu a............................................................................................3 Obrázek 1.3 Fluorescence emitovaná molekulou chlorofylu a ..................................................4 Obrázek 1.4 Chl a fluorescenční přechodový jev.......................................................................5 Obrázek 1.5 Časový diagram......................................................................................................6 Obrázek 1.6 Euklidovská vzdálenost .......................................................................................11 Obrázek 1.7 Mahalanobisova vzdálenost .................................................................................12 Obrázek 1.8 Kontrast a překryv v distribucích.........................................................................13 Obrázek 1.9 Dělení metod statistického příznakového rozpoznávání......................................14 Obrázek 1.10 NN klasifikátor...................................................................................................17 Obrázek 1.11 k-NN klasifikátor (k=3) .....................................................................................17 Obrázek 1.12 Nevýhody NMC klasifikace...............................................................................18 Obrázek 1.13 k-means algoritmus ............................................................................................19 Obrázek 1.14 Klasifikace pomocí LDC a QDC .......................................................................21 Obrázek 1.15 Podmnožina nejlepších dvou a nejlepší podmnožina dvou příznaků ................24 Obrázek 1.16 Strom řešení Branch & Bound algoritmu ..........................................................26 Obrázek 1.17 Branch & Bound algoritmus ..............................................................................27 Obrázek 1.18 SFS algoritmus...................................................................................................29 Obrázek 1.19 SBS algoritmus ..................................................................................................30 Obrázek 1.20 Algoritmus individuálního vyhledávání.............................................................31 Obrázek 1.21 SFFS algoritmus.................................................................................................32 Obrázek 1.22 SBFS algoritmus ................................................................................................33 Obrázek 1.23 Oscilační vyhledávání ........................................................................................35 Obrázek 1.24 LDA a PCA........................................................................................................38 Obrázek 1.25 Příklad aplikace jádrové funkce.........................................................................40 Obrázek 3.1 Funkce fluorcamu ................................................................................................43 Obrázek 3.2 Fotografie měřícího přístroje fluorcam ................................................................44 Obrázek 4.1 Konvenční fluorescenční příznaky.......................................................................48 Obrázek 4.2 Závislost výkonnosti na počtu obrazů..................................................................51 Obrázek 4.3 Výsledky metod selekce příznaků........................................................................52 Obrázek 4.4 Rozpoznávání tří druhů rostlin.............................................................................54 Obrázek 4.5 Grafické uživatelské rozhraní ..............................................................................91

x

SEZNAM PŘÍLOH Zhášecí protokol Oscilační protokol

xi

ABSTRAKT Kinetická zobrazovací fluorometrie rostlin je neinvazivní technika používaná v rostlinné fyziologii, molekulární biologii, biotechnologii a v přesném zemědělství. V sekvencích obrazů zachycuje dynamiku fluorescenční emise chlorofylu, která odráží fotosyntetickou aktivitu rostlin a její změny v čase a prostoru. Umožňuje sledovat dynamiku prostorového rozložení fotosyntetických dějů v rostlinách v laboratorních i polních podmínkách, od mikroskopické úrovně až po úroveň celých rostlin a menších porostů, pro účely základního i aplikovaného výzkumu. Cílem této disertační práce je přispět k rozvoji a uplatnění kinetické zobrazovací fluorometrie rostlin zavedením a užitím pokročilých statistických metod analýzy dat. Nepříjemnou vlastností dat naměřených zobrazovacími fluorimetry je jejich velké množství a s tím spojená náročnost jejich analýzy. Metody statistického příznakového rozpoznávání umožňují zjistit, ve kterých obrazech z fluorescenční sekvence je obsažena nejbohatší informace o sledovaném biotickém stresu, a tak nalézt malé množiny fluorescenčních obrazů vhodných pro další analýzu. Omezoval jsem se na ty statistické metody výběru obrazů, resp. příznaků, které jsou velmi potentní při zachování realistické výpočetní náročnosti. Jak ukazují výsledky prezentované v přiložených článcích, prokázali jsme, že statistické zpracování dat ze zobrazovacích fluorimetrů může být použito pro automatické rozpoznávání rostlinných druhů. To je důležité například v přesném zemědělství. Dále jsme ukázali, že statistickými metodami statistického příznakového rozpoznávání lze infekci Pseudomonas syringae na listech rostlin Arabidopsis thaliana detekovat dříve než běžně používanými přístupy. Schopnost detekovat infekci v ranném stádiu je v praxi důležitá například z důvodu možnosti včasné aplikace postřiku. Tuto problematiku jsme prezentovali ve dvou článcích, kde první z nich byl orientován spíše na technickou stránku řešení úlohy zahrnující popis metod použitých pro zpracování dat a druhý pak na biologickou stránku úlohy. Rovněž jsme prokázali, že podobným přístupem lze provést kvalitnější a efektivnější detekci Pepper mild mottle virus na listech rostlin Nicotiana benthamiana. Přestože jsme použili pouze malou část z dostupných metod příznakového rozpoznávání, dokázali jsme, že tento přístup umožňuje posunout limity zobrazovací chlorofylové fluorometrie a uspět při řešení úloh, kde konvenční techniky selhávají. Biotické stresy je pak možné detekovat v jejich rannějších stádiích a samotná detekce může být mnohem efektivnější.

xii

1 ÚVOD 1.1 Chlorofylová fluorometrie H. Kautsky a A. Hirsch roku 1931 pozorovali, že temnotně adaptovaná rostlina po vystavení světlu mění v čase úroveň fluorescenčního záření (Kautsky a Hirsch 1931). Tento jev byl později na počest H. Kautského nazván Kautského efektem. Kautsky a Hirsch také poukázali na fakt, že mezi chlorofylovou (Chl) fluorescencí a fotosyntézou existuje antiparalelní vztah. Časové změny úrovně fluorescenčního záření, které pozorovali, korelovaly s časovými změnami asimilace CO2 popsanými Otto Warburgem (Warburg 1920). Tato souvislost pak byla kvantitativně vyjádřena o devět let později (MacAlister a Myers 1940). Během následujících čtyřiceti let můžeme pozorovat další vývoj v porozumění Chl fluorescenční emisi. Tento pokrok byl založen na využití nezobrazovacích technik měření fluorescenční emise. S rostoucí kvalitou měřících přístrojů se rozšiřovaly i možnosti využití těchto technik. Důležitým přelomem bylo první použití zobrazovací techniky (Omasa a kol., 1987) k zaznamenání fluorescenční emise. Tím bylo například umožněno pozorování heterogenity fluorescence na ploše listů rostlin. V současnosti je možné použít zobrazovací fluorometrii k řešení velkého množství úloh. Fluorescenční přechodové jevy (kinetiky) lze využít ke studiu fotosyntézy rostlin (Nedbal a Whitmarsh 2004), pro sledování a analýzu stresů rostlin (Balachandran a kol., 1994; Chaerle a kol., 2004; Lichtenthaler a Babani 2000; Mallick a Mohn 2003; Meyer a kol., 2001; Nedbal a kol., 2000a), pro rozpoznávání různých druhů rostlin (Codrea a kol., 2003; Codrea a kol., 2004; Tyystjarvi a kol., 1999) nebo pro detekci infekcí rostlin (Berger a kol., 2007) ap.

1.1.1 Fotosyntéza Fotosyntéza je proces, při kterém rostlina zachytává světlo a jeho energii využívá pro syntézu energeticky bohatých organických sloučenin. Energie světelného záření je tak přeměňována na energii chemických vazeb. Nejvýznamnějším zdrojem takového světelného záření v přírodě je Slunce. Spektrální charakteristiky slunečního záření, které můžeme pozorovat na povrchu Země, jsou dány především teplotou povrchu slunce a spektrálními charakteristikami atmosféry. Sluneční záření má nejvyšší intenzitu v oblasti viditelného spektra. Sluneční světlo dopadající na list rostliny může být rostlinou odraženo, absorbováno nebo může listem projít. Spektrální vlastnosti těchto jevů ovlivňují pigmenty obsažené v listech rostlin. Energie pigmentem absorbovaného světla může být transformovaná na teplo, může být předána další molekule, využita pro fotosyntézu, nebo vyzářena zpět do prostoru například jako fluorescence. Z důvodu antiparalelního vztahu mezi fluorescencí a fotosyntézou je fluorescence signálem, který nám může napovědět mnohé o účinnosti fotosyntetické přeměny energie. Mezofyl listu je nejvíce fotosynteticky aktivní tkání u vyšších rostlin. Jedná se o vnitřní část listu obklopenou epidermální vrstvou listu. Buňky mezofylu obsahují na fotosyntézu specializované organely - chloroplasty. Se vzrůstající vzdáleností od povrchu listu do jeho středu se snižuje obsah chloroplastů v buňkách mezofylu. Uvnitř chloroplastů nalezneme tzv. tylakoidní membrány (viz. Obrázek 1.1), ve kterých jsou zabudovány různé proteinové komplexy.

1

Obrázek 1.1 Elektronový transport na tylakoidních membránách vyšších rostlin Lineární a cyklické dráhy jsou vyznačeny plnými a tečkovanými šipkami (transport elektronů). V membráně jsou zabudovány komplexy PSII (fotosystém II), PSI (fotosystém I), Cyt b6f (cytochrom b6f), KVK (kyslík vyvíjející komplex), ATPáza a FNR (feredoxin-NADP+ reduktáza). Dále je možné vidět molekuly NADPH (nikotinamidadenindinukleotidfosfát) PQ (plastochinon), ATP (adenosintrifosfát), ADP (adenosindifosfát) a PC (plastocyanin). Dále pak protony značené H+ a elektrony značené e-. Elektron získaný z molekuly vody je postupně transportován komplexy PSII, Cyt b6f, PSI až na feredoxin-NADP+ reduktázu a je použit pro syntézu NADPH. Štěpením molekul vody a během elektronového transportu vzniká na membráně protonový gradient. Ten je využit pro syntézu molekul ATP. Na tylakoidních membránách díky oxidaci vody vznikají molekuly kyslíku a kde je syntetizováno ATP (adenosintrifosfát) a NADPH (nikotinamidadenindinukleotidfosfát) molekuly sloužící k uchování energie v buňce. Zdrojem energie pro tyto reakce je světelné záření absorbované především pigmenty obsaženými v anténních komplexech fotosystémů PSI a PSII. Důležitý u vyšších rostlin je Chl a, jehož fluorescencí se budeme v této práci dále zabývat. Molekulu Chl a je možné vidět na obrázku Obrázek 1.2.

2

Obrázek 1.2 Molekula chlorofylu a Na obrázku je molekula chlorofylu a s hydrofóbním fytolový řetězecem a pyrolovou hlavou.

1.1.2 Luminiscence a fluorescence Luminiscence je světelná emise, ke které dochází při spontánním přechodu elektronu z nerovnovážného excitovaného stavu do stavu základního (viz. www.scienceworld.wolfram.com). Nejedná se o světelnou emisi tělesa způsobenou jeho vysokou teplotou. Nicolas Manrdes pozoroval luminiscenci už roku 1565 (Berlman 1965). Bichromatický charakter takovéhoto záření popsal roku 1646 Althanius Kircher - pokud se do excitovaného stavu dostane elektron díky absorpci světla, je pro luminiscenci

3

charakteristické, že absorbované světlo má kratší vlnovou délku než světlo emitované. Tento jev se dnes nazývá Stokesův posun. Luminiscence zahrnuje různé typy světelné emise včetně fluorescence nebo fosforescence. Vztah mezi luminiscencí, fluorescencí a fosforescencí lze vysvětlit na Jablonského diagramu (Obrázek 1.3). Díky absorpci světelné energie molekulou přejde elektron do excitovaného stavu. Absorbovaná energie může být transformovaná na teplo, může být předána další molekule (a nakonec využita například při syntéze energeticky bohatých organických sloučenin) nebo vyzářena zpět do prostoru jako luminiscence na jiné, delší vlnové délce než absorbované světlo. Pokud dochází k vyzáření světla při přechodu z vyššího singletního stavu S1 do základního S0, mluvíme o fluorescenci. Prvním kdo použil pro takovéto záření jméno fluorescence byl roku 1852 G. Stokes (Stokes 1852). G. Stokes mimo jiné rozpoznal, že fluorescence je emitované záření. Fluorescenci je možné pozorovat u minerálu fluorit, podle kterého nese své jméno. Pokud se elektron dostane do tripletního stavu T1 a pak nastane zářivý přechod do základního singletního stavu S0, jedná se o fosforescenci. Termín zpožděná fluorescence je používán pro zářivý přechod ze singletního stavu S1 do S0, kdy se elektron dostane ze stavu S0 do T1, S1 a pak teprve do S0, s delší dobou dohasínání danou časem, po který byla molekula v tripletního stavu T1 (Spencer a Odonnell 1972). Fosforescence se vyznačuje pomalejší re-emisí absorbované energie než fluorescence. Fosforescencí může být absorbovaná energie vyzařována s nižší intenzitou až po dobu několika hodin. U fluorescence se jedná řádově o nanosekundy (Nobel 2005).

Obrázek 1.3 Fluorescence emitovaná molekulou chlorofylu a Absorpce energie excituje molekulu Chl a do vyššího excitovaného stavu S2, odkud molekula relaxuje do nižšího excitovaného stavu S1. Energie pak může být použita pro fotosyntézu, nebo vyzářena zpět do okolí formou fluorescence nebo fosforescence anebo ztracena formou tepla. Stavy S1 a S2 určují absorpční a fluorescenčně emisní charakteristiky Chl a. Zkratka tr značí tepelnou relaxaci. (Jako zdroj použity obrázky z Procházka a kol., 1998; Taiz a Zeiger 2002)

4

V našem případě jsme pracovali s fluorescencí Chl a (Obrázek 1.2). Přibližně 90% fluorescence Chl a při pokojových teplotách pochází z komplexů fotosystému II (PSII) (Govindjee 1995). Formou fluorescence Chl a ve zdravých listech rostliny je emitováno zpět do prostoru zhruba 3-5% celkové absorbované světelné energie (Roháček 2002). Čas dosvitu fluorescence izolovaného Chl a, tzn. bez energetických přenosů nebo fotochemie, se pohybuje okolo 6 - 20ns. Čas dosvitu fluorescence Chl a zabudovaného ve funkčním fotosyntetickém aparátu rostliny je okolo 300ps - 1.6ns (Lazar 1999). Čas dosvitu fluorescence izolovaného Chl a je vyšší, protože molekula Chl a nemá možnost nezářivě předat absorbovanou energii dalším součástem účastnícím se fotosyntézy.

1.1.3 Chlorofylový fluorescenční přechodový jev Chl fluorescenční přechodový jev je reakcí rostliny na ozáření světlem, kdy je část absorbované světelné energie emitována formou fluorescence zpět do prostoru. Pokud je temnotně adaptovaná rostlina vystavena světlu s konstantní intenzitou, mluvíme o Kautského efektu (Kautsky a Hirsch 1931). Přechodový jev může být i komplikovanější, vyvolaný sekvencí různých intenzit osvětlení nebo například harmonicky modulovaným osvětlením (Nedbal a kol., 2005). Tato sekvence různých osvětlení je nazývána měřícím protokolem. Příklad měřícího protokolu je možné nalézt v přílohách a ukazuje ho Obrázek 1.4. Zde lze nalézt případ, kdy byly použity dva druhy osvětlení. Jedno s vysokou intenzitou a krátkou dobou trvání (saturující pulsy) s cílem zahltit fotosyntetický aparát rostliny a druhé s nižší intenzitou a dlouhou dobou trvání (aktinické světlo), kdy měříme fluorescenci rostliny ozářené světlem, které zcela nezahltí fotosyntetický aparát rostliny. Fluorescence PSII je narozdíl od fluorescence PSI variabilní (při vhodné stimulaci se v čase výrazně mění). Proto lze pomocí fluorescence PSII sledovat změny ve stavu fotosyntetického aparátu rostliny.

Obrázek 1.4 Chl a fluorescenční přechodový jev Na spodním obrázku je měřící protokol sestávající ze saturačních pulsů (přerušovaná čára) a aktinického světla (plná čára) použitých pro ozáření rostliny. Přechodový jev, který je reakcí na takovéto osvětlení je pak na horním obrázku. V obrázku jsou vyznačeny části přechodového jevu, které odpovídají základním fluorescenčním parametrům. Použitý protokol je pouze jednoduchým příkladem, jak může měřící protokol vypadat. Často jsou však použity mnohem složitější protokoly pro získání komplexního přechodového jevu.

5

Fluorescenční přechodové jevy měříme pomocí tzv. měřících pulsů. Ty jsou velmi krátké, aby minimálně ovlivnily stav fotosyntetického aparátu rostliny, a mají vysokou intenzitu, aby byla zaručena dostatečně vysoká intenzita snímané fluorescence. CCD kamera pro zaznamenávání fluorescence je synchronizována s měřícími pulsy a osazena filtrem, aby snímala pouze fluorescenci a nikoli měřící pulsy. Díky tomu může být relativní výtěžek fluorescence měřen i za přítomnosti slunečního záření nebo jiného zdroje světla na pozadí. V případě temnotně adaptované rostliny je pak možné měřit fluorescenční příznak F0 (popsán v následující kapitole). Princip měření ukazuje Obrázek 1.4.

Obrázek 1.5 Časový diagram Elektronická uzávěrka CCD kamery pracuje v synchronizaci s měřícími pulsy. Fluorescence by měla být minimálně ovlivněna aktinickým efektem měřících pulsů a zároveň dostatečně intenzivní pro zachycení CCD kamerou.

1.1.4 Fluorescenční parametry Pro analýzu Chl fluorescenčních přechodových jevů jsou často používány fluorescenčních parametry. Jejich výhodou je jejich biologická interpretovatelnost. Fluorescenční parametry můžeme rozdělit do tří skupin. Základní (přímo měřené) parametry (např. F0, FM, F0’, FP, FS), které odpovídají úrovni fluorescence v určité části přechodového jevu, parametry, které jsou konstruovány aritmetickými kombinacemi základních fluorescenčních parametrů a mají určitý fyziologický význam (např. FV, FV / FM, ΦPSII, NPQ) a parametry konstruované aritmetickými kombinacemi základních fluorescenčních parametrů bez fyziologického významu (např. F0 / FV). Lze nalézt několik publikací, ve kterých se autoři zabývají popisem fluorescenčních parametrů (Maxwell a Johnson 2000; Roháček 2002; Schreiber a kol., 1986). Základní fluorescenčních parametry odpovídají úrovni fluorescence v určité části přechodového jevu. F0 odpovídá fluorescenci excitovaného Chl v anténách PSII měřené ve chvíli, kdy jsou reakční centra otevřena. Pro získání této hodnoty je nutné temnotně adaptovat rostlinu. První saturační puls je použit pro měření maximální hodnoty fluorescence FM, kdy jsou všechny molekuly QA (primární plastochinonový akceptor PSII) redukovány. Další část přechodového jevu je pak známa jako Kautského efekt, který je reakcí rostliny na ozáření

6

aktinickým světlem2. Intenzita tohoto světla je nižší než u saturujících pulsů, ale doba, po kterou je rostlina světlu vystavena je výrazně delší. Zde nalezneme dvě důležité hodnoty, a to FP (peak fluorescence), která vyjadřuje maximální hodnotu fluorescence při reakci na aktinické světlo, a FS (steady state fluorescence), která odpovídá fluorescencí v ustáleném stavu (někdy značená též FT). Část přechodového jevu, kdy fluorescence narůstá, je způsobena postupnou redukcí molekul plastochinonu, které se volně pohybují v tylakoidní membráně (plastoquinone pool, PQ). Pokud je transport elektronů z PSII zablokován například DCMU (blokuje vazebné místo plastochinonu na PSII), fluorescence roste rychleji a dosahuje vyšších hodnot, protože elektrony nemohou být přeneseny na další komponenty účastnící se fotosyntézy. Fluorescence po dosažení hodnoty FP následně klesá. To je způsobeno mnoha efekty jako například změnou pH, protonovým gradientem na tylakoidní membráně nebo reoxidací plastochinonu v důsledku aktivace Calvinova cyklu ap. (Lazar 1999). Tato změna je také spojena s fluorescenčním zhášením. Část přechodového jevu, kdy fluorescence klesá bývá obvykle delší než předchozí část. Poslední částí přechodového jevu je reakce rostliny na vypnutí aktinického světla, kdy hodnota fluorescence klesá a časem by se měla vrátit zpět k hodnotě F0. Fluorescenční aparát rostliny se vrací do stavu, ve kterém byl na začátku měření. Parametry z druhé skupiny jsou konstruovány na základě základních fluorescenčních parametrů:

ΦPSII = (FM' - FS) / FM' - kvantový výtěžek PSII - parametr, který udává podíl absorbovaného světla (Chl v anténách PSII), který je použit pro fotochemii. qP = (FM' - FS) / (FM' - F0') - podíl otevřených reakčních center PSII. - 1-qP pak udává podíl uzavřených reakčních center. FV/FM = (FM - F0) / FM - maximální kvantový výtěžek fotochemie v reakčních centrech. NPQ = (FM - FM') / FM' - nefotochemické zhášení. Rfd = (FP – FS) / FS - faktor vitality rostliny (Lichtenthaler a Rinderle 1988). Parametry ze třetí skupiny sice nemají fyziologický význam, ale mohou být citlivé při sledování různých jevů. Například parametr F0 / FV byl použit při zkoumání excitačních spekter PSI a PSII v chloroplastech (Kitajima a Butler 1975) nebo pro zjištění infekce ovoce (Nedbal a kol., 2000b). Můžeme zde pozorovat stejnou snahu o dosažení vysoké citlivosti i za cenu ztráty interpretovatelnosti použitých parametrů. Jakkoliv jsou fluorescenční parametry účinným nástrojem pro analýzu různých druhů stresů, infekcí nebo mutací rostlin, nemusí být vždy zcela vhodné pro jejich detekci. Bývají totiž počítány ze základních fluorescenčních parametrů, které (viz. Obrázek 1.4), pokrývají jen část přechodového jevu. To může být v mnoha případech limitující. Proto se zde nabízí možnost aplikovat některé z metod příznakového rozpoznávání a využít informaci obsaženou v celém přechodovém jevu. Jako příklad můžeme uvést použití neuronových sítí pro rozpoznávání různých druhů rostlin na základě jejich Chl fluorescenčních přechodových jevů (Tyystjarvi a kol., 1999), použití genetických algoritmů pro tentýž účel (Codrea a kol., 2003) a nebo přiložené publikace (Berger a kol., 2007; Matouš a kol., 2006). Vzhledem k rozsáhlosti problematiky příznakového rozpoznávání jí bude věnována celá následující kapitola.

2

Termín aktinické světlo má svůj původ ve fotografii, kde jím je označováno světlo, na které je fotosenzitivní materiál citlivý. Jako neaktinické světlo pak lze označit světlo, na které fotosenzitivní materiál nereaguje (např. červené světlo v temných komorách používané při vyvolávání filmů). Podobně můžeme u rostlin označit za aktinické světlo takové světlo, na které bude rostlina reagovat (např. změnou kvantového výtěžku fluorescence).

7

1.2 Příznakové rozpoznávání Příznakové rozpoznávání je vědní obor využívající metody pro popis a rozpoznávání objektů. Samotné rozpoznávání je hlavní, ale nikoli jedinou částí příznakového rozpoznávání. Patří sem i další úlohy jako ohodnocení kvality trénovací množiny, optimální reprezentace dat v prostorech nižší dimenze nebo ohodnocení schopnosti klasifikovat. V literatuře se lze setkat s rozdělením metod příznakového rozpoznávání do čtyř skupin (Jain a kol., 2000). a, Statistické příznakové rozpoznávání je první z nich. Využívá se zde statistických vlastností dat a protože aplikace těchto metod byla stěžejní částí této disertační práce, budu se jimi detailněji zabývat v následujících kapitolách. Zbylé tři přístupy, které nebyly využity, uvedu pouze stručně. b, Neuronové sítě jsou druhou z kategorií. Tyto sítě sestávají z jednoduchých procesorů s velkým množstvím vzájemných propojení (Bishop 1995; Jain a kol., 1996). Takové procesory jsou nazývány neurony a napodobují funkci skutečných neuronů v mozku. Graf neuronové sítě je nazýván topologií. Neurony jsou lokalizované v tzv. vrstvách neuronové sítě. Např. vícevrstvá perceptronová síť obsahuje vstupní a výstupní vrstvu a dále může obsahovat několik skrytých vrstev. Neuronová síť má schopnost se za pomocí různých trénovacích procedur naučit komplexní nelineární vztahy mezi vstupními a výstupními daty a adaptovat se těmto datům. To nám následně umožňuje řešit pomocí neuronových sítí například úlohy jako (Hořejš 1993): • Klasifikace - Neuronová síť má schopnost rozpoznávat neznámé obrazy popsané příznaky. Tato schopnost pramení ze zkušenosti získané během učení, kdy se síť přizpůsobovala předkládaným trénovacím obrazům. • Predikce - Síť je schopna se přizpůsobit předkládaným sekvencím hodnot a předpovědět vývoj v budoucnu. • Řízení - Po prozkoumání (adaptování se) řídícího systému, kdy jsou síti předkládány různé stavy systému a požadované reakce, je síť schopna tento řídící systém napodobit. • Komprese dat - U neuronové sítě natrénované posílat na výstup to samé, co jí přijde na vstup, lze využít její skrytou vrstvu, jako vrstvu s komprimovanými daty. • Nettalk - Neuronovou síť lze použít pro fonetickou konverzi psaného textu. Neuronové sítě představují velmi užitečný nástroj a byly použity mj. i při zpracování chlorofylových fluorescenčních přechodových jevů (Codrea a kol., 2003; Tyystjarvi a kol., 1999). Vzhledem k tomu, že jsem neuronové sítě nepoužil během zpracování dat prezentovaných v této disertační práci, nebudu se jimi dále zabývat a ponecháme je pouze jako existující alternativu k mnou zvolenému přístupu. c, Srovnávání se vzrorem (Template matching) je jedním ze základních přístupů používaných v příznakovém rozpoznávání. Porovnávání je operace při které dochází k vyjádření míry podobnosti objektů (např. části obrazu). Podobnost je určována na základě zvoleného kritéria - často korelace nebo některá z měr vzdálenosti (viz. kapitola 1.2.1.2). V případě zpracování obrazu jsou používána i sofistikovanější kritéria (Ballard a Brown 1982). Při zpracování obrazu je srovnání se vzorem používáno často během segmentace, pro vyhledání známých objektů v obraze. Zde je vyžadováno, aby tato operace byla nezávislá na rotaci a translaci objektů. Srovnávání se vzorem je poměrně výpočetně náročné. V této disertační práci ho zmiňuji pouze pro úplnost, protože nebyl nepoužit pro analýzu dat. 8

d, Syntaktické a strukturální metody rozpoznávání (Syntactic or structural matching) jsou poslední kategorií. Tyto metody pracují s objekty popsanými množinami základních příznaků nazývanými primitiva (Fu 1982). Všechny komplexní příznaky jsou pak reprezentovaný jako vztahy mezi těmito primitivy. Vztahy mezi příznaky se nazývají relace a mohou být prostorové, funkční ap. Může například existovat úloha, kde primitiva odpovídají základním tvarům v obraze jako čtverce, obdelníky, kruhy nebo trojúhelníky, relace odpovídají vztahům jako dotýká se, protíná, je uvnitř a umožňují popsat obraz. Pokud jsou primitiva častí reálných objektů a relacemi nazveme vztahy mezi těmito objekty, pak lze nalézt systém popisující vztahy mezi těmito objekty. Tento způsob reprezentace znalostí umožňuje zkoumat strukturu a vlastnosti takovéhoto systému. Strukturální rozpoznávání vychází z předpokladu, že takto popsané objekty jednotlivých tříd jsou si svou strukturou podobné. Pak lze nalézt tzv. jazyk, pravidla pro jednotlivé třídy určující, která primitiva lze jakými relacemi spojovat. Samotné rozpoznávání pak spočívá v rozhodnutí, ke kterému z jazyků jednotlivých tříd má popis objektu nejblíže. Syntaktické a strukturální metody rozpoznávání rozsáhlou problematiku, a protože nebyly během řešení této disertační práce použity zůstaneme u tohoto velmi hrubého nástinu jejich funkce a nebudeme se jimi dále zabývat.

1.2.1 Příznak, obraz, třída Člověk běžně používá k popisu objektů nebo jevů jejich vlastnosti. Pro tyto vlastnosti je v příznakovém rozpoznávání používán název příznaky. Příznak je tedy prostředek pro zachycení vlastností objektů okolního světa. Můžeme se setkat s příznaky s ryze fyzikálním charakterem (barvy, rozměry objektů ap.), které je zpravidla možné přímo měřit nebo pozorovat okem, ale i s příznaky s poněkud abstraktnějším charakterem (jako krása obrazu ap.). V této prací budeme i-tý příznak značit jak ξi a ξ bude vektorem příznaků 3. Zkoumaný objekt může být popsán pomocí D příznaků a vektor hodnot těchto příznaků je nazýván obrazem. Obraz ve smyslu příznakového rozpoznávání je jakýmsi zachycením konkrétního objektu nebo jevu v prostoru vybraných příznaků. Každý takovýto obraz reprezentuje bod v D-rozměrném příznakovém prostoru. Množinu obrazů budeme značit jako X (popř. Y, pokud budeme pracovat s více množinami) a její i-tý obraz jako xi (popř. yi). Podobně jako je nám blízké pozorované objekty popisovat, běžně provádíme i jejich zařazování do určitých kategorií nebo tříd (např. světlé a tmavé objekty nebo malé a velké objekty). Objekty těchto tříd pak obvykle mají nějakou společnou vlastnost nebo skupinu vlastností. Podobně v příznakovém rozpoznávání používaný pojem třída sdružuje obrazy s určitou společnou vlastností nebo vlastnostmi. Množinu všech tříd budeme značit jako ω a její i-tou třídu jako ωi. Pokud se budeme zabývat pouze obrazy, které naleží třídě ωi, použijeme x(ωi)n pro n-tý obraz třídy ωi a X(ωi) pro množinu všech obrazů třídy ωi.

1.2.1.1 Kovariance a korelace V některých případech nás může zajímat vztah mezi jednotlivými příznaky. Například při popisu kruhových objektů příznaky šířka a výška zjistíme, že oba obsahují tu samou informaci. Použití obou je zjevně nesmyslné. Pro vyjádření vzájemného vztahu dvou příznaků 3

V této práci budeme značit velkými tučnými znaky matice, malými tučnými znaky vektory a ostatními znaky skaláry. Proto hodnota n-tého příznaku i-tého obrazu bude značena jako xin , i-tý obraz (vektor) jako xi a množina obrazů (kterou si lze představit jako matici) X.

9

lze použít kovarianci nebo korelaci. Nechť X je množina n obrazů, kde xi (i-tý obraz množiny X) je vektorem hodnot D příznaků. Pak vektor x je průměrem všech obrazů - tzv. centroid: x=

1 n ∑ xi n i =1

Kovariance k-tého a m-tého příznaku množiny obrazů X je: 1 n C( X ,ξ k ,ξ m ) = ∑ (x ik − x k )(x im − x m )T n i =1 ; xik odpovídá hodnotě k-tého příznaku i-tého obrazu a xk průměrné hodnotě příznaku ξk.

Kovariance je měřítkem toho, jak se příznaky společně mění. Kovariance může obecně nabývat hodnot v intervalu (− ∞; ∞ ) . Pokud se dva příznaky mění současně (roste-li hodnota jednoho, roste i hodnota druhého), je kovariance kladná, pokud se příznaky mění opačně (roste-li hodnota jednoho, klesá hodnota druhého), nabývá kovariance záporných hodnot. Pokud hodnota jednoho příznaku nemá vliv na hodnotu druhého, bude se kovariance při velkém počtu obrazů blížit nule. Pro m=k, mluvíme o rozptylu množiny obrazů X v příznaku k a můžeme jej označit jako

σ X ,k :

σ X ,k =

1 n (xik − xk )(xik − xk )T . ∑ n i =1

Korelaci k-tého a m-tého příznaku (ξk a ξm) můžeme označit jako:

ρ( X , ξ k , ξ m ) =

C( X , ξ k , ξ m ) . σ X ,k σ X ,m

Z důvodu dělení součinem rozptylů nabývá korelace hodnot z intervalu (− 1;1) . Pokud nabývá korelace hodnoty 1, můžeme pozorovat kladnou lineární závislost mezi příznaky k a m. Pokud korelace nabývá hodnoty -1, znamená to, že mezi příznaky k a m je záporná lineární závislost. Pokud jsou příznaky k a m nezávislé, korelace bude mít hodnotu 0. To však neplatí opačně. Pokud je korelace dvou příznaků nulová, neznamená to, že jsou příznaky nezávislé. Víme pouze, že jsou nekorelované4. Kovarianční matice vyjadřuje kovariance mezi dvojicemi příznaků a lze ji vyjádřit jako:

 C( X , ξ 1 ,ξ 1 ) C( X , ξ 1 ,ξ 2 ) . . C( X , ξ 1 ,ξ D )   C( X , ξ 2 ,ξ 1 ) C( X , ξ 2 ,ξ 2 ) . . C( X , ξ 2 ,ξ D )  C(X ) =  . : :   .. C( X , ξ D ,ξ D ) C( X , ξ D ,ξ 1 )

Např. pokud budeme pracovat s příznaky ξ1 a ξ2 množiny obrazů X, kde platí, že ξ1=sin(ξ2), bude korelace (při vysokém počtu obrazů a dostatečně širokém intervalu hodnot ξ2) blízká nule, přestože jsou příznaky (nelineárně) závislé. 4

10

Korelační matici pak:

 ρ ( X , ξ1 , ξ1 ) ρ ( X , ξ1 , ξ 2 ) . . ρ ( X , ξ1 , ξ D )   ρ ( X , ξ 2 , ξ1 ) ρ ( X , ξ 2 , ξ 2 ) . . ρ ( X , ξ 2 , ξ D )  P(X ) =  . : :   .. ρ ( X , ξ D , ξ D )  ρ ( X , ξ D , ξ1 ) Dosud jsme se zabývali centroidem celé množiny obrazů X, její korelační a kovarianční maticí. Totéž můžeme provést na úrovni jednotlivých tříd. Pokud množina obrazů X obsahuje obrazy N tříd, můžeme spočítat x (ω i ) -centroid i-té třídy, C(X(ωi)) - kovarianční maticí i-té třídy, P(X(ωi)) - korelační maticí i-té třídy ap.

1.2.1.2 Míry vzdálenosti Často se setkáváme s úlohami, kde potřebujeme kvantitativně vyjádřit podobnost dvou obrazů nebo tříd. K tomu lze využít tzv. míry vzdálenosti. Platí, že vyšší hodnota míry vzdálenosti znamená větší rozdíly mezi dvěma obrazy nebo třídami. Mezi nejpoužívanější míry vzdálenosti patří následující tři.

1.2.1.2.1 Euklidovská vzdálenost Euklidovskou vzdálenost E(xi, xk) vyjadřuje vzdálenost mezi obrazy xi a xk v D rozměrném příznakovém prostoru (jedná se o vektor hodnot v D příznacích) můžeme vyjádřit jako:

E( x i , x k ) =

D

∑ (x d =1

id

− xkd )2

Obrázek 1.6 Euklidovská vzdálenost Na obrázku je možné vidět Euklidovskou vzdálenost mezi obrazy xi a xk ve dvourozměrném příznakovém prostoru.

11

1.2.1.2.2 Mahalanobisova vzdálenost Mahalanobisova vzdálenost (Mahalanobis 1930) je vhodná pro určení vzdálenosti obrazu od třídy (distribuce). Nechť xi je obraz v D rozměrném příznakovém prostoru a X je množina n obrazů třídy ωi. Použijeme-li centroid x a kovarianční matici C množiny obrazů X, lze spočítat Mahalanobisovu vzdálenost obrazu xi od množiny obrazů X: MD( ωi , x i ) = ( x i − x )T C −1 ( x i − x )

Obrázek 1.7 Mahalanobisova vzdálenost Přerušovaná čára značí oblast (ve dvourozměrném příznakovém prostoru) se stejnou Euklidovskou vzdálenosti od centroidu x množiny obrazů X. Má tvar kruhu. Plná čára značí oblast se stejnou Mahalanobisovou vzdáleností od množiny obrazů X. Tato metoda bere v úvahu parametry distribuce množiny X.

Mahalanobisova vzdálenost je počítána v jednotkách směrodatné odchylky od centroidu x množiny X. Má tak vztah k pravděpodobnosti výskytu obrazu ležícího na daných souřadnicích v příznakovém prostoru a patřícího do množiny obrazů X. Např. obraz s MD=3 má pravděpodobnost 0,01 , že patří do množiny X (pokud X má normální rozdělení).

1.2.1.2.3 Bhattacharyyova vzdálenost Bhattacharyyova vzdálenost (Bhattacharyya 1943; Bhattacharyya 1946) se používá pro vyjádření vzdálenosti (odlišnosti) mezi třídami ωi and ωk definovanými aposteriorními pravděpodobnostmi p(ξ|ωi) a p(ξ|ωk) (kde ξ je vektor příznaků o délce D), a lze ji vyjádřit takto: ∞

BD(ωi ,ωk ) = −ln ∫ p( ξ ωi ) p( ξ ωk ) dξ −∞

Aposteriorní pravděpodobnost p(ξ|ωi) zde reprezentuje distribuci třídy ωi v Drozměrném příznakovém prostoru (přesněji p(ξ|ωi) vyjadřuje pravděpodobnost výskytu vektoru ξ za podmínky, že patří k třídě ωi). Podobně je tomu u ωk. Je zřejmé, že pokud jsou 12

třídy (parametry jejich distribucí) identické pak je integrál roven jedné a záporný přirozený logaritmus roven nule. V případě tříd, jejichž distribuce se nepřekrývají, je integrál roven nule (pro všechna ξ bude součin ap. pravděpodobností nulový) a Bhattacharyyova vzdálenost je rovna nekonečnu.

1.2.2 Statistické příznakové rozpoznávání Člověk používá k rozpoznání objektů ve svém okolí jejich vlastnosti (příznaky) a předem získané zkušenosti. Na základě rozdílných vlastností (tvarů, barev ap.) pozorovaných objektů a zkušeností získaných předešlým pozorování nebo získaných od ostatních lidí je pak schopen pozorované objekty rozpoznat (klasifikovat) – určit, do které třídy (kategorie) objektů patří. Podobné je to v případě statistického příznakového rozpoznávání. Statistické příznakové rozpoznávání využívá metody pro klasifikaci. Klasifikaci můžeme definovat jako přiřazování obrazů do jedné z m předem definovaných tříd ωi ; i=1,2,...,m na základě D příznaků (ξi; i=1,2,...,D) popisujících jednotlivé obrazy xi a na základě předem nabytých zkušeností. Tyto zkušenosti jsou nazývány rozhodovacími pravidly. Pro úspěšnou klasifikaci je nutné, aby distribuce tříd měly co nejmenší překryv v D-rozměrném příznakovém prostoru. Velký překryv v distribucích znamená nemožnost rozlišovat mezi příslušností k jednotlivým třídám. Jednorozměrný příklad je ukazuje Obrázek 1.8.

Obrázek 1.8 Kontrast a překryv v distribucích Vlevo je histogram příznaku ξm , kde třídy ωi a ωk mají malý překryv v distribucích. Napravo je histogram příznaku ξn, kde třídy ωi a ωk mají velký překryv. Příznak ξm je v tomto případě lepší pro klasifikaci, protože vykazuje vyšší kontrast mezi třídami ωi a ωk . Klasifikaci můžeme také chápat jako mapování z prostoru příznaků do diskrétního prostoru identifikátorů tříd. Klasifikátor je pak "stroj" (chápáno v širším smyslu - může to být např. i algoritmus), který klasifikaci provádí a používá rozhodovací pravidla (Mařík 1993). Ta je ale nutné nejprve získat a to lze dvěma způsoby: • Použitím obrazů se známou klasifikací (víme, do které třídy obraz patří). Tento proces je znám jako učení a množina obrazů se známou klasifikací jako trénovací množina. • Analýzou úlohy a definováním rozhodovacích pravidel před klasifikací - rozhodovací pravidla jsou definována bez použití trénovacích obrazů a nedochází zde k učení.

13

Učení je proces, kdy jsou na základě trénovací množiny obrazů (obrazy se známou klasifikací - tzn. obrazy u nichž je známo, ke které z tříd patří) vytvořena rozhodovací pravidla potřebná pro klasifikaci. V případě klasifikace, tak jak ji provádí člověk to může být pravidlo jako auto je to, co má čtyři kola, ve smyslu počítačové klasifikace pak např. obraz patří do třídy A, pokud jeho příznak p nabývá hodnoty menší než jedna. Forma takového pravidla závisí na konkrétním klasifikátoru. Pro získání rozhodovacích pravidel použitelných pro úspěšnou klasifikaci učením, je nutné použít dostatečné množství trénovacích obrazů. Algoritmy učení klasifikátorů konvergují k optimu při použití nekonečného množství kroků při použití nekonečného množství trénovacích obrazů. Metody učení (viz. Obrázek 1.1) lze dělit podle toho, zda jsou to metody učení s učitelem nebo bez učitele a podle toho zda se jedná o parametrické nebo neparametrické metody (Jain a kol., 2000). Metody učení s učitelem používají trénovací množinu obrazů, u kterých je známa příslušnost k jednotlivým třídám (správná klasifikace). Někdy však tato informace nemusí nebo dokonce nemůže být dostupná. Proto existují metody učení bez učitele, které využívají trénovací množinu obrazů bez informace o příslušnosti k jednotlivým třídám. Parametrické metody učení vychází z předpokladu známého tvaru hustot pravděpodobností a odhadují pouze některé parametry. Metody, které nevychází z předpokladu známých tvarů distribucí jsou pak metody neparametrické. Jednotlivým kategoriím metod (viz. např. Mařík 1993) učení klasifikátorů se budeme věnovat v následujících kapitolách.

Obrázek 1.9 Dělení metod statistického příznakového rozpoznávání Metody dělíme podle tří kritérií- podle toho zda jsou parametry distribucí dopředu známy, podle toho, zda učení probíhá s nebo bez učitele, a podle toho, zda se jedná o metody parametrické nebo neparametrické. Převzato z (Jain a kol., 2000).

Po získání správných klasifikačních pravidel je možné přistoupit k samotnému rozpoznávání neznámých obrazů - ke klasifikaci. Klasifikátor pak použijeme pro zařazování obrazů do jednotlivých tříd. Můžeme nalézt tři základní přístupy, jak provádět klasifikaci. Lze ji provádět pomocí: • diskriminační funkce - ta vyjadřuje vhodnost zařazení klasifikovaného obrazu do dané třídy. Neznámý obraz je zařazen do třídy s nejvyšší hodnotou diskriminační funkce. To znamená, že pro obrazy patřící do n-té třídy by měla být hodnota diskriminační funkce n-té třídy vyšší než u diskriminačních funkcí ostatních tříd. Důležitá je oblast v D-rozměrném příznakovém prostoru, kde nabývají diskriminačních funkcí dvou tříd

14

stejné hodnoty. Tento prostor je pak nazýván rozdělující nadrovinou a lze jím oddělit jednotlivé třídy a graficky vyjádřit klasifikační pravidlo kritéria minimální vzdálenosti - předpokládejme, že provádíme klasifikaci do N tříd. Obraz xi bude klasifikován jako náležící do třídy ωk, pokud tato třída (charakterizovaná jejími distribučními parametry), obrazy této třídy, centroid této třídy nebo etalony této třídy (vybrané obrazy, které třídu reprezentují) jsou těmi nejbližšími, ve smyslu zvolené míry vzdálenosti. To znamená, že význam termínu nejbližší závisí na použité míře vzdálenosti. Některé běžně používané míry vzdálenosti lze nalézt v kapitole 1.2.1.2 kritéria minimální chyby - používá se zde tzv. ztrátová funkce, která určuje, jakou ztrátu utrpí uživatel při chybné klasifikaci5. Záleží na konkrétní úloze, jestli je ztráta způsobená nesprávnou klasifikací stejná pro všechny dvojice tříd či nikoliv. Správné nastavování klasifikátoru by tedy mělo minimalizovat ztráty, které utrpí uživatel chybnou klasifikací.

•

•

Zajímavým údajem pro nás též může být, s jakou úspěšností je klasifikátor schopen rozpoznávat neznámé obrazy. Úspěšnost klasifikace můžeme ohodnotit při klasifikaci náhodně zvolených obrazů u nichž známe příslušnost k jednotlivým třídám (neměli bychom volit obrazy použité během učení klasifikátoru) a díky této vědomosti můžeme zjistit, kolikrát klasifikátor při zařazování obrazů chyboval. Tento proces je nazýván testováním klasifikátoru a výsledkem je chybovost klasifikátoru (v rozsahu 0-1). Klasifikujeme-li do dvou stejně pravděpodobných tříd, má klasifikátor v ideálním případě nulovou chybovost. Chybovosti 0,5 je možné dosáhnout i pouhým losováním mezi oběma třídami. Chybovost 1 značí, že klasifikátor selhal ve všech případech. Obvyklé hodnoty chybovosti klasifikátoru se zde proto pohybují v intervalu (0; 0,5). Obrazy použité pro testování by obecně neměly být tytéž, které byly použity pro trénování, protože by to mohlo vést ke špatnému odhadu chybovosti klasifikátoru. Proto pro trénování klasifikátoru používáme trénovací množinu a pro testování testovací množinu6, které se nepřekrývají. V přiložených publikacích jsme pracovali s výkonností klasifikátoru (performance). Nulová výkonnost odpovídá výše zmíněnému losování. Pokud je výkonnost rovna jedné, je klasifikace bezchybná. Přepočet mezi výkonností a chybovostí lze vyjádřit takto: Výkonnost = 1 -

N Chybovost ; kde N je počet tříd. N -1

Výhodou je, že interval hodnot výkonnosti není závislý na počtu tříd, jako u chybovosti. V případě úlohy se třemi třídami je totiž chybovost klasifikace dosažené losování rovna dvěma třetinám, výkonnost je však stále nulová. Proto se domnívám, že je pro netechnicky zaměřeného čtenáře jednodušší pracovat s výkonností než s chybovostí. Doteď jsem diskutovali případy, kdy bylo nejprve nutné získat rozhodovací pravidla. Jaká ale bude situace, pokud budou parametry distribucí předem známy? Pak nepotřebujeme proces učení. Na základě znalosti parametrů distribucí jednotlivých tříd je totiž možné přímo spočítat s jakou pravděpodobností patří klasifikovaný obraz xi do dané třídy ωi. Využijeme maximální aposteriorní pravděpodobnost pro stanovení rozhodovacího pravidla:

5

Např. pokud se budeme zabývat rozpoznávání plísní nezasažených jablek za účelem jejich uskladnění, bude rozhodně menší chybou označit zdravé jablko jako nakažené než opačně. Plíseň z nakaženého jablka by se nám mohla rozšířit na ostatní a způsobit mnohem větší škodu. 6 Trénovací množinu budeme v této práci značit jako X, testovací množinu (viz. dále) jako Y.

15

P (ω i / x i ) > P (ω j / x i ) ; pro všechna i ≠ j , Toto pravidlo říká, že klasifikovaný obraz xi bude zařazen do té třídy ωi, jejíž aposteriorní pravděpodobnost P(ω i / x i ) je vyšší než u všech ostatních tříd - tedy do té třídy, do které patří s nejvyšší pravděpodobností. Existuje velké množství různých přístupů a metod klasifikace. V následujících kapitolách se proto soustředím pouze na ty, které považuji z hlediska této práce za nejdůležitější.

1.2.2.1 Neparametrické metody učené s učitelem Neparametrické metody učené s učitelem (nonparametric methods of unsupervised learning) nevychází z předpokladu známých tvarů distribucí, ale potřebují dostatečné množství trénovacích obrazů se známou klasifikací pro správnou funkci. Typickým příkladem takového klasifikátoru je NN klasifikátor (Nearest Neighbor classifier) (Cover a Hart 1967), k-NN klasifikátor (k-Nearest Neighbor classifier) (Fukunaga a Hostetler 1975) nebo jejich různé modifikace. Učení těchto klasifikátorů spočívá v "naplnění" klasifikátoru vzorovými obrazy. Během učení nedochází k žádným výpočtům, tak jako například u LDC (Linear discriminate classifier) klasifikátoru (bude vysvětlen později v kapitole 1.2.2.3 Parametrické metody učené s učitelem). Vzorové obrazy jsou použity až během klasifikace. Hlavní výhodou těchto algoritmů je jejich použitelnost v případech, kdy je třeba řešit situace s neznámým tvarem distribucí. Nevýhodou je velká časová náročnost klasifikace (která je obvykle vyšší než např. u zmíněné klasifikace pomocí LDC).

1.2.2.1.1 Klasifikace podle nejbližšího souseda Tento klasifikátor je v anglicky psané literatuře znám jako Nearest Neighbor Classifier (NN). Uvažujme, že jako trénovací data má klasifikátor k dispozici množinu obrazů X s N třídami a I vzorovými obrazy, z nichž každý je popsán vektorem D příznaků. Klasifikace obrazu yi pak spočívá ve spočtení vzdálenosti obrazu yi od všech vzorových obrazů v množině X. Obraz yi je pak klasifikován jako náležící k té třídě ωn , do které patří vzorový obraz xj, jeho nejbližší soused. Vzdáleností je zde myšlena Euklidovská vzdálenost (viz. 1.2.1.2.1).

16

Obrázek 1.10 NN klasifikátor Nejbližší vzorový obraz xj patří do třídy ωn, a proto bude klasifikovaný obraz yi klasifikován jako náležící do té samé třídy.

1.2.2.1.2 Klasifikace podle k-nejbližšího souseda Klasifikátor je v anglicky psané literatuře znám jako k-nearest neighbor classifier (kNN). Funkce tohoto klasifikátoru je velmi podobná funkci předchozího. Při klasifikaci obrazu yi je také nutné spočítat Euklidovské vzdálenosti ke všem vzorovým obrazům. Pak ale algoritmus použije k nejbližších sousedů z množiny vzorových obrazů X a klasifikuje obraz yi jako náležící k třídě s nejvíce sousedy. Chybovost k-NN klasifikátoru se blíží asymptoticky k optimu ve smyslu Bayesova rozhodovacího pravidla pokud se hodnota k a počet trénovacích vzorů blíží nekonečnu. Tento klasifikátor je efektivním řešením v případech s komplikovanými distribucemi tříd (které např. nejsou lineárně separovatelné, a proto nelze použit klasifikátory jako LDC ap.).

Obrázek 1.11 k-NN klasifikátor (k=3) Klasifikátor nalezne k nejbližších sousedů klasifikovaného obrazu yi, a pak klasifikuje tento obraz jako náležící k třídě ωn, protože k ní patří nevíce (2) nejbližších sousedů.

17

1.2.2.1.3 Klasifikace podle minimální vzdálenosti od středu třídy V anglicky psané literatuře je tento klasifikátor nazýván Nearest Mean Classifier (NMC). Svou funkcí má velmi blízko k předešlým dvěma klasifikátorům. Pro reprezentaci jednotlivých tříd využívá pouze jejich centroid. Samotná klasifikace obrazu yi pak probíhá tak, že jsou spočteny Euklidovské vzdálenosti od všech centroidů tříd a obraz je přiřazen do třídy, k jejímuž středu má nejblíže. Je zřejmé, že klasifikace je výrazně rychlejší než v případě předešlých dvou metod, protože je počítána pouze jedna Euklidovská vzdálenost. Nevýhodou metody je, že pokud distribuce tříd nejsou symetrické anebo jsou různé, klasifikace tímto přístupem nemusí podávat dobré výsledky. Z důvodu požadavků na tvar distribuce tříd a jejich reprezentaci centroidem, což je parametr distribuce bývá tento klasifikátor také někdy zařazován mezi parametrické metody.

Obrázek 1.12 Nevýhody NMC klasifikace Vlevo je obrázek dvou tříd, jejichž distribuce lze považovat za symetrické. Protože jsou ale rozptyly obou tří odlišné, může se stát, že klasifikace bude chybná, tak jako je tomu u obrazu yi. Vpravo je obrázek, kde mají obě třídy značně odlišný tvar distribucí. V případě třídy ω2, není centroid vhodný pro její reprezentaci.

1.2.2.2 Neparametrické metody učené bez učitele U mnoha aplikací je velmi složité nebo dokonce nemožné určit příslušnost trénovacích obrazů k jednotlivým třídám. V těchto situacích jsou často pro klasifikaci používány metody učené bez učitele (unsupervised learning) . V souvislosti s neparametrickými metodami učení bez učitele jsou často zmiňovány metody shlukové analýzy (Jain a Dubes 1988). Tyto metody umožňují nastavení klasifikátoru bez údajů o správné klasifikaci trénovacích obrazů a často i bez znalosti počtu tříd (Lukasová a Šarmanová 1985). Metody shlukovací analýzy dělí data do tzv. shluků (clusters). Tyto shluky pak často vyjadřují určitou společnou vlastnost obrazů v jednom shluku. Platí, že podobnost obrazů uvnitř shluku by měla být maximální a mezi shluky minimální. V D-dimensionálním příznakovém prostoru by pak shluky měly v ideálním případě vypadat jako oblasti s velkou hustotou obrazů (bodů), která odděluje prostor s nízkou hustotou obrazů. Pro kvantifikování vlastností shluků jsou využívány míry pro zachycení podobnosti mezi dvěma obrazy (např. pomocí Eukleidovské vzdálenosti; viz. 1.2.1.2.1 Euklidovská vzdálenost), vzdálenosti mezi dvěma shluky (např. pomocí Bhattacharyyovi vzdálenosti; viz. 1.2.1.2.3 Bhattacharyyova vzdálenost) a pro ohodnocení optimality rozdělení obrazů do shluků (např. kritérium minima kvadrátu odchylky). Ta je kvantifikována pomocí tzv. kriteriální funkce. Metody shlukovací analýzy můžeme dělit na hierarchické metody a metody iterativní optimalizace (Mařík 1993).

18

Nalezení optimálního rozdělení obrazů do tříd prozkoumáním všech řešení je z důvodu počtu možných variant často nemožné. Proto bývá uplatňován postup, kdy jsou obrazy rozděleny do shluků náhodně nebo na základě výsledků některé z hierarchických metod a následně je aplikována některá z metod iterativní optimalizace za účelem přiblížit rozdělení blíže k optimálnímu. Obrazy jsou v jednotlivých iteracích přesouvány mezi třídami a je sledováno, zda je nové řešení lepší ve smyslu použitého kritéria - odtud název iterativní optimalizace. Výsledné rozdělení obrazů je závislé na počátečním rozdělení a na geometrických vlastnostech dat v d-rozměrném příznakovém prostoru, a proto nemusí být výsledek vždy optimální (Jain a Zongker 1997). Hierarchické metody shlukování jsou často používány v případech, kdy není znám počet tříd (shluků), do kterých by měly být obrazy zařazeny. Jsou používány dva přístupy aglomerativní a divisní. U aglomerativního přístupu (někdy také zdola nahoru) představuje na začátku shlukování každý obraz jeden shluk a v průběhu shlukování jsou postupně nejpodobnější shluky (ve smyslu zvolené míry podobnosti) spojovány až do vzniku jediného shluku obsahujícího všechny obrazy. Divisní přístup (shora dolů) pracuje přesně opačně a začíná s jediným shlukem obsahujícím všechny obrazy a tento shluk je postupně dělen až do chvíle, kdy každý obraz představuje jeden shluk. U obou přístupů lze samozřejmě s dělením / spojováním shluků přestat ve chvíli dosažení požadovaného množství shluků, pokud je známo. Pokud ne, lze jej získat na základě analýzy dendogramu. To je graf znázorňující jak byly postupně jednotlivé shluky děleny/spojovány. Můžeme spočítat hodnotu kritéria optimality jednotlivých řešení a zvolit pro nás to nejvýhodnější. Hodnota kriteriální funkce zpravidla s rostoucím počtem shluků rychle klesá až k optimálnímu počtu shluků, a pak již klesá pomaleji. k-means (McQueen 1967) je jedna z nejjednodušších shlukovacích metod. k-means patří mezi metody iterativní optimalizace a je u ní požadována znalost počtu shluků (k), do kterých mají být obrazy rozděleny.

Obrázek 1.13 k-means algoritmus Algoritmus startuje s obrazy (označeny čtverci, kruhy a šestihrany), které jsou rozděleny například náhodně do, v tomto případě, tří shluků. Pro každý shluk je spočítán střed shluku označen křížkem. V každé iteraci jsou přerozděleny obrazy všech shluků do shluku, k jehož středu mají nejblíže. Na konci každé iterace je spočítána nová poloha středů shluků. Algoritmus končí ve chvíli, kdy během poslední iterace nedošlo k žádné změně obrazů ve shlucích. Algoritmus lze ukončit i v případě, že změny kriteriální funkce klesnou pod určenou mez.

19

1.2.2.3 Parametrické metody učené s učitelem Tyto metody používají trénovací obrazy, u kterých je známa příslušnost k jednotlivým třídám. Během učení dochází k získání parametrů distribucí nutných pro klasifikaci (Jain a kol., 2000). Jedny ze základních metod jsou Linear discriminate classifier (LDC) a Quadratic discriminate classifier (QDC), (Fukunaga 1990). Podmínkou použitelnosti těchto klasifikátoru je, že jednotlivé třídy mají normální rozdělení, které má tvar: p( yk | ω i ) =

1 n 2

e

1 − ( yk − x ( ωi ))T C( ωi )−1 ( yk − x ( ωi )) 2

(2π ) det(C( ωi )) ;kde yk je klasifikovaný obraz, ωi je i-tá třída, C( ωi ) kovarinační matice i-té třídy a x( ωi ) centroid i-té třídy. Při znalosti parametrů distribucí tříd lze spočítat pravděpodobnost, s jakou do nich klasifikovaný obraz patří, a klasifikovat tento obraz jako náležící k třídě s nejvyšší pravděpodobností. K tomu využijeme Bayesův vztah a samotnou pravděpodobnost můžeme vyjádřit pomocí diskriminační funkce: p( y | ωi ) p( ωi ) = g i ( yk ) = p( ω i | yk ) = p( yk )

1 n 2

(2π ) det(C( ωi ))

e

1 − ( yk − x ( ωi ))T C( ωi )−1 ( yk − x ( ωi )) 2

p( ωi ) p( yk )

Trénování klasifikátoru pak spočívá ve spočítání hodnot kovarinačních matic a centroidů a klasifikace je provedena do třídy s nejvyšší hodnotou diskriminační funkce, kterou lze snadno spočítat z předchozího vztahu. Nyní se pokusme zjistit, jak vypadá hranice mezi jednotlivými třídami - tedy prostor, kde je v případě dvou tříd stejná pravděpodobnost, že klasifikovaný obraz bude patřit do jedné nebo druhé třídy. Její tvar závisí na tvaru distribucí obou tříd. Pokud budou mít distribuce shodný tvar (a tím i kovarianční matici) a rozdílnou polohu (a tím i centroid), bude mít taková hranice tvar D-1 rozměrné roviny v D-rozměrném příznakovém prostoru (viz. Obrázek 1.14 vlevo - přímka oddělující třídy). Lze to dokázat po několika jednoduchých úpravách předchozího vztahu. V takovém případě lze použít pro klasifikaci LDC klasifikátor. Jeho trénování bude spočívat ve spočtení centoidů pro každou třídu a jedné kovarianční matice společné pro všechny třídy. Výsledné klasifikační pravidlo pak můžeme vyjádřit jako: c = f( w y k ) ;kde w je vektor vah získaný během učení klasifikátoru, yk je klasifikovaný obraz reprezentovaný D příznaky a f je funkce mapující výsledek násobení na identifikátor třídy c. V případě, že tvar distribucí (a tím i kovarianční matice) není stejný u všech tříd, dochází k tomu, že rozdělující plocha nebude lineární. Lze odvodit (z Bayesova vztahu a vztahu pro normální rozdělení), že v takovém případě je použitelný QDC. V tomto případě bude nutné pro natrénovaní klasifikátoru spočítat pro každou třídu její kovarianční matici a centorid. Samotné klasifikační pravidlo pak bude mít tvar:

c = f( yk A yk + w T yk ) . T

20

Obrázek 1.14 Klasifikace pomocí LDC a QDC Obrázek vlevo ukazuje příznakový prostor, v tomto případě dvourozměrný, rozdělený lineární nadrovinou (v tomto případě 1-D - tedy přímkou). Její poloha je dána parametry distribucí jednotlivých tříd (jejich obrazy jsou označeny čtverci a kruhy), které jsou reprezentovány kovariančními maticemi. Klasifikovaný obraz označený křížkem je pak klasifikován jako náležící k třídě ω2, protože je v dané časti rozděleného příznakového prostoru (diskriminační funkce pro třídu ω2 měla vyšší hodnotu). Obrázek vpravo ukazuje podobnou situaci, řešenou QDC klasifikátorem. Ten je použitelný i v případě, že kovarianční matice tříd nejsou stejné tedy v případě, že tvar distribucí je odlišný. Rozptyl třídy ω2 je menší a obraz yi je správně klasifikován k třídě ω1 (při použití LDC by byla klasifikace chybná).

Výhodou obou zmíněných klasifikátorů je snadnost a rychlost jejich nastavení a následná rychlost klasifikace. Nevýhodou je podmínka normality rozdělení jednotlivých tříd. Při nesplnění podmínky normálního rozdělení nebo při multimodálním rozdělení tříd (směs několika normálních rozdělení) mohou být výsledky klasifikace neuspokojivé. Další nevýhodou je, že je vyžadován minimálně stejný počet prvků v každé třídě jako je počet příznaků. Dále existuje Fisherův klasifikátor - Fisher's linear discriminant classifier (FLDC) (Fisher 1936). Jedná se též o lineární klasifikátor, ale používá odlišnou strategii nastavení než LDC. Tyto dva klasifikátory bývají často mylně zaměňovány. FLDC používá pro účely klasifikace tzv. vnitrotřídní kovarianční matici SW (anglicky within class matrix)- (viz. kapitola 1.3.2.2), díky které je pak provedena projekce z D rozměrného příznakového prostoru na přímku a předpokládá se, že rozdíly mezi třídami budou co největší. Váhový vektor lze pak vypočítat z:

w = SW ( x( ω1 )-x( ω 2 )) -1

; kde SW je vnitrotřídní kovarianční matice, x ω1 a x ω2 jsou centroidy tříd. Z toho je vidět, že se jedná o klasifikátor určený pro úlohy se dvěma lineárně oddělitelnými třídami. Narozdíl od předchozích dvou klasifikátorů zde není požadováno normální rozdělení jednotlivých tříd. Klasifikační pravidlo má stejný tvar jako u LDC, ale způsob výpočtu

21

vektoru vah w je odlišný. Ve výsledku dochází v obou případech k oddělení tříd v Drozměrném příznakovém prostoru lineární nadrovinou, ale ta může být odlišná v případě LDC a FLDC.

1.2.2.4 Parametrické metody učené bez učitele Tyto metody jsou často využívány k odhadu parametrů distribucí jednotlivých tříd. Jako příklad můžeme uvést EM (expectation-maximization) algoritmus (Dempster a kol., 1977; Grim 1982; Schlesinger 1968). Algoritmus pracuje ve dvou krocích - E (expectation) kroku a M (maximization). Algoritmus konverguje k maximálně věrohodnému odhadu distribučních parametrů. Výsledkem by měl být maximálně věrohodný odhad distribučních parametrů jednotlivých tříd. Existují i různé varianty tohoto algoritmu (Grim 2006).

1.2.2.5 Prokletí dimenzionality Úspěšnost klasifikace závisí na mnoha faktorech jako je počet použitých obrazů při učení klasifikátoru, počet příznaků (D), rozložení dat nebo vlastnosti konkrétního klasifikátoru. Počet příznaků odpovídá počtu dimenzí příznakového prostoru. Pokud počet příznaků roste, stává se nastavení klasifikátoru složitějším. Je nutné odhadnout více parametrů distribucí ap. Pro správný odhad těchto parametrů je samozřejmě nutné mít k dispozici dostatek vzorových obrazů. Počet těchto obrazů (bodů v příznakovém prostoru) však roste exponenciálně s počtem příznaků (Bishop 1995). Tento jev je znám jako prokletí dimenzionality nebo anglicky curse of dimensionality (Bellman 1961). Příčinou tohoto jevu je, že stejné množství trénovacích obrazů má v příznakovém prostoru s nízkou dimenzí vyšší hustotu než v prostoru s vysokou dimenzí. S rostoucím počtem dimenzí totiž klesá hustota dat v příznakovém prostoru a v určitém momentě začne být nedostatečná pro správné nastavení klasifikátoru. Klasifikátor pak může fungovat velmi dobře s trénovacími daty, ale selhává při použití testovacích dat (dat, která nebyla použita během učení). Pokud tedy bude použito konstantní množství trénovacích dat, může chybovost klasifikace za určitých okolností růst s rostoucím počtem příznaků použitých pro klasifikaci. Někdy je možné dosáhnout vyšší úspěšnosti klasifikace snížením počtu použitých příznaků redukcí dimenzionality. Tento důsledek prokletí dimenzionality je znám jako Hughesův efekt nebo také peaking phenomenon (Hughes 1968; Raudys a Pikelis 1980). Hughesův efekt způsobuje, že při použití konstantního množství trénovacích obrazů výkonnost klasifikátoru nejprve roste s počtem použitých příznaků, ale po dosažení optimálního počtu začne pozvolna klesat.

1.3 Redukce dimenzionality Každé dítě se musí naučit rozpoznávat objekty ve svém okolí pomocí jejich vlastností, které pozoruje, slyší nebo jinak vnímá. Takové dítě provádí podobnou operaci jako počítač během příznakového rozpoznávání, který rozpoznává obrazy na základě jejich příznaků. Tak jako lze nalézt podobnost mezi příznakovým rozpoznáváním a rozpoznáváním objektů dítětem, lze nalézt podobnou souvislost mezi redukcí dimezionality a lidskou schopností určit, které z příznaků se pro rozpoznávání hodí více a které méně. Jsme totiž schopni do jisté míry

22

odfiltrovat nepodstatné informace a všímat si pouze toho důležitého. Tato schopnost je určitou formou redukce dimenzionality. Existují dva základní typy redukce dimenzionality - selekce příznaků (feature selection) a extrakce příznaků (feature extraction). V anglicky psané literatuře se často setkáváme i s pojmy filter techniques a wrapper techniques. Podobnost lze opět nalézt v lidském životě. Pokud se pokoušíme rozpoznat své psací pero, můžeme k tomu požít jeho základní vlastnosti jako modrou barvu, délku 12cm, šířku 0,7 cm ap. - tzn. seznam použitelných příznaků. Ostatní pozorovatelné příznaky jako barva stolu, na kterém ležela, které jsou pro rozpoznávání nepodstatné automaticky zanedbáváme. Provádíme tak selekci příznaků. Vybíráme pouze podstatné příznaky. Někdy jsme však schopni nalézt příznak jako tenký. Jsme totiž schopni spojit několik základních příznaků (v tomto případě šířka a délka) do jednoho komplexnějšího, který bude pro rozpoznávání vhodnější. Toto je příkladem extrakce příznaků. Proč potřebujeme provádět redukci dimensionality? Umožňuje nám to rozpoznat, které příznaky jsou důležité a které nikoliv. To může být pro člověka v mnoharozměrném příznakovém prostoru velmi obtížné nebo dokonce nemožné. Lze tak například zefektivnit proces měření, kdy se můžeme omezit pouze na důležité příznaky. Také nepotřebujeme archivovat nepotřebné příznaky. Dokonce nám to z důvodu existence fenoménu známého jako prokletí dimenzionality může umožnit dosáhnout vyšší výkonnosti rozpoznávacího systému (viz. kapitola 1.2.2.5).

1.3.1 Selekce příznaků Metody selekce příznaků slouží k výběru nejlepší (v rámci zvoleného kritéria) podmnožiny příznaků z množiny všech příznaků. V případě výběru nejlepší podmnožiny příznaků určených pro klasifikaci do N tříd se snažíme nalézt takové příznaky, které nám umožní maximalizovat podobnost obrazů uvnitř jednotlivých tříd a zároveň minimalizovat podobnost obrazů v různých třídách v D-rozměrném příznakovém prostoru. Pro vyjádření kvality vybrané podmnožiny příznaků používáme tzv. kritériu optimality (viz. kapitola 1.3.3). Je poměrně jednoduché vyhledat v množině všech D příznaků podmnožinu Dfinal samostatně nejlepších příznaků. Taková podmnožina však nemusí (a často nebývá) nejlepší podmnožinou příznaků. Může se dokonce stát, že nejlepší podmnožina Dfinal příznaků je tvořena samostatně nejhoršími příznaky. Toto může nastat z důvodu statistických závislostí mezi příznaky.

23

Obrázek 1.15 Podmnožina nejlepších dvou a nejlepší podmnožina dvou příznaků Vlevo můžeme vidět situaci se dvěma statisticky závislými příznaky. Tyto příznaky jsou velmi dobré samostatně, ale dva příznaky v obrázku napravo, které jsou samostatně horší, poskytují dohromady lepší kontrast. To znamená, že termín podmnožina nejlepších n příznaků, ve smyslu zvoleného kritéria, má odlišný význam než termín nejlepší podmnožina n příznaků. Je to také důvodem, proč je tak obtížné nalézt nejlepší podmnožinu příznaků v příznakovém prostru s vysokou dimenzí. Nejlepší podmnožina Dfinal příznaků může obsahovat libovolnou kombinaci příznaků a prozkoumat všechna řešení, tak často nemusí být vůbec proveditelné. V úlohách s nízkou dimenzí (s malým počtem příznaků v množině všech příznaků) lze použít tzv. optimální metody selekce příznaků. Výhodou těchto metod je, že vrací optimální řešení za cenu prohledání všech možných řešení. S rostoucím počtem rozměrů příznakového prostoru však velice rychle roste i počet možných řešení, která je třeba prozkoumat a výběr příznaků těmito metodami se často stává neproveditelný z důvodu extrémních časových nároků. Z toho důvodu byly vyvinuty suboptimální metody selekce příznaků. Tyto metody prozkoumávají často jen nepatrnou část všech možných řešení. Díky tomu jsou výrazně rychlejší, ale může se stát že řešení, které naleznou, je velmi daleko od optima. Obvykle však tyto metody vrací řešení, které je kvalitou blízké optimálnímu řešení, za cenu snesitelných časových nároků na výpočet.

1.3.1.1 Optimální metody selekce příznaků Optimální metody selekce příznaků prohledávají všechny podmnožiny, které by mohly být nejlepší podmnožinou příznaků, a proto vrací optimální řešení. Nevýhodou těchto metod jsou časové nároky potřebné pro vyhledání takové podmnožiny. Pokud však vyžadujeme optimální podmnožinu, jsou tyto metody jediným řešením, protože neexistuje metoda, která by neprohledala všechna možná řešení a bylo možné u ní zaručit, že nalezené řešení bude optimální (Cover a Van Campenhout 1977). Nejjednodušším řešením je prohledat všechny existující podmnožiny požadované délky Dfinal množiny D příznaků. Tento přístup je však z

24

důvodu jejich počtu proveditelný pouze v prostorech s nízkým počtem příznaků. Musíme totiž D prohledat  D  možných řešení.  final  Za předpokladu monotonicity kriteriální funkce však není nutné prohledat všechny existující podmnožiny a existují různé strategie, které mají za úkol minimalizovat počet prozkoumaných řešení. Monotonicita kriteriální funkce zaručuje, že přidáním dalšího příznaku k již existující podmnožině příznaků získáme podmnožinu, která bude stejně dobrá nebo lepší (ve smyslu zvoleného kritéria optimality) než předchozí podmnožina. Podmínka monotonicity kriteriální funkce však nemusí být vždy splněna. Dimenzionalita našich dat byla pro využití optimálních metod selekce příznaků příliš vysoká a proto zde uvedu pouze několik základních metod.

1.3.1.1.1 Branch & Bound Branch & Bound algoritmus (Narendra a Fukunaga 1977) je jednou ze základních metod optimální selekce příznaků. Při selekci příznaků bývá obvykle časově nejnáročnější vyčíslení hodnoty kriteriální funkce J. Proto je cílem tohoto algoritmu minimalizovat počet prozkoumaných řešení úlohy a tím počet výpočtů hodnoty J. Za předpokladu monotonicity kriteriální funkce není nutné prozkoumat všechny podmnožiny množiny všech příznaků ξ. Předpokládejme, že χi je podmnožina množiny všech příznaků ξ vzniklá odebráním i příznaků. Pak platí:

ξ ⊃ χ1 ⊃ χ2 ⊃. ... ⊃ χi a monotonicita kriteriální funkce J pak znamená (vyšší hodnota značí, že množina je ve smyslu daného kritéria lepší):

J(ξ) ≥ J(χ1) ≥ J(χ2) ≥ .. .≥ J(χi). Algoritmus začíná s množinou všech příznaků ξ o velikosti D. Pak postupně odebírá příznaky až do dosažení počtu příznaků Dfinal , které bylo stanoveno uživatelem. Možná řešení a způsob, jak se k nim propracovat lze vyjádřit graficky (viz. Obrázek 1.16). Listy tohoto stromu představují možná řešení dané úlohy. Úkolem algoritmu je prohledat je. Z důvodu monotonicity kriteriální funkce však nemusí být nutné prozkoumat všechny uzly tohoto stromu. Pokud je hodnota kriteriální funkce J právě prozkoumaného uzlu χi (kde i < D - Dfinal - tzn. nejedná se o list stromu) nižší než hodnota kriteriální funkce dosud nejlepšího nalezeného řešení (listu stromu - množiny s Dfinal příznaky), není nutné uzel dále větvit, protože žádný list v této části stromu nemůže obsahovat lepší řešení. Díky tomu lze prohledat méně řešení úlohy a tím redukovat množství výpočtů kriteriální funkce.

25

Obrázek 1.16 Strom řešení Branch & Bound algoritmu χ0, χ1, χ2, χ3, odpovídají podmnožinám příznaků v jednotlivých uzlech stromu a indexy 0-3 počtu příznaků jejichž odebráním vznikly. Čísla u hran pak říkají, který příznak byl odebrán. Pro prohledání takového stromu může být použit algoritmus na Obrázek 1.17. Existují různé modifikace Branch & Bound algoritmu. Například je možné seřadit příznaky před spuštěním algoritmu (Fukunaga 1990) a tím změnit topologii stromu řešení. To nám může pomoci nalézt lepší řešení úlohy na začátku běhu algoritmu a pak odříznout více částí stromu řešení a tím redukovat množství výpočtů kriteriální funkce J a s nim spojené časové nároky. Na odlišném principu pracuje algoritmus Fast Branch & Bound algorithm (Somol a kol., 2004), který využívá znalosti o dopadu jednotlivých příznaků na množinu příznaků a využívá této znalosti při větvení uzlů pro předpověď hodnoty kriteriální funkce. Hodnota kriteriální funkce je počítána jen v případě, že její předpovězená hodnota pro právě prozkoumávaný uzel stromu je nižší než u dosud nejlepšího nalezeného řešení. Tím je zaručeno, že nemůže být odříznuta část stromu s optimálním řešením. Počet výpočtů hodnoty kriteriální funkce je tak opět redukován a s ním i časové nároky.

26

Obrázek 1.17 Branch & Bound algoritmus Algoritmus začíná s množinou všech příznaků ξ (počet příznaku roven D). Tuto množinu lze také označit jako χ0 , protože vznikla odebráním 0 příznaků. Nejlepší podmnožina Dfinal příznaků je po skončení algoritmu vrácena v proměnné χbest. Proměnná i odpovídá hloubce stromu, J(χi) hodnotě kriteriální funkce množiny příznaků χi, Jmax maximu této funkce (po skončení algoritmu globálnímu) a ni slouží jako pomocná proměnná pro uchování seznamu příznaků, které mají být ještě odebrány během dalšího větvení stromu.

27

1.3.1.2 Suboptimální metody selekce příznaků Výpočet hodnoty kriteriální funkce je obvykle časově nejnáročnější částí vyhledávání nejlepší podmnožiny příznaků. S rostoucím počtem rozměrů příznakového prostoru velmi rychle roste i počet možných řešení. Například pokud hledáme 10 příznaků z možných 20-ti, existuje 184 768 možných řešení. Pokud hledáme nejlepší množinu 20 příznaků z možných 40-ti, existuje 1,38 x 1011 možných řešení. Nejsou však výjimkou ani úlohy, kdy je třeba pracovat s několika sty příznaků. S rostoucím počtem příznaků se dostáváme do situace, kdy nepomohou ani různé triky optimálních metod umožňující výpočet hodnoty kriteriální funkce pouze pro část existujících řešení a ke slovu přichází suboptimální metody selekce příznaků. Tyto metody prohledávají často pouze nepatrný zlomek všech existujících řešení. Řešení, které vrací, může být daleko od optima. Lze je ale uplatnit i v úlohách s vysokou dimenzí, kde umožní nalezení řešení v rozumném čase. Cílem suboptimálních metod je nalézt řešení co nejbližší optimu při prohledání co nejmenšího množství možných řešení. Odolnost proti uvíznutí v lokálním maximu kriteriální funkce J během hledání, je důležitou vlastností těchto metod, která významně ovlivňuje kvalitu nalezeného řešení. Úspěšnost těchto metod závisí na úloze a metoda, která podává velmi dobré výsledky na jedné úloze, může na jiné zcela selhat.

1.3.1.2.1 Sekvenční dopředné vyhledávání (SFS) Anglický název tohoto algoritmu je Sequential Forward Search. Jedná se poměrně jednoduchý algoritmus, který startuje s prázdnou množinou příznaků a v každém kroku přidává do množiny příznak, který největším způsobem zvyšuje hodnotu kritéria optimality. Takto pokračuje až do dosažení požadovaného počtu příznaků. Nevýhodou tohoto algoritmu je, že nalezené řešení může být daleko od optima. K tomu může dojít například pokud nejlepší množina příznaků neobsahuje samostatně nejlepší příznak. Samostatně nejlepší příznak bude první přidaný do množiny nejlepších příznaků a už tam zůstane, protože algoritmus neumožňuje odebrání kteréhokoliv příznaku z této množiny. Tato nepříjemná vlastnost pravděpodobně byla také motivací pro vznik sekvenčního dopředného plovoucí vyhledávání (1.3.1.2.4), které toto umožňuje. Existují i další modifikace tohoto algoritmu jako generalizované dopředné/zpětné vyhledávání (Kittler 1978) ap.

28

Obrázek 1.18 SFS algoritmus Algoritmus začíná s prázdnou množinou příznaků χ. ξ je množinou všech příznaků. V každém kroku je přidán do množiny χ jeden příznak ξx, který maximalizuje hodnotu, kriteriální funkceJ(χ∪ξ ξx).Ve chvíli kdy počet příznaků v χ dosáhne hodnoty Dfinal, algoritmus končí. χ pak obsahuje nejlepší nalezené řešení.

1.3.1.2.2 Sekvenční zpětné vyhledávání (SBS) Sekvenční zpětné vyhledávání (Sequential Backward Search) pracuje opačně než SFS. Algoritmus startuje se všemi příznaky v množině χ. V každém kroku pak odebírá příznak, který minimálně ovlivní hodnotu kriteriální funkce. Algoritmus končí ve chvíli, kdy dosáhne požadovaného počtu příznaků v množině příznaků χ. Tato metoda může být rychlejsí než SFS v případě, kdy požadovaný počet příznaků je blízký celkovému počtu příznaků D. Nevýhodou algoritmu je podobná jako u SFS - algoritmus neumožňuje přidání příznaku do množiny příznaků. Existuje však obdoba tohoto algoritmu, která přidání příznaku umožňuje (1.3.1.2.5

29

Sekvenční zpětné plovoucí vyhledávání).

Obrázek 1.19 SBS algoritmus Algoritmus začíná s množinou obsahující všechny příznaky χ=ξ ξ. Počet příznaků v ξ je roven D. V každém kroku je pak odebrán příznak ξx, který maximalizuje hodnotu kriteriální funkce J(χ\ξx) - tzn. minimalizuje ztrátu utrpěnou vypuštěním příznaku J(χ) - J(χ\ξx). Po dosažení požadovaného počtu příznaků (rovno Dfinal) v množině χ algoritmus končí.

1.3.1.2.3 Individuální vyhledávání Individuální vyhledávání (Individual search) je jednou z nejjednodušších metod selekce příznaků. Bohužel také jednou z nejhorších z pohledu kvality nalezené podmnožiny příznaků. Tato metoda hledá množinu individuálně nejlepších příznaků, která nemusí být a často ani není nejlepší množinou příznaků (viz. kapitola 1.3.1 a Obrázek 1.15 Podmnožina nejlepších dvou a nejlepší podmnožina dvou příznaků). Díky tomu tato metoda často vrací řešení 30

vzdálené optimálnímu. Výhodou této metody je její jednoduchost a rychlost. Počet výpočtů hodnoty kritéria optimality je roven počtu příznaků. Z důvodu své rychlosti a jednoduchosti může být i přes své špatné výsledky vhodnou volbou jako metoda pro získání počáteční množiny příznaků pro oscilační vyhledávání (viz. kapitola 1.3.1.2.6).

Obrázek 1.20 Algoritmus individuálního vyhledávání Algoritmus spočítá hodnotu kritéria optimality J všech příznaků, seřadí příznaky podle jeho hodnoty a vrátí prvních (nejlepších) Dfinal příznaků jako nejlepší řešení.

1.3.1.2.4 Sekvenční dopředné plovoucí vyhledávání Anglický název této metody je Sequential Forward Floating Search (SFFS). Tato metoda řeší nedostatky SFS algoritmu. Například v případě, že nejlepší množina příznaků neobsahuje individuálně nejlepší příznak, algoritmus SFS nemůže vrátit optimální řešení. SFS algoritmus totiž umožňuje pouze přidávání dalších příznaků do nejlepší podmnožiny příznaků, a proto jím není možné příznak, který byl přidán do množiny v prvním kroku, odebrat. SFFS algoritmus (Pudil a kol., 1994) toto umožňuje. SFFS algoritmu používá SFS algoritmus pro přidávání dalších příznaků do nejlepší množiny příznaků χi . Po každém přidání příznaku a získání, nové větší podmnožiny χi+1 algoritmus kontroluje, zda nelze získat odebráním nejhoršího příznaku lepší množinu χi, než byla ta dosud nejlepší. Pokud ano, tento příznak je odebrán. Velikost nejlepší podmnožiny se tak nemění monotónně jako v případě SFS nebo SBS. Počet příznaků v této podmnožině někdy roste, jindy zase klesá (plave), aby nakonec dosáhl hodnoty požadovaného počtu příznaků. Vzhledem k principu jeho funkce tento algoritmus nemůže vrátit horší řešení, než SFS algoritmus. Nevýhodou je vyšší časová náročnost výpočtu, která je způsobená větším počtem prozkoumaných řešení. Pro zlepšení kvality podmnožiny příznaků nalezené tímto algoritmem můžeme zvýšit počet vyhledávaných příznaků Dfinal o ∆, a pak použít nejlepší podmnožinu příznaků χDfinal. Algoritmu to umožní neskončit při nalezení Dfinal příznaků, ale ještě kolem tohoto řešení chvíli plavat, a tak případně nalézt ještě lepší řešení. Opět existují modifikace této metody jako například adaptivní plovoucí metody selekce příznaků (Somol a kol., 1999).

31

Obrázek 1.21 SFFS algoritmus Algoritmus začíná s prázdnou množinou nejlepších příznaků. ξ je množina všech příznaků. V i-tém kroku nalezne příznak ξx, který maximalizuje hodnotu kriteriální funkce J(χi∪ξ ξx) a vytvoří novou nejlepší podmnožinu příznaků χi+1. Až sem je funkce algoritmu shodná s SFS. Pak ale algoritmus zjistí, zda není možné odebráním příznaku ξy vytvořit podmnožinu lepší než χi - zjistí, zda J(χi+1\ξy)>J(χi). Pokud ano, odebere tento příznak a vytvoří novou podmnožinu χi a pokračuje v odebírání příznaků dokud jsou takto vytvořené podmnožiny lepší než předešlé. Pak následuje další přidávání příznaků. Algoritmus končí po nalezení požadovaného počtu příznaků.

32

1.3.1.2.5 Sekvenční zpětné plovoucí vyhledávání Anglický název této metody je Sequential Backward Floating Search (SBFS). SBFS (Pudil a kol., 1994) je analogií SFFS algoritmu. Algoritmus začíná se všemi příznaky v množině příznaků a postupným odebíráním a podmíněným přidáváním (podobně jaku u SFFS) se snaží získat podmnožinu o délce Dfinal, která by byla ve smyslu zvoleného kritéria optimality nejlepší. Tak jako SFFS používá k přidávání SFS algoritmus, SBFS používá k odebírání příznaků SBS algoritmus.

Obrázek 1.22 SBFS algoritmus Algoritmus začíná se všemi příznaky v množině příznaků (χD=ξ ξ). Počet příznaků je tak roven D. V každém kroku algoritmus odebírá příznak ξx, který maximalizuje hodnotu kritéria optimality J(χi\ξy) - tzn. příznak, jehož odebráním nejméně sníží kvalitu podmnožiny příznaků. Tím vznikne podmnožina χi-1. Až sem je funkce algoritmu shodná s SBS. Pak ale algoritmus zjistí, zda je možné přidáním příznaku ξy (z množiny již odebraných - ξ\χi) získat novou množinu χi, s vyšší hodnotou kritériální funkce než u dosud nejlepší podmnožiny o délce i - zjistí zda J(χi-1∪ξ ξx)>J(χi). Pokud ano, přidá tento příznak a pokusí se přidat další. V přidávání příznaků pokračuje, dokud se daří získávat lepší podmnožiny. Pak následuje další odebírání příznaků. Algoritmus končí po dosažení uživatelem zadaného počtu příznaků Dfinal.

33

Používá se zde podobného triku jako u SFFS, kdy je tento počet příznaků snížen o ∆ a algoritmus tak může nalézt lepší řešeni o délce Dfinal. Tento algoritmus by měl být rychlejší než SFFS algoritmus v případě, že hledáme podmnožinu příznaků, jejíž délka je blízká celkovému počtu příznaků.

1.3.1.2.6 Oscilační vyhledávání Až dosud jsme se zabývali metodami selekce příznaků, které v každém kroku přidávají nebo ubírají vždy pouze jeden příznak. To může být nevýhodou. U Oscilačního vyhledávání (anglicky Oscillating search) lze mluvit spíše než o metodách pro selekci příznaků jako o metodách pro optimalizaci již exitující podmnožiny příznaků. Metody pro oscilační vyhledávání (Somol a Pudil 2000) začínají s podmnožinou příznaků, která již byla nějak získána (například SFS algoritmem) a obsahuje počet příznaků požadovaný uživatelem (Dfinal). Pak metody testují podmnožiny příznaků s počtem příznaků, který je blízký požadovanému. Uživatel volí interval, ve kterém se může pohybovat počet příznaků testovaných podmnožin D final - ∆, D final + ∆ . To znamená, že můžeme například pomocí SFS algoritmu nalézt podmnožinu s Dfinal příznaky, a pak použít oscilační vyhledávání pro optimalizaci této podmnožiny. Předpokládejme tedy, že algoritmus má k dispozici Dfinal příznaků a uživatelem zvolenou hodnotu ∆. Algoritmus se nejdříve pokouší přidat nebo odebrat samostatné příznaky. Pokud přidáním nebo odebráním příznaku není možné docílit zvýšení hodnoty kriteriální funkce, algoritmus použije dvojice příznaků, pak trojice atd. Ve chvíli kdy se podaří nalézt lepší podmnožinu, algoritmus pokračuje opět s přidávání a odebíráním jednotlivých příznaků. Algoritmus pracuje dokud lze přidáním nebo odebráním množiny příznaků (o maximální délce ∆) zlepšit optimalizovanou podmnožinu příznaků. Pokud pozorujeme aktuální hodnotu počtu příznaků v dosud nejlepší podmnožině příznaků, zjistíme, že osciluje kolem hodnoty Dfinal. Odtud název metody. Proč mluvíme o metodách oscilačního vyhledávání a ne o metodě? Protože tyto metody používají k přidání nebo odebrání příznaku jiné metody selekce příznaků (SFS, SBS, SFFS, SBFS aj.). Podmnožina příznaků nalezená použitím různých metod se samozřejmě může lišit. Rozdíly můžeme nalézt i v rychlosti jednotlivých řešení. Vhodná konfigurace oscilačního vyhledávání (volba metod pro přidávání a odebírání n-tic příznaků a volba hodnoty ∆) tak závisí na konkrétní úloze.

34

Obrázek 1.23 Oscilační vyhledávání Algoritmus začíná s podmnožinou příznaků χDfinal získanou před spuštěním metody. Funkci algoritmu pak můžeme rozdělit na dvě fáze. Ve fázi známe jako „upper fluctuation“ zkouší algoritmus nalézt d-tici příznaků (na začátku d=1) jejímž přidáním maximalizuje hodnotu kriteriální funkce. Pak se algoritmus pokusí nalézt jinou d-tici příznaků, jejímž odebráním se nejméně sníží hodnota kriteriální funkce. Fáze známá jako „bottom fluctuation“, pracuje opačně. Algoritmus zkouší algoritmus nejprve nalézt d-tici příznaků jejímž odebráním se nejméně sníží hodnota kriteriální funkce a pak jinou d-tici, jejímž přidáním se naopak nejvíce zvýší její hodnota. Algoritmus startuje s hodnotou d=1. Pokud se nepodaří během obou fluktuací nalézt řešení lepší, než bylo původní, hodnota d je zvýšena na d=d+1. Pokud se podaří nalézt lepší řešení, hodnota je nastavena na d=1. Algoritmus je ukončen, při překročení hranice zadané uživatelem - pokud d>∆. Pak je vrácena nejlepší nalezena podmnožina χDfinal.

35

1.3.1.3 Selekce příznaků založená na aproximaci hustot Pokud nejsou parametry distribucí jednotlivých tříd známy, existují, podobně jako tomu bylo u klasifikace, dva způsoby řešení. Můžeme použít metody, které tyto parametry nevyžadují (SFS, SFFS ap. - popsané v předešlých kapitolách) nebo se pokusit tyto hustoty odhadnout. Pro odhad hustot tříd může být použit například EM algoritmus (1.2.2.4 Parametrické metody učené bez učitele), nebo Parzenovská metoda odhadu hustot tříd (Parzen 1962). Ve chvíli kdy je znám odhad hustot tříd, můžeme rozdělit množinu příznaků ξ na dvě podmnožiny χK a χP . χK je množinou příznaků, které jsou nutné rozlišování mezi jednotlivými třídami (můžeme jim říkat kontrastní příznaky) a množina ξP je někdy označována jako pozadí. Pro rozdělení do těchto dvou disjunktních množin lze použít aproximační metodu (Pudil a kol., 1995), pokud nás zajímá nejlepší aproximace tříd, nebo divergenční metodu method (Novovicova a kol., 1996), pokud hledáme podmnožinu příznaků pro účely klasifikace. Vzhledem k tomu, že uvedené postupy nebyly aplikovány pro analýzu našich dat, nebudu se jimi podrobněji zabývat.

1.3.2 Extrakce příznaků Anglický název těchto metody zní feature extraction methods, ale také je požíván termín wrapper techniques of dimensionality reduction (Fukunaga 1990; Jain a kol., 2000). Metody extrakce příznaků transformují obrazy z původního příznakového prostoru, obvykle s nižší dimenzi. Tyto transformace mohou být lineární nebo nelineární a metody extrakce příznaků mohou být závislé nebo nezávislé na klasifikaci (Wang a Paliwal 2003). Extrahované příznaky často nemají žádnou fyzikální nebo jiný význam, ale obvykle lépe vystihují rozdíly mezi jednotlivými třídami. To je výhodné především z pohledu klasifikace, kde je důležité, aby rozdíly mezi obrazy v rámci jedné třídy byly minimální, ale rozdíly mezi jednotlivými třídami maximální. Tak jako u selekce příznaků i zde existují různé metody, lišící se např. časovou náročnosti výpočtu nebo daty na která jsou aplikovatelné.

1.3.2.1 Analýza hlavních komponent Analýza hlavních komponent je známa též jako Principal Component Analysis (PCA), jako (diskrétní) Karhunen-Loèveova trnsformace (Karhunen 1946; Loeve 1955) nebo také jako Hotellingova transformace (Hotelling 1933). Používá se k dekorelaci dat, kdy by vlivem transformace mělo dojít k co nejmenší ztrátě informace (Jain a kol., 2000; Wang a Paliwal 2003). Pokud je X množina všech N obrazů v D-rozměrném (původním) příznakovém ~ prostoru a X množina těch samých obrazů transformovaných do Dfinal - rozměrného příznakového prostoru, transformace jednoho obrazu xi může být zapsána jako: x~i = T T x i , x i obraz v novém prostoru. Geometricky pak Kde T je transformační matice a ~ transformace představuje otoční a roztáhnutí. T je konstruována z jednotkových vektorů kovarianční matice C(X) (viz. kapitola 1.2.1.1). Důležitou úlohu zde sehrávají vlastní čísla matice C(X), která podávají informaci o rozptylech jednotlivých rozměrů konečného prostoru. Matici T tak můžeme sestavit z Dfinal jednotkových vektorů, příslušejících k Dfinal nejvyšším

36

vlastním číslům matice C(X). Záleží na uživateli, jakou hodnotu Dfinal zvolí. Pokud se však třídy liší právě v rozměrech s malými rozptyly, můžeme přijít o důležitou informaci. Metoda totiž nezohledňuje příslušnost obrazů k jednotlivým třídám a staví pouze na statistických vlastnostech množiny všech použitých obrazů. Výsledná transformace pak zohledňuje směr největšího rozptylu (viz. Obrázek 1.24). Tato metoda patří mezi ty, které jsou nezávisle na klasifikaci.

1.3.2.2 Lineární diskriminační analýza a Fisherovy lineární diskriminanty Anglický název metod je Linear Discriminant Analysis (LDA) a Fisher Linear Discriminants. LDA (Fukunaga 1990; Martinez a Kak 2001; McLachlan 1992; Wang a Paliwal 2003) má blízký vztah k metodě Fisherových lineárních diskriminantů (Fisher 1936) a tyto metody jsou někdy mylně zaměňovány. Jsou však mezi nimi drobné rozdíly. Na rozdíl od Fisherových lineárních diskriminantů, LDA vychází z předpokladu stejných kovariančních matic tříd a jejich normálního rozdělení. Úkolem metod je oddělit od sebe (zvýraznit rozdíly) jednotlivé třídy transformací z původního D rozměrného příznakového prostoru do nového Dfinal-rozměrného příznakového prostoru. Pro úlohu s N třídami se bude jednat o transformaci do příznakového prostoru s rozměrem Dfinal=min(N −1; D). Pro správnou klasifikaci je nutná transformace do prostoru, kde rozdíly mezi obrazy v rámci jedné třídy budou minimální, ale rozdíly mezi jednotlivými třídami maximální. Tuto vlastnost mají obě metody díky způsobu výpočtu transformační matice. Pro její získání je třeba spočítat tzv. mezitřídní (between class) C(X)B a vnitrotřídní (within class) C(X)W a kovarianční matice : I N 1 j C ( X )W = ∑ ( x ji − x ( ω j )) ( x ji − x ( ω j ))T , ∑ I j i =1 j =1 N

C ( X )B = ∑ I j ( x ( ω j ) − x ) ( x ( ω j ) − x )T , i =1

C ( X ) BW = C ( X )W C ( X ) B . -1

;(kde x (ωj) je centroid j-té třídy; x je centroid obrazů všech tříd; Ij počet obrazů j-té třídy, n počet tříd a x(ωj)i - i-tý obraz j-té třídy ). V případě LDA se vychází z předpokladu, že jsou kovarianční matice všech tříd stejné, a proto lze místo C(X)W použít společnou kovarianční matici vypočítanou pomocí obrazů všech tříd. Všimněme si, že pokud budou rozdíly mezi třídami větší, budou i hodnoty v matici C(X)B vyšší, a pokud budou rozdíly uvnitř třídy menší, budou i hodnoty v matici C(X)W menší. To umožňuje transformovat s ohledem na podobnost obrazů v třídách a jejich odlišnost mezi třídami. Transformační matice T pak obsahuje Dfinal jednotkových vektorů matice C(X)BW. Tyto vektory náleží Dfinal nejvyšším vlastním číslům matice C(X)BW. Podobně jako v případě PCA, matice T pak slouží k transformaci obrazů z původního příznakového prostoru do koncového. x~i = T T x i . Jedná se o lineární transformaci, která opět geometricky představuje otočení a roztažení. Na rozdíl od PCA však tato transformace (díky tvaru kovariančních matic) umožňuje lépe zachytit rozdíly mezi jednotlivými třídami. LDA je opět metoda nezávislá na klasifikátoru.

37

Obrázek 1.24 LDA a PCA Na obrázku jsou vidět obrazy dvou tříd (ωi a ωj) v dvourozměrném příznakovém prostoru (příznaky ξm a ξn). Tečkovaná čára znázorňuje kudy povede osa příznaku transformovaného pomocí LDA, čárkovaná čára případ při použití PCA. V obou případech se jedná o transformaci do jednorozměrného příznakového prostoru za použití jednotkového vektoru, který náleží nejvyššímu vlastnímu číslu kovarianční matice. Je vidět, že PCA zohledňuje největší rozptyl. PCA nemá k dispozici informaci o příslušnosti obrazů k jednotlivým třídám, a proto výsledný příznak nemusí být vhodný pro klasifikaci. LDA metoda má k dispozici informaci o příslušnosti obrazů k jednotlivým třídám. Zohledňuje jak podobnost v rámci třídy, tak odlišnost mezi třídami, a proto je výsledný příznak vhodný pro klasifikaci.

1.3.2.3 Support Vector Machine Support Vector Machine (SVM) je metoda učená s učitelem určená pro klasifikaci a regresi (Vapnik 1995). Jedná se o metodu závislou na klasifikátoru. Na rozdíl od LDA a PCA, SVM umožňuje i řešení úloh, kdy není možné od sebe třídy oddělit lineární nadrovinou (např. použitím LDC), přestože během samotné klasifikace lineární nadrovinu k odělení tříd používá. Jak je to možné? Metoda totiž umožňuje využití tzv. jádra (kernel). Pomocí něho lze transformovat obrazy z původního příznakového prostoru, kde je nutná nelineární klasifikace, do příznakového prostoru vyšší dimenze, kde jsou třídy lineárně oddělitelné (Boser a kol., 1992). V praxi SVM umožňuje často dosáhnout velmi dobrých výsledků (Brown a kol., 1999; Camps-Valls a kol., 2004). V případě příznakového rozpoznávání vlastně hledáme funkci, která umožňuje provádět transformaci z D-rozměrného prostoru příznaků do prostoru identifikátorů tříd. Pokud se zabýváme problémem s dvěmi třídami, můžeme problém zapsat takto: f: RD→{±1}, a nebo také takto:

38

+ 1, xi ∈ ω1 ~ xi = { − 1, xi ∈ ω2 ; kde ω1 a ω2 jsou třídy, xi obrazy těchto tříd v D-rozměrném příznakovém prostoru a ~ xi jejich identifikátory tříd (nabývají hodnot -1 a 1). Lineární klasifikátor pak může být definován jako:

f( x i ) = sign(( w ⋅ x i ) + b) , ;kde váhový vektor w a práh b určují polohu nadroviny, která slouží k oddělení tříd. Jejich hodnoty lze získat řešením kvadratického optimalizačního problému (Vanderbei 1999) jehož řešení má tvar: D

w = ∑ α i x~i x i . i =1

Pak můžeme zapsat: D

f( x ) = sign( ∑ αi ~ xi ( x ⋅ xi ) + b) . i =1

Takový klasifikátor lze použít stále pouze pro řešení úloh s lineární klasifikací. Pro řešení nelineárních případu je nutné použít jádrovou funkci: D

f( x ) = sign( ∑ αi x~i k(Φ( xi ),Φ( x j )) + b) , i =1

kde Φ( x i ) je nelineární transformace z D-rozměrného příznakového prostoru do prostoru s vyšší dimenzí. Příklad lze nalézt na Obrázek 1.25. Řešení lze získat maximalizací funkce LD:

LD = −

D 1 D D ~ ~ α α x x k + αi ∑∑ i j i j ij ∑ 2 i =1 j =1 i =1

při: D

∑ α x~ i =1

i

i

= 0,

α i ≥ 0 ∀i .

39

Obrázek 1.25 Příklad aplikace jádrové funkce Na horním obrázku lze vidět dvě třídy v původním jednorozměrném příznakovém (příznakem je ξm ) prostoru RD (D=1), které nejsou lineárně oddělitelné. Po transformaci za použití funkce Φ (kde Φ: ξm → ξm 2), jsou tyto třídy lineárně oddělitelné v novém příznakovém prostoru RDfinal.

1.3.3 Kritérium optimality V předešlých kapitolách jsme často používali slovo nejlepší. Bavili jsme se o nejlepších podmnožinách příznaků nebo o nejlepších množinách extrahovaných příznaků. Co ale znamená slovo nejlepší a jak ho kvantifikovat? Význam slova nejlepší vyjadřuje a kvantifikuje kritérium optimality. To samozřejmě závisí na konkrétní úloze, a tak může být kritérium optimality velmi různorodé. Kritérium optimality (a nalezené nejlepší řešení) proto bude odlišné případech, kdy hledáme podmnožinu příznaků vhodnou pro klasifikaci, kdy hledáme množinu nekorelovaných příznaků nebo příznaků s nejnižší úrovní šumu ap. V našem případě je nejdůležitějším kritériem to, které vyjadřuje vhodnost sady příznaků pro klasifikaci. Můžeme říci, že nejlepší sadou příznaků je ta, která umožňuje nejlepší klasifikaci. Z toho důvodu se nabízí jako první řešení použití chybovosti klasifikátoru pro vyjádření kvality testované podmnožiny příznaků. Kritérium optimality pak bude rovno chybovosti klasifikátoru. Toto řešení je často používané. Jeho nevýhodou ale mohou být časové nároky. Je třeba si uvědomit, že pro každou podmnožinu příznaků je potřeba klasifikátor natrénovat a otestovat jeho chybovost klasifikace. S rostoucím počtem příznaků však roste i počet obrazů potřebných pro správné nastavení klasifikátoru a tím i časová náročnost trénování. Proto může být někdy vhodné použít některou z měr vzdáleností tříd (Fukunaga 1990) jako např. Bhattacharyyovu vzdálenost (viz. kapitola 1.2.1.2.3). Nevýhodou tohoto přístupu je, že je použitelný pouze na dvojici tříd. Proto je nutné v případech s více třídami úlohu dělit na několik menších úloh, kdy zkoumáme vzdálenosti jednotlivých dvojic tříd. Existuje také možnost přímého výpočtu pravděpodobnosti klasifikační chyby. Ta vyžaduje přesný odhad hustot pravděpodobností tříd. Jeho nepřesnosti pak vedou k

40

nepřesnostem při výpočtu pravděpodobnosti chyby. V některých případech může být vhodná i míra entropie. Pokud je entropie malá, i překryv v distribucích bude malý a naopak. Pro účely metodami selekce příznaků provedené analýzy dat prezentovaných v této disertační práci byla použita jako kritérium optimality chybovost klasifikátoru.

41

2 PŘEHLED PRÁCE V kapitole Úvod (1) jsou vysvětleny základní metody chlorofylové fluorometrie a příznakového rozpoznávání. Jejich použití je možné nalézt v kapitole Výsledky (4). Zde jsou přiloženy články, jejichž jsem spoluautorem. V kapitole Materiály a metody (3) jsou vysvětleny některé metody a postupy, které se váží k této práci a nejsou k dispozici v přiložených článcích. V kapitole 4.1 se zabýváme rozpoznáváním rostlinných druhů (Ocimum basillicum, Origanum vulgare and Origanum majorana). Porovnáváme výkonnost různých klasifikačních technik a metod selekce příznaků a výběrem vhodných metod pro řešení dané úlohy. Výsledky demonstrují využitelnost statistické přístupu pro zpracování fluorescenčních dat pro řešení složitějších úloh, kdy konvenční přístupy selhávají. V kapitole 4.2 (článek Case study of combinatorial imaging: What protocol and what chlorophyll fluorescence image to use when visualizing infection of Arabidopsis thaliana by Pseudomonas syringae?) je představen přístup pro detekci a analýzu dat s infekcí bakterií Pseudomonas syringaena na listech rostlin Arabidopsis thaliana. Naměřená data jsme analyzovali pomocí metod příznakového rozpoznávání. Námi prezentovaný přístup umožňuje detekovat infekci dříve než běžně používanými metodami, detekovat fázi, ve které se infekce nachází, a ohodnotit, která část měřícího protokolu je pro odhalení infekce nejdůležitější. V kapitole 4.3 (publikace Visualization of dynamics of plant-pathogen interaction by novel combination of chlorophyll fluorescence imaging and statistical analysis: Differential effects of virulent and avirulent strains of P. syringae and of oxylipins on A. thaliana) se budeme zabývat vlivem kyselin salicylové, jasmonové a oxylipin 12-oxo-fytodienoické na fotosyntetický aparát rostliny. Vliv těchto kyselin je porovnán s vlivem infekce virulentním a avirulentním kmenem bakterie Pseudomonas syringae. Použita byla zobrazovací chlorofylová fluorometrie a pro analýzu dat statistický přístup (combinatorial imaging) představený v kapitole 4.2, který umožňil zachytit symptomy infekce v jejím ranném stádiu. V kapitole 4.4 (publikace Conventional and combinatorial chlorophyll fluorescence imaging of tobamovirus-infected plants) je prezentována další aplikace analýzy dat statistický přístupem (combinatorial imaging) představeným v kapitole 4.2. V tomto případě jsme se zabývali detekcí tobamoviru na listech rostlin Nicotiana benthamiana. Výsledky statistické analýzy dat jsme porovnali s výsledky získanými konvenčními přístupy a prokázali, že aplikace statistického přístupu umožňuje dosáhnout velmi dobrých výsledků. V kapitole 4.5 lze nalézt informace o programových nástrojích použitých pro analýzu dat o kterých pojednávají kapitoly 4.1 až 4.4.

42

3 MATERIÁLY A METODY 3.1 Zobrazovací chlorofylová fluorometrie Dnes používané techniky Chl fluorometrie lze dělit na zobrazovací a nezobrazovací. Informace o dostupných komerčních fluorometrech lze nalézt v literatuře (Mohammed a kol., 1995). Hlavním cílem této práce bylo zpracování dat ze zobrazovacích fluorometrů, a proto nebudeme nezobrazovací fluorometrií zabývat. Veškeré sekvence obrazů s Chl fluorescenčními přechodovými jevy byly měřeny přístrojem fluorcam. Princip funkce fluorcamu je stručně popsán v kapitole 4.2 a ilustruje ho Obrázek 3.1. Detailnější popis je pak možné nalézt v literatuře (Nedbal a kol., 2000b).

Obrázek 3.1 Funkce fluorcamu Dva panely světlo emitujících červených diod slouží pro vytváření aktinického světla a měřících pulsů. 250W halogenová lampa je použita jako zdroj světla pro saturující pulsy, které slouží k měření příznaků FM, FM', ap. Fluorescence Chl a je následně snímána CCD kamerou osazenou filtrem RG697 pro blokování rozptýleného excitačního světla, které má vlnovou délku λmax ≈ 635 nm. Existují různé verze tohoto přístroje. Veškerá data popisovaná v přiložených publikacích byla měřena tzv. otevřenou verzí fluorcamu. Popis tohoto přístroje lze nalézt v přiložených publikacích. Fotografii přístroje ukazuje Obrázek 3.2. Další informace je pak možné nalézt na internetových stránkách výrobce, firmy Photon Systems Instruments s.r.o. (http://www.psi.cz/). Manuál k přístroji je dostupný na internetové adrese (http://www.psi.cz/download/manual/FluorCam_guide2002.pdf).

43

Obrázek 3.2 Fotografie měřícího přístroje fluorcam

3.2 Měřící protokoly Průběh měření přístrojem fluorcam je definován měřícím protokolem. Ten obsahuje informace o sekvenci různých osvětlení, kterými ozařujeme rostlinu. Jako reakci na takové ozáření pak měříme Chl fluorescenční přechodový jev (viz. kapitola 1.1.3). Pro naměření dat prezentovaných v kapitole Výsledky, byly použity dva různé protokoly. Zhášecí (quenching) protokol je sekvencí saturujících pulsů světla s vysokou intenzitou a dvou různých úrovní aktinického světla. Oscilační (oscillatory) protokol je sekvencí 6-ti různých period harmonicky modulovaného aktinického světla o dvou různých amplitudách. Měřící protokoly zde nebudou detailněji popisovány, protože jejich popis je možné nalézt v přiložené publikaci (Matouš a kol., 2006). Oba protokoly včetně komentářů lze nalézt v přílohách.

3.3 Rostlinný materiál Pro rozlišování mezi třemi druhy rostlin (kapitola 4.1) bylo třeba nalézt rostliny, které si svou velikostí a rychlostí růstu byly podobné. Hledali jsme takové rostliny, aby jejich rozpoznávání bylo dostatečně obtížné pro demonstrování námi použitého přístupu. Zvolily jsme proto bazalku (Ocimum basillicum), oregano (Origanum vulgare) a majoránku (Origanum majorana) - všechny rodu Lamiaceae. Dalším důvodem, proč jsme zvolili právě tyto rostliny byla i jejich snadná dostupnost. Semena rostlin jsme vyseli do zahradní zeminy na miskách o průměru 8 cm. Na každé misce rostlo 30-50 rostlin (v závislosti na jejich velikosti). Každý rostlinný druh byl vyset na třech miskách (tzn. 9 misek celkem). Dále jsme měli k dispozici další tři misky se směsí rostlin, kde bylo na misku vyseto přibližně 10-20 semen od každého rostlinného druhu. Rostliny byly pěstovány u okna laboratoře. Vlhkost 44

vzduchu, teplota a osvětlení nebyly nijak regulovány. Po deseti dnech od vysetí byly rostliny měřeny. Měření bylo opakováno 3x ve třech po sobě jdoucích dnech z důvodu získání dostatečného množství dat. V případě dat popisovaných ve dvou přiložených publikacích (Berger a kol., 2007; Matouš a kol., 2006), jsme pracovali s rostlinami Arabidopsis thaliana a bakterií Pseudomonas syringae pv. tomato kmen DC3000. Způsob pěstování rostlin zde nebude vysvětlen, protože je detailně popsán v přiložených publikacích. Dodejme jen, že se jednalo jeden experiment publikovaný z důvodu své rozsáhlosti ve dvou různých článcích. ´ U dat popisovaných v kapitole 4.4 posloužily jako rostlinný materiál rostliny Nicotiana benthamiana infikované tobamovirem. Popis jejich pěstování lze také nalézt v přiložené publikaci, a proto se jím nebudeme zde zabývat.

3.4 Naměřená data Jak již bylo uvedeno výše, data byla měřena přístrojem fluorcam. Výstupem takového měření je sekvence fluorescenčních snímků. Tu si lze představit také jako videosekvenci s fluorescenčními změnami v čase. Každý pixel zde nese informaci o úrovní fluorescence malé plochy listu rostliny nebo pozadí v daném čase. Jasová úroveň pixelu může nabývat hodnot v intervalu 0 – 4095 (12-ti bitový A/D převodník). Pokud extrahujeme hodnoty pixelů s týmiž souřadnicemi ze všech fluorescenčních snímků, získáme fluorescenční přechodový jev, na základě něhož můžeme provádět klasifikaci. Takový přechodový jev můžeme použít jako obraz ve smyslu příznakového rozpoznávání a fluorescenční snímky chápat jako příznaky. Počet příznaků je pak roven počtu snímků a počet obrazů (ve smyslu příznakového rozpoznávání) je roven počtu extrahovaných fluorescenčních přechodových jevů, který běžně dosahuje počtu několika set tisíc. Maximální počet přechodových jevů, které lze získat z jednoho měření tedy odpovídá rozlišení snímků měřené sekvence. Mnoho z takových kinetik obvykle obsahuje přechodový jev odpovídající pozadí oblasti bez rostliny a pro nás tedy bez významu. Výběr přechodových jevů odpovídajících rostlinnému materiálu byl proveden segmentací. Používali jsme manuální segmentaci (kapitoly 4.2 a 4.3), segmentaci prahováním na základě snímku ze sekvence, který měl nejvyšší jas (kapitoly 4.1 a 4.4). Z takto získaných přechodových jevů (obrazů) pak byly sestaveny trénovací a testovací množiny.

3.5 Volba a nastavení rozpoznávání

metod

statistického

příznakového

Přístup, který byl zvolen pro rozpoznávání jednotlivých tříd lze rozdělit do čtyř kroků. Jedná se o volbu vhodné klasifikační metody, její nastavení, nalezení vhodné metody pro selekci příznaků a její nastavení. Vhodnost rozpoznávací metody lze posuzovat podle dvou nejdůležitějších hledisek. Prvním z nich je časová náročnost trénování metody a samotné klasifikace, druhým pak chybovost klasifikace (kapitola 1.2.2), která závisí na vhodnosti použití metody pro danou úlohu a na nastavení metody. V našem případě jsme porovnali chybovost klasifikace fluorescenčních kinetik u metod představených kapitole 1.2. Z metod podávajících nejlepší výsledky jsme pak volili řešení s nízkými časovými nároky. Dalším krokem bylo nalezení vhodného nastavení klasifikátoru. To znamená především nalezení vhodného množství dat potřebného pro správné natrénování klasifikátoru. Jedná se zde opět o kompromis mezi úspěšností klasifikace a jejími časovými nároky. V případě k-NN

45

klasifikátoru se nalezení jeho vhodného nastavení znamenalo také nalezení vhodného nastavení hodnoty k – počtu nejbližších sousedů. Předpokládejme, že jsme zvolili a nastavili klasifikátor schopný řešit danou úlohu. Jakkoliv může být klasifikace úspěšná a rychlá, nejedná se stále o dokonalé řešení. Obvyklá sekvence fluorescenčních snímků obsahuje mnoho snímků s opakující se nebo pro klasifikaci nepotřebnou informací. Z důvodů přednesených v kapitole 1.3 je vhodné použít pouze snímky pro klasifikaci potřebné. Volbu vhodné metody pro selekci příznaků jsme provedli, podobně jako v případě klasifikátorů, jejich testováním. Opět nás zajímala technika poskytující dobré výsledky v rozumném čase. Po nalezení vhodné metody selekce příznaků jsme ze závislosti mezi chybovostí a použitým počtem příznaků volili takový počet příznaků, který zajišťoval uspokojující spolehlivost klasifikace při co nejmenším počtu použitých příznaků.

3.6 Použitý software a hardware Veškeré výpočty a analýzy byly provedeny v prostředí MATLAB 6.5. Pro účely statistického příznakového rozpoznávání jsme použili soubor nástrojů PRTOOLS, které je volně použitelný pro nekomerční a akademické účely (dostupný na adrese http://www.prtools.org/). Programy byly spouštěny na počítači s procesorem AMD Athlon 64 3000 (2.0 GHz, 512 kB cache) s 1 GB operační paměti. Operačním systémem byl Windows XP.

46

4 VÝSLEDKY 4.1 Rozpoznávání rostlinných statistického příznakového7

druhů

s

využitím

metod

Rozlišováním mezi třemi druhy rostlin je po biologické stránce jednoduchý a snadno opakovatelný experiment, ale zároveň z pohledu rozlišování rostlin dostatečně obtížný pro demonstraci potenciálu použitých metod. Další výhodou tohoto experimentu je možnost snadno vysvětlit, jak zvolit a nastavit metody vhodné pro analýzu dat.

4.1.1 Použitá data Na úvod zopakujme, jak vypadala použitá data. Rostliny pěstované způsobem popsaným v kapitole 3.3 byly měřeny přístrojem fluorcam (viz. 3.1) pomocí zhášecího měřícího protokolu. Výstupem tohoto měření byly soubory se sekvencí obrazů, která zachycuje fluorescenční odezvu rostliny. Použité sekvence obsahovaly 247 fluorescenčních obrazů (použitých jako příznaky). Na základě snímku sekvence fluorescenčních obrazů, který poskytoval nejvyšší kontrast mezi rostlinami a pozadím, byla provedena segmentace prahováním a byly extrahovány přechodové jevy příslušící rostlinám. Každý ze tří rostlinných druhů byl vyset na třech miskách (tzn. 9 misek celkem) a každá miska byla měřena 3x v různých dnech. K dispozici tedy bylo pro každý rostlinný druh 9 měření, tedy několik set měření jednotlivých rostlin a několik set tisíc přechodových jevů (odpovídajících jednotlivým pixelům). K dispozici jsme tedy měli tři množiny dat (odpovídající jednotlivým rostlinným druhům) s několika sty tisíci přechodovými jevy v každé z nich. Tato data byla použita jako zdroj dat pro trénování a testování výkonnosti klasifikátorů. Na datech z misek se směsí rostlin (další tři misky) pak byla testována schopnost rozpoznávat rostlinné druhy v podmínkách bližších reálným. Alternativou by bylo použít vektory s Chl fluorescenční odezvou integrovanou přes celou rostlinu. My jsme ale použili pouze přístup s rozpoznáváním rostlin na úrovní jednotlivých pixelů. Je totiž snadno aplikovatelný i v případech, kdy se listy jednotlivých rostlin překrývají. A navíc při použití tohoto přístupu neztrácíme informaci o heterogenitě plochy listu.

4.1.2 Analýza pomocí fluorescenčních parametrů Použití konvenčních fluorescenčních parametrů (viz. kapitola 1.1.4) je běžně používaným přístupem pro detekci různých druhů stresu rostlin. Výhodou těchto parametrů je jejich interpretovatelnost. Nevýhodou je, že využívají pouze relativně malou část přechodového jevu. Pokud jsou pro detekci nutné části přechodového jevu, které tyto fluorescenční parametry nevyužívají, je tento přístup nevhodný. Testovali jsme vhodnost fluorescenčních příznaků uvedených v kapitole 1.1.4 pro rozpoznávání tří druhů rostlin. Žádný z parametrů však nebyl pro rozpoznávání vhodný. Situaci s parametry FV/FM a NPQ ukazuje Obrázek 4.1. Obrázky ostatních parametrů neuvádíme. Nemožnost rozpoznávání je 7

Výsledky prezentované v této kapitole jsou součástí publikace, kterou dokončujeme.

47

dána především využitím malé části naměřeného přechodového jevu. Je možné, že rozpoznávaní konvenčními fluorescenčními parametry by bylo v případě jiných rostlinných druhů proveditelné. V našem případě, kdy všechny rostliny byly stejně staré a přibližně stejného vzrůstu, teto přístup selhal. Jakkoliv se nemožnost rozpoznávání fluorescenčními parametry může zdát jako negativní výsledek, v tomto případě tomu tak není. Dává nám to totiž možnost ukázat na jednoduché úloze možnosti detekce při použití metod statistického příznakového rozpoznávání.

Obrázek 4.1 Konvenční fluorescenční příznaky První řádek ukazuje obrázky FV/FM třech druhů rostlin (vždy samostatně na jedné misce). Druhý řádek ukazuje obrázky parametru NPQ u týchž rostlin. Je vidět, že pomocí těchto dvou fluorescenčních příznaků není možné provádět úspěšně detekci. Heterogenita v rámci listů rostlin převyšuje rozdíly mezi jednotlivými rostlinami.

4.1.3 Volba metody pro klasifikaci Z metod uvedených v kapitole 1.2.2 jsme vybrali LDC, FLDC, QDC, NN, k-NN, SVC a NMC klasifikátor. Metody byly voleny tak, aby mezi nimi byly ty, které jsou schopné řešit úlohy s lineárně i nelineárně separovatelnými třídami. Výkonnost klasifikátoru (v přiložených anglicky psaných publikacích je nazývána performance) je ovlivněna především třemi okolnostmi (vztah pro výpočet výkonnosti je vysvětlen v kapitole 1.2.2). V první řadě je to použitelnost klasifikátoru pro řešení dané úlohy (např. LDC klasifikátor nebude vhodný pro řešení úlohy, kde nejsou třídy lineárně separovatelné). Dále má na výkonnost klasifikátoru vliv překryv v distribucích, kterým je dána maximální možná výkonnost, a nakonec je to 48

kvalita natrénování klasifikátoru, která je dána především množstvím a kvalitou použitých trénovacích dat. Může se proto stát, že v různých úlohách budou pro klasifikaci vhodné odlišné metody. Pro otestování vybraných klasifikátorů jsme použili množinu obsahující 20 000 přechodových jevů (tzn. každý rostlinný druh 6666), kterou jsme náhodně rozdělili na trénovací a testovací množinu (obě 10 000 přechodových jevů). Záměrně jsme zvolili větší množství přechodových jevů abychom zajistili, že trénovací množina bude dostatečně velká pro správné nastavení všech metod. Výkonnosti testovaných klasifikátorů a časové nároky nutné pro jejich otestování ukazuje Tabulka 4.1.

Výkonnost klasifikace (performance)

Časové nároky (s)

LDC

0,76

5,1

QDC

0,83

5,4

FLDC

0,76

17,4

NN

0.85

9112

k-NN (k=3)

0.86

9125

SVC

0.79

17322

NMC

0,19

0,5

Klasifikátor

Tabulka 4.1 Výkonnosti klasifikátorů Tabulka ukazuje výkonnost sedmi testovaných klasifikátorů a jejich časové nároky. Výkonnost se pohybuje v intervalu 0;1 . 0 odpovídá náhodné klasifikaci, 1 klasifikaci 100% správné. Tabulka ukazuje, že většina z testovaných metod dokáže poskytnout uspokojivé výsledky. Narozdíl od detekce konvenčními fluorescenčními parametry je tedy tento přístup použitelný. Jedinou metodou, která selhává je NMC. Jak je vysvětleno v kapitole 1.2.2.1.3, tento klasifikátor používá pouze centroid k popisu jednotlivých a klasifikuje do třídy s nejmenší Euklidovskou vzdáleností mezi centroidem a klasifikovaným obrazem. Jakkoli je tento přístup výpočetně nenáročný, je popis pouze centroidem nedostatečný. Zbylých šest klasifikátorů můžeme rozdělit na pomalé a rychlé. Metody NN, k-NN a SVC byly velmi výpočetně náročné. V případě NN a k-NN klasifikace je důvodem velký počet výpočtů Euklidovské vzdálenosti mezi vzorovými klasifikovanými obrazy. Pro každý klasifikovaný obraz bylo potřeba spočítat jeho Euklidovskou vzdálenost od všech vzorových obrazů. Při 10 000 trénovacích obrazech a 10 000 testovacích obrazech bylo tedy nutné vypočítat 100 000 000 těchto vzdáleností, což představuje velké výpočetní nároky. Vzhledem k vysoké výpočetní náročnosti nebylo vhodné využít chybovost metod NN, k-NN a SVC jako kritérium optimality při selekci příznaků (viz. dále). Zbylé tři metody podávali dobré výsledky při nízkých výpočetních nárocích. Klasifikace FLDC a LDC klasifikátorem dovolují řešit úlohy s lineárně oddělitelnými třídami. QDC dovoluje řešit i nelineární případy a to je, zdá se, také důvodem, proč je jeho výkonnost

49

mírně vyšší. Vzhledem k tomu, že rozdíly mezi klasifikátory nebyly příliš velké jsme se rozhodli dále pokračovat s LDC a QDC klasifikátorem a dále otestovat jejich možnosti. Pro LDC v tomto případě mluvila snazší reprezentovatelnost jeho rozhodovacího kritéria (jedná se o lineární kombinaci příznaků). FLDC je určeno pro řešení úloh se dvěma třídami. V případě více tříd je nutné úlohu rozdělit na několik menších pouze se dvěma třídami (viz. kapitola 1.2.2.3) a to je důsledkem vyšších výpočetních nároků než u QDC a LDC. Přestože jsou LDC a QDC výpočetně nenáročné metody, jejích časové požadavky byly stále poměrně vysoké pro použití jejich chybovosti jako kriteria optimality metod selekce příznaků (viz. dále). Proto bylo vhodné najít optimální množství obrazů trénovací a testovací množiny - množství, které by bylo dostatečné pro správné natrénování klasifikátoru, ale zároveň co nejnižší z důvodu výpočetních nároků. Pro stanovení optimálního počtu obrazů jsme použili graf závislosti výkonnosti klasifikace na počtu obrazů použitých pro jeho natrénování (jako testovací množina byla použita množina všech zbylých obrazů z původní množiny 20 000 obrazů). Graf této závislosti ukazuje Obrázek 4.2. S velmi malým počtem obrazů dosahovaly klasifikátory špatné výkonnosti. To je způsobeno jevy popsanými v kapitole 1.2.2.5. Situace je snadno představitelná ve dvourozměrném příznakovém prostoru. Pokud zde bude počet trénovacích obrazů roven počtu rozměrů, tedy dvěma, dokážeme trénovací obrazy dvou tříd vždy lineárně oddělit bez ohledu na to, zda jsou třídy skutečně oddělitelné. Je zřejmé, že takto nalezené klasifikační pravidlo může (ale nemusí) být bezcenné a klasifikace testovacích dat s vysokou pravděpodobností nebude úspěšná. Pokud budeme počet rozměrů zvyšovat, bude růst i množství minimálního počtu příznaků nutných pro alespoň trochu správné nastavení klasifikátoru. V případě QDC, které je při oddělování tříd ještě flexibilnější než LDC pak bude toto množství ještě vyšší. Jak ukazuje graf, po překročení minimálního nutného množství příznaků, výkonnost klasifikace obou metod strmě rostla. Po dosažení hodnoty 3 000 trénovacích obrazů v případě LDC se pak hodnota výkonnosti už téměř neměnila. Tento bod křivky značí hledané optimum, kdy je klasifikace dostatečně výkonná, ale počet trénovacích obrazů stále relativně nízký. V případě QDC pak výkonnost rostla až do hodnoty 8 000 trénovacích obrazů, kde už byl další růst pomalejší. Při použití více než 5 000 trénovacích obrazů pak byla výkonnost QDC vyšší než LDC. To je způsobeno větší flexibilitou QDC a jejími vyššími nároky na počet trénovacích obrazů. V našem případě jsme se rozhodli použít metodu QDC a jako hodnotu optimálního počtu trénovacích obrazů jsme použili 8 000.

50

Obrázek 4.2 Závislost výkonnosti na počtu obrazů Je vidět, že LDC vystačí pro správné natrénování s menším počtem trénovacích obrazů (zde přechodových jevů). Naproti tomu QDC dokáže s dostatkem trénovacích dat poskytnout lepší výkon. Zvlnění u QDC kolem hodnoty 350 přechodových jevů přičítáme neschopnosti klasifikátoru správně se natrénovat na tak malé množině trénovacích dat, kdy je kvalita nalezeného klasifikačního pravidla náhodná.

4.1.4 Volba metody selekce příznaků Klasifikátor zvolený a nastavený postupem popsaným v předchozí kapitole byl řešením, které dosahovalo uspokojivé výkonnosti. Při klasifikaci však využíval i časti přechodových jevů, které nesly redundantní nebo minimální informaci. V rámci zefektivnění procesu identifikace rostlinných druhů proto bylo vhodné provést výběr pouze těch fluorescenčních obrazů (částí přechodového jevu), které jsou pro úspěšnou klasifikaci potřebné. Vzhledem k počtu fluorescenčních obrazů (247), které zde představovaly příznaky, nebylo možné využít žádnou z optimálních metod selekce příznaků. Úloha byla řešitelná pouze suboptimálními metodami selekce příznaků. Z těch jsme zvolili metody SFS, SBS, SFFS a IFS (viz. kapitola 1.3.1.2). Jako kritérium optimality těchto metod byla použita chybovost QDC klasifikátoru. Velikost trénovací i testovací množiny byla nastavena na 8 000 přechodových jevů, které byly náhodně vybrány z množiny všech přechodových jevů, které byly k dispozici. Výsledky testovaných metod ukazuje Obrázek 4.3. 51

Obrázek 4.3 Výsledky metod selekce příznaků Byla testována závislost výkonnosti klasifikátoru na počtu příznaků (fluorescenčních obrazů) použitých pro jeho natrénování. Pro vyhledání nejlepších podmnožin příznaků byly použity metody SFS, SBS, SFFS a IFS. Jak je vidět, IFS dosahovala stabilně nejhorších výsledků, Zatímco SFFS se ukázala jako nejvhodnější volba. Porovnáme-li výsledky dosažené různými metodami, zjistíme, že IFS je nevhodným řešením. Tato metoda nehledá nejlepší n-tice příznaků, ale n-tice samostatně nejlepších příznaků (viz. Obrázek 1.15). Vzhledem k tomu, že v sekvenci fluorescenčních obrazů je často vysoká korelace mezi sousedními snímky (ty zde používáme jako příznaky), je tento přístup nevhodný. Takto nalezená n-tice snímků totiž často obsahuje snímky s téměř identickou informací. Jedinou výhodou této metody byly její výpočetní nároky, které byly nejnižší z testovaných metod (914s). Metody SFS, SFFS a SBS podávali velmi podobné výsledky. Množiny příznaků nalezené SFFS však byla nepatrně lepší. To ovšem není žádným překvapením, uvědomíme-li si, že tato metoda je vlastně jakousi kombinací SFS a SBS, kdy algoritmus mezi těmito metodami přepíná (viz. kapitola 1.3.1.2.4). Časová náročnost byla nejvyšší právě u metody SFFS (158 766). Ta totiž jako jediná dovoluje přidávat i odebírat příznaky z množiny

52

nejlepších příznaků a tím dochází k nevyššímu množství prozkoumaných množin příznaků. SFS (51 452) dovoluje příznaky pouze přidávat a SBS pouze odebírat (52 368). Přestože jsou obě metody tímto limitovány, podávají poměrně dobré výsledky. Vzhledem k tomu, že množiny příznaků nalezené metodou SFFS byly nejlepší, použili jsme je pro další zpracování. Zaměřme se nyní tedy na křivku metody SFFS. Jak je vidět, úspěšnost klasifikace nejdříve roste až do použití přibližně 50-ti příznaků. Pak úspěšnost klasifikace pozvolna klesá. To je důsledkem jevů popsaných v kapitole 1.2.2.5. S rostoucím počtem dimenzí příznakového prostoru začíná být použitý počet trénovacích obrazů, který se nemění, nedostatečný pro správné natrénování klasifikátoru. Při zvýšení počtu trénovacích obrazů by se maximum křivky posunulo více vpravo. Jak ale víme z předchozí kapitoly, zvýšení, počtu trénovacích dat by nepřineslo výraznější zvýšení úspěšnosti klasifikace. Maximum křivky ležící přibližně na hodnotě 50-ti příznaků je důležité i ve vztahu k fluorescenčním parametrům a konvenční analýze. Fluorescenční parametry jsou počítané z dvojic základních, tedy přímo měřených, parametrů. Ty odpovídají hodnotám v určitých snímcích sekvence fluorescenčních obrazů. Jak ale ukazuje graf metody SFFS, výkonnost klasifikace s podobným počtem použitých příznaků je velmi nízká. Pro úspěšné rozpoznávání je potřeba výrazně více příznaků, a proto rozpoznávání fluorescenčními parametry nemůže být v tomto případě úspěšné (čímž samozřejmě netvrdím, že ho nelze úspěšné provádět v úloze s jinými rostlinnými druhy). V této úloze je tedy optimem pro rozpoznávání sada 50-ti příznaků nalezená metodou SFFS. Počet příznaků naznačuje, že se jedná o poměrně složitou úlohu. Porovnáme-li tento výsledek s výsledky v přiložených publikací, zjistíme, že v ostatních případech bylo možné úspěšně klasifikovat s využitím pouhých tří až osmi příznaků. To bylo také velkou výhodou při prezentování výsledků, bylo možné snadno ukázat, které části přechodového jevu jsou pro rozpoznávání důležité. Taková informace by pak byla cenná i při optimalizaci měřícího protokolu, kdy by bylo možné vypustit části protokolu nepotřebné pro rozpoznávání. V tomto případě bohužel nic takového není možné. Nalezených padesát příznaků je rozprostřeno po celém protokolu a jednotlivé jeho části jsou přibližně stejně důležité pro úspěšné rozpoznávání. Na základě nalezené sady 50-ti příznaků jsme natrénovali QDC klasifikátor a jeho funkčnost otestovali jak datech naměřených na miskách s jednotlivými rostlinnými druhy tak na miskách se směsí rostlin. Výsledek ukazuje Obrázek 4.4. Data s jednotlivými druhy rostlin byla použita jako zdroj trénovacích dat klasifikátoru, proto je třeba brát tyto výsledky pouze jako kontrolní. Klasifikátor data "znal", a proto bylo možné očekávat jeho správnou funkčnost při jejich klasifikaci. Data se směsí rostlinek nebyla použita pro trénování, ale jak je vidět, že klasifikace proběhla v pořádku a chybovost odpovídá té, kterou ukazuje Obrázek 4.2 a Tabulka 4.1.

53

Obrázek 4.4 Rozpoznávání tří druhů rostlin Jak ukazuje horní řádek, detekce misek s jedním druhem rostlin proběhla v pořádku. Klasifikátor fungoval i na datech se směsí rostlin, které ukazuje spodní řádek.

54

4.2 Case study of combinatorial imaging: What protocol and what chlorophyll fluorescence image to use when visualizing infection of Arabidopsis thaliana by Pseudomonas syringae?

Publikováno v: Photosynthesis Research (2006) 90:243-253

55

Photosynth Res (2006) 90:243–253 DOI 10.1007/s11120-006-9120-6

EMERGING TECHNIQUES

Case study of combinatorial imaging: What protocol and what chlorophyll fluorescence image to use when visualizing infection of Arabidopsis thaliana by Pseudomonas syringae? Karel Matousˇ Æ Zuzana Benediktyova´ Æ Susanne Berger Æ Thomas Roitsch Æ Ladislav Nedbal

Received: 17 August 2006 / Accepted: 30 November 2006 / Published online: 9 January 2007 Ó Springer Science+Business Media B.V. 2006

Abstract Localized infection of a plant can be mapped by a sequence of images capturing chlorophyll fluorescence transients in actinic light. Choice of the actinic light protocol co-determines fluorescence contrast between infected leaf segment and surrounding healthy tissue. Frequently, biology cannot predict with which irradiance protocol, in which fluorescence image of the sequence, and in which segment of the image there will be the highest contrast between the healthy and infected tissue. Here, we introduce a new technique that can be applied to identify the combination of chlorophyll fluorescence images yielding the highest contrast. The sets of the most contrasting images vary throughout the progress of the infection. Such specific image sets, stress-revealing fluorescence signatures, can be found for the initial and late phases of the infection. Using these signatures, images can be divided into segments that show tissue in different infection phases. We demonstrate the capacity of the algorithm in an investigation of infection of the model plant Arabidopsis thaliana by the bacterium Pseudomonas syringae.

We show that the highest contrast is found with transients elicited by fluctuating, harmonically modulated irradiance with long periods. Keywords Biotic stress
Chlorophyll fluorescence
Classification
Fluorescence induction
Forced oscillations
Image processing
Image segmentation

Abbreviations Aj

C0

C1 K. Matousˇ
Z. Benediktyova´
L. Nedbal (&) Institute of Systems Biology and Ecology, Academy of Sciences of the Czech Republic, Za´mek 136, Nove´ Hrady 37333, Czech Republic e-mail: [email protected] K. Matousˇ
Z. Benediktyova´
L. Nedbal Institute of Physical Biology, University of S. Bohemia, Za´mek 136, 37333 Nove´ Hrady, Czech Republic S. Berger
T. Roitsch Department of Pharmaceutical Biology, Julius-von-Sachs-Institute of Biosciences, Julius-von-Sachs-Platz 2, 97082 Wurzburg, Germany

Dab Faj F0 F¢0

FM

Amplitude of the fundamental harmonic component of the fluorescence transient (j = 0), of the first upper harmonic component (j = 1), and of the second upper harmonic component (j = 2) Set of pixels with transients of fluorescence from healthy tissue Set of pixels from healthy tissue after advanced image segmentation Euklidian distance of fluorescence signals in pixels a and b Fluorescence signal in image j, pixel a Fluorescence emission of a darkadapted plant Fluorescence emission of a light adapted plant measured with the primary acceptor QA oxidized Fluorescence emission of a darkadapted plant

123

244

FM(j)¢

FS FV = FM – F0 FV/FM Fp I0

I1

k-NN M N NPQ = (FM – F¢M(3))/F¢M(3)) P PSII Q A, Q B Rfd = (FP – FS)/FS SFFS T FPSII = (F¢M(3) – ¢ FS)/FM(3) uj

Photosynth Res (2006) 90:243–253

Maximum fluorescence emission of a light adapted plant measured during a strong pulse of light (j is the index of the pulse) steady-state fluorescence emission Variable fluorescence measured in dark-adapted plant Maximum fluorescence yield of PSII Fluorescence in the peak Set of pixels and fluorescence transients from the half of the leaf that is inoculated with the bacteria Sub-set of I0 obtained by elimination of pixels that although from the inoculated leaf do not exhibit symptoms of an infection k-nearest neighbor classifier number of erroneous classifications number of correct classifications Non-photochemical quenching Performance of the classifier P = (N – M)/(N + M) Photosystem II Primary and secondary quinone acceptors of PSII Fluorescence decline ratio Sequentional forward floating search Period of harmonically modulated actinic light Quantum yield of PSII electron transport measured during the third saturating flash of light Phase of the fundamental harmonic component of the fluorescence transient (j = 0), of the first upper harmonic component (j = 1), and of the second upper harmonic component (j = 2)

Introduction Plants are exposed to a multitude of biotic and abiotic stresses that can yield specific symptoms, owing to their distinct influence on plant’s physiology (Chaerle and Van der Straeten 2001). Among the stress symptoms, one invariably finds modulation of photosynthetic activity that can be revealed by measurements of

123

chlorophyll fluorescence emission (Lichtenthaler and Miehe 1997). Chlorophyll fluorescence imaging provides a powerful, non-invasive tool for investigating photosynthesis and its heterogeneity (reviewed in Nedbal and Whitmarsh 2004). Fluorescence transients were shown to carry information that could be used for identification of plant species (Tyystja¨rvi et al. 1999), as well as for early detection of biotic (Balachandran et al. 1994; Chaerle et al. 2004; Meyer et al. 2001; Nedbal et al. 2000a, b) and abiotic stresses (Lichtenthaler and Babani 2000; Mallick and Mohn 2003). The chlorophyll fluorescence images that optimally reveal localized plant stress are mostly found empirically: by browsing the images of conventional fluorescence parameters and by finding those that exhibit the highest contrast. These are either directly recorded, elementary fluorescence images (e.g., F0, FM, F¢0, F¢M(j), FP, FS) or images that are constructed as arithmetic combinations of the elementary fluorescence images (e.g., FV, FV/FM, FPSII, NPQ). Only seldom, parameters that are of no explicit physiological meaning are also included in the search, e.g., F0/FV1was used to detect biotic and abiotic stress in Nedbal et al. (2000b), Mallick and Mohn (2003). Here, we propose a technique searching fluorescence images that were recorded through the entire fluorescence transient regardless of their potential interpretation. The sole optimization factor is the highest contrast between the stressed and control leaf tissue. The primary motivation for this ‘interpretation-blind’ approach originates in our preliminary experience showing that the imaging contrast does not necessarily correlate with the interpretative potential of individual fluorescence parameters. Also contrasting to the earlier techniques, the combinatorial fluorescence imaging is searching not individual images but rather small sets of images. The technique is based on a sequential forward floating search algorithm (Pudil et al. 1994). To some extent, the technique presented here is related to the informatics approach introduced to plant fluorescence research for plant species recognition by Tyystja¨rvi et al. (1999). The method was further improved (Codrea et al. 2003) by applying genetic algorithms (Siedlecki and Sklansky 1989). In addition to statistical tools for feature selection, the technique extends the range of applied experimental protocols. For a contrasting detection of plant stress, one needs to select from a variety of available 1

Although not used in plant physiology, the F0/FV parameter measured at 692 nm and at –196°C was introduced by Kitajima and Butler (1975) to estimate energy transport from Photosystem II to Photosystem I.

Photosynth Res (2006) 90:243–253

experimental protocols. It is not a priori clear that the contrast would be better in low or in high actinic irradiance, in constant light (Schreiber et al. 1986) or in dynamically fluctuating light (Nedbal et al. 2003). We addressed the problem of actinic light effects by designing and applying a complex irradiance protocol and evaluating separately its segments for the highest contrast. The protocol-included application of two actinic irradiance levels both with constant and harmonically modulated amplitudes. The modulation was applied with six different periods: 1.5, 3, 6, 12, 24, and 48 s. The chlorophyll fluorescence transients were captured in 727 image frames of Arabidopsis thaliana infected by Pseudomonas syringae. Out of these image sequences, we identified sets of three fluorescence images that, if used in a combination, yielded the highest contrast between the infected and control leaf segments for each part of the complex actinic light protocol. We also identified the fluorescence images that yielded the highest contrast globally for the entire actinic light protocol. The hypothesis that both, the actinic light protocol as well as the selection of the optimal fluorescence parameters are crucial to achieve a high contrast was confirmed and we demonstrated the capacity of the novel technique to optimize the protocol and identify the most contrasting fluorescence features.

245

volume of bacterial suspension (ca. 10 ll) into the leaf abaxial side. The infiltration was done in the central part of one half of the leaf. The other leaf half remained unaffected by the treatment and served as a control. Four to five leaves of each plant were infiltrated. Chlorophyll fluorescence imaging The chlorophyll fluorescence yield transients were imaged by FluorCam (Photon Systems Instruments, Brno, Czech Republic, www.psi.cz) as described in (Nedbal et al. 2000a). The yield was measured for 700– 750 nm fluorescence emission that was excited by short flashes of orange light emitting diodes (620 nm). The flashes, typically 10–30 ls long, occurred in synchrony with opening of the electronic shutter of the CCD camera. The CCD camera was spectrally limited by an optical filter (RG695) to see chlorophyll fluorescence and to be blind to the exciting light. Actinic light protocol The actinic light protocol co-determines contrast between the infected and healthy tissue segments. In our search for the highest contrast, we tested two protocol families: (1)

Materials and methods Plants and bacteria Arabidopsis thaliana Col gl1 seeds were obtained from the ABRC stock center, Ohio. Plants were grown for 6–7 weeks in pots of 0.1 m diameter filled with garden soil. The plants grew in Sanyo Gallenkamp PLC growth chamber (Leicester, UK) exposed daily to 9 h of 150 lmol (photons) m–2 s–1 of white light at 25°C and in 60% relative humidity. During the remaining 15 h of darkness the temperature was 20°C and the relative humidity was 65%. The bacterial culture of Pseudomonas syringae pv. tomato strain DC3000 was cultivated in King’s B medium prior to experiment and cultivated for another 1.5–2 h at 28°C. Bacterial cells were harvested by centrifugation (4°C, 2700 g, 10 min) and re-suspended in 10 mg/l MgCl2 to optical density OD = 0.2 measured at 600 nm. This optical density corresponded to approximately 108 colony-forming-units/ml. The final cell concentration of 107 colony-forming-units/ml was achieved by another dilution. Needleless plastic insulin syringes (1 ml) were used to gently press a small

The conventional protocol with constant actinic light and saturating flashes (Govindjee 1995; Schreiber et al. 1986) was used to provide a wellknown reference. Named here Kautsky-type protocol, it is described in detail in Fig. 1. The actinic light on- and off-intervals and saturating flashes are shown by the two horizontal bars in Fig. 1a relative to the image number (x-axis). Plotting the transient against image number rather than plotting it conventionally against time is more appropriate for the statistical analysis that is required here. The protocol starts with a dark-adapted plant that is exposed for 70 s to an actinic irradiance 50 or 200 lmol (photons) m–2 s–1. A sequence of five flashes of saturating light was applied in each protocol on top of the actinic light to probe the non-photochemical quenching (Horton and Ruban 1992). Complex fluorescence transient elicited by the saturating flashes and the actinic light was integrated over a leaf (Fig. 1b) or analyzed for each pixel separately. The heterogeneity was also observable to a different extent in individual fluorescence levels (e.g., F0 and FM in Fig. 1c) or in histograms (Fig. 1d).

123

246

Photosynth Res (2006) 90:243–253

(2)

The second protocol family applied oscillating rather than constant actinic light (Nedbal and Brˇezina 2002; Nedbal et al. 2003) as represented in Fig. 2. The protocol started with acclimation to the forced oscillations with 100 periods of 1.5 s that led to converging, stable, periodic oscillations in the fluorescence emission (not shown). The acclimation period was followed by measuring the forced oscillations with periods of 1.5, 3, 6, 12, 24, and 48s. Always, four periods of oscillatory irradiance were applied with 20 fluorescence yield images taken per period. Fig. 2b shows in detail the transients for periods of 6 and 48 s and amplitude of 2 · 40 lmol (photons) m–2 s–1. The fluorescence transient was de-convoluted into the basic harmonics of the period T that was equal to the forcing (solid line in Fig. 2c) and into two upper harmonics with periods T/2 (dashed line in Fig. 2c) and T/3 (dotted line in Fig. 2c). Figure 2d gives an example representing, in a false color scale, the 2nd harmonics, T/2 (dashed line in Fig. 2c) by its amplitude and phase shift obtained with actinic light oscillating with periods T = 6 s (left) and T = 48 s (right). The heterogeneity of the forced oscillations over the leaf surface was also visualized in histograms as shown, e.g., in Fig. 2e.

Data structure The FluorCam instrument produced sequences of images (512 · 512 pixels, 12 bits) capturing dynamic changes of chlorophyll fluorescence emission that were elicited by the actinic light combining protocols described in Figs. 1 and 2. Each complex fluorescence transient was captured by a sequence of 727 images. To facilitate comparison, the irradiance protocol was divided into 19 protocol blocks:

Fig. 1 (a) Kautsky-type protocol starts with a dark-adapted plant that is exposed for ca. 70 s to an actinic irradiance (50 or 200 lmol (photons) m–2 s–1). On top of the actinic irradiance, a sequence of five flashes of saturating light is applied to measure the maximum fluorescence yield: one before, two during and two after the actinic light exposure. (b) The saturating flashes and the actinic light lead to a complex fluorescence transient that is plotted here against the serial number of the image frame. (c) Images of fluorescence emission yield of the dark-adapted leaf (F0) and of the same leaf during the first saturating flash of light (FM). The leaf was infected 24 h prior to imaging. (d) Histograms of the F0 and FM images show the normalized pixel frequency corresponding to various fluorescence levels. The pixel counts shown in the y-axis are normalized to the leaf area

123

(1) Measurement with dark-adapted plant: F0, FM, and dark relaxation (27 images); (2) Transient elicited by Kautsky-type protocol with low light (50 lmol (photons) m–2 s–1) and without quenching analysis (50 images); (3) Quenching analysis during and after the exposure to low constant light (26 images); (4) Dark relaxation after the exposure to low constant light (34 images); (5–7) Protocol blocks 2–4 repeated with high light (200 lmol (photons) m–2 s–1) (8–13) Harmonic forcing with periods T = 1.5, 3, 6, 12, 24, and 48 s and low light amplitude (0–80 lmol (photons) m–2 s–1). Forty images were taken for each period T.

Photosynth Res (2006) 90:243–253

247 b Fig. 2 Features of the protocols with forced oscillations: (a)

Oscillatory light input for periods of 6 and 48 s. Two irradiance amplitudes were used, oscillating between 0–80 and 0–160 lmol (photons) m–2 s–1. (b) Fluorescence transients captured with forcing periods 6 and 48 s. Twenty frames were captured per every period. (c) De-convolution of the variable part of the fluorescence transient into the fundamental component with period T of forcing (solid lines), into the first upper harmonic component with period T/2 (2nd harmonics, dashed lines), and into the second upper harmonic component with period T/3 (3rd harmonics, dotted lines). (d) False color image presentation of the 2nd harmonics of the infected leaf. Color indicates phase shift relative to forcing and brightness indicates the amplitude. (e) Normalized histograms of the 2nd harmonics amplitude during oscillations forced with T = 6 and 48 s

captured transients of an individual leaf in ca. 600 pixels, each considered as statistical unit. Statistical relevance of the present data is further supported in the accompanying paper (Berger et al. 2006) where the technique described here was applied in an extensive study of A. thaliana interaction with virulent and avirulent strains of the pathogen. A priori and a posteriori feature selection The actinic light protocol and sampling frequency represent a priory selection of images that are captured and considered as the starting feature set. A posteriori feature selection eliminated redundant or mutually dependent images from an experimental sequence. Subsets of mutually dependent images were combined into one image that collectively represented the subset. This was averaging of images showing the limiting levels of fluorescence emission (F0, FM). In another case with harmonic forcing, the fluorescence transient was fully represented (Nedbal et al. 2003) by the fundamental harmonics, which have the same period T as the forcing light and by two upper harmonics (T/2, T/3). Each of these components was fully characterized by its amplitude and phase, with six dynamic parameters and the mean emission yield representing sufficiently the entire transient. Thus, we reduced the set of 40 images taken during two periods of forcing in Fig. 3 to six images representing the amplitudes and phases of fundamental and of two upper harmonic components and to one image of average fluorescence yield, in total to seven images. Such an algebraic a posteriori selection reduced the number of independent features per protocol from 727 images to 331 images. (14–19) Protocol blocks 8–13 repeated with high light amplitude (0–160 lmol (photons) m–2 s–1). The statistical analysis was done with two independently infected plants for each treatment, with investigated mature leaves of each plant. The camera

Training and testing data sets with approximate image segmentation In order to further reduce the number of fluorescence images to those that contribute largely to the contrast,

123

248

Fig. 3 (a) Photograph of an Arabidopsis thaliana leaf 24 h after infection by the bacterium Pseudomonas syringae. The bacteria were inoculated into one half of a mature leaf as indicated by the white arrow. (b) Image of maximum chlorophyll fluorescence yield FM of the same leaf

one needs to assess the contrast with a known training reference, with data that were purposefully obtained with samples that are healthy and data on infected leaf segments. In an approximate segmentation, we assumed that the half of the leaf into which the bacteria were injected is representing the transients affected by the infection (I0-set of pixels). The complementary half of the same leaf represented transients of healthy, control tissue (C0-set of pixels). This segmentation was correct for the control C0-set because the symptoms of the bacterial infection do not spread across the midrib during the first 24 h after inoculation (see, e.g., FM in Fig. 1c). The segmentation was approximate for the infected segment because the, thus defined, I0-set included not only the pixels capturing the transients in tissue with fully developed infection, but also the advancing forefront of the infection with some early symptoms, as well as leaf parts that were hardly influenced by the infection. In the approximate segmentation, this heterogeneity of the I0-set was neglected. The I0- and C0-sets of pixels were each randomly split into halves: the training pixel sets Itrain , Ctrain and the testing 0 0 test test pixel sets I0 , C0 . The testing pixels were pooled (Itest + Ctest 0 0 ) and one by one compared with the two reference sets: Itrain and Ctrain . Based on this comparison, 0 0 each pixel transient from (Itest + Ctest 0 0 ) was tentatively classified to be either closer to the transients in the training set representing the infected tissue (Itrain ) or 0 ). closer to the transients in the healthy leaf tissue (Ctrain 0 Advanced image segmentation Only ca. 60% of the pixels imaging the infected half of the leaf were affected by the bacteria (Figs. 1c, 2d, 3b) making the I0-set highly heterogeneous and leading to underestimated performance levels. To eliminate the effect, we performed second image segmentation. The pixels from the infected half of the leaf that were, in these images, more similar (closer) in intensity to the healthy tissue than to the mean fluorescence values in

123

Photosynth Res (2006) 90:243–253

the infected half of the leaf were removed from the performance evaluation. The remaining pixels represented only the leaf segment that was really affected by the infection. In this way, we obtained homogenous sets of pixels Itrain and Itest that represented the fluo1 1 rescence transients affected by the infection much better than the sets Itrain and Itest used with the 0 0 approximate segmentation. Classification and performance assessment A reduced set of j particular fluorescence images Fn1, Fn2,...,Fnj was evaluated for the performance in classifying pooled pixels from the testing set (Itest + Ctest 0 0 ) either correctly or erroneously to the infected I- or control C-sets. For the classification we used the k-nearest neighbor classifier, (k-NN) (Fukunaga 1990). Fluorescence signals of two pixels a and b in the images Fn1, Fn2,…,Fnj were compared using the Euclidean space distance Dab that was defined by differences (Fani – Fbni) of the fluorescence signals in pixels a and b in any image i of the subset: Dab ðn1; n2; . . . ; njÞ ¼

ffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffi sffiffiX ðFia ÿ Fib Þ2

ð1Þ

i¼n1;nj

Classification of a particular pixel x started with calculation of its distances from all pixels in the training set Itrain , and separately, in the Ctrain set. Knowing 0 0 these distances, the k nearest neighbors (k = 5), i.e., pixels with the smallest distances to pixel x, were found in the Itrain set as well as in the Ctrain set. If the mean 0 0 distance to the k nearest neighbors was smaller within the Itrain set than within the Ctrain , the pixel x was 0 0 classified as belonging to the infected segment. If the mean distance was smaller within the Ctrain , it was 0 classified to belong to the healthy segment.2 As we knew from which half of the leaf, infected or healthy, the pixel x originated, the classification was either marked as correct or erroneous. The ratio P = (N – M)/(N + M), where N are the correct classifications and M erroneous pixels classifications, was the parameter that we used to assess the contrast by the performance of images Fn1, Fn2,…,Fnj. The performance parameter P was constructed to be 0 for completely randomized classification (50% correct, 50% erroneous) and to be 1 for the absolute classification capacity (100% correct, 0% erroneous).

2

Note that this procedure served only to evaluate the classification performance of a particular image set and not to classify leaf segments.

Photosynth Res (2006) 90:243–253

249

Feature selection by sequentional forward floating search (SFFS) algorithm The objective of the feature selection was to identify a set of j fluorescence images that yield the highest contrast between the healthy and infected tissue segments. The contrast was measured by the classification performance defined above. Among available algorithms, we choose the SFFS method (Pudil et al. 1994). The method assumes, for i < j, that we have already determined the performance P(n1,…,ni) of the best set of i images Fn1,…,Fni. With this assumption, the algorithm continues searching for an image Fk, which would increase the performance of the (I + 1)-dimensional set by the highest increment to P(n1,…,ni, k). Then, the (I + 1)-extended image set is revised by searching for an image that, if dropped from the set, would decrease the performance to a level P(n¢1,…,n¢i) that would be better than the original P(n1,…,ni). If found, the search for the added contrasting fluorescence image would be repeated with the new starting set F¢n1,…,F¢ni. If not found, the new fluorescence image set Fn1,…,Fni, Fm is accepted as the most contrasting one. The search is continued until the number of thus identified fluorescence images reaches the limit j that was chosen by the researcher. The limit was set to three images (j = 3) for primary detection of the infection, for evaluation of the protocol performance, and for advanced image segmentation. The resolution of early and late infection phases was achieved with eight images (j = 8). Results and discussion Figure 3a shows a real color image of an Arabidopsis thaliana leaf 24 h after it was infected by Pseudomonas syringae. Faint symptoms of the infection are barely visible in the bottom half of the leaf image, indicated by somewhat grayish green shade. Figure 3b shows maximum fluorescence emission FM of the same leaf. Table 1 Classification performance of conventional fluorescence parameters based on the approximate image segmentation (column 3) and on the advanced image segmentation (column 4)

The parameters were measured using actinic irradiance specified in the first column in lmol (photons) m–2 s–1

Light

0 0 0 0 50 50 50 200 200 200

The leaf segment affected by the infection is clearly visible by the depressed fluorescence signal. The contrast-revealing image of the fluorescence emission FM was compared with the F0 image of the same leaf in Fig. 1c. Obviously, no visible contrast between the infected and non-infected leaf segments was seen in F0. It is a general feature of chlorophyll fluorescence imaging that contrast between different leaf segments can vary with the progress of the emission transient. Analysis of experimental results We aimed at finding images that can reveal the infection earlier and with higher contrast than FM. Table 1 shows the contrast between the infected and healthy leaf segments as it was obtained with various other conventional fluorescence parameters. The contrast was quantified by classification performance using the approximate segmentation into the infected and untreated leaf halves (I0 and C0 sets, see Materials and methods) as well as the advanced segmentation that used only the leaf segment truly affected by the infection to represent the infected tissue (I1 and C0 sets, see Materials and methods). The contrast was highest with FV/FM both with the approximate segmentation (performance P = 0.44) as well as with the advanced segmentation (performance P = 0.56). The contrast and performance of individual fluorescence parameters ought to be compared with maximum performance of the three most contrasting images identified by the SFFS algorithm which was P = 0.6 with the approximate segmentation and P = 0.9 with the advanced segmentation (‘all protocol blocks’ line in Table 1). The questions that remained to be answered were: (1)

(2)

Conventional fluorescence parameters or protocol block

Combination of how many and which images yield the maximum contrast in the late phase of the infection (better than FM or FV/FM)? Are the optimal sets of images that identify the early and late phases of the infection identical or different? Approximate segmentation performance

Advanced segmentation performance

All protocol blocks

0.60

0.90

F0 FM FV = FM – F0 FV/FM NPQ = (FM – FM(3)¢)/FM(3)¢ FPSII = (FM(3)¢ – Fs)/FM(3)¢ Rfd = (FP – FS)/FS NPQ = (FM – FM(3)¢)/FM(3)¢ FPSII = (FM(3)¢ – Fs)/FM(3)¢ Rfd = (FP – FS)/FS

0.02 0.24 0.28 0.44 0.10 0.18 0.22 0.12 0.16 0.34

0.02 0.26 0.32 0.56 0.14 0.22 0.24 0.14 0.18 0.38

123

250

(3)

Photosynth Res (2006) 90:243–253

If distinct, can the difference be used to discriminate between tissue segments in various phases of the infection?

How many images are required for the best contrast in the late phase of the infection? The contrast between the healthy and infected leaf segments was quantified by the performance of the 5-NN classification (k-NN classification with five nearest neighbors). Figure 4 shows that, with a single fluorescence image and the approximate segmentation, the performance was only P = 0.38. The performance was increasing with including more images in the classification. For ca. 10 fluorescence images, the performance was approaching its maximum (Pmax = 0.68). Yet, the maximum was very broad and as little as three fluorescence images yielded a reasonably high performance (P = 0.60) while requiring a realistic computation time. In what part of the protocol are the most contrasting images for the late phase of the infection? In order to evaluate the potential of various experimental protocols to visualize infection, we calculated the classification performance of the best set of three fluorescence images that were identified by the SFFS algorithm in each of the protocol blocks. The highest performance levels (Table 2) were found with the approximate segmentation for the Kautsky-type protocol in low light (P = 0.48, with 0.6 being the maximal value achieved with images selected from all protocol blocks) and for several blocks of harmonic forcing with long periods T = 12–48 s, both in low and high light (P = 0.48–0.53 out of maximal 0.6). The highest per-

Fig. 4 The best performance of the 5-NN classification with leaves infected for 24 h. The performance was increasing with the increasing number of images included in the sequentional forward floating search. Classification performance of 0.6 was reached already for three images. The classification did not approach 1 because the approximate image segmentation with the infected leaf half including large tissue segments that were unaffected by the infection (see Fig. 1b)

123

formance levels were achieved with u1 (phase of the fundamental harmonic component T), u2 (phase of the first upper-harmonic component T/2), and u3 (phase of the second upper-harmonic component T/3) as the best set of three fluorescence parameters, all measured with harmonically modulated irradiance of long periods (12, 24, 48 s). With the advanced image segmentation, the effect of the heterogeneity within the half of the leaf that was infected by the bacteria was eliminated. The classification performance of the entire experiment including all protocol blocks increased from P = 0.60–0.90. In the best protocol blocks, the performance was approaching P = 0.76 out of 0.90. The highest performance levels were found again with the harmonic forcing of long periods.

Revealing the early phase of the infection The analysis described so far was trained using data obtained with leaves measured 24 h after the infection. We repeated the search algorithm with fluorescence transients of leaves measured 6 and 9 h after the infection. The sets of images yielding the highest contrast between the infected and healthy tissue in the early phase of the infection were not identical with those found for the late phase of the infection (cf. Tables 1 and 2). In Fig. 5, the top row images show classification using the set of eight images that were identified by the SFFS algorithm as those yielding the highest contrast between the ‘infected’ (red) and ‘healthy’ (blue) tissue. The classification was trained with plants 6 and 9 h after the bacterial inoculation (left and right images in Fig. 5). The images reveal sharp asymmetry of the leaves: with one leaf-half affected by the infection and the other half healthy. For comparison, the middle row images show the FV/ FM ratio which performed best among the conventional fluorescence parameters in Table 1. There is only a faint asymmetry of the leaves in FV/FM that indicates the infection. The bottom row images show another conventional fluorescence parameter frequently used in literature (Chaerle and Van der Straeten 2001) to reveal plant infection, the non-photochemical quenching NPQ. The NPQ parameter failed to reveal the contrast between the healthy and infected halves of the leaves. There are two alternative explanations for the limited capacity of NPQ in revealing the early infection phase. We found consistently that there are two dynamic trends in NPQ during the infection: one increasing and the other decreasing, each with a different time constant––both canceling each other at

Photosynth Res (2006) 90:243–253

251

Table 2 Classification performance with three images yielding the highest contrast for individual protocol blocks with k-NN (k = 5) classification Light

0 50 50 0 200 200 0 80 80 80 80 80 80 160 160 160 160 160 160

Protocol block

Approximate segmentation performance

Image ID

Approximate segmentation performance

Image ID

All Protocol Blocks

0.60

u1 in T = 12 s/80, T = 48 s/80, T = 24 s/160

0.90

u1 in T = 12 s/80, T = 48 s/80, T = 24 s/160

F0, FM, dark relaxation Low light exposure without quenching Quenching analysis in low light Dark relaxation after low light exposure High-light exposure without quenching Quenching analysis in high light Dark relaxation after high light exposure Harmonic forcing with T = 1.5 s Harmonic forcing with T = 3 s Harmonic forcing with T = 6 s Harmonic forcing with T = 12 s Harmonic forcing with T = 24 s Harmonic forcing with T = 48 s Harmonic forcing with T = 1.5 s Harmonic forcing with T = 3 s Harmonic forcing with T = 6 s Harmonic forcing with T = 12 s Harmonic forcing with T = 24 s Harmonic forcing with T = 48 s

0.41 0.48 0.38 0.31 0.34 0.37 0.20 0.19 0.28 0.38 0.40 0.48 0.51 0.24 0.28 0.40 0.53 0.49 0.49

F0, FM, F8 FP, F54, F64 2·FM(1)¢, FM(2)¢ FM(3)¢, FM(4)¢, F0¢ 2·FP, F178 FM(1)¢, 2·FM(2)¢ FM(3)¢, FM(4)¢, F0¢ u1, u3, A3 u1, u3, A3 u1, u3, A1 u1, A3, u2 u1, A1, A2 u1, u2, u3 u1, u2, u3 u1, u2, u3 u1, u2, u3 u1, u2, u3 u1, u2, u3 u1, u2, u3

0.50 0.58 0.48 0.42 0.42 0.34 0.30 0.30 0.34 0.36 0.58 0.70 0.76 0.28 0.42 0.46 0.68 0.64 0.60

2·F0, FM FP, F56, F62 41, FM(1)¢, FM(2)¢ FM(3)¢, FM(4)¢, F0¢ FP, F168, F172 2·FM(1)¢, FM(2)¢ FM(3)¢, FM(4)¢, F0¢ u1, u2, u3 u1, u2, A3 u1, u2, A2 u1, u3, A3 u1, u2, u3 u1, u2, u3 u1, u2, u3 u1, u2, u3 u1, u2, u3 u1, u2, u3 u1, u2, u3 u1, u2, u3

The first column specifies actinic irradiance in (lmol (photons) m–2 s–1) that was characteristic for the particular protocol block named in the second column. Numbers in the third column show the performance of the protocol blocks, which is based on the approximate segmentation. The adjoining column specified the fluorescence images that were found by the SFFS algorithm to yield the highest contrast. In the case of harmonic forcing, the images are specified if showing the phase (u1, u2, u3) or the amplitude (A1, A2, A3) of the 1st, 2nd or 3rd harmonics or the mean emission yield (A0). In case that no other image specification was possible the serial image number is listed

some early time point. Also, the resolving power can be limited by the NPQ heterogeneity that can be both intrinsic as well as caused by the insufficient power of the saturating flash when incident on peripheral or tilted leaf segments. Most important, the images identified by the SFFS algorithm (top row in Fig. 5) were found sufficiently robust as well as superior in revealing the infection in its early phase. Discrimination between the early and late phases of the infection The set of fluorescence images selected as the most contrasting signature of the early, 6–9 h infection phase were: the phase shift of the fundamental frequency u1 with periods of 6 and 48 s in the low light oscillations (0–80 lmol (photons) m–2 s–1) and the phase shift u1 occurring with period of 12 s in the high light oscillations (0–160 lmol (photons) m–2 s–1). The late, 24 h phase of the infection was best seen also during the forced oscillations: in the phase shift of the fundamental frequency u1 with periods 12 and 48 s in the low light (0–80 lmol (photons) m–2 s–1)

and with period 24 s in the high light (0–160 lmol (photons) m–2 s–1). If applied to a plant 48 h after the infection, the ‘6 h’ as well as the ‘24 h’ classification sets were capable of finding different leaf segments (top images in Fig. 6). The distance of individual pixels from the training Itrain and Ctrain sets is indicated by shades of red for the ‘6 h’ training signature (top left) and by shades of blue for the ‘24 h’ training signature (top right). The bottom image shows that the leaf segments identified by the early and late phase signatures differ. The edge of the infected segment is red to violet, indicating the early phase of the infection at the forefront. The central segment is more violet to blue indicating the late phase of the infection. The present study introduced a new technique of combinatorial fluorescence imaging that significantly enhances our capacity to reveal dynamics of the plant– pathogen interaction. The newly found fluorescence signatures yield a resolution of the early and late phases of the infection that were unreachable when using conventional fluorescence parameters. We propose that the present technique can be instrumental also in finding fluorescence kinetic signatures of

123

252

Photosynth Res (2006) 90:243–253

other biotic and abiotic stresses and, after a modest modification, also in finding hyperspectral reflectance signatures. Acknowledgment This work was supported in part by the Czech Ministry of Education, Sports and Youth under the Grant MSM6007665808, by the Czech Academy of Sciences Grant AV0Z60870520, by the Grant Agency of the Czech Republic GACR 206/05/0894 and by the cooperative grants DAAD/CAS D28-CZ31/04-05(TR) and the SFB 567 (SB). Authors thank Dr. Somol of the Institute of Information Theory and Automation of the Czech Academy of Sciences for reading the manuscript. Technical assistance of Ms. Sigrid Lux from Juliusvon-Sachs-Institute of Biosciences, was essential for performing the biological experiments.

References

Fig. 5 (a) False color representation of the classification by the best-performing set of eight images identified by SFFS algorithm in plants 6 (right) and 9 (left) hours after the infection. (b) Fluorescence emission represented by the FV/FM ratio. The false colors show the minimum FV/FM by blue color and the maximum by red, both close to 0.82. (c) The non-photochemical quenching. The false colors are normalized between the NPQ minimum and maximum

Fig. 6 The two top row images show plant 48 h after inoculating the bacteria. The pixels were classified for their resemblance to the ‘infected’ training set I1 generated with other plants 6 h after the infection (top left, red color) and 24 h after the infection (top right, blue color). The early (red) and late (blue) infection signatures are combined in the bottom images

123

Balachandran S, Osmond CB, Daley PF (1994) Diagnosis of the earliest strain-specific interactions between tobacco mosaic-virus and chloroplasts of tobacco-leaves in-vivo by means of chlorophyll fluorescence imaging. Plant Physiol 104(3):1059–1065 Berger S, Benediktyova´ Z, Matousˇ K, Bonfig K, Mueller MJ, Nedbal L, Roitsch T (2006) Visualization of dynamics of plant–pathogen interaction by novel combination of chlorophyll fluorescence imaging and statistical analysis: differential effects of virulent and avirulent strains of P. syringae and of oxylipins on A. thaliana. J Exp Bot. doi: 10.1093/jxb/erl208 Chaerle L, Hagenbeek D, De Bruyne E et al (2004) Thermal and chlorophyll-fluorescence imaging distinguish plant–-pathogen interactions at an early stage. Plant Cell Physiol 45(7):887–896 Chaerle L, Van der Straeten D (2001) Seeing is believing: imaging techniques to monitor plant health. Biochim. Biophys. Acta-Gene Struct. Expression 1519(3):153–166 Codrea CM, Aittokallio T, Keranen M et al (2003) Feature learning with a genetic algorithm for fluorescence fingerprinting of plant species. Pattern Recognit. Lett. 24(15):2663–2673 Fukunaga K (1990) Introduction to statistical pattern recognition. Academic Press, San Diego Govindjee (1995) 63 years since Kautsky - chlorophyll-a fluorescence. Austr J Plant Physiol 22(4):711 Horton P, Ruban AV (1992) Regulation of photosystem-II. Photosynth Res 34(3):375–385 Kitajima M, Butler WL (1975) Excitation spectra for photosystem I and photosystem II in chloroplasts and the spectral characteristics of the distributions of quanta between the two photosystems. Biochim. Biophys.Acta 408(3):297–305 Lichtenthaler HK, Babani F (2000) Detection of photosynthetic activity and water stress by imaging the red chlorophyll fluorescence. Plant Physiol Biochem 38(11):889–895 Lichtenthaler HK, Miehe JA (1997) Fluorescence imaging as a diagnostic tool for plant stress. Trends Plant Sci 2(8):316– 320 Mallick N, Mohn FH (2003) Use of chlorophyll fluorescence in metal-stress research: a case study with the green microalga Scenedesmus. Ecotox Environ Safe 55(1):64–69 Meyer S, Saccardy-Adji K, Rizza F et al (2001) Inhibition of photosynthesis by Colletotrichum lindemuthianum in bean leaves determined by chlorophyll fluorescence imaging. Plant Cell Environ 24(9):947–955

Photosynth Res (2006) 90:243–253 Nedbal L, Brˇezina V (2002) Complex metabolic oscillations in plants forced by harmonic irradiance. Biophys J 83(4):2180– 2189 Nedbal L, Brˇezina V, Adamec F et al (2003) Negative feedback regulation is responsible for the non-linear modulation of photosynthetic activity in plants dynamic light and cyanobacteria exposed to a environment. Biochim Biophys Acta-Bioenerg 1607(1):5–17 Nedbal L, Soukupova´ J, Kaftan D et al (2000a) Kinetic imaging of chlorophyll fluorescence using modulated light. Photosynth Res 66(1-2):3–12 Nedbal L, Soukupova´ J, Whitmarsh J et al (2000b) Postharvest imaging of chlorophyll fluorescence from lemons can be used to predict fruit quality. Photosynthetica 38(4):571– 579

253 Nedbal L, Whitmarsh J (2004) Chlorophyll fluorescence imaging of leaves and fruits. In: Papageorgiu G, Govindjee (eds) Chlorophyll a fluorescence: a signature of photosynthesis. Springer, Dordrecht Pudil P, Novovicova´ J, Kittler J (1994) Floating search methods in feature-selection. Pattern Recognit Lett 15(11):1119–1125 Schreiber U, Schliwa U, Bilger W (1986) Continuous recording of photochemical and nonphotochemical chlorophyll fluorescence quenching with a new type of modulation fluorometer. Photosynth Res 10(1–2):51–62 Siedlecki W, Sklansky J (1989) A note on genetic algorithms for large-scale feature-selection. Pattern Recognit Lett 10(5):335–347 Tyystja¨rvi E, Koski A, Keranen M et al (1999) The Kautsky curve is a built-in barcode. Biophys J 77(2):1159–1167

123

4.3 Visualization of dynamics of plant-pathogen interaction by novel combination of chlorophyll fluorescence imaging and statistical analysis: Differential effects of virulent and avirulent strains of P. syringae and of oxylipins on A. thaliana

Publikováno v: Journal of Experimental Botany (2007) 58(4):797–806

68

Journal of Experimental Botany, Vol. 58, No. 4, pp. 797–806, 2007 Imaging Stress Responses in Plants Special Issue doi:10.1093/jxb/erl208 Advance Access publication 30 November, 2006

SPECIAL ISSUE PAPER

Visualization of dynamics of plant–pathogen interaction by novel combination of chlorophyll fluorescence imaging and statistical analysis: differential effects of virulent and avirulent strains of P. syringae and of oxylipins on A. thaliana Susanne Berger1,*, Zuzana Benediktyova´2,3,*,†, Karel Matousˇ2,3, Katharina Bonfig1, Martin J. Mueller1, Ladislav Nedbal2,3 and Thomas Roitsch1 1

Julius-von-Sachs-Institute of Biosciences, Department of Pharmaceutical Biology, Julius-von-Sachs-Platz 2, D-97082 Wu¨rzburg, Germany 2 Institute of Systems Biology and Ecology, Academy of Sciences of the Czech Republic 3 Institute of Physical Biology, University of S. Bohemia, Za´mek 136, 37333 Nove´ Hrady, Czech Republic Received 7 May 2006; Accepted 20 September 2006

Abstract Pathogen infection leads to defence induction as well as to changes in carbohydrate metabolism of plants. Salicylic acid and oxylipins are involved in the induction of defence, but it is not known if these signalling molecules also mediate changes in carbohydrate metabolism. In this study, the effect of application of salicylic acid and the oxylipins 12-oxo-phytodienoic acid (OPDA) and jasmonic acid on photosynthesis was investigated by kinetic chlorophyll fluorescence imaging and compared with the effects of infection by virulent and avirulent strains of Pseudomonas syringae. Both pathogen strains and OPDA caused a similar change in fluorescence parameters of leaves of Arabidopsis thaliana. The response to OPDA appeared faster compared with that to the pathogens and persisted only for a short time. Infiltration with jasmonic acid or salicylic acid did not lead to a localized and distinct fluorescence response of the plant. To capture the faint early symptoms of the plant response, a novel algo-

rithm was applied identifying the unique fluorescence signature—the set of images that, when combined, yield the highest contrast between control and infected leaf segments. Unlike conventional fluorescence parameters, this non-biased approach indeed detected the infection as early as 6 h after inoculation with bacteria. It was posssible to identify distinct fluorescence signatures characterizing the early and late phases of the infection. Fluorescence signatures of both infection phases were found in leaves infiltrated with OPDA. Key words: Biotic stress, chlorophyll fluorescence, combinatorial fluorescence imaging, harmonically forced oscillations, jasmonic acid, OPDA, photosynthesis, salicylic acid.

Introduction Defence mechanisms are aimed at preventing successful invasion and spreading of micro-organisms attacking the plant or to limit its detrimental effects. Besides non-host

* These authors contributed equally to this work. y To whom correspondence should be addressed. E-mail: [email protected] Abbreviations: F, chlorophyll fluorescence yield (subscripts 0, M, V, P, S define minimal, maximal, variable, peak, and steady-state level, whereas a prime indicates that the parameter was measured in light-exposed plant); FV/FM, maximum quantum yield of PSII photochemistry; UP¼FV#/FM#, the efficiency of excitation energy capture by open PSII in the light-adapted state; UN¼1–UP¼F0#/FM#, quantum yield of non-photochemical processes in PSII in the lightadapted state; UPSII¼(FM–FS)/FM, quantum yield of PSII (non-cyclic) electron transport; U#PSII ¼ (FM# –FS#)/FM#, effective quantum yield of PSII; NPQ¼FM/FM# – 1, non-photochemical chlorophyll fluorescence quenching; PSII, photosystem II; Rfd¼FP/FS–1, chlorophyll fluorescence decrease ratio; qA¼1–F0#/FM, absolute quenching of ChlF; OPDA, 12-oxo-phytodienoic acid. ª The Author [2006]. Published by Oxford University Press [on behalf of the Society for Experimental Biology]. All rights reserved. For Permissions, please e-mail: [email protected]

798 Berger et al.

resistance against all races of a pathogen, host resistance confers resistance to specific, avirulent strains of a generally virulent pathogen. While the virulent strain is able to spread successfully in the host, the avirulent strain is recognized very early and the plant can effectively defend itself (Baker et al., 1997). One of the defence reactions typical for an incompatible interaction with an avirulent strain is programmed cell death of pathogen-attacked cells—the hypersensitive response (Heath, 2000). In addition, a whole plethora of defence responses such as the accumulation of phytoalexins, cell wall strengthening, and the expression of proteins with antimicrobial properties are induced (Dangl and Jones, 2001). The main difference in the plant responses to a virulent and an avirulent strain is the time-course and the extent of the defence reactions, which are much faster and stronger with the avirulent strain (Tao et al., 2003). The induction of the defence responses is signalled by salicylic acid, ethylene, and jasmonic acid (Devoto and Turner, 2005). More recently, it was shown that 12-oxophytodienoic acid (OPDA), a biosynthetic precursor of jasmonic acid, is also biologically active (Stintzi et al., 2001; Taki et al., 2005). OPDA as well as jasmonic acid are derived from linolenic acid and are ubiquitous signals in the plant kingdom. Endogenous levels of these oxidized lipids increase after pathogen infection (Block et al., 2005). Exogenous application of these compounds induces defence gene expression (Creelman and Mullet, 1997). A strong support for an important role for these signalling molecules in defence against pathogens was provided by the altered susceptibility of mutants defective in oxylipin biosynthesis or signalling (Berger, 2002). The activities of OPDA only partly overlap with those of jasmonic acid, suggesting that OPDA has functions similar to jasmonic acid as well as an independent biological activity of its own. This is supported by the analysis of the mutants dde2, which is not able to synthesize OPDA and jasmonic acid, and opr3, which accumulates OPDA but not jasmonic acid. dde2 but not opr3 is more susceptible to necrotrophic fungi (Raacke et al., 2006). This indicates that OPDA is more important than jasmonic acid in the defence against these pathogens. In contrast, both mutants are more resistant to Pseudomonas syringae, suggesting that in the wild type, both jasmonic acid and OPDA negatively affect the defence against this pathogen. The salicylic acid pathway is the most important contributor to resistance against P. syringae (Delaney et al., 1994). A negative cross-talk between salicylic acid and oxylipins has been reported (Cui et al., 2005). Additionally, other research indicates that, depending on the concentration used, salicylic acid and jasmonic acid can have synergistic effects (Mur et al., 2006). In addition to defence induction which is generally related to secondary metabolism, pathogen infection induces dramatic changes in the primary metabolism of

the affected plant tissue. Several pathogens have been found to suppress photosynthesis of the host (Balachandran et al., 1994; Scholes and Rolfe, 1996; Scharte et al., 2005). In contrast, some pathogens pursue an alternative strategy maintaining photosynthesis of the host in green islands of the leaves (Angrasharma and Mandahar, 1993). With either of these pathogen strategies, the carbohydrate metabolism of the infected plant tissue is substantially modified. The sink strength of the plant is typically increased with assimilates mobilized for defence reactions (Roitsch et al., 2003; Roitsch and Gonzalez, 2004). Also affecting the plant metabolism, biotrophic pathogens drain the host resources by consuming assimilates. A co-ordinated regulation of defence, sink metabolism, and photosynthesis has been observed (Jang and Sheen, 1994; Herbers et al., 1996; Ehness et al., 1997), and sugars and defence-related stimuli were shown to mediate this regulatory mechanism independently (Ehness et al., 1997; Sinha et al., 2002). However, it is not clear whether carbohydrate metabolism and defence responses may also be differentially regulated. In favour of a co-ordinated regulation, jasmonic acid was shown to repress the expression of RbcS (Rubisco small subunit) transcriptionally and post-transcriptionally and to promote fruit ripening, senescence, and tuber formation (Creelman and Mullet, 1997). The goal of the present study was to contribute to a better understanding of the regulation of photosynthesis in plants attacked by a pathogen. Fluorescence signatures in Arabidopsis thaliana responding to externally administered oxylipins and salicylic acid were being compared with signatures elicited by virulent and avirulent strains of the hemibiotrophic bacterium P. syringae. For this purpose, chlorophyll fluorescence imaging was used with a complex set of conventional (van Kooten and Snel, 1990; Maxwell and Johnson, 2000; Oxborough, 2004) and non-conventional (Nedbal and Brezina, 2002; Nedbal et al., 2003) actinic light protocols. Unique fluorescence signatures were identified by an advanced statistical analysis of the fluorescence image sequences. The technique resolved very early and late phases of the plant response to the pathogen infection as well as revealing differential effects of the signalling molecules.

Materials and methods Plants Wild-type A. thaliana Col gl1 was grown with a 9 h light/15 h dark cycle in a controlled environment of a Sanyo Gallenkamp growth chamber (Leicester, UK). The plants were exposed to 150 lmol (photons) mÿ2 sÿ1 of white light at 25 °C and at 60% relative humidity during the day. During the night, the temperature was 20 °C and relative humidity 65%. Approximately 6-week-old plants with 10–12 fully developed leaves were used for the experiments.

Combinatorial fluorescence imaging of plant–pathogen interaction 799 Bacteria The virulent bacterial strain P. syringae pv. tomato DC3000 was kindly provided by B Staskawicz, Berkley, CA, USA as well as the avirulent strain that differs by the plasmid carrying the avrRpm1 gene. The bacteria were cultured in Kings B medium containing 50 mg lÿ1 rifampicin and additionally 10 mg lÿ1 tetracycline for the avrRpm1 strain. An overnight culture was diluted 1:50 with fresh King’s B medium prior to the experiment and cultivated for another 2 h at 28 °C. Bacterial cells were harvested by centrifugation (4 °C, 5000 rpm, 10 min) and dissolved first in 10 mM MgCl2 to optical density (OD)¼0.2 measured at 600 nm which corresponded to ;108 cfu mlÿ1. The final cell concentration of 107 cfu mlÿ1 was achieved by another dilution. A needleless plastic syringe was used to gently press ;10 ll of bacterial suspension into the abaxial side of the leaf. The infiltration was done in the central part of one half of the leaf. The other half of the leaf remained untreated and served as a control. Control plants were inoculated with 10 mM MgCl2. Four leaves of each plant were infiltrated and 2–5 plants were characterized for each of the treatments (virulent and avirulent P. syringae, OPDA, jasmonic acid, and salicylic acid). Signalling molecules For treatments with salicylic acid, a solution of the sodium salt obtained from Merck was used. Jasmonic acid was prepared by alkaline hydrolysis of jasmonic acid methyl ester. OPDA was synthesized from linolenic acid using linseed acetone powder and high-performance liquid chromatography (HPLC) purification as described in Parchmann et al. (1997). Oxylipins were diluted to a final concentration of 500 lM in 0.5% methanol before infiltration. Controls were infiltrated with 0.5% methanol, which did not result in effects on photosynthetic parameters at the time points indicated. Kinetic imaging of chlorophyll fluorescence Chlorophyll fluorescence imaging was performed with the FluorCam imaging fluorometer (P.S.I., Brno, Czech Republic, www.psi.cz) adapted to generate harmonically modulated actinic irradiance (Nedbal and Brezina, 2002). In order to evaluate contrast between the infected and healthy plant tissue, a complex actinic light protocol was employed that is described in detail in the Supplementary data available at JXB online). The protocol started with 10 min of dark adaptation followed by measuring flashes (620 nm) that yielded images of minimum fluorescence F0 of the plant with a fully oxidized plastoquinone pool (F0). A short saturating flash of 1200–1500 lmol (photons) mÿ2 sÿ1 of white light transiently reduced the plastoquinone pool, leading to an increase to the maximum fluorescence (FM). After a short dark relaxation, the first actinic irradiance [50 lmol (photons) mÿ2 sÿ1, 620 nm] was applied for 100 s and the corresponding transient of the Kautsky effect was recorded. Two saturating flashes [F#M(1) and F#M(2)] were applied to probe the light-induced non-photochemical fluorescence quenching. The intensity of all saturating flashes applied in the protocol was kept between 1200 and 1500 lmol mÿ2 sÿ1 in the field of view. Fluorescence yield was also measured during 15 s of the dark adaptation followed by the actinic light period. Two other saturating flashes [F#M(3) and F#M(4)] were applied to probe the relaxation of the non-photochemical fluorescence quenching. The experiment continued with 600 s of dark adaptation that was followed by an identical sequence of measuring events applied in the actinic light of 200 lmol (photons) mÿ2 sÿ1. This actinic irradiance was chosen with respect to the capacity of the measuring instrument to represent the high light level. The Kautsky transients with the two irradiance levels, I(t)¼50 and 200 lmol mÿ2 sÿ1, were followed by a battery of transients

elicited by harmonically modulated irradiance I(t)¼I0+I0
sin(2p
t/ T), where T was the period of the harmonic forcing and 2I0 was the amplitude of the actinic light modulation. Details of the technique are described in Nedbal and Brezina (2002), and Nedbal et al. (2003, 2005). Here, fluorescence transients with forcing periods of T¼1.5, 3, 6, 12, 24, and 48 s and with two amplitudes 2I0¼80 and 160 lmol mÿ2 sÿ1 were included. The a priori feature selection reduced the number of fluorescence images representing the entire fluorescence transient from 727 to 331: 247 in Kautsky effect transients and to 84¼23637 images in forced oscillations (Supplementary data available at JXB online). The seven images characterizing the forced oscillation for each period and amplitude of the forcing were the amplitudes and the phases of the fundamental component (period equal to forcing, T) and of two upper harmonics (one-half and one-third of the forcing period, T/2 and T/3), and average fluorescence yield. These 331 images, each consisting of 5123512 pixels with 12 bit resolution, represented the basic data set characterizing the infection or infiltration response of a single plant. Typically, four attached mature leaves of each plant were treated and 2–5 plants were characterized in each of the treatment phases. Time points analysed were 3, 6, 9, 24, and 48 h after treatment. The selected leaves were gently placed on the black paper masks that hid other leaves and prevented substitution of treated and untreated leaves. The statistical feature selection and the image segmentation were based on evaluating individual pixels, while individual leaves consisted of ;600 pixels.

Results Effect of the infection of leaves by a virulent strain of P. syringae on conventional chlorophyll fluorescence parameters

A suspension of the virulent strain of P. syringae DC3000 was infiltrated into one of the two halves in each treated A. thaliana leaf. Four mature leaves of each plant were inoculated. Chlorophyll fluorescence transients of the entire plant were imaged before the inoculation, and 3, 6, 9, 24, and 48 h after the inoculation. Figure 1 shows leaf photographs and images of three selected conventional fluorescence parameters, FV/FM, Rfd, and NPQ, in control plants (left column) and in plants 6 h (middle column) and 24 h after the inoculation (right column). The white arrows indicate the infiltrated leaf segments. The false colour scales shown to the right of the fluorescence images indicate the amplitude of the particular parameter. No symptoms were detectable by eye 6 h after the P. syringae infection, and only faint symptoms were visible after 24 h as documented by the colour photographs in the top row of Fig. 1. The FV/FM fluorescence parameter shown in the second row of Fig. 1 is interpreted as the maximum quantum yield of photosystem II (PSII) (Buffoni et al., 1998; Genty et al., 1989). It remained uniformly high, close to 0.8, 6 h after the inoculation (middle image). A localized decline of FV/FM was documented 24 h after the inoculation with bacteria. This was in agreement with an earlier report on a localized, infection-induced decrease in photosynthesis (Bonfig

800 Berger et al.

Fig. 1. Arabidopsis thaliana control plants (left column) and plants 6 h (middle column) and 24 h (right column) after infiltration by the virulent strain DC3000 of P. syringae. The control plants were untreated or infiltrated with 10 mM MgCl2. The white arrows indicate which leaf and which half of the leaf was treated in the experiments. (A) Colour photographs. The leaves remained attached to plants. (B) False colour image showing FV/ FM—maximum quantum yield of PSII. (C) Rfd—fluorescence decline ratio induced by 200 lmol (photons) mÿ2 sÿ1. (D) NPQ—non-photochemical quenching induced by 200 lmol (photons) mÿ2 sÿ1. The false colours show low values in blue and high values in red. The rainbow bar on the right of each image row shows the scaling.

et al., 2006). The third row in Fig. 1 documents pathogeninduced dynamics in another parameter that is interpreted as a measure of photosynthetic capacity, i.e. the fluorescence decrease ratio Rfd¼(FP–FS)/FS (Lichtenthaler and Miehe, 1997; Lichtenthaler and Babani, 2000; Lichtenthaler et al., 2005a, b). In control plants, the Rfd parameter was significantly less uniform than FV/FM (first images from the left). The Rfd heterogeneity was further increased 6 h after the inoculation (middle image). The trend was not clear though, with a decrease of Rfd in the area of infection in half of the imaged leaves and with a faint increase in the remaining half (Fig. 1). The Rfd parameter was clearly depressed in the infected leaf segment 24 h after the inoculation with bacteria. The bottom row of the fluores-

cence images represents the dynamics of non-photochemical quenching, NPQ¼(FM–F#M)/F#M (Horton and Ruban, 1992). An increase of NPQ in the area of infection was seen to various extents already after 6 h (middle image). Although the NPQ seemed to be more responsive to the infection than both FV/FM and Rfd at this time point, the reliability of this parameter was, however, reduced by its intrinsic leaf-to-leaf variability and by its sensitivity to the geometrical arrangement of the leaf with respect to the incident saturating light (patches in the control plant in Fig. 1). The other source of NPQ variability could be the intensity of the saturating flash that decreased towards the margins of the field of view from 1500 to 1200 lmol (photons) mÿ2 sÿ1. The heterogeneity of the NPQ response

Combinatorial fluorescence imaging of plant–pathogen interaction 801

was further increased 24 h after the inoculation (right image). In some leaves, the NPQ was decreased in the core of the infected leaf area, whereas it was increased around it. This variability of NPQ lowers the potential of this parameter to serve as a reliable classifier of the infection. Differential effects of oxylipin treatment and P. syringae infection on chlorophyll fluorescence signatures

Figure 1 shows that the infection differentially modified the three selected fluorescence parameters. Figure 2 shows the variability of the fluorescence response for a more extended set of conventional fluorescence parameters (Rohacek, 2002). The three spider plots show the dynamics of 19 conventional fluorescence parameters during the infection of A. thaliana by the virulent DC3000 (Fig. 2A) (Table S1 in the Supplementary data available at JXB online) and avirulent RPM1 (Fig. 2B) (Table S2 in the Supplementary data available at JXB online) strains of P. syringae and by infiltration with OPDA (Fig. 2C) (Table S3 in the Supplementary data available at JXB online). Each spider plot consists of three segments: the darkshaded segment represents the parameters measured with dark-adapted plants, the light-shaded segment corresponds to the Kautsky induction measured in low light (50 lmol mÿ2 sÿ1), and the segment without shading represents parameters measured in high actinic light (200 lmol mÿ2 sÿ1). The distance from the centre of the spider plot indicates the relative change of the fluorescence parameter during the treatment. The change was measured by comparing the signals in the untreated half of the leaf with the leaf segment close to the application site. The values between the centre (–100%) and the solid black circle (0%) represent a decrease of the particular parameter during the infection. The values further to the perimeter (+200%)

indicate an increase of the fluorescence parameter. Clearly, the OPDA infiltration elicited in 3 h a response (red line in Fig. 2C) that was similar to the fluorescence response observed in the plants infected by both strains of P. syringae 24 h after the infiltration (red line in Fig. 2A, B). The similarity of fluorescence changes of the three represented treatments indicates with a high confidence that their impact on photosynthetic processes is of a similar biological nature. However, the time-course of the fluorescence changes was different with pathogens and with OPDA. The differences in the dynamics of the response to virulent and avirulent strains were small (compare the left and middle spider plots in Fig. 2). In line with expectations, the changes (green line) occurring 6 h after the infiltration were larger in certain parameters with the avirulent strain than with the virulent one. Yet, this faster onset of the response to the avirulent strain was not obvious any longer in plants 24 h after the inoculation (red line). In contrast to the infected plants, the symptoms rapidly disappeared in the OPDA-treated plants and were not observed 6 h after the infiltration (line not shown because of coincidence with the black line in Fig. 2C). The transient character of the OPDA-induced response can be caused by diffusion and dilution of the signalling compound in the plant tissue. The changes of individual fluorescence parameters represented in the spider plots of Fig. 2 can be characterized approximately into three classes, (i) The parameters measured in dark-adapted plants (F0/FM, FV/FM, and FV/F0). The conventional parameter FV/FM interpreted as the maximum quantum yield of PSII exhibited a small decline with all

Fig. 2. Relative changes of mean values of selected fluorescence parameters in A. thaliana infected by the virulent strain (A) and by the avirulent avrRPM1 strain (B) of P. syringae, and in plants infiltrated by the oxylipin signalling compound OPDA (C). The dark grey-shaded segments show parameters measured with dark-adapted plants. The fluorescence parameters measured during Kautsky induction and quenching analysis in low actinic light are shown in the lightly shaded segments. The non-shaded white segments show fluorescence parameters collected with high actinic light. The parameters collected with the harmonically modulated light are not shown.

802 Berger et al.

treatments. The other mutually dependent parameters F0/FM and FV/F0 lack a clear physiological interpretation but were, in various forms, shown to yield a high contrast in revealing biotic and abiotic stresses (Nedbal et al., 2000; Soukupova et al., 2003). Also here, F0/FM dramatically increased and FV/F0 dramatically decreased during all the three treatments that are represented in Fig. 2. (ii) The quantum yields of non-photochemical processes in PSII in light-adapted plants (UN ¼ F#0/F#M) increased very significantly during the treatment regardless if measured during the first [UN(1)] or second of the saturating flashes [UN(2)]. The relative change was always higher in the low light (shaded background) than in the high light (no shading). The other fluorescence parameter, the NPQ [NPQ¼(FM– F#M)/F#M] is shown in Fig. 1 and discussed in the previous section. (iii) The other parameters shown in Fig. 2 stagnated or decreased upon the treatment. The parameters UP(2), U#PSII(2) decreased more during induction in high light (unshaded sectors of the spider plots), whereas the fluorescence decrease ratio Rfd exhibited a significant decline in low light (shaded sectors of the spider graphs). The spider plots in Fig. 2 can be considered as fluorescence fingerprints of the stress-induced changes in the photosynthetic processes induced by the individual treatments. The similarity of all three fluorescence fingerprints points to identical molecular mechanisms occurring with different dynamics upon infection of A. thaliana by virulent and avirulent strains of P. syringae and upon infiltration of leaf tissue with OPDA. The effects of infiltration by jasmonic acid and salicylic acid were also investigated, but no change in the measured parameters exceeded noise. This observation indicates that there were no effects on fluorescence emission, or that the effects were too transient to be captured, or that the effects were systemic rather than localized. Combinatorial fluorescence imaging

The selection of 19 parameters showing a fluorescence fingerprint (Fig. 2) represents those described earlier in the fluorescence literature (reviewed in Rohacek, 2002). These are typically used as standard parameters for the evaluation of chlorophyll fluorescence data. However, these are not necessarily the parameters that would yield the highest contrast between treated and untreated leaf tissue. The problem of optimal selection of contrast-yielding fluorescence images is addressed in Matous et al. (2006). Here, a complex experimental protocol was applied with 331 independent fluorescence images capturing Kautsky induction and quenching analysis in 50 and 200 lmol

mÿ2 sÿ1 and six transients in fluctuating, harmonically forced light (T¼1.5, 3, 6, 12, 24, and 48 s) with two amplitudes 80 and 160 lmol mÿ2 sÿ1 (Supplementary data available at JXB online). By considering the complete set of fluorescence images and by Sequentional Forward Floating Search (Pudil et al., 1994), one can identify eight fluorescence images that yield the highest contrast between the infected and healthy leaf tissue (Supplementary data available at JXB online). The search can be trained using leaf tissue in the late phase of the infection (by the 24 h trained Late classifier) and, separately, using leaves in the early infection phase (6 h and 9 h trained Early classifier). Figure 3 shows how the algorithm classified individual pixels in fluorescence images of A. thaliana infected by the virulent strain (top block of Fig. 3, left) and the avirulent strain of P. syringae (top block of Fig. 3, right). The bottom figure block shows the classification for infiltration with OPDA (Fig. 3, bottom left) and with jasmonic acid (Fig. 3, bottom right). White shading indicates that the pixel was classified with confidence as belonging to the tissue in the early (left column) or late (right column) phase of the infection by the virulent strain. Black shading indicates that the pixel was classified as healthy tissue. Figure 3 shows convincingly that the resolving power of the combinatorial fluorescence imaging significantly exceeds that of conventional fluorescence parameters in Figs 1 and 2. The classifier trained with leaves that were infected by the virulent strain of P. syringae for 6 h and 9 h was able to identify the infected tissue as early as 6 h after the infection by both virulent and avirulent strains. The symptoms were stronger in the avirulent strain than in the virulent strain. With advancing infection, the Early classifier faded away from the centre to the edge of the infected segment, indicating the early phase of the infection at the forefront. The Late classifier trained with leaves that were infected by the virulent strain of P. syringae for 24 h failed to recognize the early infection phase, while it was very powerful 24 h and 48 h after inoculation. The fact that the classifiers trained with the virulent strain succeeded in recognizing correctly the infection by the avirulent strain confirms the earlier conclusion. The fluorescence signatures and thus the underlying effects on biochemical and/or molecular-genetic processes involved in photosynthesis are identical for both strains (Figs 2, 3). Figure 3 also shows that the classifiers trained with the virulent strain of P. syringae can detect the effects of OPDA (left bottom) too. This proves that the signature is similar. The fluorescence signature of the infection was found sharply 3 h after the OPDA infiltration by the Late classifier and was only slightly weaker when identified by the Early classifier. The signature disappeared rapidly with only faint residues 24 h after the infiltration. The combinatorial imaging failed to detect any symptoms when the leaf was infiltrated by jasmonic acid

Combinatorial fluorescence imaging of plant–pathogen interaction 803

(bottom right) and salicylic acid (not shown). This finding excludes one of the alternative explanations suggested above—a systemic response to the applied plant hormone would be detected as an ‘all white’ image in Fig. 3.

Discussion

Fig. 3. The images generated by classification of individual pixels for their relative resemblance to fluorescence transients affected by 9 h (Early classifier) and by 24 h (Late classifier) of infection by the virulent strain of P. syringae. The white, non-shaded pixels emit fluorescence similar to the infected tissue, while the transients in blackshaded pixels are more similar to the healthy tissue. The classified fluorescence signals were limited to the eight most contrasting images identified by Sequentional Forward Floating Search in the fluorescence transient measured with the virulent strain. The shading scale was calculated as the ratio of Euclidian distance (Supplementary data available at JXB online) between the fluorescence signal in the particular pixel and the mean of its five nearest neighbours from the infected leaf segment and from the control leaf segment. The top left panel represents the classification trained with the selected image sets captured 9 h and 24 h, respectively, after infection by the virulent strain applied to the leaves attacked by the same strain. The top right panel shows classification trained with the virulent strain applied to the avirulent strain. The bottom panels show classification trained with the virulent strain applied to leaves infiltrated with OPDA (left) and with jasmonic acid (right).

Chlorophyll fluorescence imaging allows monitoring of the spatial distribution of photosynthetic activity and capacity. In addition, this non-invasive method provides the opportunity to measure temporal changes and kinetics of processes affecting photosynthetic performance. In this study, the method was applied to detect biotic stress responses and to analyse changes in photosynthesis in the interaction of the model organism A. thaliana with a virulent and an avirulent strain of P. syringae. Additionally, the changes upon pathogen infection were compared with the effect of the signalling molecules jasmonic acid, OPDA, and salicylic acid. Kinetic chlorophyll fluorescence imaging is a wellestablished tool to image localized plant stress (reviewed in Nedbal and Whitmarsh, 2004). The investigated plant is dark-adapted, and the Kautsky-type fluorescence transient is elicited by sudden exposure to constant light and measured together with quenching analysis by saturating light flashes (Schreiber et al., 1986). Frequently, fluorescence parameters used conventionally in plant physiology are scanned and the one yielding the best contrast is used to detect the localized stress (Balachandran et al., 1997; Nedbal et al., 2000; Chaerle and Van der Straeten, 2001; Meyer et al., 2001; Soukupova et al., 2003; Berger et al., 2004; Chaerle et al., 2004). Here, a different strategy was used. A complex protocol was applied including Kautskytype induction with two different irradiance levels and measurement of fluorescence dynamics in fluctuating, harmonically modulated light of various periods and amplitudes. The protocol is described in the Supplementary data available at JXB online. From this measurement, the conventional fluorescence parameters (Figs 1, 2) as well as 331 independent images were obtained. These images were submitted to a Sequentional Forward Floating Search (Pudil et al., 1994) for eight images that in combination yielded the highest contrast between the healthy tissue and tissue infected by the virulent strain of P. syringae. This combinatorial fluorescence imaging was shown to detect the infection as early as 6 h after the inoculation (Fig. 3), and the results indicate an even earlier detection (unpublished data). The technique also discriminated between the early and the late phases of the infection (Fig. 3). The non-biased type of analysis to investigate and predict effects on photosynthesis by combinatorial fluorescence imaging (Fig. 3) was shown to be superior to the conventional approaches (Figs 1, 2) in identifying leaf

804 Berger et al.

segments that are affected by the infection, as well as in its capacity to discriminate between the early and late phase of the infection. In contrast, imaging of the conventional fluorescence parameters has the great advantage of physiological interpretation. The FV/FM images shown in Fig. 1 reveal the effects of the infection only very late, after 24 h, but their interpretation provides a valuable insight: the capacity of PSII was locally reduced by the infection. Photosynthesis decreased after treatment with both P. syringae strains. A decrease in photosynthesis, measured mostly as effective PSII quantum yield, has also been reported upon infection by biotrophic as well as necrotrophic pathogens in different plant systems (Balachandran et al., 1997; Nedbal et al., 2000; Chaerle and Van der Straeten, 2001; Meyer et al., 2001; Soukupova et al., 2003; Berger et al., 2004; Chaerle et al., 2004). This comprises compatible as well as incompatible interactions. In contrast, NPQ has been shown to be positively and negatively affected by pathogen attack. The effect on NPQ might depend on the amount of tissue damage. In tissue not heavily damaged, NPQ might increase based on stimulated electron flow as a protection mechanism (Schreiber, 2004). On the other hand, in severely damaged tissue, inhibition of photosynthetic electron transport might result in decreased NPQ. Treatment with OPDA, but interestingly not with jasmonic acid or salicylic acid, resulted in a decrease in photosynthesis. OPDA is a reactive molecule, since it contains an a,b-unsaturated carbonyl structure (Almeras et al., 2003) while jasmonic acid and salicylic acid do not. This difference could explain why OPDA but not jasmonic acid or salicylic acid affected photosynthesis. It has been shown previously that different sugars, which can function as signalling molecules, decrease effective PSII quantum yield (Sinha and Roitsch, 2001). The present study demonstrates that the plant-derived lipid signalling molecule OPDA also exerts similar effects on chlorophyll fluorescence. Comparison of the fluorescence signature after treatment with both P. syringae strains and with OPDA revealed similarities of OPDA treatment 3 h after infiltration with P. syringae treatment 24 h and 48 h after infiltration. This observation is in agreement with an accumulation of OPDA 24 h after P. syringae infection (Block et al., 2005) and leads to the conclusion that OPDA might be involved in the down-regulation of photosynthesis caused by P. syringae. The fast decrease in FV/FM in response to OPDA infiltration indicates a direct effect of OPDA on PSII due to its reactivity (see above). The effects of OPDA treatment were transient, which might be due to diffusion and/or metabolism of the oxylipin. It is possible that within a few hours OPDA is converted to jasmonic acid, which is not active in changing photosynthetic parameters. Changes in photosynthesis were detectable earlier with the avirulent strain

which induced stronger responses at the 6 h time point compared with the virulent strain. This is in agreement with the earlier detection of and defence induction against the avirulent strain (Dong et al., 1991; Baker et al., 1997). The non-invasive analysis of plant primary metabolism by chlorophyll fluorescence imaging has particularly enriched stress physiological studies. The combination with other non-invasive techniques such as imaging of spontaneous photon emission (Bennett et al., 2005), and the detection of fluorescence reporter genes, labelled pathogens, and secondary metabolites should further upgrade the informative value of the approach. The present study demonstrates that both improvement of measurement protocols and optimization of the image analysis are important targets to be able to define fluorescence signatures that eventually allow discrimination between abiotic stress types and different pathogens. This will also be a prerequisite for online measurement in agricultural application for automation of fertilization and pest control.

Supplementary data Numerical values of fluorescence parameters as well as a description of combinatorial imaging, complex actinic light protocols, and Euclidian distance are provided as Supplementary data associated with this article and are available at JXB online.

Acknowledgements This work was supported in part by the Czech Ministry of Education, Sports, and Youth under the Grant MSM6007665808, by the Czech Academy of Sciences Grant AV0Z60870520, by the Grant Agency of the Czech Republic GACR 206/05/0894, and by the co-operative grants DAAD/CAS D28-CZ31/04-05 (TR) and the SFB 567 (SB). We are grateful to Sigrid Lux for her excellent technical assistance.

References Almeras E, Stolz S, Vollenweider S, Reymond P, Mene-Saffrane L, Farmer EE. 2003. Reactive electrophile species activate defense gene expression in Arabidopsis. The Plant Journal 34, 202–216. Angrasharma R, Mandahar CL. 1993. Involvement of carbohydrates and cytokinins in pathogenicity of Helminthosporium carbonum. Mycopathologia 121, 91–99. Baker B, Zambryski P, Staskawicz B, DineshKumar SP. 1997. Signaling in plant–microbe interactions. Science 276, 726–733. Balachandran S, Hurry VM, Kelley SE, Osmond CB, Robinson SA, Rohozinski J, Seaton GGR, Sims DA. 1997. Concepts of plant biotic stress. Some insights into the stress physiology of virus-infected plants, from the perspective of photosynthesis. Physiologia Plantarum 100, 203–213. Balachandran S, Osmond CB, Daley PF. 1994. Diagnosis of the earliest strain-specific interactions between tobacco mosaic-virus

Combinatorial fluorescence imaging of plant–pathogen interaction 805 and chloroplasts of tobacco-leaves in vivo by means of chlorophyll fluorescence imaging. Plant Physiology 104, 1059–1065. Bennett M, Mehta M, Grant M. 2005. Biophoton imaging: a nondestructive method for assaying R gene responses. Molecular Plant–Microbe Interaction 18, 95–102. Berger S. 2002. Jasmonate-related mutants of Arabidopsis as tools for studying stress signaling. Planta 214, 497–504. Berger S, Papadopoulos M, Schreiber U, Kaiser W, Roitsch T. 2004. Complex regulation of gene expression, photosynthesis and sugar levels by pathogen infection in tomato. Physiologia Plantarum 122, 419–428. Block A, Schmelz E, Jones JB, Klee HJ. 2005. Coronatine and salicylic acid: the battle between Arabidopsis and Pseudomonas for phytohormone control. Molecular Plant Pathology 6, 79–83. Bonfig K, Schreiber U, Gabler A, Roitsch T, Berger S. 2006. Infection with virulent and avirulent P. syringae strains differentially affects photosynthesis and sink metabolism in Arabidopsis leaves. Planta (in press). Buffoni M, Testi MG, Pesaresi P, Garlaschi FM, Jennings RC. 1998. A study of the relation between CP29 phosphorylation, zeaxanthin content and fluorescence quenching parameters in Zea mays leaves. Physiologia Plantarum 102, 318–324. Chaerle L, Hagenbeek D, De Bruyne E, Valcke R, Van der Straeten D. 2004. Thermal and chlorophyll-fluorescence imaging distinguish plant–pathogen interactions at an early stage. Plant and Cell Physiology 45, 887–896. Chaerle L, Van der Straeten D. 2001. Seeing is believing: imaging techniques to monitor plant health. Biochimica et Biophysica Acta 1519, 153–166. Creelman RA, Mullet JE. 1997. Biosynthesis and action of jasmonates in plants. Annual Review of Plant Physiology and Plant Molecular Biology 48, 355–381. Cui J, Bahrami AK, Pringle EG, Hernandez-Guzman G, Bender CL, Pierce NE, Ausubel FM. 2005. Pseudomonas syringae manipulates systemic plant defenses against pathogens and herbivores. Proceedings of the National Academy of Sciences, USA 102, 1791–1796. Dangl JL, Jones JDG. 2001. Plant pathogens and integrated defence responses to infection. Nature 411, 826–833. Delaney TP, Uknes S, Vernooij B, et al. 1994. A central role of salicylic acid in plant disease resistance. Science 266, 1247–1250. Devoto A, Turner JG. 2005. Jasmonate-regulated Arabidopsis stress signalling network. Physiologia Plantarum 123, 161–172. Dong XN, Mindrinos M, Davis KR, Ausubel FM. 1991. Induction of Arabidopsis defense genes by virulent and avirulent Pseudomonas syringae strains and by a cloned avirulence gene. The Plant Cell 3, 61–72. Ehness R, Ecker M, Godt DE, Roitsch T. 1997. Glucose and stress independently regulate source and sink metabolism and defense mechanisms via signal transduction pathways involving protein phosphorylation. The Plant Cell 9, 1825–1841. Genty B, Briantais J-M, Baker NR. 1989. The relationship between quantum yield of photosynthetic electron transport and quenching of chlorophyll fluorescence. Biochimica et Biophysica Acta 990, 87–92. Heath MC. 2000. Hypersensitive response-related death. Plant Molecular Biology 44, 321–334. Herbers K, Meuwly P, Frommer WB, Metraux JP, Sonnewald U. 1996. Systemic acquired resistance mediated by the ectopic expression of invertase: possible hexose sensing in the secretory pathway. The Plant Cell 8, 793–803. Horton P, Ruban AV. 1992. Regulation of photosystem-II. Photosynthesis Research 34, 375–385. Jang JC, Sheen J. 1994. Sugar sensing in higher-plants. The Plant Cell 6, 1665–1679.

Lichtenthaler HK, Babani F. 2000. Detection of photosynthetic activity and water stress by imaging the red chlorophyll fluorescence. Plant Physiology and Biochemistry 38, 889–895. Lichtenthaler HK, Buschmann C, Knapp M. 2005a. How to correctly determine the different chlorophyll fluorescence parameters and the chlorophyll fluorescence decrease ratio R–Fd of leaves with the PAM fluorometer. Photosynthetica 43, 379–393. Lichtenthaler HK, Langsdorf G, Lenk S, Buschmann C. 2005b. Chlorophyll fluorescence imaging of photosynthetic activity with the flash-lamp fluorescence imaging system. Photosynthetica 43, 355–369. Lichtenthaler HK, Miehe JA. 1997. Fluorescence imaging as a diagnostic tool for plant stress. Trends in Plant Science 2, 316–320. Matous K, Benediktyova Z, Berger S, Roitsch T, Nedbal L. 2006. Case study of combinatorial imaging: what protocol and what chlorophyll fluorescence image to use when visualizing infection of Arabidopsis thaliana by Pseudomonas syringae? Photosynthesis Research (in press). Maxwell K, Johnson GN. 2000. Chlorophyll fluorescence: a practical guide. Journal of Experimental Botany 51, 659–668. Meyer S, Saccardy-Adji K, Rizza F, Genty B. 2001. Inhibition of photosynthesis by Colletotrichum lindemuthianum in bean leaves determined by chlorophyll fluorescence imaging. Plant, Cell and Environment 24, 947–955. Mur LAJ, Kenton P, Atzorn R, Miersch O, Wasternack C. 2006. The outcomes of concentration-specific interactions between salicylate and jasmonate signaling include synergy, antagonism, and oxidative stress leading to cell death. Plant Physiology 140, 249–262. Nedbal L, Brezina V. 2002. Complex metabolic oscillations in plants forced by harmonic irradiance. Biophysical Journal 83, 2180–2189. Nedbal L, Brezina V, Adamec F, Stys D, Oja V, Laisk A, Govindjee. 2003. Negative feedback regulation is responsible for the non-linear modulation of photosynthetic activity in plants dynamic light and cyanobacteria exposed to a environment. Biochimica et Biophysica Acta 1607, 5–17. Nedbal L, Brezina V, Cerveny J, Trtilek M. 2005. Photosynthesis in dynamic light: systems biology of unconventional chlorophyll fluorescence transients in Synechocystis sp. PCC 6803. Photosynthesis Research 84, 99–106. Nedbal L, Soukupova J, Whitmarsh J, Trtilek M. 2000. Postharvest imaging of chlorophyll fluorescence from lemons can be used to predict fruit quality. Photosynthetica 38, 571–579. Nedbal L, Whitmarsh J. 2004. Chlorophyll fluorescence imaging of leaves and fruits. In: Papageorgiu G, Govindjee, eds. Chlorophyll a fluorescence: a signature of photosynthesis. Dordrecht, The Netherlands: Springer, 389–407. Oxborough K. 2004. Imaging of chlorophyll a fluorescence: theoretical and practical aspects of an emerging technique for the monitoring of photosynthetic performance. Journal of Experimental Botany 55, 1195–1205. Parchmann S, Gundlach H, Mueller MJ. 1997. Induction of 12oxo-phytodienoic acid in wounded plants and elicited plant cell cultures. Plant Physiology 115, 1057–1064. Pudil P, Novovicova J, Kittler J. 1994. Floating search methods in feature selection. Pattern Recognition Letters 15, 1119–1125. Raacke IC, Mueller MJ, Berger S. 2006. Defects in allene oxide synthase and OPDA reductase alter the resistance to Pseudomonas syringae and Botrytis cinerea. Journal of Phytopathology (in press). Rohacek K. 2002. Chlorophyll fluorescence parameters: the definitions, photosynthetic meaning, and mutual relationships. Photosynthetica 40, 13–29.

806 Berger et al. Roitsch T, Balibrea ME, Hofmann M, Proels R, Sinha AK. 2003. Extracellular invertase: key metabolic enzyme and PR protein. Journal of Experimental Botany 54, 513–524. Roitsch T, Gonzalez MC. 2004. Function and regulation of plant invertases: sweet sensations. Trends in Plant Science 9, 606–613. Scharte J, Schon H, Weis E. 2005. Photosynthesis and carbohydrate metabolism in tobacco leaves during an incompatible interaction with Phytophthora nicotianae. Plant, Cell and Environment 28, 1421–1435. Scholes JD, Rolfe SA. 1996. Photosynthesis in localised regions of oat leaves infected with crown rust (Puccinia coronata): quantitative imaging of chlorophyll fluorescence. Planta 199, 573–582. Schreiber U. 2004. Pulse-amplitude-modulation (PAM) fluorometry and saturation pulse method: an overview. In: Papageorgiu G, Govindjee, eds. Chlorophyll a fluorescence. A signature of photosynthesis. Dordrecht, The Netherlands: Springer, 279–319. Schreiber U, Schliwa U, Bilger W. 1986. Continuous recording of photochemical and non-photochemical chlorophyll fluorescence quenching with a new type of modulation fluorometer. Photosynthesis Research 10, 51–62. Sinha AK, Hofmann MG, Romer U, Kockenberger W, Elling L, Roitsch T. 2002. Metabolizable and non-metabolizable sugars

activate different signal transduction pathways in tomato. Plant Physiology 128, 1480–1489. Sinha AK, Roitsch T. 2001. Effect of different sugars on photosynthesis and chlorophyll fluorescence in photoautotrophic tomato suspension cell cultures. Photosynthetica 39, 611–614. Soukupova J, Smatanova S, Nedbal L, Jegorov A. 2003. Plant response to destruxins visualized by imaging of chlorophyll fluorescence. Physiologia Plantarum 118, 399–405. Stintzi A, Weber H, Reymond P, Browse J, Farmer EE. 2001. Plant defense in the absence of jasmonic acid: the role of cyclopentenones. Proceedings of the National Academy of Sciences, USA 98, 12837–12842. Taki N, Sasaki-Sekimoto Y, Obayashi T, et al. 2005. 12Oxo-phytodienoic acid triggers expression of a distinct set of genes and plays a role in wound-induced gene expression in Arabidopsis. Plant Physiology 139, 1268–1283. Tao Y, Xie ZY, Chen WQ, Glazebrook J, Chang HS, Han B, Zhu T, Zou GZ, Katagiri F. 2003. Quantitative nature of Arabidopsis responses during compatible and incompatible interactions with the bacterial pathogen Pseudomonas syringae. The Plant Cell 15, 317–330. van Kooten O, Snel JFH. 1990. The use of chlorophyll fluorescence nomenclature in plant stress physiology. Photosynthesis Research 25, 147–150.

4.4 Conventional and combinatorial chlorophyll imaging of tobamovirus-infected plants

Přijato k publikaci: Photosynthetica

79

fluorescence

PHOTOSYNTHETICA 46 (X): XXX-XXX, 2008

Conventional and combinatorial chlorophyll fluorescence imaging of tobamovirus-infected plants M. PINEDA*, J. SOUKUPOVÁ** ***, K. MATOUŠ** ***, L.NEDBAL** ***, and M. BARÓN*,+ Department of Biochemistry, Molecular and Cell Biology of Plants, Estación Experimental del Zaidín, Consejo Superior de Investigaciones Científicas (CSIC), C/Profesor Albareda, nº 1, C.P. 18008, Granada, Spain* Institute of Systems Biology and Ecology, Academy of Sciences of the Czech Republic, Zámek 136, Nové Hrady 37333, Czech Republic** Institute of Physical Biology, University of South Bohemia, Zámek 136, Nové Hrady 37333, Czech Republic***

Abstract We compared by chlorophyll (Chl) fluorescence imaging the effects of two strains of the same virus (Italian and Spanish strains of the Pepper mild mottle virus − PMMoV-I and –S, respectively) in the host plant Nicotiana benthamiana. The infection was visualized either using conventional Chl fluorescence parameters or by an advanced statistical approach, yielding a combinatorial set of images that enhances the contrast between control and PMMoV-infected plants in the early infection steps. Among the conventional Chl fluorescence parameters, the non-photochemical quenching parameter NPQ was found to be an effective PMMoV infection reporter in asymptomatic leaves of N. benthamiana, detecting an intermediate infection phase. The combinatorial imaging revealed the infection earlier than any of the standard Chl fluorescence parameters, detecting the PMMoV-S infection as soon as 4 d post-inoculation (dpi), and PMMoV-I infection at 6 dpi; the delay correlates with the lower virulence of the last viral strain. Additional key words: biotic stress; Nicotiana benthamiana; non-photochemical quenching; Pepper mild mottle virus.

Introduction Chlorophyll fluorescence imaging (Chl-FI) is a useful tool to study the spatial and temporal heterogeneity of leaf photosynthesis under biotic stress (Nedbal and Whitmarsh 2004), allowing the diagnosis and quantification of different stress responses. Changes in chlorophyll-fluorescence (Chl-F) yield could be related with physiological alterations in plants infected with bacteria (Berger et al. 2004, 2007, Bonfig et al. 2006),

fungi (Scholes and Rolfe 1996, Chou et al. 2000, Swarbrick et al. 2006), and virus (Balachandran and Osmond 1994, Balachandran et al. 1997, Osmond et al. 1998, Lohaus et al. 2000, Chaerle et al. 2004). In addition, this technique was successful to monitor the effect of herbivory damage (Zangerl et al. 2002, Aldea et al. 2006, Tang et al. 2006).

——— Received 16 October 2007, accepted 2 May 2008. + Corresponding author; fax: ♥, e-mail: ♥ Abbreviations: AS − asymptomatic; CCD − charge-coupled device; Chl − chlorophyll; Chl-F − chlorophyll fluorescence; Chl-FI − chlorophyll fluorescence imaging; dpi − days post-inoculation; F0 − minimum chlorophyll fluorescence in the dark adapted state; FM − maximum chlorophyll fluorescence in the dark adapted state; FM’ − maximum chlorophyll fluorescence in the light adapted state; FM’’ − maximum chlorophyll fluorescence after switching off the “actinic light” (protocol 2); FP − maximum chlorophyll fluorescence reached at the induction curve without saturating flashes; Ft − chlorophyll fluorescence value prior to the saturating pulse in the light-adapted state; FV − variable fluorescence; HI − high irradiance; LDA − Linear Discriminant Analysis; LED − lightemitting diode; LI − low irradiance; PAR − photosynthetically active radiation; NPQ − non-photochemical quenching; NPQt − nonphotochemical quenching at referred kinetics times, t; PN − net photosynthetic rate; PMMoV-S and –I − Spanish and Italian strains of the Pepper mild mottle virus; PS − photosystem; R − image resulting from the combinatorial imaging; Re − recovered; S − symptomatic; SFFS − Sequential Forward Floating Search; ΦPS2 − photosystem 2 quantum yield; ΦPS2-t − photosystem 2 quantum yield at referred kinetics times, t [s]. Acknowledgements: This research and MP´s contract were supported by grants from the Spanish Ministry of Science and Education (MEC-FEDER − grant BIO2004-04968-C02-02 to MBA). The cooperation between the Spanish and the Czech groups was carried out in the frame of the Exchange Programme CSIC/Academy of Sciences of the Czech Republic (projects 2003CZ0011 and 2004CZ0016). JS was supported by the Czech Ministry of Education, Sports, and Youth (grant MSM6007665808) and the Academy of Sciences of the Czech Republic (grant AVOZ60870520).

1

M. PINEDA et al.

Modern Chl–FI instruments support complex measuring protocols with different darkness-adaptation times of the plant, combined with periods of constant “actinic light”, both supplemented by saturating bright flashes. In practice, various types of irradiance protocols have been used to reveal differences between healthy and stressed plants: determining Chl-F values after just one saturating flash (Chaerle et al. 2004, 2006), Kautsky kinetics (Kautsky and Hirsch 1931; reviewed in Lichtenthaler and Babani 2004), harmonic oscillations (Nedbal and Březina 2002, Nedbal et al. 2003, Matouš et al. 2006), quenching analysis with different numbers of saturating flashes (Pérez-Bueno et al. 2006), and combined with various “actinic light” irradiances (Matouš et al. 2006, Berger et al. 2007). In fluorescence induction experiments and quenching analysis, copious information is obtained with a great number of Chl-F parameters associated with the photosynthetic function; the calculation of these parameters is based on the pulse-amplitude technique established by Schreiber et al. (1986). Some coefficients are related to photochemical processes: FV/FM (Kitajima and Butler 1975) and ΦPS2 represent the maximum and effective quantum yields of photosystem 2 (PS2) (Genty et al. 1989); the non-photochemical processes are typically represented by NPQ (non photochemical quenching; Bilger and Björkman 1990). The RFD coefficient related to plant vitality (Lichtenthaler and Rinderle 1988) has also been broadly used. Lists of many others Chl-F parameters related to different physiological functions have been reviewed (e.g. Schreiber et al. 1986, Roháček and Barták 1999, Maxwell and Johnson 2000). Images of such conventional Chl-F parameters could provide a good early stress indicator to follow pathogenesis (PérezBueno et al. 2006). However, standard Chl-F parameters do not always reach a sufficient contrast between healthy and infected tissues. In this context, Soukupová et al. (2003) proposed a simple algorithm to quantify the capacity of the individual Chl-F parameters in detecting effects of fungal phytotoxins in Brassica napus and white mustard. More recently, Matouš et al. (2006) and Berger et al. (2007) described a combinatorial imaging method to map bacterial infection in Arabidopsis. This method searches

for small sets of images, obtained during Chl-F transient, that offer the highest contrast between the stressed and control leaf tissue and that can be effectively used to visualize the pathogenic action during the early infection phase. Here, the experimental host-pathogen system studied was Nicotiana benthamiana plants infected with the Italian and Spanish strains of the Pepper mild mottle tobamovirus (PMMoV-I and -S, respectively). They were isolated in Sicily (Italy) and Almería (Spain), respectively (Wetter et al. 1984, Alonso et al. 1989). PMMoV-I is less virulent than PMMoV-S (García-Luque et al. 1993, Rahoutei et al. 2000) and only PMMoV-I-infected plants could recover from their symptoms (Chaerle et al. 2006). Infection with both tobamoviruses causes serious economic losses worldwide in pepper crops (Alonso et al. 1989, Lamb et al. 2001). In previous studies (Barón et al. 1995, Rahoutei et al. 1998, 1999, 2000, Pérez-Bueno et al. 2004) we have proposed the oxygen-evolving complex as the primary target of these tobamoviruses on the electron transport chain. Chl-FI studies of N. benthamiana plants infected with PMMoV-I revealed that NPQ was a good reporter of the infection process in leaves which remain asymptomatic (AS) during the infection process, paralleling the spread of the virus in these leaves (Pérez-Bueno et al. 2006). Chaerle et al. (2006) detected thermal and Chl-F responses in N. benthamiana plants infected with either PMMoV-S or -I. They found that PMMoV-S induced earlier alterations than PMMoV-I in the Chl-FI pattern of AS leaves from infected plants, in accordance with the different virulence of the viral strains. However, the first reporter of viral infection was the temperature increment registered near the main veins. The aim of the present study was to further investigate possibilities of an early detection of the infection of N. benthamiana plants by the above mentioned two strains of the same virus. In addition, we tried to identify the differences between the infection progresses induced by these two tobamoviruses. We used imaging of conventional Chl-F parameters as well as combinatorial imaging (Matouš et al. 2006, Berger et al. 2007). These techniques were primarily compared in their capacity to resolve the early infection phases.

Materials and methods Plant and virus: N. benthamiana Gray plants were cultivated in a growth chamber at 100 µmol (photon)·m−2·s−1 PAR (photosynthetically active radiation), generated by cool white fluorescent lamps, with a 16/8 h light/dark photoperiod, a temperature regime of 24/18 ºC (day/night), and a relative humidity of 65 %. At the 6−7 fully-expanded-leaf stage, plants were mechanically-inoculated with PMMoV in the three lower leaves, using carborundum powder and 25 µm3 of inoculum per leaf (50 µg of tobamovirus per cm3 of

2

20 mM sodium phosphate/bisphosphate buffer, pH 7.0). Two strains of PMMoV were used in the experiment: Italian (PMMoV-I) and Spanish strain (PMMoV-S). Control mock-inoculated plants were treated with buffer only. All the results of this work have been obtained comparing control mock plants with infected ones. Starting with the lowest inoculated leaf and numbering leaves in ascending order, we have analysed leaf number 5 as the AS one.

CONVENTIONAL AND COMBINATORIAL CHLOROPHYLL FLUORESCENCE IMAGING

Chl fluorescence measurements were performed by a commercial kinetic Chl fluorescence instrument (FluorCam, Photon System Instruments PSI, Brno, Czech Republic; www.psi.cz), described by Nedbal et al. (2000). Chl-F emission from a leaf was excited by two panels of light-emitting diodes (LEDs) (λmax ≈ 635 nm) that generate measuring flashes (10 µs) and “actinic light”. Brief and intense saturating radiation pulses [1 500 µmol(photon) m−2·s−1, 1 s] were generated by a 250-W “white” (λ = 400−700 nm) halogen lamp. The Chl-F emission transients are captured by a CCD (charged coupled device) camera in series of images at 12-bit resolution in 512×512 pixels, taking fifty images per second. The reflected radiation is blocked by a far-red filter (RG697, Schott, Mainz, Germany). All measurements were carried out in attached leaves. The Chl-F transients of AS leaves were elicited by three measuring protocols (Fig. 1):

out using two “actinic light” irradiances and four saturating radiation pulses. After measurements of F0 and FM, a short dark relaxation (16 s) followed. Then, the leaf was exposed to a low “actinic light” [LI, 50 µmol (photon)·m−2·s−1] for 100 s and the corresponding Chl-F induction was recorded. Two saturation pulses at 2 and 90 s after switching on the “actinic light”] were applied to measure FM(1)’ and FM(2)’, respectively, to probe the irradiation-induced quenching. A short dark adaptation (16 s) followed by two other saturating pulses (5 s = FM(1)’’ and 16 s = FM(2)’’ after switching off the “actinic light”) allows the measurement of NPQ recovery. These measurements were followed by 600 s of dark adaptation and then by an identical sequence of measurements under higher “actinic light” irradiance [HI, 200 µmol (photon)·m−2·s−1]. The experiment was performed with twelve plants (four repetitions for control, PMMoV-I and PMMoV-S infected plants). Using protocols 1 and 2, the following parameters were calculated according to Maxwell and Johnson (2000): non-photochemical quenching: NPQ = (FM − FM’)/FM effective quantum yield of PS2:ΦPS2 = (FM’ − Ft)/FM’ P r o t o c o l 3 : After F0 measurements on darkadapted leaves, the Chl-F induction curve (Kautsky effect) was measured under continuous “actinic” irradiance at both LI and HI. A dark period (600 s) was separating LI and HI measurements. The experiment was also performed with twelve plants (four repetitions for control, PMMoV-I and PMMoV-S infected plants).

Fig. 1. Schematic description of the three protocols used in this work for measuring attached AS leaves. Dark boxes show the dark periods in every measurement. The irradiance by “actinic light” applied in every protocol is indicated in the white boxes. The white arrows display the moment of F0 measurement. Every black arrow shows the saturating flashes applied to the AS leaves [1 500 µmol(photon)·m−2·s−1]. Over every black arrow a legend indicates if the obtained Chl-F value corresponds to FM, FM’, or FM’’.

P r o t o c o l 1 : This quenching analysis was previously described by Pérez-Bueno et al. (2006). Here, F0 and FM measurements on dark-adapted leaves were followed by 16 s of dark (Fig. 1, upper row). Then, the leaves were irradiated with continuous “actinic light” corresponding to the cultivation irradiance [100 µmol (photon)·m−2·s−1] for 2 s, supplemented with 11 saturating pulses to measure FM’ [at 2, 5, 10, 20, 30, 60, 90, 120, 180, 240, and 300 s of “actinic light”]. Four repetitions of the infection process were done, with four plants for every treatment (control, PMMoV-I and PMMoV-S infected). P r o t o c o l 2 : This quenching analysis was carried

Image selection and data analysis: A large amount of information was compiled as a function of the postinfection time, virus strain, and selected Chl-F parameter. Images of the Chl-F parameters showing the highest contrast between leaves of control and infected plants were selected. NPQ and ΦPS2 were the best indicators of the PMMoV infection, as described in Results. Images of both standard and novel Chl-F parameters showing marked differences between control and infected leaves were displayed in false-colour scale. Chl-F transients were obtained by integrating signal over the entire leaf area when measuring protocols 2 and 3 were applied. Combinatorial imaging: The technique of combinatorial imaging is described in detail in Matouš et al. (2006) and Berger et al. (2007). This method was applied on data obtained by the most complex protocol 2. Here, we trained the algorithm using data of plants infected with PMMoV-S at 16 d post-inoculation (dpi), because of the higher virulence of this viral strain (García-Luque et al. 1993, Rahoutei et al. 2000). Moreover, at 16 dpi the symptoms were relatively strong; thus, the assessment of classification performance was possible. In this “training” process, we found a set of three Chl-F images that yielded

3

M. PINEDA et al.

maximum contrast between control (4 plants) and PMMoV-S infected plants (4 plants) (classification performance) at 16 dpi using Sequential Forward Floating Search algorithm (SFFS, Pudil et al. 1994, Matouš et al. 2006). Here, each set of three Chl-F images was evaluated by SFFS for its capacity to discriminate the control and infected plants. In this process, any arbitrarily selected pixel in the testing Chl-F image was compared to homologous training sets of control and infected plant images. If its Chl-F levels were more similar to the infected plants, the pixel was classified as “infected”, otherwise it was classified as “healthy”. Then, we used the a priori knowledge as to what plant this particular pixel belonged to and decided if the classification was correct or erroneous. The subset of Chl-F images that yielded the lowest error rate and, thus, the highest performance was selected as the most contrasting images for combinatorial imaging in the system PMMoVN. benthamiana. The classification was carried out by Linear Discriminant Classifier (Fukunaga 1990).

After identification of the set of the three most contrasting images (features), the LDA (Linear Discriminant Analysis) algorithm (Fukunaga 1990) was used to find their linear combination into one-dimensional artificial parameter R. Once the R parameter was calculated, its distribution in all measured leaves (controls, PMMoV-I and PMMoV-S infected) at different dpi was further used to follow the viral infection. The resulting image (the distribution of R in leaves) was shown in false colour scale. The resulting images express similarity of the pixels of the measured leaf, at the particular dpi, to the training sets of healthy or infected plants, respectively. In this study, the R distribution was used to evaluate the difference between control and infected plants; and thus to reveal the infection symptoms at its early stage. The R parameter has no physiological meaning and it is specific for this particular infection in the abovementioned cultivation conditions.

Results Visual symptoms: First symptoms, consisting in the appearance of new curly young leaves, were visible in PMMoV-infected plants from 5−7 dpi onwards (PMMoV-S and -I, respectively; Fig. 2A,B). We have focused this study in the AS leaves, that were totally developed at the time of infection and did not show any symptoms during the infection process (Fig. 2A,C). Growth was inhibited in plants infected with either one of the virus strains, being evident at 14 dpi (Fig. 2A). At 24 dpi, plants infected with PMMoV-S were totally senescent, and were no longer measured; whereas PMMoV-I-infected plants started to recover from the symptoms (as evaluated by emergence of new unaffected leaves and an internode elongation) from 21−28 dpi (Fig. 2D,E). Study of standard Chl-F parameters during quenching analysis (protocol 1): We have analyzed various conventional Chl-F parameters in order to find those that can discriminate the two infections with two similar strains of the PMMoV in the early infection stages and in the absence of symptoms. By empiric qualitative inspection, we found that NPQ and ΦPS2 were the highly effective Chl-F parameters detecting PMMoV infection in N. benthamiana plants (Fig. 3), in contrast to other conventional parameters as FV/FM, RFD, qTQ (total quenching; Roháček and Barták 1999), or qCN (complete non-photochemical quenching; Roháček and Barták 1999) (data not shown). The earliest changes on NPQ pattern discriminating infected and control plants were detected at 17 dpi, as shown in Fig. 3A. Saturating irradiance that elicited hardly any NPQ in control plants (top row), led to a high and sustained NPQ in AS leaves of PMMoV-I infected

4

plants (middle row). The NPQ in PMMoV-S plant (bottom row) was stronger than in controls (top row) but somewhat weaker than in PMMoV-I plant (middle row). A heterogeneous pattern of NPQ in the AS leaves of infected plants was observed, consisting of different NPQ values in leaf tissue surrounding the main veins and in the intervein tissue. The NPQ pattern started to be visible in NPQ images taken 20 s after switching on the “actinic light” (NPQ20); the highest overall contrast was achieved at 60 s and persisted up to 240 s. Fig. 3B displays the dynamics of NPQ20 distribution over the leaves during the first 28 dpi. NPQ20 (NPQ measured after 20 s of the “actinic light” exposure) was the kinetic point showing the greatest differences between control and PMMoV-infected plants over the entire infection period. Prior to 17 dpi, we could not find any significant response in NPQ20 pattern. Starting at 17 dpi, AS leaves of the infected plants developed characteristic NPQ20 patterns. Considering the signal over the whole leaf, NPQ was higher in the infected plants compared to control at 17 dpi (Fig. 3A) and the relationship became inverse between 19 and 28 dpi (Fig. 3B). At 24 dpi, plants infected with PMMoV-S were already senescent, and were no longer measured. The analysis of the spatial pattern of ΦPS2, another frequently used Chl-F parameter, displayed differences between PMMoV-S infected and control plants, first at 17 dpi. A specific ΦPS2 pattern in infected plants was only evident at 2 s after switching on the “actinic light” (ΦPS2-2) (data not shown). We have followed the progress of ΦPS2-2 pattern of control and infected leaves throughout the infection period (Fig. 3C). Between 17−24 dpi, AS leaves of PMMoV-S-infected plants displayed a characteristic spatial pattern, with higher ΦPS2-2 in the tissues

CONVENTIONAL AND COMBINATORIAL CHLOROPHYLL FLUORESCENCE IMAGING

Fig. 2. Symptomatology of Nicotiana benthamiana plants infected with PMMoV, compared with their respective control plants. (A) Representative images of control, PMMoV-S- and PMMoV-I-infected plants at 14 dpi. (B) Detail of the S (symptomatic) curled leaves of PMMoV-infected plants and their corresponding controls at 7 dpi (size bar: 10 mm). (C) Detail of the AS (asymptomatic) leaves of PMMoV-infected plants and the corresponding control leaves at 17 dpi (size bar: 40 mm). (D) Images of control and infected plants at 24 dpi, displaying the symptom recovery phase in PMMoV-I-infected plants. Re − recovered leaves. (E) Detail of a PMMoV-I infected plant at 28 dpi, showing the emergence of new unaffected leaves (size bar: 10 mm).

surrounding the main veins than in intervein tissues. The ΦPS2-2 pattern was more homogeneous throughout the whole leaf in case of PMMoV-I and control plants. This feature of PMMoV-S infection can be considered for differentiation from PMMoV-I. Analysis of Chl-F parameters and Chl-F kinetics (protocol 2): Using the protocol 1, we did not detect any PMMoV-induced changes on the Chl-F parameters prior 17 dpi. Matouš et al. (2006) and Berger et al. (2007) showed that the resolving capacity of Chl-FI depends on the measuring protocol. Thus, we have used a complex protocol with two different “actinic light” irradiances. The Chl-F kinetics of control and infected plants were compared, analysing separately the results obtained under HI and LI. As expected, the first differences between control and PMMoV-infected plants were detected at 16 dpi in the NPQ pattern under LI (Fig. 4A) and HI (Fig. 4B): The NPQ images of the AS leaves obtained at the first saturating pulse in the dark under both LI and HI, where the difference in the NPQ pattern between control and infected leaves was the highest. Significant heterogeneity in NPQ pattern developed in NPQ at 16 dpi, whereas no

changes were seen at 9 dpi. The heterogeneity was stronger under HI (Fig. 4B) than under LI (Fig. 4A). Other conventional Chl-F parameters obtained by the protocol 2 did not perform better than NPQ shown in Fig. 4. In another attempt to find differences between the control and infected plants, we integrated the Chl-F signal over the entire leaf surface and identified differences between the F0-normalized Chl-F transients measured by protocol 2 (Fig. 5). First differences were observed at 13 dpi under LI, becoming well pronounced at 16 dpi under both irradiances. The largest differences were seen in the Chl-F decline following the local transient maximum FP. Analysis of Kautsky kinetic (protocol 3): Since the strongest differences between Chl-F transients of control and infected plants were found during the Chl-F decline from FP, we applied protocol 3, which was focused on detailed monitoring of Kautsky-type induction under LI and HI (Fig. 6A,B, left panels). The Chl-F kinetics of PMMoV-infected plants changed with the infection progress and significant differences were found compared with the controls. Remarkable differences between Chl-F transients of control and infected plants were found in the first phase

5

M. PINEDA et al.

Fig. 3. Images of non-photochemical quenching (NPQ) and photosystem 2 quantum yield (ΦPS2) obtained from measurements using protocol 1 in AS leaves from control and PMMoV-infected plants. Chl-F images are shown for representative samples. (A) Transient of NPQ during the chlorophyll fluorescence induction kinetics at 17 dpi. (B) NPQ20 (NPQ at 20 s after the onset of “actinic light”) pattern at different dpi (displayed at the bottom of the figure). (c) ΦPS2-2 (ΦPS2 at 2 s after switching on the “actinic light”) pattern at different dpi. The colour scale indicates the amplitude of every fluorescence parameter.

Fig. 4. NPQ images of AS leaves from measurement by protocol 2 at different dpi (indicated at the bottom) in plants exposed at low (A) and high “actinic light” (B). NPQ was measured during an early phase of quenching relaxation, 5 s after switching off the “actinic light”. LI: 50 µmol(photon)·m−2·s−1; HI: 200 µmol(photon)·m−2·s−1. NPQ images are shown for representative samples.

6

CONVENTIONAL AND COMBINATORIAL CHLOROPHYLL FLUORESCENCE IMAGING

Fig. 5. Chl-F transients of AS leaves measured with protocol 2 at different dpi. A brief description of the protocol is provided at the top of the figure, and the distinct peaks (FM, FP, FM(1)’, FM(2)’, FM(1)’’, and FM(2)’’) are depicted in the 9 dpi transient Chl-F kinetic. LI: µmol (photon)·m−2·s−1; HI: 200 µmol(photon)·m−2·s−1. Individual Chl-F transients represent averaged Chl-F signal over the four measured leaves (controls, PMMoV-I and PMMoV-S infected plants). Fluorescence values were normalized to F0.

of the induction transient: during the rise to FP and the subsequent decline (Fig. 6A,B, right panels). At 9 dpi, transients of PMMoV-infected plants differed from that of control at 1 s (F1/F0) and 5 s (F5/F0) after switching on the incident irradiance. The ratio F5/F0 yielded a significant contrast both under LI and HI, with the difference being slightly higher in HI. Although at 13 dpi this feature persisted even at lower values, another differential feature appeared at 7 s, which was associated with the PMMoV-S infection, and the difference between the transient of PMMoV-I infected plant and control was lower (<10 %). At 16 dpi the transients from control and infected plants differed in various time points. The empirical selection of F5/F0 to reveal PMMoV infection in N. benthamiana was confirmed by imaging this parameter during the early infection phase (Fig. 7). AS leaves of infected plants showed a spatial pattern of F5/F0 under HI at 9 dpi. The intensity of the Chl-F signal surrounding main veins in these leaves is lower than in the rest of the leaf blade (Fig. 7). At 13 and 16 dpi (middle and right columns), the AS leaves of infected plants showed a higher value for this parameter in the intervein parts, starting from the edges. Chl-F signal of control leaf remained low and homogeneous until 16 dpi. The parameter F5/F0 was more capable in resolving the PMMoV infection than the often used conventional

parameters NPQ and ΦPS2. Combinatorial imaging (protocol 2): The contrast in the standard Chl-F parameters between infected and control leaves was sub-optimal in the experiments that we have already described. To find the maximum contrast between the control and infected leaves, we applied the combinatorial imaging method (see Materials and methods, Matouš et al. 2006) to the data obtained by protocol 2 that probed the entire Chl-F transient. We found as the most contrasting images [I(t)] those taken at times t1 = 5 s, t2 = 21 s, and t3 = 736 s (i.e. at 5 and 21 s of LI, and 16 s of HI). These images are not important for the viral detection when they are used separately, but their combination is strong enough for this purpose. The optimal linear combination was: R = −0.155·I(5 s) − 0.574·I(21 s) + 0.804·I(736 s) R is the resultant one-dimensional artificial parameter without any physiological interpretation, expressing only the contrast between infected and healthy plants, with no units, and no meaning of the constants in the equation. Fig. 8 shows the resulting combinatorial images (R) of AS leaves from controls as well as PMMoV-I and PMMoV-S infected plants at different dpi. The resulting image R was calculated pixel-by-pixel according to above mentioned equation and shown in false colour scale.

7

M. PINEDA et al.

Fig. 6. Chl-F induction transients registered under protocol 3 and elicited by low (LI, A) and high irradiance (HI, B) in AS leaves from control and infected plants (left panels). Chl-F transients represent averages of Chl-F signal integrated over the whole AS leaves from control as well as PMMoV-I and PMMoV-S infected plants at different dpi. Differences [%] between control and infected plants at different dpi are displayed in the right panels. LI: µmol(photon)·m−2·s−1; HI: 200 µmol(photon)·m−2·s−1. Fluorescence values were normalized to F0. The transients and the transient relative differences are shown for plants at 9, 13, and 16 dpi.

Using this approach, the PMMoV infection was detected already at 4 and 6 dpi (for PMMoV-S and -I, respectively). We proved that R can be used not only for the PMMoV-S infection, on which the classifier was trained, but also for the detection of PMMoV-I infection due to

the similarity in observed symptoms. We also checked the ability to detect the infection in young symptomatic leaves of both PMMoV-S and PMMoV-I infected plants during the infection (data not shown). In all cases, the PMMoV infection was detected in 100 % of infected plants using combinatorial imaging.

Discussion Chl-FI has been broadly applied to study biotic stress in plants (Nedbal and Whitmarsh 2004), making it possible to follow the physiological alterations induced in the infected plants (Lichtenthaler and Miehé 1997). Our previous works with PMMoV-infected plants showed that images of both Chl-F (Chaerle et al. 2006) and NPQ (Pérez-Bueno et al. 2006) reflect the viral distribution on leaves, which, otherwise, remains asymptomatic during the viral infection. In this study, conventional and combinatorial Chl-F imaging of leaf was used to detect the early phases of infection and to differentiate between the infections with two viral strains of PMMoV on N. benthamiana plants. In agreement with Pérez-Bueno et al. (2006), we found that PMMoV-I infection induced in the AS leaf from the host plant a complex and characteristic NPQ

8

pattern from 16−17 dpi onwards (Figs. 3A,B and 4). This pattern is better defined in PMMoV-S infected plants, correlating with the higher virulence of this viral strain. NPQ pattern at 17 dpi corresponds to the viral location in these leaves at the same infection points, tested by tissue print (Chaerle et al. 2006, Pérez-Bueno et al. 2006). Changes on the NPQ pattern reflect a functional response to the infection rather than a viral-induced decrease of the leaf Chl content, as we previously demonstrated (Rahoutei et al. 2000, Chaerle et al. 2006). Dynamics of NPQ in the leaf regions colonized by the pathogen are a relevant signature of plant pathogenesis (Chou et al. 2000, Berger et al. 2004) and correlate with the symptom development (Osmond et al. 1998, Lohaus et al. 2000). The NPQ increase that appears during the acute phase of the infection in tissues surrounding the

CONVENTIONAL AND COMBINATORIAL CHLOROPHYLL FLUORESCENCE IMAGING

Fig. 7. Images of F5/F0 parameter of the representative AS leaves under high irradiance [HI, 200 µmol(photon)·m−2·s−1] at different dpi captured using measurement protocol 3. F5 is the chlorophyll fluorescence value at 5 s of the induction curve. Fluorescence values were normalized to F0.

Fig. 8. Combinatorial imaging analysis of the representative AS leaves measured by protocol 2. The resultant image (R; see combinatorial imaging chapters in Materials and methods as well as in Results) obtained by this technique displays the best contrast between control and infected plants. The false colour scale indicates the intensity of the signal in relative units. Blue area means pixels classified as “healthy” and red ones correspond to “infected” classified pixels.

main veins may be induced by several alternative molecular mechanisms. Viruses disturb the donor site of PS2 due to lower extrinsic protein contents (Rahoutei et al. 2000, Pérez-Bueno et al. 2004), which may require enhanced protective energy dissipation (van Wijk et al. 1993, Critchley and Russell 1994). Viruses also upset the Benson-Calvin cycle (Zhou et al. 2004, Sajnani et al. 2007) a situation that can increase the trans-thylakoid proton gradient, which modulates the NPQ process

(Ruban and Horton 1995). Another process regulating the trans-thylakoid proton gradient is the cyclic electron transport around photosystem 1 (Horton et al. 2005), which was proposed to be stimulated during viral infection (Sajnani et al. 2007). Independently of its origin, the elevated NPQ during the viral infection could be a host-defence response delaying photoinhibition until the final infection steps (Balachandran et al. 1997). Such damage could explain the late decrease of FV/FM (point measurements by Rahoutei et al. 2000) that was also seen in our experiments at 19−21 dpi (not shown, provided as supplementary data). Analysis of the ΦPS2 kinetic at different infection points revealed that ΦPS2-2 (at 2 s after switching on the “actinic light”) is the only parameter differentiating between the infections with every viral strain in the last infection steps (17−21 dpi). ΦPS2-2 pattern, like the NPQ20 one, also correlates with the viral distribution in the infected leaf (Chaerle et al. 2006, Pérez-Bueno et al. 2006). Compared to the detection by NPQ and ΦPS2-2, the biotic stress was revealed somewhat earlier when the selection of Chl-F parameters was not restricted to the most conventional ones. When we analysed the Chl-F transients under two “actinic” irradiances (Kautsky effect, measuring protocol 3), the first differences between PMMoV-infected and control plants were found at 9 dpi during the initial Chl-F increase and decline from the FP (Fig. 6), with F5/F0 images displaying a heterogeneous Chl-F pattern in infected plants (Fig. 7). Regions emitting less Chl-F corresponded to zones of higher NPQ (Fig. 3A,B). In the later post-infection days, there was an increment of kinetic time points displaying differences between infected and control plants (Fig. 6), which could be associated with the senescence process. Changes in the parameter F5/F0 may reflect PMMoV-induced alterations on the Benson-Calvin cycle (Zhou et al. 2004, Sajnani et al. 2007), since this time point is very near to the kinetic peak corresponding to the activation of the cycle (Ireland et al. 1984); the fact that the differences between AS leaves from infected plants and control are emphasized by HI is an additional evidence for this contention. Alterations in the slow fluorescence induction transients could be also partly due to inhibition of state transition (Allen and Mullineux 2004). The detection of the viral infection by the combinatorial imaging (4 dpi, PMMoV-S; 6 dpi, PMMoV-I; Fig. 8; Matouš et al. 2006) and by F5/F0 imaging (9 dpi) precedes the viral location in AS leaves by tissue printing (Chaerle et al. 2006, Pérez-Bueno et al. 2006). Conventional Chl-F parameters measured with the protocols 1 and 2 revealed only the PMMoV-infection at an intermediate step (16–17 dpi; Figs. 3 and 4). The fast dynamics of the PMMoV-S infection corresponds to the higher virulence of the strain. The excellent capacity of the combinatorial imaging to reveal very early phases of biotic stress corroborates the earlier studies with

9

M. PINEDA et al.

bacterial-infected plants (Matouš et al. 2006, Berger et al. 2007). We found the parameter R robust, since we got successful detection in all evaluated leaves (12 AS leaves). However, to detect either the PMMoV infection under other environmental conditions or infection by other pathogens, we have to train the system again to obtain new R parameters. In summary, variations in Chl-F distribution in the

N. benthamiana AS leaves have the potential to distinguish between PMMoV-I and PMMoV-S infection. Classical Chl-F parameters provided information on the physiological processes, while the analysis of Chl-F transients by combinatorial imaging enabled to detect the infection earlier. Thus, Chl-F imaging is a very useful tool to diagnose and follow the PMMoV infection in N. benthamiana plants.

References Aldea, M., Hamilton, J.G., Resti, J.P., Zangerl, A.R., Berenbaum, M.R., Frank, T.D., de Lucia, E.H.: Comparison of photosynthetic damage from arthropod herbivory and pathogen infection in understory hardwood saplings. – Oecologia 149: 221-232, 2006. Allen, J.F., Mullineux, C.W.: Probing the mechanism of state transitions in oxygenic photosynthesis by chlorophyll fluorescence spectroscopy, kinetics and imaging. – In: Papageorgiou, C.G., Govindjee (ed.): Chlorophyll a Fluorescence: A Signature of Photosynthesis. Pp. 447-461. Springer, Dordrecht 2004. Alonso, E., García-Luque, I., Avila-Rincón, M.J., Wicke, B., Serra, M.T., Díaz-Ruiz, J.R.: A tobamovirus causing heavy losses in protected pepper crops in Spain. – J. Phytopathology 125: 67-76, 1989. Balachandran, S., Hurry, V.M., Kelley, S.E., Osmond, C.B., Robinson, S.A., Rohozinski, J., Seaton, G.G.R., Sims, D.A.: Concepts of plant biotic stress. Some insights into the stress physiology of virus-infected plants, from the perspective of photosynthesis. – Physiol. Plant. 100: 203-213, 1997. Balachandran, S., Osmond, B.C.: Susceptibility of tobacco leaves to photoinhibition following infection with two strains of tobacco mosaic virus under different light and nitrogen nutrition regimes. – Plant Physiol. 104: 1051-1057, 1994. Balachandran, S., Osmond, B.C., Daley, F.P.: Diagnosis of the earliest strain-specific interactions between tobacco mosaic virus and chloroplasts of tobacco leaves in vivo by means of chlorophyll fluorescence imaging. – Plant Physiol. 104: 10591065, 1994. Barón, M., Rahoutei, J., Lázaro, J.J., García-Luque, I.: PSII response to biotic and abiotic stress. – In: Mathis, P. (ed.): Photosynthesis: From Light to Biosphere. Vol. 4. Pp. 897900. Kluwer Academic Publ., Dordrecht – Boston – London 1995. Berger, S., Benediktyová, Z., Matouš, K., Bonfig, K., Mueller, M.J., Nedbal, L., Roitsch, T.: Visualization of dynamics of plant-pathogen interaction by novel combination of chlorophyll fluorescence imaging and statistical analysis: Differential effects of virulent an avirulent strains of P. syringae and of oxylipins on A. thaliana. – J. exp. Bot. 58: 797-806, 2007. Berger, S., Papadopoulos, M., Schreiber, U., Kaiser, W., Roitsch, T.: Complex regulation of gene expression, photosynthesis and sugar levels by pathogen infection in tomato. – Physiol. Plant. 122: 419-428, 2004. Bilger, W., Björkman, O.: Role of the xanthophyll cycle in photoprotection elucidated by measurements of light-induced absorbance changes, fluorescence and photosynthesis in leaves of Hedera canariensis. – Photosynth. Res. 25: 173185, 1990. Bonfig, K.B., Schreiber, U., Gabler, A., Roitsch, T., Berger, S.:

10

Infection with virulent and avirulent P. syringae strains differentially effects photosynthesis and sink metabolism in Arabidopsis leaves. – Planta 225: 1-12, 2006. Chaerle, L., Hagenbeek, D., De Bruyne, E., Valcke, R., Van Der Straeten, D.: Thermal and chlorophyll-fluorescence imaging distinguish plant pathogen interaction at an early stage. – Plant Cell Physiol. 45: 887-896, 2004. Chaerle, L., Pineda, M., Romero-Aranda, R., Van Der Straeten, D., Barón, M.: Robotized thermal and chlorophyllfluorescence imaging of Pepper mild mottle virus infection in Nicotiana benthamiana. – Plant Cell Physiol 47: 1323-1336, 2006. Chou, H.M., Bundock, N., Rolfe, A.S., Scholes, D.J.: Infection of Arabidopsis thaliana leaves with Albugo candida (white blister rust) causes a reprogramming of host metabolism. – Mol. Plant Pathol. 2: 99-113, 2000. Critchley, C., Russell, A.W.: Photoinhibition of photosynthesis in vivo: The role of protein turnover in photosystem II. – Physiol Plant 92: 188-196, 1994. Fukunaga, K.: Introduction to Statistical Pattern Recognition. 2nd Ed. – Academic Press, New York 1990. García-Luque, I., Ferrero, M.L., Rodríguez, J.M., Alonso, E., de la Cruz, A., Sanz, A.I., Vaquero, C., Serra, M.T., Díaz-Ruíz, J.R.: The nucleotide sequence of the coat protein genes and 3’ non-coding regions of two resistance-breaking tobamoviruses in pepper shows that they are different viruses. – Arch. Virol. 131: 75-88, 1993. Genty, B., Briantais, J.-M., Baker, N.R.: The relationship between quantum yield of photosynthetic electron transport and quenching of chlorophyll fluorescence. – Biochim. biophys. Acta 990: 87-92, 1989. Horton, P., Wentworth, M., Ruban, A.: Control of the light harvesting function of chloroplast membranes: The LHCIIaggregation model for non-photochemical quenching. – FEBS Lett. 579: 4201-4206, 2005. Ireland, C.R., Long, S.P., Baker, N.R.: The relationship between carbon dioxide fixation and chlorophyll fluorescence during induction of photosynthesis in maize leaves at different temperatures and carbon dioxide concentrations. – Planta 160: 550-558, 1984. Kautsky, H., Hirsch, A.: Neue Versuche zur Kohlensäureassimilation. – Naturwissenschaften 48: 964-964, 1931. Kitajima, H., Butler, W.L.: Quenching of chlorophyll fluorescence and primary photochemistry in chloroplasts by dibromothymoquinone. – Biochim. biophys. Acta 376: 105115, 1975. Lamb, E.M., Adkins, S.E., Shuler, K.D., Roberts, P.D.: Pepper mild mottle virus. – Gainesville FL: EDIS, HS-808, 2001. Lichtenthaler, H.K., Babani, F.: Light adaptation and senescence of the photosynthetic apparatus. Changes in pigment composition, chlorophyll fluorescence parameters

CONVENTIONAL AND COMBINATORIAL CHLOROPHYLL FLUORESCENCE IMAGING and photosynthetic activity. – In: Papageorgiou, G.C., Govindjee (ed.): Chlorophyll a Fluorescence: A Signature of Photosynthesis. Pp. 713-736. Springer, Dordrecht 2004. Lichtenthaler, H.K., Miehé, J.A.: Fluorescence imaging as a diagnostic tool for plant stress. – Trends Plant Sci. 2: 316-320, 1997. Lichtenthaler, H.K., Rinderle, U.: The role of chlorophyll fluorescence in the detection of stress conditions in plants. – CRC crit. Rev. anal. Chem. 19: S29-S85, 1988. Lohaus, G., Heldt, H.W., Osmond, C.B.: Infection with phloem limited Abutilon mosaic virus causes localized carbohydrate accumulation in leaves of Abutilon striatum: relationships to symtom development and effects on chlorophyll fluorescence quenching during photosynthetic induction. – Plant Biol. 2: 161-167, 2000. Matouš, K., Benediktyová, Z., Berger, S., Roitsch, T., Nedbal, L.: Case study of combinatorial imaging: What protocol and what chlorophyll fluorescence image to use when visualizing infection of Arabidopsis thaliana by Pseudomonas syringae? – Photosynth. Res. 90: 243-253, 2006. Maxwell, K., Johnson, G.N.: Chlorophyll fluorescence – a practical guide. – J. exp. Bot. 51: 659-668, 2000. Nedbal, L., Březina, V.: Complex metabolic oscillations in plants forced by harmonic irradiance. – Biophys. J. 83: 21802189, 2002. Nedbal, L., Březina, V., Adamec, F., Štys, D., Oja, V., Laisk, A., Govindjee: Negative feedback regulation is responsible for the non-linear modulation of photosynthetic activity in plants and cyanobacteria exposed to a dynamic light environment. – Biochim. biophys. Acta 1607: 5-17, 2003. Nedbal, L., Soukupová, J., Kaftan, D., Whitmarsh, J., Trtílek, M.: Kinetic imaging of chlorophyll fluorescence using modulated light. – Photosynth. Res. 66: 3-12, 2000. Nedbal, L., Whitmarsh, J.: Chlorophyll fluorescence imaging of leaves and fruits. – In: Papageorgiou, C.G., Govindjee (ed.): Chlorophyll a Fluorescence: A Signature of Photosynthesis. Pp. 389-407. Springer, Dordrecht 2004. Osmond, C.B., Daley, P.F., Badger, M.R., Lüttge, U.: Chlorophyll fluorescence quenching during photosynthetic induction in leaves of Abutilon striatum Dicks infected with Abutilon mosaic virus observed with a field-portable imaging system. – Bot. Acta 111: 390-397, 1998. Pérez-Bueno, M.L., Ciscato, M., vandeVen, M., García-Luque, I., Valcke, R., Barón, M.: Imaging viral infection: studies on Nicotiana benthamiana plants infected with the pepper mild mottle tobamovirus. – Photosynth. Res. 90: 111-123, 2006. Pérez-Bueno, M.L., Rahoutei, J., Sajnani, C., García-Luque, I., Barón, M.: Proteomic analysis of the oxygen-evolving complex of photosystem II under biotic stress. Studies on Nicotiana benthamiana infected with tobamoviruses. – Proteomics 4: 418-425, 2004. Pudil, P., Novovicova, J., Kittler, J.: Floating search methods in feature selection. – Pattern Recognition Lett. 15: 1119-1125, 1994. Rahoutei, J., Barón, M., García-Luque, I., Droppa, M., Neményi, A., Horvath, G.: Effect of tobamovirus infection on

the thermoluminiscence characteristics of chloroplast from infected plants. – Z. Naturforsch. 54c: 634-639, 1999. Rahoutei, J., García-Luque, I., Barón, M.: Inhibition of photosynthesis by viral infection: Effect on PSII structure and function. – Physiol. Plant. 110: 286-292, 2000. Rahoutei, J., García-Luque, I., Cremona, V., Barón, M.: Effect of tobamovirus infection on PSII complex of infected plants. – In: Garab, G. (ed.): Photosynthesis: From Light to Biosphere. Vol. IV. Pp. 2761-2764. Kluwer Academic Publ., Dordrecht – Boston – London 1998. Roháček, K., Barták, M.: Technique of the modulated chlorophyll fluorescence: basic concepts, useful parameters, and some applications. – Photosynthetica 37: 339-363, 1999. Ruban, A.V., Horton, P.: Regulation of non-photochemical quenching of chlorophyll fluorescence in plants. – Aust. J. Plant Physiol. 22: 221-230, 1995. Sajnani, C., Zurita, J.L., Doncel, M., Ortega, J.M., Barón, M., Ducruet, J.-M.: Changes in photosynthetic metabolism induced by tobamovirus infection in Nicotiana benthamiana studied in vivo by chlorophyll thermoluminescence. – New Phytol. 175: 120-130, 2007. Scholes, J.D., Rolfe, S.A.: Photosynthesis in localised regions of oat leaves infected with crown rust (Puccinia coronata): quantitative imaging of chlorophyll fluorescence. – Planta 199: 573-582, 1996. Schreiber, U., Schliwa, U., Bilger, W.: Continuous recording of photochemical and non-photochemical chlorophyll fluorescence quenching with a new type of modulation fluorometer. – Photosynth. Res. 10: 51-62, 1986. Soukupová, J., Smatanová, S., Nedbal, L., Jegorov, A.: Plant response to destruxins visualized by imaging of chlorophyll fluorescence. – Physiol. Plant. 118: 399-405, 2003. Swarbrick, P.J., Schulze-Lefert, P., Scholes, J.D. Metabolic consequences of susceptibility and resistance (race-specific and broad-spectrum) in barley leaves challenged with powdery mildew. – Plant Cell Environ. 29: 1061-1076, 2006. Tang, J.Y., Zielinski, R.E., Zangerl, A.R., Crofts, A.R., Berenbaum, M.R., de Lucia, E.H.: The differential effects of herbivory by first and fourth instars of Trichoplusia ni (Lepidoptera: Noctuidae) on photosynthesis in Arabidopsis thaliana. – J. exp. Bot. 57: 527-536, 2006. van Wijk, K.J., Schnettger, B., Graf, H., Krause, G.H.: Photoinhibition and recovery in relation to heterogeneity of photosystem II. – Biochim. biophys. Acta 1142: 59-68, 1993. Wetter, C., Conti, M., Alschuh, D., Tabillion, R., van Regemortel, M.H.V.: Pepper mild mottle virus, a tobamovirus infecting pepper cultivars in Sicily. – Phytopathology 74: 405410, 1984. Zangerl, A.R, Hamilton, J.G., Miller, T.J., Crofts, A.R., Oxborough, K., Berenbaum, M.R., de Lucia, E.H. Impact of folivory on photosynthesis is greater than the sum of its holes. – Proc. nat. Acad. Sci. USA 22: 1088-1091, 2002. Zhou, Y.H., Peng, Y.H., Lei, J.L., Zou, L.Y., Zheng, J.H., Yu, J.Q.: Effects of potato virus YNTN infection on gas exchange and photosystem 2 function in leaves of Solanum tuberosum L. – Photosynthetica 42: 417-423, 2004.

11

4.5 Programové nástroje pro analýzu dat Pro účely analýzy dat naměřených přístrojem fluorcam jsme vytvořil soubor programových nástrojů obsahující též grafické uživatelské rozhraní. Ovládání a funkce jednotlivých nástrojů bude vysvětlena v následujících kapitolách. Obrázek 4.5 ukazuje vzhled grafického uživatelského rozhraní.

Obrázek 4.5 Grafické uživatelské rozhraní Toto rozhraní bylo použito pro analýzu dat prezentovaných v přiložených publikacích. Umožňuje jednoduchou vizualizaci fluorescenčních parametrů pomocí různých palet, segmentaci, porovnávání vybraných segmentů nebo například vytváření tabulek a grafů vyjadřujících rozdíly mezi vybranými segmenty dat.

4.5.1 Nástroj Segmentation Toto okno slouží k vizualizaci fluorescenčních parametrů (viz. 1.1.4). Je zde dostupná většina parametrů, se kterými jsem se setkal, a další je možné snadno přidat editovaním konfiguračního souboru (v konfiguračním souboru je návod, jak přidání parametrů provést). Tlačítko Open slouží k otevření souboru naměřeného přístrojem fluorcam (viz kapitoly 3.1 a 3.2). Program umožňuje pracovat s formátem souborů používaným fluorcamem. Program

91

umožňuje zpracovávat data naměřená oběma verzemi měřícího protokolu (viz. kapitola 3.2 a detailněji 4.2). Po načtení souboru jsou automaticky spočítány obrazy všech fluorescenčních parametrů definovaných v konfiguračním souboru. Konfigurační soubor s parametry, se kterými chceme pracovat lze zvolit v horním rolovacím menu. Parametr, se kterým chceme pracovat, lze zvolit pomocí rolovacího menu nad tlačítkem Open. Samotný fluorescenční parametr, který si přejeme zobrazit, lze zvolit v rolovacím menu, v prostřední části ovládacího panelu (na obrázku je zvolen parametr FV/FM). Program umožňuje měnit rozsah hodnot fluorescenčního parametru a barevnou paletu, ve které si přejeme parametr zobrazit. Palety (v rámečku Palette) jsou k dispozici tři. Po označení palety nazvané Default je obrázek zobrazen v barvách, které jsou vidět na obrázku. Pokud je označena paleta -pi~pi, použije program cyklickou paletu. Ta je vhodná především pro zobrazení fází, kde je důležité, aby mezi hodnotami -pi a pi nebyl žádný barevný rozdíl, jak by tomu bylo v případě použití palety Default. Tato volba je tedy vhodná pro zpracování oscilační verze protokolu. Pro zobrazení fluorescenčních parametrů nemá využití. Pokud není označena ani jedna z palet, je použita šedotónová paleta. Pokud si uživatel přeje zobrazit měřítko, je třeba zaškrtnout položku Scale. Minimum a maximum této palety, lze nastavit pomocí dvou posuvníků vlevo od obrázku zobrazeného parametru nebo zadáním hodnot do okének nad a pod těmito posůvníky (na obrázku zvoleno minimum 0,56 a maximum 0,65). Výsledný obrázek je možné uložit pomocí tlačítka Save image. Položka Without backg. slouží k odstranění pozadí. Pomocí ní lze zajistit, aby veškeré části obrazu, na kterých není rostlina, byly zakryty černou barvou. Toho program dosáhne prahováním. Použije snímek z fluorescenční sekvence vybraný uživatelem v okénku Frame a všechny pixely tohoto snímku, které mají hodnotu nižší než práh nastavený v okénku Treshold (0 - bude vidět i veškeré pozadí, 1- za pozadí je považováno vše, běžná hodnota použitelného prahu okolo 0,05), jsou pak považovány za pozadí. Informace o tom, zda se jedná o pozadí nebo rostlinu je pak použita pro zobrazení všech fluorescenčních parametrů. Je vhodné použít pro prahování snímek poskytující velký kontrast mezi rostlinou a pozadím. V na obrázku je zvolen snímek 15, který odpovídá fluorescenčnímu parametru FM - tedy snímku, kde bychom měli pozorovat nejvyšší intenzitu fluorescence (viz. kapitoly 1.1.4 a 3.2). Poslední skupina ovládacích prvků slouží k segmentaci dat. Segmentaci dat je možné provádět několika způsoby. Prvním z nich je manuální segmentace. Pro její použití stačí stisknout tlačítko Select area. Po jeho stisku je možné levým tlačítkem myši označit oblast zájmu. pravým tlačítkem myši ukončujeme označování. Pak program extrahuje fluorescenční přechodové jevy patřící k označeným pixelům uvnitř označené oblasti. Druhým způsobem jak provést segmentaci je zaškrtnout položku Segmentation. Pak je možné stisknout tlačítko Set center (vpravo od tlačítka je hodnota parametru označeného pixelu) a v obrázku označit střed oblasti o kterou máme zájem. Posuvník napravo od obrázku se zobrazeným parametrem pak slouží roztažení nebo zúžení oblasti, o kterou máme zájem. Program označí vždy ty pixely, jejichž hodnota se odlišuje od středu zvolené oblasti maximálně o hodnotu zvolenou posuvníkem. Zároveň tyto pixely musí tvořit jednolitou oblast. Typický způsob použití je takový, že uživatel označit střed oblasti, která ho zajímá, pak nastaví posuvník na minimum, čímž je označen pouze zvolený střed a pak postupně rozšiřuje posuvníkem segmentovanou oblast, až je vyplněna celá. Pomocí okénka Dilatation je pak možné potlačit různé ostré výběžky takové oblasti a "zaoblit" ji (vyšší hodnota způsobí oblejší hranici oblasti). Pokud je vše nastaveno tak, že je označena oblast zájmu, může uživatel kliknutím na položku Get pixels, extrahovat fluorescenční přechodové jevy, které přísluší k označeným pixelům. Jakkoliv se může zdát tento přístup složitý, jeho použití je jednoduché a intuitivní. Extrahované přechodové jevy (kteroukoliv technikou) se ukládají do paměti a počet

92

označených oblastí lze nalézt v okénku vedle tlačítka Get pixels. Lze uložit pro další analýzu pomocí tlačítka Save pixels nebo je smazat z paměti tlačítkem Clear. Napravo pod obrázkem lze nalézt tlačítka Process, Compare a Feature sel. Těmi je možné spustit další nástroje, které jsou popsané v následujících kapitolách.

4.5.2 Nástroj Process V některých případech potřebujeme získat obrázky některého fluorescenčního parametrů z mnoha souborů dat naměřených přístrojem fluorcam. Bylo by zdlouhavé každý ze souborů ručně načítat, volit parametr a ukládat obrázek. Nástrojem Process je možné zvolit adresář se soubory (pomocí tlačítka DIR nebo napsáním cesty do pole vedle tlačítka) a nástroj pak po stisku tlačítka Start už sám každý z nich načte a uloží obrázek fluorescenčního parametru do souboru se jménem vytvořeným ze jména datového souboru přidáním jména zvoleného fluorescenčního parametru a přípony bmp. Jméno fluorescenčního parametru paleta, rozsahy a všechna ostatní nastavení jsou použita stejná jako v nástroji Segmentation.

4.5.3 Nástroj Compare Tento nástroj je určen pro analýzu segmentů vytvořených a uložených nástrojem Segmentation. Program používá jako vstup dva soubory s uloženými segmenty. Tyto soubory je možné zvolit pomocí tlačítek File 1 a File 2 nebo vyplněním jmen souborů do políček vedle nich. Data z prvního a druhého souboru pak porovnává mezi sebou. V rolovacím menu je možné vybrat si konfigurační soubor, kde jsou definovány fluorescenční parametry (podobně jako tomu bylo u nástroje Segmentation). Po stisku tlačítka Table program vratí tabulku podobnou té kterou ukazuje Obrázek 4.5 vpravo nahoře. Řádky odpovídají jednotlivým fluorescenčním parametrům, sloupce průměrné hodnotě daného parametru segmentů v prvním souboru a jejich směrodatné odchylce, další dva sloupce témuž pro druhý soubor, další sloupec poměru mezi oběma směrodatnými odchylkami a poslední sloupec výkonnosti daného příznaku (viz. kapitola 1.2.2 - 0 identické distribuce daného příznaku, 1 distribuce bez překryvu). Tabulku lze kopírovat. Nástroj Compare obsahuje dále tlačítko Graph. Jím je možné výkonnosti fluorescenčních parametrů vyjádřit graficky jak ukazuje Obrázek 4.5 vpravo dole. Pokud potřebujeme do jednoho grafu umístit více křivek porovnávajících segmenty z dvojic souboru, stačí zaškrtnout políčko Into the same. Okno s grafem se pak nebude přemazávat a v legendě grafu najdeme jména porovnávaných souborů. Poslední funkcí nástroje Compare je možnost ukázat průměrný přechodový fluorescenční jev segmentů dvou zvolených souborů. K tomu slouží tlačítko Avg. kinetic.

4.5.4 Nástroj Feature_sel Tento nástroj slouží pro selekci příznaků. Jako vstup používá dva adresáře, které definují dvě třídy, mezi kterými se snažíme nalézt rozdíly. Tyto adresáře lze zvolit tlačítky Training dir Class 1 a Training dir Class 2. Adresáře by měly obsahovat soubory s uloženými segmenty vytvořenými nástrojem Segmentace. V políčku Number of selected lze zvolit počet příznaků s sadě nejlepších příznaků kterou hledáme. Program vrací indexy nalezených příznaků. Pro jejich nalezení používá metodu SFFS s chybovostí klasifikátoru QDC jako kritériem optimality. Program neumožňuje volbu jiných dvojic metod. Používání těchto metod totiž vyžaduje určité zkušenosti s touto problematikou a uživatel, který by chtěl 93

vytvořit analýzu dat podobnou té v kapitole 4.1, by pravděpodobně chtěl použít řadu vlastních algoritmů. Pro účely uživatelů, pro které je tento nástroj určen, tato dvojice metod postačuje. Programy je samozřejmě možné modifikovat.

94

5 SHRNUTÍ Statistické příznakové zpracování může být využito pro zpracování dat ze zobrazovacích fluorimetrů. Výhody tohoto přístupu demonstrují výsledky prezentované v přiložených publikacích a v kapitole 4.1. Při použití těchto metod lze infekci Pseudomonas syringae na listech rostlin Arabidopsis thaliana detekovat dříve než běžně používanými přístupy a dokonce je možné určit fázi infekce. Díky schopnosti přesně detekovat infekcí zasaženou oblast listu lze zpřesnit analýzu dat běžně používanými fluorescenčními příznaky. V neposlední řadě je možné nalézt části fluorescenčních přechodových jevů, které jsou pro detekci infekce důležité. Taková informace je klíčová při návrhu efektivnějšího měřícího protokolu, který by neobsahoval části nepodstatné pro detekci infekce. Přístup popsaný v kapitole 4.1 umožňuje rozpoznávání různých druhů rostlin pouze na základě jejich fluorescenčních přechodových jevů. Tato úloha není řešitelná konvenčními fluorescenčními parametry. Ty se zde ukázali být pro rozpoznávaní naprosto nevhodné. Úloha byla ale řešitelná metodami příznakového rozpoznávání, které dokáží zužitkovat informaci z celého přechodového jevu. Jako další aplikaci tohoto přístupu zmiňme detekci Pepper mild mottle viru na listech rostlin Nicotiana benthamiana. Použitím metod příznakového rozpoznávání bylo možné dosáhnou vyšší přesnosti a efektivity detekce. Domnívám se, že tato práce ukazuje potenciál využití metod statistického příznakového pro zpracování obrazů fluorescenční emise rostlin. Výsledků jakých bylo dosaženo tímto přístupem by konvenčními fluorescenčními parametry nebylo možné dosáhnout. Aplikace metod statistického příznakového rozpoznávání tak přestavuje zajímavý doplněk analýzy konvenčními technikami.

95

6 LITERATURA Balachandran S, Osmond CB, Daley PF (1994) Diagnosis of the Earliest Strain-Specific Interactions between Tobacco Mosaic-Virus and Chloroplasts of Tobacco-Leaves in-Vivo by Means of Chlorophyll Fluorescence Imaging. Plant Physiol 104, (3):1059-1065 Ballard DH, Brown CM (1982) Computer Vision. Prentice Hall, Englewood Cliffs NJ Bellman RE (1961) Adaptive Control Process. Princeton Univ. Press, New Jersey Berger S, Benediktyová Z, Matouš K, a kol. (2007) Visualization of dynamics of plantpathogen interaction by novel combination of chlorophyll fluorescence imaging and statistical analysis: differential effects of virulent and avirulent strains of P-syringae and of oxylipins on A-thaliana. J Exp Bot 58, (4):797-806 Berlman IB (1965) Handbook of Fluorescence Spectra of Aromatic Molecules. Academic Press, New York Bhattacharyya A (1943) On a measure of divergence between two statistical populations defined by their probability distributions. Bulletin of Calcutta Mathematical Society 35, 99110 Bhattacharyya A (1946) On a measure of divergence between two multinomial populations. Sankhya 7, 401–406 Bishop CM (1995) Neural Networks for Pattern Recognition. Oxford University Press, New York Boser BE, Guyon IM, Vapnik VN (1992) A training algorithm for optimal margin classifiers. 5th Annual ACM Workshop on COLT 144-152 Brown M, Gunn SR, Lewis HG (1999) Support vector machines for optimal classification and spectral unmixing. Ecological Modelling 120, (2-3):167-179 Camps-Valls G, Gómez-Chova L, Calpe-Maravilla J, a kol. (2004) Robust Support Vector Method for Hyperspectral Data Classification and Knowledge Discovery. IEEE T Geosci Remote 42, (7):1530-1542 Codrea CM, Aittokallio T, Keranen M, a kol. (2003) Feature learning with a genetic algorithm for fluorescence fingerprinting of plant species. Pattern Recognit. Lett. 24, (15):2663-2673 Codrea MC, Nevalainen OS, Tyystjarvi E, a kol. (2004) Classifying apples by the means of fluorescence imaging. International Journal of Pattern Recognition and Artificial Intelligence 18, (2):157-174 Cover TM, Hart PE (1967) Nearest Neighbor Pattern Classification. IEEE Trans Inform Theory IT13, (1):21-& Cover TM, Van Campenhout JM (1977) On the possible ordering in the measurement selection problem. IEEE Transactions on System, Man and Cybernetics SMC-7, (9):657661 Dau H (1994) Molecular Mechanisms and Quantitative Models of Variable Photosystem-Ii Fluorescence. Photochemistry and Photobiology 60, (1):1-23 Dempster A, Laird N, Rubin D (1977) Maximum likelihood from incomplete data via the EM algorithm. Journal of the Royal Statistical Society 39, (1):1-38 Fisher RA (1936) The use of multiple measurements in taxonomic problems, Annals of Eugenics. Annals of Eugenics 7, 179-188 Fu KS (1982) Syntactic Pattern Recognition and Applications. Prentice-Hall, New Jersey Fukunaga K (1990) Introduction to Statistical Pattern Recognition. Academic Press, San Diego Fukunaga K, Hostetler LD (1975) K-Nearest-Neighbor Bayes-Risk Estimation. IEEE Trans Inform Theory IT21, (3):285-293 96

Govindjee (1995) 63 Years since Kautsky - Chlorophyll-a Fluorescence. Austr J Plant Physiol 22, (4):711 Grim J (1982) On Numerical Evaluation of Maximum-Likelihood Estimates for Finite Mixtures of Distributions. Kybernetika 18, (3):173-190 Grim J (2006) EM cluster analysis for categorical data. V: (ed) Structural, Syntactic, and Statistical Pattern Recognition, Proceedings, Hořejš J (1993) Neuronové sítě. V: Mařík V, a kol. (ed) Umělá inteligence (1), Academia, Praha Hotelling H (1933) Analysis of a complex of statistical variables into principal components. Journal of Educational Psychology 24, 498-520 Hughes GF (1968) On the mean accuracy of statistical pattern organizers. IEEE Trans. Inform. Theory IT-14, 55-63 Chaerle L, Hagenbeek D, De Bruyne E, a kol. (2004) Thermal and chlorophyll-fluorescence imaging distinguish plant-pathogen interactions at an early stage. Plant Cell Physiol 45, (7):887-896 Jain A, Zongker D (1997) Feature Selection: Evaluation, Application, and Small Sample Performance. IEEE Trans. Pattern Anal. Mach. Intell. 19, (2):153-158 Jain AK, Dubes RC (1988) Algorithms for Clustering Data. Prentice Hall Professional Technical Reference, New Jersey Jain AK, Duin RPW, Mao J (2000) Statistical Pattern Recognition: A Review. IEEE Trans. on Pattern analysis and Machine Intelligence 22, (1):4-37 Jain AK, Mao JC, Mohiuddin KM (1996) Artificial neural networks: A tutorial. Computer 29, (3):31-44 Karhunen K (1946) Zur Spektraltheorie Stochastischer Prozesse. Biologica 37, 1-37 Kautsky H, Hirsch A (1931) Neue Versuche zur Kohlensäuerassimilation. Naturwisscheschaften 19, (964): Kitajima M, Butler WL (1975) Excitation-Spectra for Photosystem-I and Photosystem-Ii in Chloroplasts and Spectral Characteristics of Distribution of Quanta between 2 Photosystems. Biochimica Et Biophysica Acta 408, (3):297-305 Kittler J (1978) Feature set search algorithms. V: Chen CH (ed) Pattern Recognition and Signal Processing, Sijthoff and Noordhoff, Alphen aan den Rijn, The Netherlands Lazar D (1999) Chlorophyll a fluorescence induction. Biochim Biophys Acta-Bioenerg 1412, (1):1-28 Lichtenthaler HK, Babani F (2000) Detection of photosynthetic activity and water stress by imaging the red chlorophyll fluorescence. Plant Physiol Biochem 38, (11):889-895 Lichtenthaler HK, Miehe JA (1997) Fluorescence imaging as a diagnostic tool for plant stress. Trends Plant Sci 2, (8):316-320 Lichtenthaler HK, Rinderle U (1988) The Role of Chlorophyll Fluorescence in the Detection of Stress Conditions in Plants. Crc Critical Reviews in Analytical Chemistry 19, S29-S85 Loeve M (1955) Probability theory. VanNostrand: Princeton, New Jersey Lukasová A, Šarmanová J (1985) Metody shlukové analýzy. SNTL, Praha MacAlister ED, Myers J (1940) Time course of photosynthesis and fluorescence observed simultaneously. Smithsonian Institution Publications Miscellaneous Collection 99, 1-37 Mahalanobis PC (1930) On tests and measures of groups divergence, International Journal of the Asiatic Society of Bengal. International Journal of the Asiatic Society of Benagal 26, 541-588 Mallick N, Mohn FH (2003) Use of chlorophyll fluorescence in metal-stress research: a case study with the green microalga Scenedesmus. Ecotox Environ Safe 55, (1):64-69 Martinez AM, Kak AC (2001) PCA versus LDA. IEEE Trans Pattern Anal Mach Intell 23, (2):228-233

97

Mařík V (1993) Rozpoznávání. V: Mařík V, a kol. (ed) Umělá inteligence (1), Academia, Praha Matouš K, Benediktyová Z, Berger S, a kol. (2006) Case study of combinatorial imaging: What protocol and what chlorophyll fluorescence image to use when visualizing infection of Arabidopsis thaliana by Pseudomonas syringae? Photosynth Res 90, (3):243-253 Maxwell K, Johnson GN (2000) Chlorophyll fluorescence - a practical guide. J Exp Bot 51, (345):659-668 McLachlan GJ (1992) Discriminant Analysis and Statistical Pattern Recognition. John Wiley and Sons, New York McQueen J (1967) Some methods for classification and analysis of multivariate observations. 5th Berkeley Symposium on mathematics, Statistics and Probability 1, 281-298 Meyer S, Saccardy-Adji K, Rizza F, a kol. (2001) Inhibition of photosynthesis by Colletotrichum lindemuthianum in bean leaves determined by chlorophyll fluorescence imaging. Plant Cell Environ 24, (9):947-955 Mohammed GH, Binder WD, Gillies SL (1995) Chlorophyll Fluorescence - a Review of Its Practical Forestry Applications and Instrumentation. Scandinavian Journal of Forest Research 10, (4):383-410 Narendra PM, Fukunaga K (1977) A branch and bound algorithm for feature subset selection. IEEE Trans Comput C-26, (9):917-922 Nedbal L, Březina V, Červený J, a kol. (2005) Photosynthesis in dynamic light: systems biology of unconventional chlorophyll fluorescence transients in Synechocystis sp PCC 6803. Photosynth Res 84, (1-3):99-106 Nedbal L, Soukupová J, Kaftan D, a kol. (2000a) Kinetic imaging of chlorophyll fluorescence using modulated light. Photosynth Res 66, (1-2):3-12 Nedbal L, Soukupová J, Whitmarsh J, a kol. (2000b) Postharvest imaging of chlorophyll fluorescence from lemons can be used to predict fruit quality. Photosynthetica 38, (4):571579 Nedbal L, Whitmarsh J (2004) Chlorophyll fluorescence imaging of leaves and fruits. V: Papageorgiu G a Govindjee (ed) Chlorophyll a fluorescence: A signature of photosynthesis, Springer, Dordrecht Nobel PS (2005) Physicochemical and Environmental Plant Physiology. Academic press, San Diego Novovičová J, Pudil P, Kittler J (1996) Divergence based feature selection for multimodal class densities. IEEE Trans Pattern Anal Mach Intell 18, (2):218-223 Omasa K, Shimazaki KI, Aiga I, a kol. (1987) Image-Analysis of Chlorophyll Fluorescence Transients for Diagnosing the Photosynthetic System of Attached Leaves. Plant Physiol 84, (3):748-752 Parzen E (1962) On estimation of a probability density function and its mode. Annals of Mathematical Statistics 33, 1065-1076 Pineda M, Soukupová J, Matouš K, Nedbal L a Barón M - Conventional and combinatorial chlorophyll fluorescence imaging of tobamovirus - infected plants. Photosynthetica - přijato k publikaci. Procházka S, Macháčková I, Krekule J, a kol. (1998) Fyziologie rostlin. Academia, Praha Pudil P, Novovičová J, Choakjarernwanit N, a kol. (1995) Feature Selection Based on the Approximation of Class Densities by Finite Mixtures of Special Type. Pattern Recognition 28, (9):1389-1398 Pudil P, Novovičová J, Kittler J (1994) Floating Search Methods in Feature-Selection. Pattern Recognit. Lett. 15, (11):1119-1125

98

Raudys S, Pikelis V (1980) On Dimensionality, Sample-Size, Classification Error, and Complexity of Classification Algorithm in Pattern-Recognition. IEEE Trans Pattern Anal Mach Intell 2, (3):243-252 Roháček K (2002) Chlorophyll fluorescence parameters: the definitions, photosynthetic meaning, and mutual relationships. Photosynthetica 40, (1):13-29 Schlesinger MI (1968) Relation between learning and self-learning in pattern recognition (in Russian). Kibernetika (Kijev) 2, 81-88 Schreiber U, Schliwa U, Bilger W (1986) Continuous Recording of Photochemical and Nonphotochemical Chlorophyll Fluorescence Quenching with a New Type of Modulation Fluorometer. Photosynth Res 10, (1-2):51-62 Somol P, Pudil P (2000) Oscilacni algoritmy pro vyhledavani priznaku. Acta Oeconomica Pragensia 8, (2):25-32 Somol P, Pudil P, Kittler J (2004) Fast branch & bound algorithms for optimal feature selection. IEEE Trans Pattern Anal Mach Intell 26, (7):900-912 Somol P, Pudil P, Novovičová J, a kol. (1999) Adaptive flating search methods in feature selection. Pattern Recognit. Lett. 20, (1):1157-1163 Spencer TS, Odonnell CM (1972) Energy-Transfer in a Hydrogen-Bonded CarbazoleBenzophenone Complex. Journal of the American Chemical Society 94, (14):4846-& Stokes GG (1852) On the change of refrangibility of light. Philosophical Transaction of Royal Society of London 142, 463-562 Taiz L, Zeiger E (2002) Plant Physiology. Sinauer Associates, Inc., Sunderland, USA Tyystjarvi E, Koski A, Keranen M, a kol. (1999) The Kautsky curve is a built-in barcode. Biophys J 77, (2):1159-1167 Vanderbei RJ (1999) LOQO: An interior point code for quadratic programming. Optimization Methods & Software 11-2, (1-4):451-484 Vapnik V (1995) The Nature of Statistical Learning Theory. Springer-Verlag, New York Wang XC, Paliwal KK (2003) Feature extraction and dimensionality reduction algorithms and their applications in vowel recognition. Pattern Recognition 36, (10):2429-2439 Warburg O (1920) Über die Geschwindigkeit der photochemischen Kohlensaurezersetzung in lebende Zellen. Biochemische Zeitschrift 103, 188-217

99

PŘÍLOHA 1 ; Quenching protocol ;____________________________________ ;#### Header ################# ;this part defines setting of the fluorcam shutter,sensitivity etc. include default.inc ;Includes standard options, do not remove it ! ElectronicShutter=0 Sensitivity=80 Irradiance=100 SuperIrradiance=90 ;____________________________________

;#### Fo measurement ################# ;masuring of Fo value by mfmsub which subtract background signal ;checkpoint is used here to name frame in 800ms <0>=>m <800ms,1200ms..2.400s>=>mfmsub <2.480s>=>mfmsub <800ms>=>checkPoint,"min_fl_dark" ;____________________________________

;#### Fm measurement ################# ;F-definition when flash lamp should work ;Sh - definition of shutter work, must be synchronized with F ;mfm - measuring of signal and background in defined times ;mfmsub - measuring of signal without background <3.080s,3.100s..5.080s>=>F <3.080s,3.100s..4.080s>=>Sh <3.080s>=>actinlightOn(1s+20ms) <3.360s,3.440s..3.520s>=>mfm <3.600s,3.680s..4.000s>=>mfmsub <3.64s>=>checkPoint,"max_fl_dark" <3.64s>=>visual ;____________________________________

;#### Dark Relaxation ################# <5s,7s..19s>=>mfmsub ;_____________________________________________________________

;#### Actinic Light #################

;SI - definition of actinic light intensity ;actinlightOn(100s)- turning the a. l. on for 100s <20s>=>SI(25) <20s>=>actinlightOn(100s) ;____________________________________

;#### Actinic Light INTENSITY 1 ########### ;measuring of the Kautsky efect with mfmsub (actinic light is still shining) <20.040s,20.120s..21.040s>=>mfmsub ;____________________________________

;#### Fm1' measurement ################# ;measuring of the reaction to the saturating pulse during actinic light irradiation ;F-definition when flash lamp should work ;Sh - definition of shutter work, must be synchronized with F ;mfm - measuring of signal and background in defined times ;mfmsub - measuring of signal without background <22.000s>=>mfmsub <22.080s,22.100s..24.080s>=>F <22.080s,22.100s..23.080s>=>Sh <22.360s,22.440s..22.520s>=>mfm <22.600s,22.680s..23.000s>=>mfmsub <22.000s>=>checkPoint,"Fs1-L1" <22.600s>=>checkPoint,"Fm1-L1" ;________________________________________

;#####Actinic light between Fm'########### ;continuing in measurement of the Kautsky efect with mfmsub (actinic light is still shining) ;4 different time steps used, because of amount of data <25.040s,25.840s..29.240s>=>mfmsub <30.040s,31.640s..46.040s>=>mfmsub <50.040s,54.040s..106.040s>=>mfmsub <112s,114s..118s>=>mfmsub <20.040s>=>checkPoint,"t1-L1" <29.240s>=>checkPoint,"t2-L1" ;____________________________________

;#### Fm2' measurement ################# ;measuring of the reaction to the saturating pulse in the light adapted state (before actinic light turning off) ;F-definition when flash lamp should work

;Sh - definition of shutter work, must be synchronized with F ;mfm - measuring of signal and background in defined times ;mfmsub - measuring of signal without background <109.960s>=>mfmsub <110.080s,110.100s..112.120s>=>F <110.080s,110.100s..111.120s>=>Sh <110.360s,110.440s..110.520s>=>mfm <110.600s,110.680s..111.080s>=>mfmsub <109.960s>=>checkPoint,"Fs2-L1" <110.600s>=>checkPoint,"Fm2-L1" ; ;#### Actinic Light Relaxation ############# ;actinic light turned off; we measure here relaxation <121s,122s..125s>=>mfmsub ;____________________________________

;#### Fm1' relax measurement ################# ;measuring of the reaction to the saturating pulse during relaxation after actinic light turning off ;F-definition when flash lamp should work ;Sh - definition of shutter work, must be synchronized with F ;mfm - measuring of signal and background in defined times ;mfmsub - measuring of signal without background <125.080s,125.100s..127.080s>=>F <125.080s,125.100s..126.080s>=>Sh <125.360s,125.440s..125.520s>=>mfm <125.600s,125.680s..126.000s>=>mfmsub <125.000s>=>checkPoint,"F0_relax1-L1" <125.600s>=>checkPoint,"Fm_relax1-L1" ;____________________________________

;#### Actinic Dark between Relaxation ############# ;measurement of the relaxation continues <126s,128s..136s>=>mfmsub ;____________________________________

;#### Fm' relax 2nd measurement ################# ;measuring of the reaction to the saturating pulse during relaxation after actinic light turning off ;F-definition when flash lamp should work ;Sh - definition of shutter work, must be synchronized with F ;mfm - measuring of signal and background in defined times ;mfmsub - measuring of signal without background

<136.080s,136.100s..138.080s>=>F <136.080s,136.100s..137.080s>=>Sh <136.360s,136.440s..136.520s>=>mfm <136.600s,136.680s..137.000s>=>mfmsub <136.000s>=>checkPoint,"F0_relax2-L1" <136.600s>=>checkPoint,"Fm_relax2-L1" ;___________________________________________________

;the second half of the protocol is only repetition with higher intensity of the actinic light and will be not described here. For help can be used the previous part.

;#### Actinic Light INTENSITY 2 ########### <738s>=>SI(100) <738s>=>actinlightOn(100s) ;____________________________________ <738.040s,738.120s..739.040s>=>mfmsub ;____________________________________ ;#### Fm1'L2 measurement ################# <740.000s>=>mfmsub <740.080s,740.100s..742.080s>=>F <740.080s,740.100s..741.080s>=>Sh <740.360s,740.440s..740.520s>=>mfm <740.600s,740.680s..741.000s>=>mfmsub <740.000s>=>checkPoint,"Fs1-L2" <740.600s>=>checkPoint,"Fm1-L2" ;________________________________________ ;#####Actinic light between Fm'########### <743.040s,743.840s..747.240s>=>mfmsub <748.040s,749.640s..764.040s>=>mfmsub <768.040s,772.040s..824.040s>=>mfmsub <830.040s,832.040s..836.040s>=>mfmsub <738.040s>=>checkPoint,"t1-L2" <747.240s>=>checkPoint,"t2-L2" ;____________________________________ ;#### Fm2' measurement ################# <827.960s>=>mfmsub <828.080s,828.100s..830.080s>=>F <828.080s,828.100s..829.080s>=>Sh <828.360s,828.440s..828.520s>=>mfm <828.600s,828.680s..829.000s>=>mfmsub <827.960s>=>checkPoint,"Fs2-L2" <828.600s>=>checkPoint,"Fm2-L2"

; ;#### Actinic Light Relaxation ############# <839s,840s..843s>=>mfmsub ;____________________________________ ;#### Fm1' relax measurement ################# <843.080s,843.100s..845.080s>=>F <843.080s,843.100s..844.080s>=>Sh <843.360s,843.440s..843.520s>=>mfm <843.600s,843.680s..844.000s>=>mfmsub <843.000s>=>checkPoint,"F0_relax1-L2" <843.600s>=>checkPoint,"Fm_relax1-L2" ;____________________________________ ;#### Actinic Dark between Relaxation ############# <846s,848s..856s>=>mfmsub ;____________________________________ ;#### Fm' relax 2nd measurement ################# <856.080s,856.100s..858.080s>=>F <856.080s,856.100s..857.080s>=>Sh <856.360s,856.440s..856.520s>=>mfm <856.600s,856.680s..857.000s>=>mfmsub <856.000s>=>checkPoint,"F0_relax2-L2" <856.600s>=>checkPoint,"Fm_relax2-L2"

PŘÍLOHA 2 ; Oscillatory protocol ;____________________________________ ;#### Header ################# ;this part defines setting of the fluorcam shutter,sensitivity etc. include default.inc ;Includes standard options, do not remove it ! ElectronicShutter=2 Sensitivity=75 Irradiance=100 ;____________________________________

;#### Fo measurement ################# ;masuring of Fo value by mfmsub which subtract background signal ;checkpoint is used here to name frame in 800ms <0>=>m <800ms,1200ms..3.600s>=>mfmsub <3.680s>=>mfmsub <800ms>=>checkPoint,"min_fl_dark" ; <2.400s>=>visual ; <10s>=>SZ(1) ;

;___________________________________________________________ ;#### Definition of oscillation parameters ############# ;SI(20) means intensity of actinic light ;osc_amp(20) amplitude of oscillations ;Period1-Period6 time period of oscilations ;Delta1 - Delta6 time step for measurement of frames ; <10s>=>SI(20) <10s>=>osc_amp(20) <532s>=>SI(40) <532s>=>osc_amp(40) ; Period1=1.5s Delta1=75ms ; Period2=3s Delta2=150ms

; Period3=6s Delta3=300ms ; Period4=12s Delta4=600ms ; Period5=24s Delta5=1200ms ; Period6=48s Delta6=2400ms ; Period7=1.5s Delta7=75ms ; Period8=3s Delta8=150ms ; Period9=6s Delta9=300ms ; Period10=12s Delta10=600ms ; Period11=24s Delta11=1200ms ; Period12=48s Delta12=2400ms ; <10s>=>actinlightOn(100*Period1+4*Period2+4*Period3+4*Period4+ 4*Period5+4*Period6+100*Period7+4*Period8+4*Period9+4*Period10 +4*Period11+4*Period12) ; this command turn the light on for defined time ;____________________________________

;#### Period @1 ############# ; osc_freq set the period of oscillations to defined value in defined time ;signal measured by mfm - signal and background ;at first 98 periods to acclimatize the plant to oscillations, the 2 periods measured and saved p1=10s ; p1+<20ms>=>osc_freq(Period1) ; ;First part ;p1+<0ms,Delta1..Period1*3>=>mfm

; ;Second part p1+=>mfm ;___________________________________

;#### Perio @2 ############# ; osc_freq set the period of oscillations to defined value in defined time ;signal measured by mfm - signal and background ;at first 2 periods to acclimatize the plant to oscillations, the 2 periods measured and saved p2=p1+100*Period1 ; p2+<0s>=>osc_freq(Period2) ; p2+=>mfm ;#### Perio @3 ############# p3=p2+4*Period2 ; p3+<0s>=>osc_freq(Period3) ; p3+=>mfm ; ;#### Perio @4 ############# p4=p3+4*Period3 ; p4+<0s>=>osc_freq(Period4) ; p4+=>mfm ; ;#### Perio @5 ############# p5=p4+4*Period4 ; p5+<0s>=>osc_freq(Period5) ; p5+=>mfm ; ;#### Perio @6 ############# p6=p5+4*Period5 ; p6+<0s>=>osc_freq(Period6) ; p6+=>mfm ;

;Repetition of the same with the second light level ; Light level defined on the beginning of the protocol

;____________________________________ ;#### Period @7 ############# p7=532s ; p7+<20ms>=>osc_freq(Period7) ; ;First part ;p1+<0ms,Delta7..Period7*3>=>mfm ; ;Second part p7+=>mfm ;___________________________________ ;#### Perio @8 ############# p8=p7+100*Period7 ; p8+<0s>=>osc_freq(Period8) ; p8+=>mfm ; ;#### Perio @9 ############# p9=p8+4*Period8 ; p9+<0s>=>osc_freq(Period9) ; p9+=>mfm ; ;#### Perio @10 ############# p10=p9+4*Period9 ; p10+<0s>=>osc_freq(Period10) ; p10+ =>mfm ; ;#### Perio @11 ############# p11=p10+4*Period10 ; p11+<0s>=>osc_freq(Period11) ; p11+ =>mfm ; ;#### Perio @12 ############# p12=p11+4*Period11 ; p12+<0s>=>osc_freq(Period12) ; p12+ =>mfm ;