Návod pro laboratorní úlohu z měřicí techniky Práce O2
Mikroskopická obrazová analýza větších částic
0
1
Úvod:
Tato laboratorní úloha je koncipována jako seznámení se s principy snímání obrazů heterogenních sypkých směsí a jejich následnou obrazovou analýzou pomocí vhodných softwarových prostředků. Základním předpokladem pro úspěšné provedení obrazové analýzy je správné sejmutí obrazu analyzovaného materiálu. Tento proces je ovlivňován mnoha faktory, z nichž nejdůležitějšími jsou osvětlení, podklad a kvalita snímacích zařízení. Osvětlení je možné zajistit velkou řadou prostředků. Při nasvícení vzorku shora je nejčastěji používáno méně kvalitní, ale pro mnoho aplikací dostačující, osvětlení pomocí páru bodových světlovodných prvků. V tomto případě ovšem mohou sledované částice vrhat nežádoucí stíny, které při kvalitativní obrazové analýze často zkreslují výsledky. Proto se stále více prosazuje používání kruhových osvětlovacích prostředků, u nichž je vznik stínů do jisté míry eliminován. Může se jednat jak o kruhové uspořádání určitého počtu bodových světelných zdrojů, tak o skutečně kruhový zdroj umělého bílého rozptýleného světla, tedy jakousi obdobu klasických zářivek. Zatímco nasvícení materiálu shora se používá při takových analýzách, kdy je třeba sledovat povrchovou strukturu částic nebo jejich barevné rozlišení, podsvícení zdola se používá při analýze vnějšího tvaru a velikosti částic nebo jejich počtu. Spodní osvětlení může zajišťovat jak jednoduché zrcátko, odrážející například světlo ze světlovodů, tak také již běžně komerčně vyráběné plošné moduly zářivek nebo jiných zdrojů světla. Výběr vhodného osvětlovacího prvku samozřejmě vždy záleží na konkrétní aplikaci. Podklad materiálu musí být volen tak, aby co nejvíce kontrastoval s analyzovaným vzorkem. V případě jednobarevných směsí je nejvhodnější použití standardního černého nebo bílého podkladu, který je nejen dostatečně kontrastní, ale napomáhá také při definici bílé nebo černé barvy během analýzy. Aby byla zajištěna maximální eliminace stínů v obraze, je možné použít jako podklad bílý nebo černý semiš, jehož struktura většinu stínů pohltí. Ovšem při mikroskopických analýzách může být struktura tohoto materiálu naopak rušivým elementem. Snímání různobarevných směsí je možné provádět na barevných podložkách, které mohou již v této první fázi analýzy odstranit některé nežádoucí částice tím, že s nimi budou jen velmi málo kontrastovat. Pro analýzy, u nichž je vzorek nasvícen zdola, se jako podklad používají podložní sklíčka potřebných rozměrů. Výběr zařízení, pomocí kterých můžeme sejmout obraz analyzované směsi, je v dnešní době velmi široký. Aby bylo možné obraz následně počítačově zpracovat, je vhodné jej získat přímo v digitální formě. K tomuto účelu slouží digitální fotoaparáty a kamery, které mají v sobě zabudovaný vhodný snímací prvek. V dnešní době jsou nejpoužívanějšími typy CCD (Charge-Coupled Device) a CMOS (Complementary Metal-Oxide Semicoductor) senzory. Oba druhy mají svůj zcela základní princip společný: převádějí světelnou energii na elektrickou. Velmi zjednodušeně lze tento proces popsat tak, že tisíce až milióny buněk citlivých na světlo jsou uspořádány do plošné matice. Velikost matice, tedy součin počtu sloupců a řádků matice, udává rozlišovací schopnost jednotlivých přístrojů. Každá buňka převádí světelnou informaci ze své malé části obrazu na elektrický signál. Hodnoty náboje jednotlivých buněk je poté potřeba přečíst. U systému CCD je nakumulovaný náboj ve formě analogového signálu přesouván přes matici tvořenou Shottkyho diodami, která se tedy chová obdobně jako posuvný registr, a jedním rohem matice přechází do vyhodnocovacího zařízení. Analogově/digitální převodník poté převede každou hodnotu buňky do digitální podoby. Protože jsou jednotlivé elementy citlivé především na intenzitu světla a méně na barvu, je takto získaný obrázek černobílý. Barevného obrázku se většinou dosahuje předřazením příslušného barevného filtru. Pro 1
vytvoření jednoho barevného bodu (pixelu) výsledného snímku proto potřebujeme nejméně tři buňky matice. V praxi se však na jednom pixelu barevného obrazu podílí většinou čtyři buňky CCD senzoru. Je zde totiž dvakrát zařazen zelený filtr, čímž je simulována větší citlivost lidského oka právě na zelenou barvu. Výsledný barevný bod pak vzniká aditivním smícháním těchto tří barev. Nevýhodou CCD detektorů je vzájemné ovlivňování nábojů v sousedních buňkách, malý rozsah intenzit a nemožnost adresovat jednotlivé buňky. Naopak výhodami tohoto detektoru oproti druhému typu je vysoké rozlišení, vysoká rychlost převodu signálu a nízký šum ve výsledném obraze. Systém CMOS využívá technologie výroby integrovaných obvodů vysoké hustoty, která umožňuje umístit na čip velké množství MOS tranzistorů, které je poté možné adresovat pomocí označení sloupců a řádků. Produkce těchto detektorů je sériová a tedy také levnější než u CCD prvků. Výhodou CMOS senzorů je také větší rozsah intenzit (asi o 4 řády), nízká spotřeba energie a snazší napájení, ovšem takto získané obrazy mají také cca o 1 řád vyšší šum. Vyjdeme-li z výše uvedených rozdílů, je možné odvodit, že CCD detektory bývají využívány pro práci na vysoce kvalitních snímcích, s mnoha dokonale zhodnocenými pixely a za vyšší citlivosti ke světlu. Naopak senzory CMOS mívají obrazovou kvalitu nižší, nižší rozlišovací schopnost a nižší citlivost. Na druhou stranu přístroje s CMOS senzory jsou mnohem levnější a mají nižší spotřebu energie, proto jsou vhodné pro přístroje, používající jako zdroje energie baterie. Vlastnosti senzoru, díky kterému je světelný signál převáděn na elektrický, jsou sice nejdůležitější, ale ne jedinou charakteristikou snímacího zařízení. Při volbě vhodnosti použití jednotlivých zařízení pro danou aplikaci je nutné brát v úvahu také další schopnosti zařízení. Jedná se například o charakter připojení přístroje k počítači, formát získaných snímků nebo schopnost sejmout digitální videozáznam. V této práci se budeme dále zabývat pouze digitální videokamerou používanou během experimentů, jejímž snímacím prvkem je CCD detektor. Posledním zde uvedeným zařízením, které nám pomáhá co nejlépe sejmout obraz sledované směsi, je mikroskop. Protože bude v této laboratorní úloze používán stereomikroskop, nebudou zde popisovány principy jiných druhů mikroskopů. Stereomikroskop získal svůj název díky tomu, že je možné sledovaný materiál sledovat oběma očima se zachováním stereoskopického prostorového efektu vidění, který je typický pro běžné lidské vidění. Moderní stereomikroskopy jsou vyráběny na základě dvou rozdílných koncepcí. První koncepce je nazývána „Greenough Concept“ (viz obr.1) . Zde jsou dva identické objektivy uspořádány tak, aby jejich optické osy svíraly minimální úhel. Jsou zde tedy generovány dva oddělené obrazy, které jsou sledovány skrz oddělené okuláry. Prostorový obraz se vytváří kombinací těchto dvou obrazů v lidském mozku. Jedná se o jednoduchý, kompaktní a levný systém, který dovoluje provádět základní mikroskopické pozorování na vysoké úrovni.
2
Druhá koncepce se nazývá „Telescope Concept“ (viz obr.2). V tomto případě jsou paralelně uspořádány dva mikroskopické systémy, ve kterých je světelný signál systémem čoček usměrněn do společného objektivu. Stereoefekt je dosahován kombinací těchto dvou os paprsků. Tento systém je složitější, tedy i dražší, nabízí ovšem možnost použití mnoha přídavných modulů zvyšujících kvalitu a flexibilitu mikroskopických analýz.
3
2
Zařízení používaná v této práci
2.1
Stereomikroskop STEMI 2000, Carl Zeiss GmbH. Používaný stereomikroskop (viz obr.3) je založen na koncepci uspořádání označované jako Greenough Concept. Je to jednodušší, avšak dostatečně výkonný mikroskopický systém. K objektivu mikroskopu je připojena přídavná čočka (předsádka), která nám dovoluje vyšší zvětšení než bychom dosáhli se samotným mikroskopem. Maximální dosažitelné zvětšení mikroskopu je tedy 100x, což nám ve spojení s kamerou umožňuje analyzovat částice, jejichž rozměr se pohybuje ve velikostech větších než jednotky mikrometrů. Výsledný obraz sledovaný mikroskopem můžeme sledovat buď pomocí dvojice okulárů nebo pomocí jednoho okuláru se současným nasměrováním druhého paprsku do objektivu připojené kamery. Ve stejný okamžik tedy můžeme sledovat analyzovanou směs jak pomocí mikroskopu, ovšem v tomto případě už ne stereoskopicky, tak také pomocí vhodného software na obrazovce počítače, ke kterému je připojena kamera.
Obr. 3: Schéma stereomikroskopu Stemi 2000
4
2.2
Digitální kamera SONY DFW-SX910
Tato kamera má jako snímací prvek CCD detektor, jehož rozlišení je 1392×1040 pixelů. Napájení kamery je zajišťováno pomocí standardního rozhraní IEEE 1394 (neboli FireWire). Přes toto rozhraní je také kamera ovládána buď pomocí software NIS-Elements nebo jiných programů pro ovládání FireWire kamer (mimo jiné i LabVIEW). Rychlost snímkování kamery je maximálně 7,5 snímků za sekundu, které je ale možné dosáhnout pouze při nižším rozlišení. Kamera nemá vestavěný objektiv, a aby bylo možné získávat snímky, je tedy nutné přes standardní C-závit připevnit vhodný objektiv v závislosti na velikosti sledovaného materiálu. V této úloze je objektiv nahrazen mikroskopem Zeiss. 2.3
Kruhové osvětlení – LED diody Zdrojem bílého světla je kruhový osvětlovač tvořený dvěma řadami LED diod. Tento produkt firmy SCHOTT má nastavitelnou intenzitu světla, je možné zapínat pouze určitou část diod a případně i pomocí počítače naprogramovat režim osvětlení vzorku. V této úloze budeme používat osvětlovač řízený pouze ovládacím blokem, nikoliv počítačem. Osvětlovač je upevněn k předsádce mikroskopu pomocí speciálně vyrobeného adaptéru.
3 3.1
Použitý software NIS-Elements AR 2.30
Program NIS-Elements (do srpna 2006 byl původní název LUCIA) je nejpoužívanější software pro obrazovou analýzy na VŠCHT Praha a jeden z nejpoužívanějších v ČR. Důvodem této obliby je to, že má českého výrobce Laboratory Imaging, s.r.o. a tudíž i českou jazykovou verzi, což je velmi výhodné především pro výuku. NIS-Elements je systém obrazové analýzy určený ke sledování, snímání, archivaci a ručnímu nebo automatizovanému měření preparátů. Používaný snímací systém nejčastěji tvoří optický přístroj (mikroskop, stereomikroskop resp. makrooptika nebo jako v této práci skener), dále kamera nebo digitální fotoaparát, nezbytný počítač a softwarové vybavení. Vybavení programu NIS-Elements je možné rozdělit do několika stupňů rozdělených podle náročnosti prováděné obrazové analýzy, v této laboratoři je používán III. stupeň nazvaný NISElements Advanced Research. NIS-Elements Advanced Research - III. stupeň Softwarové vybavení určené pro plně automatizované a náročné úlohy, často spojené s rozhodovacími procesy během měření. Advanced Research obsahuje veškeré možnosti Measurementu (tj. základní verze programu = I. a II. stupeň); většina funkcí je dále posílena o doplňky k speciálnímu použití. V základní programové výbavě NIS-Elements Advanced Research obsahuje následující prvky, z nichž některé budou podrobněji popsány v následujících odstavcích: 5
Nastavení a ovládání snímací kamery Živé zobrazení na monitoru resp. výběr části obrazovky, kde je živý obraz Snímání jednotlivých snímků, sekvence (sady) snímků, snímání velkých obrázků Úprava sejmutého obrazu základními nástroji (kontrast, SW doostření, SW vyhlazení) Rozměrová kalibrace systému pro jednotlivé optické konfigurace (pro více zvětšení) Ruční proměřování délek, ploch a úhlů pomocí myši s výstupem dat Prahování - segmentace obrazu na objekty a pozadí Základní binární operace na segmentovaném obrazu (eroze, dilatace, otevření, zavření, zaplnění děr, obrysy...) Ruční editor binárního obrazu Automatizované měření planimetrických veličin (plocha, max. a min. rozměry, protažení, cirkularita, délka, šířka.) Programování - vytváření maker pro opakující se úlohy Úprava barevných obrazů obsahuje morfologické funkce (erozi, dilataci, morfologický gradient, detekci hran.) Úprava binárních obrazů obsahuje rozšířené funkce (separaci binárních objektů, skeleton, ořezání konců čar, zóny vlivu, jednobodové značení.) Srovnávací funkce pro dva barevné obrazy (vzájemné posuny, otočení, smrštění nebo roztažení, diferenční funkce) Kombinace více binárních obrazů - binární operace (průnik, sjednocení, porovnávání, odečítání) Měření v masce - lze měřit v libovolně velké ploše různého tvaru, může být složena i s více vzájemně nepropojených oblastí; masku lze vytvořit prahováním nebo ručním editorem; lze vzájemně propojit masku a binární obrazy Měření s omezením veličin (např. jen objekty s plochou větší než 50 µm) … a řada dalších funkcí
Příklad využití funkcí měření v programu NIS-Elements (zdrojem obrazů je prospekt k programu NIS-Elements vydaný firmou Laboratory Imaging, s r.o.) 6
Pro náročnější a speciální operace obrazové analýzy lze k základnímu programu NISElements Advanced Research (příp. NIS-Elements Image resp. Measurement) zakoupit další přídavné moduly, které nám umožní např. rozšířené ovládání zařízení mikroskopu nebo náročnější analýzu získaných snímků. Obecný postup analýzy obrazu programem NIS-Elements Advanced Research je následující: 1. Sejmutí obrazu Po spuštění programu NIS-Elements se objeví dialogové okno, ve kterém uživatel volí, zda bude snímat pomocí kamery nebo použije simulátor snímání případně nebude obrázky vůbec snímat obrázky pomocí programu NIS-Elements, ale pouze analyzovat již dříve získané snímky. se v hlavním okně programu Stisknutím tlačítka Živý obraz na horní liště zobrazí aktuální obraz, který snímá kamera. Pro korekci světelných a barevných vlastností obrazu se používá funkce Nastavení kamery v nabídce Snímání resp. v pravé části obrazovky na záložce Nastavení kamery. Pokud obrázek odpovídá představám uživatele, stiskne se tlačítko Sejmout na horní liště a tak se obrázek převede do počítače. Doporučuje se obraz ihned uložit do počítače pomocí pokynu Uložit v nabídce Soubor. 2. Otevření obrazu Obraz sejmutý jinak než přímo online kamerou se otevírá jednoduše příkazem Otevřít v nabídce Soubor. 3. Úprava barevného obrazu – nabídka Obraz
Oříznout – Pokud naskenovaný obraz obsahuje zbytečně mnoho pozadí a objektů, které nebudou analyzovány, je možné příkazem Oříznout upravit velikost obrazu tak, aby obsahoval všechny objety, které mají být analyzovány a pokud možno minimum rušivých částí. Oříznout je možné pouze do tvaru obdélníku a výběr se nastaví táhnutím myši a potvrdí tlačítkem Enter. Kontrast – Pokud se sledované detaily v obraze svou světlostí málo liší od ostatních objektů, pak je možné jejich kontrast zvýšit funkcí Kontrast (pro šedý obraz) příp. Kontrast složek pro zvýraznění barevných složek obrazu. Při posouvání hodnot kontrastu na stupnici se v náhledu zobrazuje porovnání původního a upraveného obrazu. Upravit obraz – Funkce v nabídce Upravit obraz umožňují další změny barev a intenzity v obraze, jako jsou například matematické transformace jednotlivých barev, změna sytosti nebo odstínu apod. . Vyhladit/Zaostřit – Tyto funkce potlačí resp. zvýrazní detaily v obraze. Velikost/Otočit/Převrátit/Posunout – Tyto funkce manipulují s obrazem a upravují jeho rozměry. Detekce – Funkce v menu Detekce vyhledávají a zvýrazní (zvýšením světlosti) určité vlastnosti obrazu, jako jsou hrany nebo oblasti, kde hodnoty světlosti vytvářejí tzv. „údolí“ nebo „vrcholy“,tj. lokální minima nebo maxima. Morfologie – Morfologické funkce upravují objekty v obraze tak, že je zmenší nebo odstraní (Eroze), zvětší a příp. spojí (Dilatace), vyhladí kontury, odstraní 7
malé objekty, rozpojí objekty spojené tenkou šíjí (Otevření) nebo zaplní díry, vyhladí okrajové trhliny a spojí blízké objekty (Zavření). 4. Transformace obrazu
Konverze – Tato funkce z nabídky Obraz převádí barevný obraz na šedý (Převést do šedého obrazu), obraz vyjádřený RGB (červená, zelená, modrá) stupnicí převedou na HSI (odstín, sytost, světlost) stupnici (Převést RGB na HSI) a naopak (Převést HSI na RGB). Dále je možné z obrazu vybrat jednu barevnou vrstvu příp. určitou hodnotu světlosti, odstínu a převést ji do šedé stupnice (Vytáhnout složku - výsledkem je tedy šedý obraz vytvořený na základě specifických požadavků uživatele). Prahování – Prahování je jedna z nejdůležitějších funkcí obrazové analýzy, která převádí barevný nebo šedý obraz na binární (tj. obraz, ve kterém jsou pouze dvě hodnoty barev – obvykle černá a bílá). Program NIS-Elements dovoluje prahovat (tedy stanovit práh mezi pozadím a objekty v binárním obraze) podle jednotlivých barevných složek obrazu (Prahování resp. Prahování po složkách), podle hodnot HSI (Prahovat podle HSI) a nebo podle předem stanovené reference (Prahování podle reference).
5. Editace binárního obrazu – nabídka Binární
Otevření/Uzavření/Eroze/Dilatace/Vyčištění/Vyhlazení – Tyto funkce jsou obdobou výše zmíněných funkcí pro barevný obraz, pouze pracují s binárním obrazem. Uzavřít díry/Zaplnit díry – Tyto funkce se používají v těch případech, kdy chceme např. měřit plochu objektů, ve kterých vznikly během prahování a jiných úprav kvůli odleskům nebo jiným jasovým odchylkám díry. První funkce uzavře díry, které jsou v úzkém místě otevřeny a druhá funkce pak takto uzavřené díry vyplní. Konvexní obálka – Funkce vytvoří konvexní obal kolem objektů (někdy to může pomoci, např. při pouhém počítání objektů, ale při měření plochy částic se tato funkce nedoporučuje vzhledem k tomu, že přidává objektům další pixely navíc, které by mohly rušit přesné měření). Obrysy - Tato funkce vyhledá a zvýrazní obrysy objektů. Morfologická separace objektů – Tato funkce umí rozdělit objekty, které se překrývají nebo dotýkají (oddělit objekty je možné i manuálně, nakreslením čáry do obrazu – viz Vložit čáru, kruh, elipsu). Lineární/Pokročilá morfologie – Tyto funkce provádějí jednoduché i velmi složité morfologické operace s objekty v obraze (pracují tedy s rozměry a tvarem objektů a mění je podle druhu funkce a požadavků uživatele). Zpracování po objektech – Tato funkce umožňuje provádět příkazy (funkce) pro každý objekt zvlášť (příkazy se zadávají textově nebo výběrem ze seznamu). Vložit čáru, kruh, elipsu – Pomocí této funkce je možné do obrazu vložit geometrický tvar v barvě objektů nebo pozadí binárního obrazu. Vkládání tvarů v barvě objektů se používá např. pro dokreslení objektu, pokud se jeho 8
část prahováním odstranila a nebo pro přidání objektu, který při prahování zcela zmizel. barva pozadí se používá pro již zmíněnou separaci nakreslením úsečky mezi dvěma dotýkajícími se objekty nebo vymazání nežádoucích objektů. 6. Výběr objektů v obraze – nabídka Měření –Editace masky
Editor masky – Slouží k úpravě barevného i binárního obrazu tak, aby neobsahoval nežádoucí objekty, které by mohly rušit analýzu nebo naopak k výběru požadovaných objektů. Po spuštění editoru se změní levá i horní lišta programu. V levém rohu se volí, zda budou maskou označeny objekty, které se mají analyzovat (přepnutím čtvercového políčka na pozici FG -
), nebo
naopak objekty, které se mají přesunout do pozadí (pozice BG – ). Dále se volí nástroj, kterým se bude masku vytvářet (obdélník, kruh, linii, elipsu či libovolný jiný i nepravidelný tvar). Pravidelné tvary se vytvoří pouhým zakreslením tvaru do obrazu potažením myši, nepravidelný tvar se vytvoří vyznačením několika bodů určujících rozměry a tvar masky a nakonec potvrzením vykreslení masky pravým tlačítkem myši. Když je maska hotová (může mít i několik částí), editor se zavře a pokračují další úpravy a analýzy obrazu. 7. Měření – nabídka Měření
Interaktivní měření – Toto měření umožňuje uživateli provádět přímá měření objektů s okamžitým výstupem naměřených údajů ve zvolených jednotkách. Můžeme si vybrat z těchto parametrů: Délka, Plocha, Profil intenzity, Taxonomie, Počet, Poloměr, Poloosy, Úhel.
Měření jednotlivých objektů – Při použití této funkce program změří předem nastavené parametry všech objektů v binárním obraze; nejprve je nutné nastavit Příznaky pro měření objektů, příp. Omezení hodnot příznaků (tedy nastavení mezí měření), poté Změřit objekty a nakonec je možné přečíst Výsledky měření objektů.
Měření polí – Obdobně jako jednotlivé objekty je možné měřit pole, kdy jsou změřeny zvolené parametry objektů (Příznaky pro měření polí) a zprůměrňovány pro všechny objekty dohromady (tj. za celé pole).
Měřicí rámeček – Toto je velmi důležité nastavení rámečku určujícího, které objekty v obraze budou (uvnitř rámečku) a které nebudou (vně rámečku) měřeny; rámeček je možné upravit i po stisknutí klávesy F popotažením jeho okrajů myší. Rámeček má strany označeny dvojím způsobem, čárkovanou a plnou čárou. Objekty, které se dotýkají plné čáry (levý a spodní okraj rámečku) nebudou do měření započítány. Objekty dotýkající se čárkované linky (pravý a horní okraj rámečku) se do měření započítávat budou.
8. Vytvoření makra – nabídka Makro 9
Makro slouží k tomu, aby uživatel nemusel při opakovaných analýzách vždy znovu nastavovat všechny použité funkce, ale mohl celý sled funkcí spustit pouhým jedním kliknutím.
Nové…, Otevřít… - Zde se vytvoří a uloží nové makro nebo otevře makro již hotové. Vytvoření a pojmenování nového makra je nutné udělat před začátkem nahrávání makra, jinak bude sled funkcí zapisován do přednastaveného makra s názvem pracovní.mac .
Záznam…(F3) - Pokud je zvoleno požadované makro (nové, již dříve vytvořené nebo pracovní), spustí se klávesou F3 záznam funkcí a dále se provádí analýza tak, jak si to uživatel předem vyzkoušel. U dříve vytvořeného nebo pracovního makra budou dříve zaznamenané funkce přepsány příp. zachovány a k nim budou přidány funkce nové (podle toho, jak si uživatel vybere v dialogovém okně, které se objeví po stisku klávesy F3). Po provedení všech úprav a měření v obrazu se nahrávání makra ukončí opět tlačítkem F3 a nebo v nabídce Makro pokynem Zastavit záznam… .
Editovat…(F8) – Zde je možné editovat makro jako textový program, tedy textově měnit parametry funkcí, mazat nebo přidávat funkce. Tato funkce je určena především pro zkušenější uživatele programu NIS-Elements.
10
