Vizuální systém pro optickou detekci vad na transparentních materiálech Visual system for contactless defects detection on transparent materials Karel Horák - Peter Honec - Soběslav Valach Abstrakt Článek pojednává o kamerovém systému pro automatizovanou detekci vad na potravinářských lahvích. Popsán je jak řídicí systém inspekčního stroje, tak i programové vybavení, zejména algoritmické zpracování obrazu s cílem detekce vizuálních vad na lahvích. Míra složitosti a rychlosti algoritmů je dána kompromisními požadavky na rychlost průmyslové linky a současným výskytem množiny vysoce variabilních vad. Proto je kromě základních algoritmů popsán i algoritmus rozpoznání typu nehomogenity a jeho vliv na celkovou úspěšnost třídícího procesu. Klíčová slova: vizuální systém, defektoskopie, rozpoznávání, momentové invarianty
Abstract Article deals about vision system intended for automated defects detection on transparent materials. Control system of inspection machine, software and especially image processing algorithms are described below. Complexity and rapidity of suggested algorithms are given by two compromise requirements: first one is production line speed, second is effectiveness of defects detection and both must be naturally high. Due to high variability of defects and synthetic patterns, pattern recognition method is described additional to standard basic algorithms. Pattern recognition method, based on moment invariants, allows to distinguishing between factual defects and synthetic patterns. Keywords: visual system, defectoscopy, pattern recognition, moment invariants
1 Úvod Pro usnadnění a dnes již častěji spíše pro samotné umožnění kontroly kvality na průmyslových linkách z hlediska vizuální správnosti lze využít kamerových systémů. Jedním z nich je kamerový systém pro detekci vad na potravinářských lahvích. Jeho cílem je detekovat viditelné vady na hrdle, dně a stěně láhve (např. zbytky etikety, špína, vhozené předměty, plíseň apod.) a v případě nalezení vady tuto láhev vyřadit z výrobní linky. Způsob zařazení inspekčního systému do průmyslové linky je stejně jako fyzické uspořádání jednotlivých kontrolních míst uveden v následující, první kapitole. Pro přesnost a úplnost přehledu použitého hardware jsou v první kapitole popsány také optické, mechanické a elektronické komponenty použité pro realizaci systému. Druhá kapitola se zabývá problematikou pořízení kompletní sady obrazů pro každou láhev a problematikou synchronizace několikanásobné expozice. Popsán je proces digitalizace a transferu obrazových dat z čipu kamery až do počátku fáze zpracování obrazu včetně modulu řízení expozice pro zajištění uniformních snímků lahví různých barev. Zmíněná fáze zpracování obrazu je náplní třetí kapitoly, zejména je objasněna základní detekce
1
nehomogenních oblastí na skleněném materiálu, které jsou považovány za potenciální vady. Čtvrtá a současně poslední kapitola řeší problematiku rozpoznávání obrazových segmentů skutečných vad od obrazových segmentů syntetických vzorů, tzv. falešných vad. Popsána je metodika použitých komplexních invariantů, je zaveden pojem degradace obrazového segmentu a je objasněna tvorba funkcí invariantů, pomocí kterých je samotné rozpoznávání řešeno. Pro stručnost je v tomto příspěvku tato technika popsána jen pro detekci vad na snímku dna láhve. Rozpoznávání vad na stěně láhve je řešeno analogicky, kontrola hrdla tuto techniku nevyužívá vůbec, protože se zde nevyskytují syntetické nehomogenity. V závěru článku jsou shrnuty poznatky přímo z provozů, v nichž je popisovaný inspekční systém instalován, a stručně jsou uvedeny výsledky algoritmického vyhodnocení.
2 Inspekční systém BTCAM612 Průmyslová linka pro plnění skleněných lahví je technologicky a logisticky poměrně složité zařízení, nicméně pro potřeby tohoto článku čtenáři zcela postačí konstatování, že inspekční systém detekující optické vady je na lince zařazen za myčku lahví a před plnič média. Před myčkou i za plničem je celá řada jiných technologických zařízení, jež jsou všechna propojena ocelovým dopravníkovým pásem a tvoří spojený sériový proces. Všechna tato zařízení jsou přesně seřízena a žádné z nich nesmí linku výrazně a zejména dlouhodobě zdržovat. To platí dvojnásob pro zařízení pouze volitelná jako je např. vizuální inspekční systém zvyšující kvalitu výroby, nikoliv umožňující výrobu samotnou. Inspekční systém BTCAM612 (Obr. 1) je do průmyslové linky vložen přerušením dopravníkového pásu (na obrázku písmeno L), po němž se pohybují kontrolované láhve ve standardní stojící poloze.
Obr. 1 Prostorové rozmístění kontrol na lince Fig. 1 Inspection blocks placement in production line Na vstupu (vlevo) a výstupu (vpravo) stroje je umístěna rozdělená kontrola stěny láhve (bloky C a D) složená vždy z kamerové jednotky a jednotky osvětlení. Uvnitř stroje jsou láhve vedeny za stěnu v pěnových pásech tak, aby byla umožněna kontrola hrdla (blok A) a kontrola dna (blok B). V případě vyhodnocení láhve jako vadné je vyřazena na odpadový stůl (blok E). Pro vyhodnocení vizuální správnosti hrdla láhve je použita jedna kamera, stejně jako pro vyhodnocení dna. Pro kompletní vyhodnocení stěny láhve jsou ale použity celkem čtyři kamery, dvě dvojice na dvou měřicích místech (bloky C a D). Celý systém pracuje tak, že v okamžiku příchodu láhve
do měřicího místa předá příslušná optická brána za pomoci řídicí karty povel kameře k začátku expozice (Obr. 2). Po skončení expozice je signál z kamery reprezentující obrazová data digitalizován a předán algoritmům zpracování obrazu přes řídicí jádro systému. Přes totéž jádro je podle výsledku analýzy obrazu aktivován pneumatický člen vyřazující vadné láhve na odpadový stůl.
Obr. 2 Blokové schéma inspekčního systému BTCAM612 Fig. 2 Block diagram of inspection system BTCAM612 Mezi hlavní použité komponenty (Obr. 3) patří průmyslové analogové kamery MODICAM612 (vlevo), digitalizační karty GX6 (uprostřed) a karty BOTCTRL pro napájení a řízení expozice kamer (vpravo). Průmyslová kamera MODICAM612 umožňuje ve spojení s řídicí kartou BOTCTRL řízení expoziční doby, čehož je využito pro kompenzaci rozdílných optických vlastností lahví nejen v různých provozech, ale hlavně v rámci jedné linky. Řídicí karta synchronizuje celý proces pořízení snímku s optickými závorami indikujícími příchod láhve do snímacího místa a se spínanými světelnými zdroji. Digitalizační karta je synchronizována s řídicí kartou a převádí analogový signál odpovídající obrazovým datům do číslicové podoby.
Obr. 3 Kamera, digitalizační a řídicí karta Fig. 3 Camera, grabber and control card Všechna uvedená zařízení jsou produkty společnosti CAMEA, spol. s r.o., pod jejíž režií byl celý vizuální systém vyvinut a začleněn do inspekčního stroje druhého spolupracujícího subjektu, NATE a.s. Kromě výše uvedených komponent byly použity další mechanické, optické a elektronické prvky, jejichž použití je však v průmyslových aplikacích standardní, tudíž zde nejsou i z důvodu omezeného rozsahu článku popisovány podrobněji.
3 Pořízení obrazu Při pořizování snímků jsou pro tři výše stanovené kontroly (hrdlo, dno, stěna) použity tři různé techniky osvětlení láhve (Obr. 4). Kamera hrdla používá reflexní zábleskové osvětlení (vlevo), kamera dna transmisní kontinuální osvětlení (uprostřed) a kamery stěn transmisní zábleskové osvětlení (vpravo). Synchronizace zábleskových osvětlení se začátky expozičních dob je řízena z hradlového pole Lattice ispLSI 1032E, jež je hlavní řídicí jednotkou na kartě BOTCTRL. Osvětlení dna láhve je realizováno výkonově dimenzovanou žárovkou přes širokou skleněnou matnici, osvětlení hrdla a stěny láhve obsluhují řídicí kartou spínaná pole vysoce svítivých LED.
Obr. 4 Metody pořízení obrazu pro hrdlo, dno a stěnu láhve Fig. 4 Acquisition methods for bottle neck, bottom and side Zatímco pro kompletní vizuální kontrolu hrdla i dna láhve stačí pořízení jednoho snímku pro každou kontrolu, pro kontrolu stěny láhve po celém jejím obvodu je nutno sejmout celkem čtyři vzájemně se překrývající snímky. Protože jsou na pásu láhve umístěny bezprostředně za sebou, lze snímání provádět pouze ve směru kolmém na směr pohybu dopravníku. Na vstupu stroje jsou proto dvojicí kamer pořízeny dva snímky stěny láhve (Obr. 5), která je poté rozdílnou rychlostí pásů uvnitř stroje otočena o 90° a na výstupu stroje jsou pak pořízeny dva snímky zbývající části láhve.
Obr. 5 Pořízení sady čtyř snímků pro kontrolu stěny láhve Fig. 5 Overall inspection of bottle side require four images V různých provozech nebo běžně i v rámci jedné provozní linky se vyskytují láhve s různou barvou skla, tedy s různou světelnou propustností. Tento fakt nemá vliv na reflexní metodu pořízení obrazu, kterou využívá kontrola hrdla, nicméně má velký vliv na transmisní metodu použitou u kontroly dna i stěny. Z tohoto důvodu využívají zmíněné dvě kontroly automatickou regulaci expoziční doby v závislosti na propustnosti skleněného materiálu [1]. Optickým vláknem je do řídicí karty přiváděna informace o míře transparentnosti právě snímané láhve a na základně této hodnoty je analogovými obvody buďto zkrácena nebo prodloužena expoziční doba, jež se pohybuje od 64 do 960 µs.
Obr. 6 Hnědá a bílá láhev bez kompenzace expozice (vlevo) a s kompenzací (vpravo) Fig. 6 Brown and white bottles without exposition compensation (left) and with compensation (right) Regulace expoziční doby kamery (Obr 6.) je nutná pro dosažení uniformní sady snímků (vpravo) bez ohledu na reálnou barvu lahví (vlevo). Tímto způsobem jsou zajištěny pevné podmínky pro algoritmické zpracování obrazu a tím i možnost pro striktnější nastavení parametrů algoritmů. Vzhledem k tomu, že kompenzace je řešena přímo na analogové úrovni řízením expoziční doby kamery, nezvyšuje výpočetní zátěž procesoru při zpracování obrazu.
1
4 Zpracování obrazu Zpracováním obrazu z hlediska defektoskopie transparentních materiálů (zde lahví), se rozumí detekce nehomogenit na jinak homogenním pozadí. Pro kontrolu hrdla to znamená detekci nespojitostí v tangenciálním směru (Obr. 7).
Obr. 7 Vyhodnocení snímku hrdla - tangenciální nespojitosti Fig. 7 Neck image evaluating - tangential inhomogeneities Programově je vyhodnocení snímku hrdla implementováno linearizací prstence hrdla do rovinného pruhu (Obr. 8), v němž jsou pomocí gradientních metod a shlukové analýzy [2] detekována přerušení v horizontálním směru.
Obr. 8 Linearizace prstence snímku hrdla Fig. 8 Neck ring linearization Podle počtu obrazových bodů tvořících shluk odpovídající nehomogenitě a podle počtu a prostorového rozložení shluků v celé oblasti proužku hrdla je rozhodnuto o celistvosti nebo naopak poškození popř. míře poškození hrdla. Oproti vyhodnocení snímku hrdla je zpracování obrazu kontroly dna a stěny láhve v principu odlišné, vzájemně pro dno a stěnu však stejné. Proto bude v následujícím textu popisována pouze kontrola dna s tím, že analogické postupy platí pro inspekci stěny. Prvním krokem u všech kontrol je přesná lokalizace oblasti hledání vad, protože poloha kontrolované části láhve je na snímku vlivem pohybu pásu zaručena pouze přibližně. V případě lokalizace dna je na příslušném snímku provedena vertikální a horizontální amplitudová projekce (Obr. 9), jež je pro oba uvedené směry definována vztahy (1).
APV ( x)
1 Y
Y
g ( x, y ) y 1
1 APH ( y ) X
X
(1)
g ( x, y ) x 1
Metoda využívá kruhového tvaru dna a tedy skutečnosti, že součet jasových úrovní v řádcích i sloupcích bude maximální v jeho středu. Toto tvrzení však platí pouze za předpokladu dna bez vady, proto je potřeba vypočítané průběhy projekcí aproximovat polynomem druhého řádu (Obr. 9).
Obr. 9 Lokalizace přesné polohy dna pomocí aproximací amplitudových projekcí Fig. 9 Exact position localization of the bottle bottom by means of amplitude projections Nalezením maxim v aproximovaných průbězích amplitudových projekcí jsou nalezeny obě souřadnice středu dna a je tedy možná detekce nehomogenních segmentů ve správné části snímku (Obr 10).
Obr. 10 Lokalizace přesné polohy dna pomocí aproximací amplitudových projekcí Fig. 10 Exact position localization of the bottle bottom by means of amplitude projection Detekce nehomogenit na snímku dna je realizována standardními postupy zpracování obrazu využívající kombinaci filtrace, gradientních metod, morfologických operací a shlukové analýzy [2]. Na obrazu dna jsou po odstranění šumu konvoluční filtrací nalezeny hranice objektů gradientní metodou, které jsou podle příslušných jasových úrovní vyplněny pomocí morfologických operací a popřípadě i vzájemně propojeny (shluková analýza). Uvedeným postupem jsou lokalizovány a vyhodnoceny všechny obrazové nehomogenity vyskytující se v aktivní oblasti snímku (Obr. 11).
Obr. 11 Nehomogenity odpovídající skutečným vadám Fig. 11 Inhomogeneities corresponding to factual defects Uvedený postup byl v praxi využíván relativně dlouhou dobu, ovšem jen do okamžiku, kdy se na dnech a stěnách lahví objevily umělé, výrobcem zavedené značky, loga a symboly (např. v ruském Kirově). Tyto prvky představují z hlediska vyhodnocení obrazu stejný nehomogenní obrazový segment, jako v případě skutečných vad. Z tohoto důvodu byl navržen a implementován mechanizmus rozpoznávání obrazových segmentů syntetických nehomogenit od obrazových segmentů skutečných vad.
5 Rozpoznávání vzorů obrazových segmentů Kromě obrazových segmentů skutečných vad se v některých provozech vyskytují i obrazové segmenty umělých vzorů výrobce, které nejsou skutečnými vadami (Obr. 12), ačkoliv tvoří nehomogenní oblasti stejně jako vady. Z hlediska správnosti třídícího procesu nesmí být tyto obrazové segmenty odpovídající umělým vzorům klasifikovány jako vady, ale musí být od skutečných vad
1
rozpoznány na základě popisných charakteristik. Jednoduché charakteristiky objektů jako např. počet obrazových bodů, obvod, kruhovost, konvexnost, genus apod. nelze vzhledem k jejich nízké rozlišovací schopnosti použít pro takto specifické nehomogenity.
Obr. 12 Syntetické vzory výrobce na snímku dna Fig. 12 Synthetic patterns of glass manufacturer on bottle bottom image Pro popis obrazových segmentů nehomogenit byly proto využity komplexní momentové invarianty ψ1 a ψ2 sestavené z komplexních momentů cpq řádu p+q [3] podle vzorce (2).
1 c11
2 Rec20 c122
(2)
Výpočet komplexních momentů cpq vychází z teorie geometrických algebraických momentů [4] a je dán vztahem (3).
c pq ( xs iy s ) p ( xs iy s ) q s( xs , y s ) Y
(3)
X
V uvedené relaci představuje výraz s(xs,ys) data obrazového segmentu a symboly p a q řád komplexního momentu cpq. Komplexní momentové invarianty vyšších řádů (přesně ψ3 až ψ11) nebyly v tomto systému použitelné z důvodů vysoké závislosti na reálných změnách v obrazových datech týchž vzorů, jednodušeji řečeno šumu [3]. Pro rozpoznávání obrazových vzorů ale nepostačují pouze dvě číselné charakteristiky ψ1 a ψ2 a proto byla zavedena tzv. kruhová degradace obrazového segmentu (Obr. 13).
Obr. 13 Kruhová degradace syntetického vzoru Fig. 13 Circular degradation of synthetic pattern Výpočtem komplexních momentů ψ1 a ψ2 pro každý takto degradovaný vzor jsou získány funkční průběhy, které jsou pro daný vzor charakteristické, tudíž vykazují potřebnou diskriminabilitu. Tyto průběhy jsou pro známé, výrobcem určené vzory vypočteny ještě před samotnou implementací a uloženy v paměti a v provozu pak srovnávány s funkčními průběhy aktuálně zpracovávaných segmentů (Obr. 14).
Obr. 14 Funkční průběhy komplexních invariantů pro jeden vzor a pro vadu (poslední sloupec) Fig. 14 Ten complex invariants functions of one pattern and of one defect (last column) Míra odlišnosti průběhu uloženého vzoru a aktuálního segmentu je vypočtena jako součet absolutních hodnot rozdílů jednotlivých složek funkcí. Pokud je součet vyšší, než parametricky určená hranice, není aktuální segment považován za možnou obrazovou realizaci známého vzoru a je vyhodnocen jako skutečná vada. V opačném případě je segment nehomogenity v klasifikačním procesu ignorován, protože se jedná o umělý vzor výrobce.
6 ZÁVĚR V článku je popsán inspekční systém pro kontrolu vad na potravinářských lahvích, který je úspěšně implementován v celé řadě tuzemských (Budějovice, Vyškov, Hlinsko, aj.) i zahraničních (Polsko, Rusko, Lotyšsko, aj.) provozů (ukázka stroje na Obr. 15). Úspěšnost detekce a rozpoznávání vad odpovídá průmyslovým normám a pohybuje se podle povahy provozů od 95 do 99.5 %.
Obr. 15 Inspekční stroj pro kontrolu hrdla a dna Fig. 15 Bottle neck and bottom inspection machine Projekt byl řešen ve spolupráci se společnosti CAMEA, spol. s r.o. a NATE, a.s. a byl podporován grantovými projekty 1M0567 (Výzkumné centrum aplikované kybernetiky) a MSM0021630529 (Inteligentní systémy v automatizaci).
Ing. Karel Horák, Ph.D. Ing. Peter Honec, Ph.D. Ing. Soběslav Valach Ústav automatizace a měřicí techniky Fakulta elektrotechniky a komunikačních technologií, Vysoké učení technické v Brně, Kolejní 4, 612 00 Brno e-mail:
[email protected] e-mail:
[email protected] e-mail:
[email protected] 1
Literatura [1] HORÁK, Karel – KALOVÁ, Ilona – RICHTER, Miloslav:
Řízení expozice kamerových systémů. Sborník příspěvků. Košice: ARTEP, 2007. 308 s. ISSN 1335-2393. [2] ŠONKA, Milan – HLAVÁČ, Václav – BOYLE, Roger: Image Processing, Analysis, and Machine Vision. Thomson, Toronto, 2008. 829 p. ISBN 978-0-495-08252-1. [3] FLUSSER, Jan – SUK, Tomáš: Construction of Complete and Independent System of Rotation Moment Invariants. CAIP 2003. Springer-Verlag, Heidelberg, 2003. pp 41-48. [4] HU, Ming-Kuei: Visual Pattern Recognition by Moment Invariants. IRE Transactions on Information Theory, vol. 8, 1962. pp 179-187.
1
