Návrh a implementace algoritmů pro adaptivní řízení průmyslových robotů Design and implementation of algorithms for adaptive control of stationary robots Marcel Vytečka 1, Karel Zídek 2 Abstrakt Článek se zabývá problematikou průmyslové automatizace. Je zaměřen zejména na rozpoznání
strojních
součástí
v pracovním
prostoru
stacionárního
robotu
pomocí
průmyslových kamer. Při řešení tohoto problémy byly využity algoritmy pro zjištění významných bodů v obraze (Bay, 2006) a (Najgebauer, 2013). Dále algoritmy pro vytvoření grafové reprezentace (Toussaint, 1980), (Prim, 1957) a (Green, 1978). Pro vyhodnocení podobností získaných grafů je zjišťována jejich vzdálenost (Lopresti, 2003). Pro simulaci průmyslového provozu slouží zkonstruovaný dopravník, který je integrován do ochranné klece manipulátoru (Ondroušek, 2013). Cílem představovaného projektu bylo vytvořit komplexní systém, který je schopen rozpoznat objekty v pracovním prostoru stacionárního robotu. Bylo nutné navrhnout způsob reprezentace objektů, který není náročný na strojový čas. Rychlost zpracování a robustnost celého řešení kladou na systém vysoké požadavky. Tyto podmínky byly splněny díky využití grafové reprezentace objektů. Vytvořený systém je schopen na základě předloženého 3D modelu vytvořit databázi objektů. Uložené grafové reprezentace je možné porovnávat a zjistit tak typ objektu, který se nachází na dopravníkovém pásu. Klíčová slova Adaptivní řízení, počítačové vidění, strojové učení, detekce objektů
1
Ing. Marcel Vytečka, e-mail:
[email protected], ústav informatiky, Provozně ekonomická fakulta,
Mendelova univerzita v Brně, Zemědělská 1, 613 00 Brno, ČR, tel. +420 545 12 22 36 2
Bc. Karel Zídek, e-mail:
[email protected], ústav informatiky, Provozně ekonomická fakulta,
Mendelova univerzita v Brně, Zemědělská 1, 613 00 Brno, ČR, tel. +420 545 12 22 26
Abstract The paper deals with the issue of industry automation. It is focused mainly on the detection of machine parts using industrial cameras in the stationary robot working space. First, it is necessary to find important points in the image. This is achieved using two algorithms (Bay, 2006) and (Najgebauer, 2013). In the second step these points are connected into a graph. Three algorithms are used in this process (Toussaint, 1980), (Prim, 1957) and (Green, 1978). The third step is focused on the problem of graphs matching (Lopresti, 2003). For the purpose of the industrial process simulation a small conveyor belt was constructed and integrated into a protective cage (Ondroušek, 2013). The main goal of the presented project was the creation of a complex system which is able to recognize objects in a working space of the stationary robot. It was necessary to design the way of the objects representation according to time requirements. It is not a trivial problem to create the robust system. This goal was achieved thanks to the graph representation of the objects. The created system is able to create a database of the objects according to their 3D model. The stored graph representation of the object serves for a graph matching. At the end of this process there is a specified type of the object in the scene.
Key words Adaptive control, computer vision, machine learning, object detection
Úvod Automatizace výrobních procesů je stále na popředí zájmu průmyslových společností. Prudký vývoj stacionárních i mobilních robotů dále posunuje hranice výroby. Zvyšuje se rychlost, přesnost i spolehlivost systémů. V posledních letech se stále více rozšiřuje snaha o tvorbu stále více inteligentních systémů. Tedy systémů, které jsou schopny splnit zadaný úkol i při absenci některých informací. Příkladem takového systému může být stacionární robot, manipulující s objekty na pohyblivém pojízdném výrobním pásu. Zadaný úkol je najít na pojízdném pásu správný polotovar a přemístit jej do předem připraveného sběrného koše. Informace, které systému chybějí je čas výskytu, přesná poloha a trajektorie, kterou musí urazit, aby úkol splnil. Inteligentní systém musí v tomto případě v dané scéně objekt najít, rozpoznat, zda se jedná o požadovaný a vypočítat nejoptimálnější trajektorii. V tomto typu úloh hraje kritickou roli čas. Je tedy důležité mít správné informace ve správný čas.
Cíle řešení Hlavním cílem představovaného projektu byl návrh a implementace systému, který je schopen rozpoznat různé typy objektů v obraze. Systém je zaměřen na rozpoznávání strojních součástí na pojízdném dopravníkovém pásu.
Postup a způsob řešení Postup zpracování snímků v navrženém systému sestává ze tří kroků. Prvním krokem je nalezení významných bodů v obraze. K tomuto účelu jsou využity dvě metody. První z nich je dobře známá metoda SURF (Bay, 2006). Druhou metodou je vylepšený algoritmus založený na detekci hran (Najgebauer, 2013). V druhém kroku, po nalezení významných bodů, je nutné jejich spojení do podoby grafu. Pro tento účel byly využity tři známé algoritmy. Algoritmus nejmenší kostry (Prim, 1957), graf relativní sousednosti (Green, 1978) a graf relativní sousednosti (Toussaint, 1980). Posledním krokem je uložení grafů do databáze. Hlavní myšlenkou je tvorba databáze objektů z 3D modelu. Sníží se tím časová náročnost učení. Při zpracování aktuálního snímku z pracovního prostoru stacionárního robotu se provedou první dva kroky stejně. Třetím krokem při rozpoznávání je porovnání získaného grafu objektu s těmi, uloženými v databázi. Je zjištěna nejmenší vzdálenost mezi grafy (Lopresti, 2003). Po získání nejpodobnějších grafů je tímto určen typ objektu ve scéně.
Pro simulaci výrobní linky byl do existující ochranné klece (Ondroušek, 2013) integrován dopravníkový pás.
Výsledky řešení Výsledný software je schopen na základě analýzy snímku určit, který objekt se nachází ve scéně, která reprezentuje pracovní prostor stacionárního robotu. Na Obr. 1 je znázorněno vyhledání významných bodů pomocí metody SURF a následného vytvoření Voronoi diagramů pro vytvoření grafu. Obr. 2 Znázorňuje vyhledání významných bodů pomocí metody založené na detekci hran a spojení do grafu relativní sousednosti.
Obr. 1 SURF a Voronoi diagramy. A reálný snímek, B 3D model
Obr. 2 Grid a graf relativní sousednosti. A reálný snímek, B 3D model
Vyrobený dopravníkový pás, sloužící pro simulaci výrobní linky je zobrazen na Obr. 3. Dopravníkový pás je vyroben z hliníkových profilů a pro pohon slouží krokový motor.
Obr. 3 Dopravník integrovaný do ochranné klece stacionárního robotu
Závěr Představený simulátor výrobní linky, vytvoření v rámci tohoto projektu bude sloužit pro další výzkumnou a pedagogickou činnost. Softwarové řešení bude podrobeno dalšímu testování a rozšiřování možností zpracování snímku o další algoritmy pro strojové vidění.
Literatura BAY, H., TUYTELAARS, T., GOOL, L., 2006: SURF: Speeded Up Robust Features. Proceedings of the ninth European Conference on Computer Vision, pp. 404–417. ISBN 9783-540-33832-1. DOI 10.1007/11744023_32. GREEN, P.J., SIBSON, R., 1978: Computing Dirichlet tessellations in the plane. Computer Journal, Volume 21, issue 2. LOPRESTI, D., WILFONG, G., 2003: A fast technique for comparing graph representations with applications to performance evaluation, Document Analysis and Recognition. Volume 6, Issue 4, pp. 219-229. DOI: 10.1007/s10032-003-0106-z. NAJGEBAUER, P., et al., 2013: Representation of Edge Detection Results Based on Graph Theory. 12th International Conference, ICAISC 2013. Springer Berlin Heidelberg, pp. 588– 601. ISBN 978-3-642-38657-2. DOI: 10.1007/978-3-642-38658-9_54. ONDROUŠEK,
V. et
al.,
2013:
The
Robust
Remote
Control
of
the
Manipulator. Mechatronics. Springer, pp. 725–731. ISBN 978-3-319-02293-2. PRIM, R.C., 1957: Shortest connection networks and some generalizations. Bell System Technical Journal, The, no. 36. DOI: 10.1002/j.1538-7305.1957.tb01515.x. TOUSSAINT, G.T., 1980: The Relative Neighbour Graph of a Finite Planar Set. Pattern Recognition, vol. 12, pp. 261–268.
Tento příspěvek byl podpořen grantem IGA DP 5/2014 adaptivní řízení průmyslových robotů.
Návrh a implementace algoritmů pro
