Možnosti a příklady přenosu výsledků v počítačovém vidění a robotice do českého průmyslu

Možnosti a příklady přenosu výsledků v počítačovém vidění a robotice do českého průmyslu Václav Hlaváč České vysoké učení technické v Praze Centrum strojového vnímání, přemosťující: • CIIRC = Český institut informatiky, kybernetiky a robotiky • FEL = Fakulta elektrotechnická [email protected]; http://cmp.felk.cvut.cz/~hlavac

Osnova 2

Moje pracoviště (skupina V. Hlaváče), Kanály pro transfer technologií Příklady našich projektů

1. 2. 3. • • • •

4. 5.

Dva EU projekty jako zázemí Stabilizovaná kamerová hlavice AUTMODO – monitorování hlukového zatížení Omni vidění pro Daimler

Robot Jetty, Neovision Spolupráce s R&D centry velkých firem v ČR

Katedra kybernetiky – EU Center of Excelence 80 zaměstnanců:  40 učitelů / výzkumníků  25 výzkumníků  50 interních Ph.D. studentů 8-10 absolventů Ph.D. ročně

CIIRC – Český institut informatiky robotiky a kybernetiky  Vysokoškolský ústav, založen 1. 7. 2013  Roste zatím pomalu, chystá se nová budova …

3

Financování katedry kybernetiky v roce 2012 Gov./Inst. Funding Public CZ

4

210 mil. Kč

EU Projects Industry

USA Japan and Korea EU Czech

Center for Machine Perception at glance, 35 FTE  Established 1986, the name CMP since 1995.  Research interests: • computer vision, • pattern recognition, • mathematics of uncertainty, • cognitive robotics • medical imaging.

Impact & excellence  numerous science prizes,  hundreds of ISI citations per year,  competitive results in contests,  collaboration with hightech companies  significant % of funding from EU and private companies,  two spin-out companies.

5

Kanály pro přenos technologie  Přímý výzkum a vývoj, konzultace pro firmy (také sponzorované laboratoře, pracovní místa, např. profesorská)  Spin-off firmy  R&D oddělení velkých korporací působící v ČR  Knowledge transfer partnership, doktorand na 1 rok do průmyslu, rozvinuto v U.K.  Národní a EU financované projekty (více se klonící k aplikacím v Horizon 2020)

6

Naše strategické cíle 7

 Vysoce kvalitní výzkum a vývoj s mezinárodně uznávanými výsledky  Podpora přenosu know-how do průmyslu  Živá spolupráce s průmyslem  Výuka inženýrů a doktorandů. Výběrová, s cizinci, mezinárodním rozměrem Prostor pro firmy, diplomky, brigády

TRADR robotic platform 8

• • • • • • •

Embeded PC: Kontron KTGM45/mITX Plus Rotating 2D laser scanner: SICK LMS-151 Omnicam: Point Grey Ladybug 3 IMU/GPS: X-sens MTI-G ASUS Xtion Pro Thermocam Micro-Epsilon TIM160 UBUNTU 12.04 (64 bit) & ROS

Earthquake mission Mirandola May 20 – June 18, 2012, Mirandola, Emilia-Romagna region, Italy 246 seismic activities, 3 – 6.1 Richter scale

9

Earthquake Mirandola 2012 10

CloPeMa – úvod, cíle Partneři:  CERTH, Greece  CVUT Prague, CZ  U of Genova, IT  U of Glasgow, UK  Neovision s.r.o., CZ

 Autonomní vnímání a manipulace s měkkými látkami (např. textiliemi).  Souhra mezi senzory, vnímáním, robotickou manipulací a strojovým usuzováním.  Levnější a přesnější dvojruký průmyslový robot.  Očekávaný přesah do průmyslu.

11

CloPeMa - experimentální platforma  Dva manipulátory Motoman s dutým zápěstím  ROS pro integraci

12

Průmyslový robot s pružnou impedancí?  Dva 6-osé senzory síly  Silová zpětná vazba a momentu Mini45  Úzké místo, rychlost, řídicí systém robotu  € 6150 každý z nich

14

Stabilizovaná kamerová hlavice  Vývoj od 2008 pro VTUL. Několik projektů, poslední TAČR.  Nyní 3. generace; průměr 320, 250, 120 mm.  Dvě zpětné vazby: • Rychlá, tlumí vibrace a rychlé pohyby vrtulníku; • Pomalá, sleduje cíl.

16

Kamerové hlavice, detaily 17

Diameter 250 mm

Diameter 120 mm

Test na helikoptéře 18

AUTMODO - Automatické monitorování dopravního proudu  TAČR Alfa projekt  Výstup: počet a klasifikace vozidel  Partner Ekola group projíždějících sčítací s.r.o. (firma měřicí zónou. hlukové zatížení)  Úloha detekce vozidel Formulace úlohy: a jejich klasifikace ve  Vstup: 24-hodinový videu je řádově záznam (video+zvuk) + složitější než u pevně anotace (≈ 50 vozidel) namontovaných kamer umožňující adaptaci ve snadných pozicích. systému.

19

Přiblížení metody Detekce (Haar + Gentleboost)

Sledování (KLT)

Shlukování do trajektorií

20

Avoiding mirror blind spots 21

 The main problem: truck drivers have limited view

Large blind spots  Large blind spot areas emerge in front of the truck, on the passenger side, and behind the vehicle.

2.5m

• Mirrors can only cover parts of the areas. • View fragmented into many mirrors.

22

Omni-directional cameras 23

• Four catadioptric cameras were mounted on the vehicle. • 2 cameras on the truck. • 2 cameras on the trailer.

Bird’s eye view 24

Virtual image plane

A virtual pinhole camera is placed above the vehicle and bird’s-eye view is generated from catadioptric images

Corridors for maneuvering 25

 Green - the bumpers of the truck and trailer.  Blue – desired parking position.  Red – must be free.

Result: Daimler Actros Truck & Trailer 26

Spin-off firmy  CERTICON, a.s.: (150+ zaměstnanců): software house, testování sw, prediktivní algoritmy, plánování a rozvrhování  ProTyS, a.s.: (38 zaměstnanců) vývoj sw, inteligentní řídicí algoritmy  Neovision s.r.o.: (16 zaměstnanců): počítačové vidění, robotika, obrazová inspekce v průmyslu  Eydea Recognition, s.r.o. (6 zaměstnanců) analýza obrazu, obrazové monitorování dopravy  Cognitive Security, prodáno CISCO

27

Příklad prům. vazby, Neovision 28

 Vzájemně výhodná spolupráce  Příklad, robot Jetty

Yetti robot, cleaning 29

Výzkumná centra velkých společností v ČR Spolupráce s:  Rockwell Automation Research Center Prague  Honeywell Laboratory Prague  Honeywell R&D center in Brno  Porsche Engineering

30