HET INSTRUMENT 2010 Vision conferentie

HET INSTRUMENT 2010 Vision conferentie

Starten met beeldverwerking, hoe werkt dat? 29 September 2010 Jaap van de Loosdrecht Coördinator NHL Kenniscentrum Computer Vision

Overzicht

• • • • • • •

NHL Kenniscentrum Computer Vision Voorbeelden van vision toepassingen Meerwaarden van Computer Vision Wat heb ik nodig om te starten? Toekomst Samenvatting Vragen

NHL Kenniscentrum Computer Vision

• • • • • •

Gestart in 1996 Ruim 120 projecten gestart en succesvol afgerond Ruim de helft vervolgopdrachten Projectomvang van 2.500 tot 50.000 euro Van zelffinancierend naar positief financieel rendement Totaal 2.800.000 euro

• Haalbaarheidsstudies: • Rapport • Demonstratie of prototype opstelling

NHL Kenniscentrum Computer Vision

• • • • •

Onderdeel afdeling Engineering NHL 1 Coördinator (0.8 fte) 1 Junior onderzoeker (1 fte) 2 Projectingenieurs (2 * 1 fte) Per 1 oktober: 1 Lector (0.5 fte)

• Stagiairs / afstudeerders Totaal: 300 uit Nederland en 30 uit buitenland

Kracht van het kennis centrum is kennis van en apparatuur voor de hele keten van • • • • • •

Belichting Camera’s Optiek Opstelling Algoritmen voor beeldverwerking Embedding in systemen of andere software

Onderwijs in Computer Vision

• Lesstof geïnspireerd door ervaring uit projecten • Workshop 50 % theorie, 50 % hands-on • NHL Hogeschool: • Informatica • Technische Informatica • Werktuigbouwkunde (Mechatronica) • Elektrotechniek • Forensic Science • 8 andere hogescholen

5 daagse cursus Computer Vision voor het bedrijfsleven

• • • •

Lesstof geïnspireerd door ervaring uit projecten 50 % theorie, 50 % hands-on Dertiende editie cursus: 1 t/m 5 november 2010 Veertiende editie cursus: 4 t/m 8 april 2011

Overzicht

• • • • • • •


Voorbeelden van vision toepassingen

• • • • •

Inspectie petrischalen Inspectie van fotogeleiders Fraude detectie Thermal imaging Aardappelziekte detectie

Inspectie petrischalen

Inspectie van fotogeleiders

Foto’s beschikbaar gesteld door Oce Venlo

Fraude detectie, berekenen veiligheidsrisico

Clearing image

ST-ILF® image ST-ILF index = 93

Thermal imaging

Phytophthora infestans

• •

Verminderd productievermogen van gewas Oplossing: Door snelle detectie van Phytophthora infestans, op tijd bestrijden

Aeroscope: huidig prototype

09

Screenshot

Overzicht

• • • • • • •


Meerwaarde Computer Vision • Voor klant • System integrators • Product verbetering • Omzet vergroten • PR werking • Eind klanten • Efficiëntere en effectievere product controle • Kunnen blijven concurreren met lage lonen landen • Constantere kwaliteit • ‘foutloos’ • 24/7

Meerwaarde Computer Vision • Voor maatschappij en milieu • Veiligheid en gezondheid • Behoud van werkgelegenheid • Vermindering vervuiling en gebruik van grondstoffen • Voor NHL • Vraag gestuurde kennisontwikkeling • Real life projecten • Actueel en kwalitatief goed onderwijs • Inkomsten, kunnen investeren in CV • PR

Overzicht

• • • • • • •


Wat heb ik nodig om te starten ?

• Apparatuur • Software • Kennis

Wat heb ik nodig om te starten ? •

Apparatuur “Vanaf” in euro’s • PC gebaseerd • Camera 300 • PC 1000 • Framegrabber 0 - 500 • Alternatieven: • Intelligente camera 1000 • Visionsysteem 2000 • Gesloten versus open systemen • Lens 200 • Belichtingsapparatuur pm

Camera en lenzen

Camera keuze

• Web cams

• Medium tech

• High tech

• • • • •

Prijs Kwaliteit Resolutiee Frames per seconde Specials: • Peltier koeling • Beeldversterkers

Area scan camera

Line scan camera

Intelligente camera

Sensor type • CCD • CMOS • • • • • •

Infra rood Röntgen Radar Geluid MRI Radio telescoop (astronomie)

Sensor: array van pixels

•

• •

Resolutie: • Aantal pixel: breedte x hoogte • Voorbeelden: 640 x 480, 800 x 600, 1280 x 1024, etc Beelden per seconde: • Voorbeelden: 5 tot 200 Diagonaal chip is de maat size: • Voorbeelden: 1/3”, 1/2”, 2/3” en 1” • Belangrijk ivm keuze lens (vignettering)

Vignettering

Sensor: array van pixels •

•

Pixel grootte • Belangrijk ivm licht gevoeligheid • Voorbeelden: 3 tot 12 µm • Vierkant: belangrijk bij grootte metingen • Pixel “diepte” (dynamisch bereik) • Aantal grijswaarden • 8 bits = 256 (vaak voldoende) • 10 bits = 1024 • 12 bits = 4096 Spectrale gevoeligheid

Kleuren sensor

• 1 chip • Patroon met filters en interpolatie • Minder scherp dan vergelijkbare grijswaarden camera • 3 chips • Duurder • Minder schokbestendig

Raw format

• Beeld is grijswaarden plaatje met ruwe kleuren sensor informatie

Sensor: CCD versus CMOS

• CCD • Betere signaal / ruis verhouding beter bruikbaar in situaties met weinig licht • CMOS • Goedkoper • Makkelijke integratie op chip niveau • Pixel adresseerbaar • Windowing • Sub sampling en binning • Hoog Dynamisch Bereik

Pixel addresseerbaar • Windowing • Deel van sensor oppervlakte -> meer beelden per seconde • Meerdere windows in een opname

• Sub sampling and binning • N bij N buurpixels worden gecombineerd tot 1 pixel image factor n kleiner -> meer beelden per seconde

Hoog Dynamisch Bereik

Sluiter

• Voorbeelden : 1/15 .. 1/10.000 seconde • Mechanisch • Elektronisch • Globale sluiter • Rollende sluiter problemen met snel bewegende objecten

Rollende sluiter

Fokker Dr I, Stichting Vroege Vogels Lelystad

Standaarden voor digitale camera interfaces • Camera Link en CoaXPress • Hoogste performance • Dure frame grabber en kabel • FireWire (IEEE 1394a en 1394b) • Beschikbaar op meeste moederborden PC’s • IIDC standaard DCAM • DV is voor “handy cams” • USB ((1), 2 en 3) • USB 2 beschikbaar op meeste moederborden PC’s • GigE Vision en 10 GigE Vision • Gigalink ethernet beschikbaar op meeste moederborden PC’s

Standaarden voor digitale camera interfaces: vergelijking Standaard

Max Lengte

Snelheid

USB 2.0

5m

480 Mb/s

USB 3.0

4800 Mb/s

1394a (Firewire A)

4.5 m

400 Mb/s

1394b (Firewire B)

4.5 m

800 Mb/s

Toekomst: 1394c (FireWire C)

3200 Mb/s

Camera Link

10 m

6120 Mb/s

Gigabit Ethernet (GigE)

100 m

1000 Mb/s

Toekomst: 10 Gigabit Ethernet (10 GigE)

100 m

10000 Mb/s

CoaxPress

100 m

10000 Mb/s

• De maximale lengte kan vergroot worden met repeaters • De snelheid in fps hangt ook af van de overhead van het gebruikte protocol

Optiek

Belichting belangrijke succesfactor

Software

• Alles vanaf scratch zelf schrijven • Herbruikbare bibliotheken met krachtige operatoren

Van alles vanaf scratch versus herbruikbare bibliotheken

Reeksontwikkeling voor sinus en cosinus

Van alles vanaf scratch versus herbruikbare bibliotheken Convolution (src, dest, divideFactor, ….

mask) {

for (h = 1; h < height-1; h++) { for (w = 1; w < width-1; w++) { dest(w,h) = (mask(0,0) * src(w-1,h-1) + mask(0,1) * src(w,h-1) + mask(0,2) * src(w+1,h-1) + mask(1,0) * src(w-1,h) + mask(1,1) * src(w,h) + mask(1,2) * src(w+1,h) + mask(2,0) * src(w-1,h+1) + mask(2,1) * src(w,h+1) + mask(2,2) * src(w+1,h+1) ) / divideFactor; } // for w } // for h }

Software

Gebruik kunstmatige Intelligentie technieken, zoals bv patroonherkenningstechnieken Leer patronen

Zoek patronen

Wat heb ik nodig om te starten ? • Software 0 – 10.000 euro’s • Beeldverwerkingspakket • Configureerbare bouwstenen • Grafisch programmeren • Scripts programmeren • C(++) programmeren • Koppeling met camera/framegrabber • Aansturing actuatoren • Integratie met andere (software) systemen

Wat heb ik nodig om te starten ? Kennis

• Kennis nodig van: • Camera’s en lenzen • Belichtingsapparatuur • Algoritmen beeldverwerking • Aansturing actuatoren • Kennis waar vandaan ? • Leveranciers • Cursussen • Ontwikkelen prototype en systeemintegratie: • Zelf ontwikkelen versus systeem Integrator

Overzicht

• • • • • • •


Toekomst • Industriële automatisering • Kwaliteitscontrole steeds belangrijker • Afname van kosten • Low budget computer vision systemen nu mogelijk • Steeds meer toepassingen voor 3D en multi-spectraal • Nieuwe sectoroverschrijdende toepassingen, bv • Integrale veiligheid • Smart farming • Serious gaming • Multimedia • Zorg en welzijn

Overzicht

• • • • • • •


Wat heb ik nodig om te starten ? Samenvatting

• Start kosten apparatuur worden steeds lager • Low budget computer vision oplossingen zijn nu mogelijk • Investering in kennis is noodzakelijk: • Camera’s en lenzen • Belichtingsapparatuur • Algoritmen beeldverwerking • Aansturing actuatoren

Vragen ?

Voor meer informatie: Jaap van de Loosdrecht Coördinator Kenniscentrum Computer Vision NHL Hogeschool Rengerslaan 10, 8900 CB, Leeuwarden [email protected] www.nhl.nl/computervision 058 - 251 11 93

HET INSTRUMENT 2010 Vision conferentie

Recommend Documents