Anzeige
Anzeige

Künstlich erzeugte Bilder für die automatische Sichtprüfung

Sensorrealistische Bildsimulation

Bilder für die automatische Sichtprüfung künstlich zu erzeugen, mag auf den ersten Blick unsinnig erscheinen. Man könnte argumentieren, dass die automatische Sichtprüfung ja nur reale Objekte prüft, und von diesen realen Objekten sollten auch reale Bilder vorhanden sein. Eine virtuelle Prüfung von nicht vorhandenen Objekten klingt nach einem Schildbürgerstreich.

 Simulation der gewinnung zur Auslegung eines Triangulationssensors für einen gegossenen Motorblock; Real-time-Rendering (links), Rendering mittels Mitsuba (Mitte), reales (rechts). (Bild: KIT, Lehrstuhl für Computergrafik)

Bild 1 | Simulation der Bildgewinnung zur Auslegung eines Triangulationssensors für einen gegossenen Motorblock; Real-time-Rendering (links), Rendering mittels Mitsuba (Mitte), reales Bild (rechts). (Bild: KIT, Lehrstuhl für Computergrafik)

Bei näherer Betrachtung ist die Idee, simulierte Bilder in der automatischen Sichtprüfung zu verwenden, allerdings nicht so abwegig. Zwar werden für die tatsächliche Prüfung von Objekten zur Qualitätssicherung immer reale Bilder dieser Objekte verwendet, aber bei der Konzeption, Auslegung und Parametrierung von Bildverarbeitungssystemen gibt es zahlreiche Argumente für die Verwendung simulierter Bilder:

  • Soll ein Bildverarbeitungssystem für eine neue Produktionslinie erstellt werden, sind reale Produkte aus dieser Linie noch nicht verfügbar. Ohne reale Objekte lässt sich ein Bildverarbeitungssystem auf normalem Weg aber nur schwer einrichten, da die optimalen Aufnahmeparameter (Kamera-/Beleuchtungspositionen, Blenden und Belichtungszeiten etc.) stark vom Objekt abhängen. Simulierte Bilder können hier helfen, um Visionsysteme zu erstellen, bevor die damit zu prüfenden Objekte verfügbar sind. Dadurch wird eine Qualitätssicherung vom ersten Tag der Produktion an ermöglicht.
  • Insbesondere bei der Oberflächeninspektion auf Defekte ist die Vielfalt möglicher Abweichungen vom fehlerfreien Produkt enorm. Um die Defekterkennung auszulegen, sind üblicherweise Musterteile mit unterschiedlicher Ausprägung und Lage von Defekten erforderlich. Die Anzahl notwendiger Musterteile kann dadurch sehr groß werden; darüber hinaus treten manche Defekte bei gut eingestellten Produktionsprozessen praktisch nie auf. Mittels Bildsimulation können solche Defekte in unterschiedlicher Ausprägung und an unterschiedlichen Positionen nahezu beliebig erzeugt werden.
  • Für den aktuellen Trend des Deep Learning mittels künstlicher neuronaler Netze werden in der Trainingsphase möglichst viele Bilder als Beispieldaten benötigt, wobei diese Bilder auch noch mit der tatsächlichen Qualitätseinstufung (Ground Truth) versehen sein müssen. Die Erstellung von solchen annotierten Datensätzen mit vielen Hundert oder Tausend Objekten bzw. Bildern mit zugehöriger Qualitätseinstufung verursacht allerdings einen erheblichen Aufwand, der die Anwendung solcher Lernverfahren momentan noch behindert. Die Bildsimulation beseitigt beide Probleme auf einmal: Bei der Simulation lässt sich die Produktqualität vorgeben, und Bilder mit oder ohne Defekte lassen sich in praktisch unbegrenzter Vielfalt und Anzahl erzeugen.
  • Mit Hilfe von Simulationen lassen sich Einflüsse auf die Bildgewinnung untersuchen, ohne dass diese in Realität vorhanden sein müssen. So lassen sich die Auswirkungen z.B. von Fremdlicht und Vibrationen, aber auch von Änderungen des Objekts selbst, wie etwa einer Änderung der Oberflächenstruktur oder Farbe auf die automatische Sichtprüfung, einschätzen, bevor diese Veränderungen im Bildaufnahmeprozess tatsächlich eintreten.
 Aus der Simulation der gewinnung des Triangulationssensors lässt sich die erzielbare Messunsicherheit abschätzen, hier am Beispiel von Kanälen in einem gegossenen Motorblock. (Bild: KIT, Lehrstuhl für Interaktive Echtzeitsysteme, M. Mohammadikaji)

Bild 2 | Aus der Simulation der Bildgewinnung des Triangulationssensors lässt sich die erzielbare Messunsicherheit abschätzen, hier am Beispiel von Kanälen in einem gegossenen Motorblock. (Bild: KIT, Lehrstuhl für Interaktive Echtzeitsysteme, M. Mohammadikaji)

Bildsimulation für die IBV

Die meisten Menschen denken bei Bildsimulation an Spezialeffekte, wie sie im Kino oft zu sehen sind. Dort ist die Aufgabe, nicht realisierbare Szenen zu erzeugen – oder schlicht Kosten für teure Requisiten zu sparen. Auch in der Konsumgüterindustrie werden Bildsimulationen zunehmend verwendet, um z.B. Kataloge für Möbelhäuser zu erstellen oder den Kunden schon vor der Auslieferung zu zeigen, wie ihr künftiges Fahrzeug mit der gewählten Farbe und Ausstattung aussehen wird. In allen diesen Anwendungen besteht das Hauptziel darin, dem Betrachter den Eindruck zu vermitteln, dass die reale Szene aufgenommen wurde. Diese Eigenschaft wird üblicherweise als Fotorealismus bezeichnet. Hier hat die Computergrafik in den letzten Jahren große Fortschritte erzielt, so dass der normale Betrachter bei vielen Bildern aus Katalogen keinen Unterschied zu realen Fotoaufnahmen mehr erkennen kann. Die Anforderungen an die Bildsimulation für die industrielle Bildverarbeitung (IBV) sind jedoch andere: Hier geht es nicht darum, dass ein Mensch die Bilder als schön empfinden soll. Das Ziel der Simulation besteht vielmehr darin, alle Effekte der Bildgewinnung zu berücksichtigen, die eine Relevanz für die nachfolgende Bildverarbeitung besitzen können. Dies umfasst z.B. das Spektrum der Beleuchtung (relevant für Fehler der Abbildungsoptik), Effekte der Wechselwirkung zwischen Licht und Oberfläche (etwa bei Laser-Triangulationsverfahren oder aufgrund von Bearbeitungsspuren), Abbildungsfehler der Kameraoptik (Verzeichnungen, chromatische Fehler, Astigmatismen etc.), aber auch Eigenschaften des Kamerasensors (etwa Rauscheinflüsse oder defekte Pixel). Diese Art der Simulation kann als Sensorrealismus bezeichnet werden, da die Szene so simuliert werden soll, wie sie ein realer Sensor erfassen würde. Auch ist es nicht unbedingt erforderlich, die Bilder vollständig und überall in gleicher Detailtreue zu simulieren. Für einen Triangulationssensor ist es beispielsweise ausreichend, nur die projizierte Laserlinie zu berücksichtigen; alles andere ist irrelevant.

 Durch die Simulation von Glasscherben und Variation ihrer Parameter (z.B. Größe, Form, Farbe/Spektrum) lassen sich automatische Sortiersysteme für das Recycling auslegen. (Bild: Fraunhofer IOSB und KIT, Lehrstuhl für Computergrafik)

Bild 3 | Durch die Simulation von Glasscherben und Variation ihrer Parameter (z.B. Größe, Form, Farbe/Spektrum) lassen sich automatische Sortiersysteme für das Recycling auslegen. (Bild: Fraunhofer IOSB und KIT, Lehrstuhl für Computergrafik)

Bild 4 | CAD-Konstruktion und simuliertes Bild eines Bauteils einschließlich der durch den Herstellungsprozess
verursachten Bearbeitungsspuren (Fräsrillen). (Bild: Fraunhofer IPA)

Sensorrealistisches Simulationswerkzeug

Ansätze einer sensorrealistischen Simulation gibt es bereits seit einigen Jahren. So lässt sich mit manchen Tools etwa die Sensorposition optimieren, indem ein Bild des Objekts aus einer beliebigen Position simuliert wird. Der Bildverarbeiter kann dann entscheiden, ob die relevanten Merkmale des Objekts in hinreichender Qualität erfasst werden. Auch andere Komponenten der Bilderfassung wie z.B. Beleuchtungseinrichtungen oder Abbildungsoptiken lassen sich bereits in der Simulation auswählen. Ein umfassendes sensorrealistisches Simulationswerkzeug für die automatische Sichtprüfung existiert derzeit noch nicht. Für die automatische Sichtprüfung sind zahlreiche Parameter der Beleuchtung, Kamera und auch der Szene und der Umgebung relevant, die alle festgelegt und in geeigneter Weise berücksichtigt werden müssen. Auch wenn computergrafische Verfahren im Prinzip geeignet sind, um die Szene sensorrealistisch darzustellen, so fehlen dennoch passende Tools, um diese Parameter auszuwählen und zu optimieren. Momentane Forschungs- und Entwicklungsarbeiten, u.a. am Fraunhofer IOSB, am Fraunhofer IPA und am KIT, belegen das Potenzial sensorrealistischer Bildsimulation. Noch gibt es keine leicht bedienbare Software für die sensorrealistische Simulation, aber man kann davon ausgehen, dass solche Tools in wenigen Jahren zum normalen Werkzeug für die Erstellung von Bildverarbeitungssystemen gehören werden – so wie heute CAD zur Konstruktion.

Anzeige

Empfehlungen der Redaktion

Das könnte Sie auch interessieren

IDS bietet das 3D-Kamerasystem Ensenso X jetzt mit Sonys IMX264-CMOS-Sensor an. Im Vergleich zu den bisherigen 1,3MP-Sensoren ermöglichen die 5MP-Kameras ein größeres Sichtfeld, höhere Auflösung und geringeres Rauschen. Um eine bepackte Europalette komplett zu erfassen, sind statt 1,5 nur noch 1,25m notwendig. Die Z-Genauigkeit verbessert sich dabei von 0,43 auf 0,2mm. Anwender zwischen Varianten mir kompakten GigE-uEye-CP-Kameras und robusten GigE-uEye-FA-Kameras mit IP65/67 wählen.

 

de.ids-imaging.com

Anzeige

Der Kamerahersteller Flir Systems hat 2017 einen Jahresumsatz von 1,8Mrd.US$ verzeichnet, was einer Steigerung von 8 Prozent gegenüber dem vorherigen Geschäftsjahr (1,66Mrd.US$) entspricht. Der GAAP-Nettogewinn für 2017 betrug 107,2Mio.US$, ein Rückgang von rund 36 Prozent gegenüber Vorjahr (166,6Mio.US$). Das erklärt das Unternehmen u.a. durch den nicht zahlungswirksamen Verlust auf den zur Veräußerung gehaltenen Nettovermögenswerten sowie die Einführung der US-Steuerreform.

investors.flir.com

Anzeige

Vision App-basierte Industriekameras von IDS liefern vorverarbeitete Daten oder fertige Ergebnisse, mit denen auch PC-unabhängige Prozessentscheidungen möglich sind. Durch den App-basierten Ansatz lassen sich wiederkehrende Vision-Aufgaben schnell einrichten und wechseln. Aufgaben können mit dem IDS-NXT-App-Development-Kit selbst entwickelt und dann als App auf dem NXT Device installiert werden. Den Auftakt der IDS-NXT-Plattform bildet IDS NXT Vegas mit lichtempfindlichem 1,3MP CMOS-Sensor.

de.ids-imaging.com

Anzeige

Das Unternehmen Corephotonics, führender Lizenzgeber von Dual-Kamera-Technologien, hat sich mit dem chinesischen Kameramodul-Integrator Sunny Optical zusammengetan, um gemeinsam Imaging-Lösungen auf Basis der Dual-Kamera-Technologien des Unternehmens auf den Markt zu bringen. Im Rahmen der Vereinbarung hat Sunny bereits mehrere Millionen von Dual-Kamera-Lösungen mit Corephotonics IP an verschiedene Smartphone-OEMs ausgeliefert, darunter Xiaomi, OPPO und andere.

corephotonics.com

Anzeige

Das Unternehmen Feig Electronic hat den AutoID-Geräte-Spezialisten Panmobil Systems übernommen. Der Weilburger RFID-Hersteller komplettiert durch den Erwerb sein umfangreiches Produktangebot an RFID-Hardware um AutoID-Erfassungsgeräte, optimiert für den Einsatz in der Logistik und Produktion, sowie Lösungen im Bereich der Bardcode-Erfassung. Panmobil Systems wird zum 01. März unter Feig Electronic firmieren und weiterhin vom bisherigen Standort in Köln aus agieren.

www.feig.de

Anzeige

Trotz vielversprechender Anwendungsbeispiele zählt Hyperspectral Imaging (HSI) momentan noch zu den exotischen Disziplinen der Bildverarbeitung. Für Florian Niethammer, Teamleiter Vision bei der Messe Stuttgart, zählt HSI aber zu den spannendsten Themen der Vision 2018: „Das Thema wird auf der diesjährigen Vision vom 06. bis 08. November 2018 in Stuttgart eine wesentliche Rolle einnehmen. Neben zahlreichen Ausstellern, die ihre HSI-Produkte und -Lösungen präsentieren, bieten auch einige Vorträge im Rahmen der Industrial Vision Days die Möglichkeit, sich über diese Technologie zu informieren.“

www.vision-messe.de

Anzeige
Anzeige
Anzeige
Anzeige
Anzeige
Anzeige