Gestochen scharfe Ergebnisse

Erweiterte Tiefenschärfe in Echtzeit dank FPGA

Silicon Software hat mit Optotune ein schnelles Extended Depth of Focus (EDoF) mittels fokusvariabler Linse realisiert. Aus einer jeweiligen Bildsequenz von ca. 20 Einzelaufnahmen mit unterschiedlicher Brennweite wird ein scharfes Ergebnisbild mit erweitertem Fokusbereich in Echtzeit errechnet. Im Mittelpunkt des FPGA-basierten Bildverarbeitungssystems steht neben der Linse ein mit einer EDoF-Anwendung ausgestatteter programmierbarer Framegrabber mit CoaXPress-Schnittstelle.

Bild 1 | Komponenten des Bildverarbeitungssystems mit zwei Ergebnisbildern. Aus ca. 20 Einzelaufnahmen mit unterschiedlicher Brennweite wird ein scharfes Ergebnisbild mit erweitertem Fokusbereich in Echtzeit errechnet. (Bild: Silicon Software GmbH)

Kern des Bildverarbeitungssystems ist die elektronische fokusvariable Linse EL-10-30-Ci von Optotune, die der Kamera vorgeschraubt wird und unterschiedliche Brennweiten schrittweise durchläuft, indem die Form der Flüssiglinse elektrisch verändert wird. Bislang galt es als schwierig zu überwindender Engpass, bei solchen Aufnahmeserien das scharfe Ergebnisbild in zeitlichen Anforderungen industrieller Anwendungen zu berechnen. Das zusammen mit Silicon Software entwickelte System ermöglicht indes eine schnellere Bildaufnahme mit einer Geschwindigkeit von 20 Bildern in 50msec und liefert in Echtzeit das errechnete Bild zusammen mit einem Tiefen-/Indizebild sowie Kontrastbild. Um dieses Ergebnis zu erreichen wurde eine monochrome JAI Spark SP-5000M-CXP2 mit 2-kanaliger CoaXPress-Schnittstelle, die eine Gesamtbandbreite von 12,5Gbits/s bei 5MP und einer sehr hohen Bildrate erreicht. Das gesamte System steuert der microEnable 5 marathon VCX-QP Framegrabber mit integriertem programmierten FPGA mit einer 4-kanaligen CoaXPress-Schnittstelle als Kameraeingänge, 2GB on-board RAM-Speicher als interner Bildverarbeitungsspeicher und der DMA1800 Technologie basierend auf PCIe x 4 Gen2 für den Bildtransfer zum Host-PC-Speicher. Im FPGA des Framegrabbers wird das Bild mit dem erweiterten Fokusbereich aus dem entgegengenommenen Bildstapel berechnet. Die mit der grafischen Entwicklungsumgebung Visual-Applets programmierte EDoF-Anwendung führt die Bildberechnung und -ausgabe sowie synchrone Steuerung des Gardasoft Lens Controllers TR-CL180 und der Kamera durch. Der Lens Controller ändert den Fokus der Linse dynamisch innerhalb von Millisekunden.

Bild 2 | Die mit Visual-Applets programmierte
Anwendung führt die Bildberechnung/-ausgabe
sowie synchrone Steuerung des Lens Controllers
und der Kamera durch. (0Bild: Silicon Software GmbH)

Scharfes EDoF-Bild berechnet

Die auf dem FPGA des Framegrabbers laufende EDoF-Anwendung steuert die Aufnahme von Bildsequenzen bestehend aus jeweils 20 Einzelaufnahmen zwischen eins bis vier Dioptrien mit einer Bildfrequenz von 400fps. Die 20 Aufnahmen unterschiedlicher Größe werden mit minimaler Latenz zunächst einzeln entlang der x- und y-Achse durch bilineare Interpolation geometrisch korrigiert. Darauf kalkuliert die Anwendung den lokalen Kontrast für jeden Pixel eines Bildes mittels eines Hochpass-Filters. Sie berechnet die Stelle mit dem höchsten lokalen Kontrast aus der Bildsequenz über eine Schleife. Das Ergebnis ist die Ebene mit dem höchsten Kontrast und damit der vermutlich schärfsten Abbildung. Aus allen scharfen Bildstellen gibt das Bildverarbeitungssystem am Ende zwei Ergebnisbilder aus: ein Indize-/Tiefenbild (Depth map/Höhenkarte) mit dem Index des jeweiligen Bildes mit dem höchsten lokalen Kontrast und das vollständig scharfe Bild. „Das EDoF-System mit integrierter fokusvariabler Linse verarbeitet selbst noch Bildstapel aus 50 Einzelaufnahmen mit deterministischen Latenzen und hoher Geschwindigkeit. Die auf dem FPGA laufende Anwendung steuert den Lens Controller, die Kamera sowie den gesamten Bildverarbeitungsprozess von der Aufnahme über die Verarbeitung bis hin zur Bildausgabe“, so Dr. Klaus-Henning Noffz, Geschäftsführer von Silicon Software.

Bild 3 | Zeitverhalten der Bildaufnahme und -verarbeitung (Bild: Silicon Software GmbH)

Das Highspeed-Bildverarbeitungssystem mit fokusvariabler Linse eignet sich besonders gut für Inspektionssysteme mit hohem Datendurchsatz, da der Framegrabber die Berechnung in kurzer Zeit während der Bildaufnahme durchführt. Präferierte Anwendungen sind PCB-, Halbleiter- oder allgemeine Elektronikinspektion, bei denen die Form des zu inspizierenden Objekts berechnet und rekonstruiert werden muss, z.B. für die Überprüfung von Lötstellen auf Leiterplatten-Komponenten. Weitere Anwendungen liegen in der Inspektion von tiefen Objekten oder Flüssigkeiten zum Beispiel in der Flaschenproduktion und Pharmazie, in denen Fremdpartikel 100-prozentig erkannt werden müssen.

Ein Video von Optotune erläutert das Bildverarbeitungssystem und die Ergebnisbilder.