Anzeige

Neue Aufgaben

Multimodal/nicht-linear: Mögliche Erweiterungen des EMVA1288

Wie könnte der EMVA1288 Standard auf neue Modalitäten erweitert werden, z.B. multimodale Bildsensoren oder Bildsensoren nicht-linearer Kennlinie?

 (Bild: HCI Heidelberg Collaboratory for Image Processing)

Bild 1 | Logarithmisches Histogramm der Polarisationswinkel der vier verschiedenen linearen
Polarisationsfilter auf einem Sony IMX250MZR Sensor (Vorserie).(Bild: HCI Heidelberg Collaboratory for Image Processing)

Bisher umfasst der EMVA1288 Standard nur monochrome und Farbkameras mit einer linearen Kennlinie. Inzwischen kommen aber immer mehr multimodale Bildsensoren auf den Markt, wie z.B. Laufzeitkameras oder andere 3D-Kamerasysteme, multispektrale Bildsensoren mit mehr als drei Farbkanälen, Polarisationsbildsensoren und Kombinationen der genannten Modalitäten. Die Anwendungen von Kameras für Fahrerassistenzsysteme und autonome Fahrzeuge treiben die Entwicklung von Kameras mit einem erweiterten Signalumfang voran, die dann oft eine nicht-lineare Kennlinie aufweisen.

Nicht-lineare Kameras

Eine lineare Kennlinie führt zu einem Kameramodell, das zu einer einfachen Beschreibung der Beziehung zwischen dem Eingangssignal (während der Belichtungszeit auf ein Pixel auftreffende mittlere Anzahl von Photonen) und dem Ausgangssignal (Mittelwert und Varianz des digitalen Kamerassignals) führt. Es werden nur die drei Parameter Varianz des Dunkelrauschens d2, Quantenausbeute und Systemverstärkung K benötigt, um die mittleren Eigenschaften eines Pixels für eine vorgegebene Kameraverstärkung zu beschreiben. Daraus kann die Signalqualität und das Signal/Rausch-Verhältnis (SNR) bestimmt werden. Bei einer Kamera mit einer nicht-linearen Kennlinie ist die Modellbildung schwierig, da man je nach Art der Nicht-Linearität nicht nur ein Modell, sondern viele mögliche Modelle berücksichtigen muss. Daher stellt sich die Frage: Geht es nicht auch ohne Vorgabe eines Modells? Der grundlegende systemtheoretische Ansatz des EMVA1288 mit einer Relation zwischen Eingangs- und Ausgangssignal erlaubt dies. Wie bei einer linearen Kamera werden Mittelwert und Varianz des Ausgangssignals als Funktion der Bestrahlungsstärke vom Dunkelwert bis zur Sättigung gemessen. Mit dieser Messung ohne ein Modell können natürlich Modellparameter der Kamera, insbesondere die Quantenausbeute, nicht bestimmt werden. Aber die Ermittlung der praktisch relevanten Größen ist möglich. Die Empfindlichkeitskurve kann dargestellt werden, die SNR des Ausgangssignals lässt sich bestimmen ebenso wie wichtige abgeleiteten Größen in der Einheit Photonen/Pixel, z.B. die absolute Empfindlichkeitsschwelle, die Sättigungsschwelle und auch der Eingangs-Signalumfang (input dynamic range). Etwas aufwändiger ist allerdings die Behandlung der Inhomogenitäten, d.h. der Variationen von Pixel zu Pixel. Die dark signal nonuniformity (DSNU) kann ähnlich wie bei einer linearen Kamera bestimmt werden. Dagegen ist die Angabe einer photoresponse nonuniformity (PRNU) wie bei einer linearen Kamera aus nur einer Messung bei einer Sättigung von 50% nicht mehr ausreichend. Hier ist eine weitergehende Analyse notwendig.

 (Bild: HCI Heidelberg Collaboratory for Image Processing)

Bild 2 | Das lineare Kameramodell des EMVA1288 Standards (Bild: HCI Heidelberg Collaboratory for Image Processing)

Multimodale Kameras

Bei jeder Art von multimodalen Systemen ist es möglich, die Kanäle einzeln zu vermessen in Verallgemeinerung des Ansatzes für Farbbildsensoren mit drei Farbkanälen. Bei Polarisationsbildsensoren und Laufzeitkameras können alle Kanäle mit der gleichen Wellenlänge beleuchtet werden. Bei multispektralen und hyperspektralen Kameras muss für jeden Kanal eine passende Wellenlänge zur Beleuchtung gewählt werden. Bei multimodalen Bildsensoren interessieren oft nicht die einzelnen Kanäle, sondern die daraus berechneten abgeleiteten Größen. Bei einer Laufzeitkamera wäre dies eine Tiefenkarte, bei einer Polarisationkamera Größen wie der Polarisationsgrad oder die Richtung des polarisierten Lichtes. Durch Fehlerfortpflanzungsrechnung lassen sich aus dem zeitlichen Rauschen der einzelnen Kanäle auch das zeitliche Rauschen der abgeleiteten Größen berechnen und damit auch das SNR dieser Größen. Zur Analyse der Inhomogenitäten der abgeleiteten Größen können die gleichen Tools benutzt werden, die im Rahmen des EMVA1288 Standards für die DSNU und PRNU entwickelt wurden. Bild 1 zeigt ein logarithmisches Histogramm der Winkelausrichtung der vier verschiedenen linearen Polarisationsfilter auf einem Sony IMX250MZR Sensor.

Anzeige

Empfehlungen der Redaktion

Das könnte Sie auch interessieren

Aeva gibt eine Series-A-Finanzierungsrunde bekannt, die von Lux Capital und Canaan geleitet wird und folgt einer Seed-Runde über 3,5Mio.$ aus dem Jahr 2017. Die Investitionen sollen für den Ausbau des Geschäftsbetriebs verwendet werden, mit dem Ziel, Sensoren für autonome Fahrzeuge ab Anfang der 2020er Jahre in großem Umfang an Auto- und Technologiekunden liefern zu können.

venturebeat.com

Anzeige

Stemmer Imaging hat die Termine für seine Machine Vision Technology Roadshow 2019 bekannt gegeben. Vom 8. bis 9. Oktober 2019 findet das Technologieforum in Unterschleissheim bei München statt, danach in den Niederlanden (15.10.), Frankreich (17.10.), Schweden (22.10.) und zum Abschluss in Großbritannien (13.-14.11.).

www.stemmer-imaging.com

Anzeige

Die VDMA Fachabteilung Industrielle Bildverarbeitung hat im Rahmen der Eröffnung der Vision die aktuellen Branchenzahlen veröffentlicht. Die Deutsche Bildverarbeitunsbranche wuchs im Geschäftsjahr 2017 um 17,5%. Für 2018 rechnet der VDMA nach aktuellen Umfragen damit, dass das Rekordniveau von 2,6Mrd.€ gehalten wird.

rua.vdma.org

Anzeige

Der EMVA und die Messe Vision werden im nächsten Jahr die zweite Embedded Vision Europe organisieren. Die Konferenz findet dann vom 24. bis 25. Oktober 2019 erneut im Stuttgarter ICS statt. Zur Premiere kamen im letzten Jahr bereits 200 Teilnehmer.

www.emva.org

Anzeige

Knapp 85 Teilnehmer aus dem oberen Management der Bildverarbeitungsbranche nahmen am zweiten Early Bird Event der inVISION am Mittwoch Morgen auf der Messe Vision teil.

www.tedo-verlag.de

Die Unternehmen haben während der Vision eine HDR-Videoüberwachungslösung vorgestellt, die kontrastreiche Szenen (120dB) mit 1080p und 30fps aufnehmen kann. Das System, das auf dem Xilinx Zynq 7030 SoC basiert, ist auf die Erfassung von Highlight- und Schattendetails ausgelegt und soll einen besonders hohen Dynamikumfang bieten. Hierzu wurde der Pinnacle Denali-MC HDR ISP mit dem AR0239 CMOS-Bildsensor von ON Semiconductor kombiniert.

www.onsemi.com

Anzeige
Anzeige
Anzeige
Anzeige
Anzeige
Anzeige
Anzeige