Hyperspectral Recovery from RGB Images

A $50,000 Camera you Already Own

Conventional cameras capture images using only three frequency bands (red, blue, green), while the full visual spectrum is a much richer representation that facilitates a wide range of additional and important applications. A new technology allows conventional cameras to increase their spectral resolution, capturing information over a wide range of wavelengths without the need for specialized equipment or controlled lighting.

Figure 1 | HC-Vision?s hyperspectral reconstruction methods: A rich hyperspectral prior is collected, a corresponding hyperspectral dictionary is produced and projected to RGB. Once produced, the dictionary may be used to reconstruct novel images without a additional hyperspectral input. (Bild: Hc Vision)

Figure 1 | HC-Vision’s hyperspectral reconstruction methods: A rich hyperspectral prior is collected, a corresponding hyperspectral dictionary is produced and projected to RGB. Once produced, the dictionary may be used to reconstruct novel images without a additional hyperspectral input. (Bild: Hc Vision)

Anzeige

Hyperspectral (HS) imaging systems are capable of collecting the complete spectral signature reflected from each point in a given scene, producing a much more spectrally detailed image than that provided by RGB cameras. Although these systems are widely used in industrial and scientific settings, they have yet to find a place in the consumer market due to their cost, size, and slow acquisition process (often requiring close to one minute to acquire a single image). HC-Vision’s story began at the Ben-Gurion University Interdisciplinary Computational Vision Laboratory where the company’s co-founders, Prof. Ohad Ben-Shahar and Boaz Arad, were studying the properties of natural hyperspectral images. To this end they began collecting what is now the largest, most detailed natural hyperspectral image collection published to date. Analysis of this database revealed that, in the case of natural images people experience in typical indoor and outdoor environments, underlying hyperspectral information can be accurately recovered from its RGB projection.

Figure 2: Filter testing platform used to design single chip systems. (Bild: Hc Vision)

Figure 2: Filter testing platform used to design single chip systems. (Bild: Hc Vision)

Hyperspectral images from RGB

Unlike the three channel images that RGB cameras (and human eyes) produce, hyperspectral images contain dozens or hundreds (and from an abstract theoretical point of view, infinite number) of wavelength bands. But even simpler hyperspectral cameras contain at least 31 channels, a number representing the division of the visible spectrum to spectral bands of 10nm, and so even in this case, the 31-to-3 dimensionality reduction that occurs while projecting hyperspectral information to RGB appears rather severe,. And yet, HC-Vision’s methodology is already able to recover the former from the latter with 90 percent to 95 percent accuracy over a wide variety of scenes. In addition to producing state-of-the-art results at the time of publication, this approach produced comparable results to previous methodologies which relied on hybrid HS/RGB input. This methodology often surpassed the performance of the latter (in both accuracy and computation time) despite a significant information disadvantage.

A $50,000 Camera you Already Own
Bild: Hc-Vision


Das könnte Sie auch interessieren

Wie können komplette 3D-Daten erfasst, interne Defekte in Gussteilen erkannt und sogar deren 3D-Koordinaten bestimmt werden? Das Unternehmen Carl Zeiss Industrielle Messtechnik GmbH hat ein informatives Video veröffentlicht, in dem die Inline-Prozessinspektion mit dem Zeiss VoluMax in der Leichtmetallgießerei am BMW-Produktionsstandort Landshut veranschaulicht wird.

Anzeige

Klassische Wärmebildkameras benötigen einen mechanischen Shutter, mithilfe dessen ca. alle 2 bis 3 Minuten Referenzdaten zur Kalibrierung der Wärmebilddarstellung und der Temperaturmessung aufgenommen werden. Jedoch erzeugt das Schließen des Shutters ein Geräusch und die Videoaufzeichnung ist während dieser Zeit unterbrochen. Daher hat Tamron nun ein Shutter-loses Wärmebildkameramodul auf Basis eines amorphen Silikonwärmebildsensors entwickelt. Dieser Sensor verfügt über eine exzellente Temperaturwiedergabe selbst wenn sich seine eigene Temperatur verändert.

www.tamron.eu

Der Industriescanner VTCIS ist in der Lage, im Druckbild fehlende Nozzles bei einer Auflösung von 1.200dpi automatisch zu detektieren. Da der CIS (Compact Image Sensor) nicht das komplette Bild einzieht, sondern nur bestimmte Bereiche scannt, wird die Datenverarbeitung vereinfacht und die Datenmenge deutlich reduziert. Außerdem garantiert die integrierte Flüssigkeitskühlung Farbstabilität über den gesamten Druckprozess hinweg und schließt Farbabweichungen aus. Dank einer Zeilenrate von bis zu 250kHz und einer Abtastgeschwindigkeit von bis zu 20m/s ist der Scanner für sehr schnell laufende Druckprozesse bestens geeignet.

www.tichawa.de

Die neuesten Versionen der 3D-Kameras für Lasertriangulation erreicht Triangulationsraten von bis zu 68kHz. Die Kamera basiert dabei auf einem 2/3″ Hochgeschwindigkeitssensor von Cmosis, der auch bei schwachen Lichtverhältnissen eine hervorragende Leistung erbringt. Als Schnittstelle verwendet die 3D05 das standardisierte GigEVision-Interface. Für eine einfache Integration und Synchronisierung besitzt die Kamera eine komplette, in die Kamera integrierte Drehgeberschnittstelle (RS422 und HTL). Das HTL-Interface ermöglicht dabei auch einen stabilen und effizienten Einsatz in der Schwerindustrie oder Bereichen mit starken elektrischen Störquellen.

www.photonfocus.com

Sensoren bis zu 1/1.2 und 1″ wurde die HF-XA-5M Objektivserie von Fujinon entwickelt. Die Objektive erreichen eine konstant hohe Auflösung von 5MP über das gesamte Bildfeld – bei einem Pixelabstand von 3,45µm. Dies gilt bei offener Blende ebenso wie bei verschiedenen Arbeitsabständen. Mit 29,5mm Außendurchmesser eignen sich die Objektive für platzkritische Anwendungen.

www.polytec.de

Die Messsoftware Wave ist für den hochpräzisen Wegmesssensor IDS3010. Damit können Messdaten in Echtzeit analysiert, verarbeitet und ausgewertet werden. Die Software verfügt über verschiedene Funktionen zur Visualisierung und Analyse von Daten, beispielsweise können die angezeigten Messdaten vergrößert/verkleinert werden oder die Datenvisualisierung kann gestoppt werden, um bestimmte Zeitbereiche zu analysieren. Außerdem ist eine Live Fast-Fourier-Transformation von Messwerten implementiert.

www.attocube.com

Anzeige
Anzeige
Anzeige
Anzeige
Anzeige
Anzeige