Inferenz an der Edge

Kamera mit integrierter Deep-Learning-Inferenz

Möglicherweise arbeiten auch Sie gerade daran, Deep Learning für Ihre Anwendungen zu nutzen. Auch Flir hat über Möglichkeiten nachgedacht, wie Entwickler von Kameras von dieser Technologie profitieren können. Das Ergebnis ist die neue Flir-Kamera. Sie bietet einen einfachen Weg, vorab trainierte neuronale Netze in Vision-Anwendungen einzusetzen. Die Kamera vereint GenICam-konform die Sony Pregius Bildsensoren mit der Intel Movidius Myriad 2 Vision Processing Unit.

Bild 1 | Die neue Flir-Kamera integriert die Intel Movidius Myriad 2 Vision Processing Unit und kann so vorab trainierte neuronale Netze einsetzen. (Bild: Flir Systems, Inc.)

Die Intel Movidius Myriad 2 Vision Processing Unit (VPU) im Herzen der neuen Flir-Kamera ist eine neue Art von Prozessor. Eine VPU ist eine Kombination aus High-Speed-Hardware für Bildverarbeitungsfilter, universelle CPU-Kerne sowie Parallel-Prozessoren für Matrix-Vektor-Operationen. Die Vektor-Kerne sind auf die Beschleunigung der Kameraseitigen Inferenz-Berechnung und die Verzweigungslogik der neuronalen Netze optimiert, anders als die Universal-Kerne herkömmlicher GPUs. Durch diesen höheren Optimierungsgrad erreicht die VPU ein hohes Leistungsniveau bei sehr geringem Energieverbrauch.

Inferenz-Kamera statt Smart-Kamera

Inferenz ist die Anwendung von Deep Neural Networks auf neu erfasste, unmarkierte, reale Daten, also das Ergebnis eines trainierten neuronalen Netzes, das Aussagen liefert über neue Daten. Während es viele verschiedene Arten von Netzen gibt, die für Inferenz genutzt werden können, sind MobileNets gut zur Klassifizierung von Bildern geeignet. MobileNet wurde ursprünglich von Google entwickelt, um eine hochpräzise Bildklassifikation und Segmentierung auf mobilen Geräten durchzuführen. Es bietet eine ähnliche Genauigkeit wie viele rechenintensivere Netze, die große GPUs benötigen. Herkömmliche Smart-Kameras kombinieren eine Visionkamera und einen Einplatinenrechner, auf dem regelbasierte Visionsoftware läuft. Smart-Kameras sind eine großartige Lösung für einfache Probleme, wie z.B. das Lesen von Barcodes. Inferenzkameras zeichnen sich dagegen durch komplexere Fragen aus, wie z.B. „Ist das ein Apfel, der für den Export geeignet ist?“ Wenn Inferenzkameras mit guten Beispielbildern trainiert werden, können sie leicht unerwartete Fehler erkennen, die von regelbasierten Inspektionssystemen nicht erkannt würden. Dadurch sind sie toleranter gegenüber Schwankungen. Dank GenICam Chunk Data kann die neue Flir-Kamera Inferenz verwenden, um Bilder zu markieren. Diese werden zu einem Host weitergeleitet, der eine herkömmliche, regelbasierte Bildverarbeitung durchführt. Dadurch können Anwender schnell die Fähigkeiten ihrer bestehenden Visionsysteme erweitern. Das hybride System kann auch dazu genutzt werden, um ein herkömmliches Visionsystem zu steuern. Mit 27x27mm ist die Kamera gut geeignet für den Einbau in enge Räume. Da die neue Flir-Kamera eine offene Plattform ist, gibt sie Benutzern die Flexibilität, Deep Learning-Netzwerke und die zugehörige Toolchain für Training und Optimierung zu nutzen. Im Gegensatz dazu werden viele Smart-Kameras mit eigenen Tools programmiert, die möglicherweise nicht dem neuesten Stand der Technik entsprechen.

Vorteile von Inferenz auf der Kamera

Bild 2 | Inferenz ist die Anwendung eines mit markierten Daten trainierten Modells auf unbekannte Daten. (Bild: Flir Systems, Inc.)

Durch die Ermöglichung von Inferenz auf der Edge eines Vision-Systems ergeben sich einige Vorteile:

• Geschwindigkeit: Inferenz auf der Edge schiebt die Bildverarbeitung vom zentralen Server weg und näher an die Datenquelle heran. Anstatt ganze Bilder an einen entfernten Server zu übertragen, müssen nur Erkennungsergebnisse verschickt werden. Dies reduziert die Datensumme, die ein System übermitteln muss, und minimiert die Bandbreite des Netzwerks sowie die Systemlatenz.
• Zuverlässigkeit: Für bestimmte Anwendungen kann die neue Flir-Kamera die Abhängigkeit von Server- und Netzwerkinfrastruktur ausblenden. Mit ihrem eingebauten VPU kann sie als Stand-Alone-Sensor arbeiten, das heißt Bilder aufnehmen, Entscheidungen treffen und Aktionen durch GPIO-Signalen auslösen.
• Energieeffizienz: Die Myriad 2 VPU bietet zusätzliche Energieeinsparungen durch Unterstützung hintereinander geschalteter Netze. Dies ermöglicht mehrere Analyse-Ebenen, wobei komplexere und leistungsfähigere Netze nur dann aufgerufen werden, wenn sie die Bedingungen des vorherigen Netzes erfüllen.
• Sicherheit: Die geringeren Datenmengen können zur Übertragung leicht verschlüsselt werden, was die Systemsicherheit erhöht.
  

Fazit

Die neue Flir-Kamera bietet einen einfachen Weg, um Deep Learning vom Forschungs- und Entwicklungs-Stadium in eigene Anwendungen bringen. Sie wird ab 2019 erhältlich sein, aber man kann bereits heute mit Inferenz auf der Edge starten. Die Intel Myriad 2 VPU im Herzen der Kamera ist erhältlich in dem Intel Neural Compute Stick. Ein komplettes Bildverarbeitungssystem mit Inferenz auf der Edge kann man für weniger als 1.000 Dollar mit dem Intel Neural Compute Stick erstellen. Zusammen mit dem Intel OpenVino Tooklit können Vision-Entwickler die Leistung neuronaler Netze auf derselben VPU wie bei der neuen Flir-Kamera optimieren und validieren. Das ermöglicht Benutzern, die Leistung der Inferenz auf Basis des Myriad 2 mit traditionellen Algorithmen unter Einsatz der gleichen Kameras exakt zu beurteilen.