Anzeige

CNN auf FPGAs

Tiefe neuronale Netze erobern die Bildverarbeitung – Teil 1/2

Der Beitrag erläutert aktuelle Deep-Learning-Technologien für die Verarbeitung von Bildern und Videos als 2D- und 3D-Daten sowie daraus resultierende Vision-Anwendungen, für die sich tiefe neuronale Netze wie CNN sehr gut eignen.

 Die Grafiken zeigen eine deutliche Zunahme der Vorhersagegenauigkeit bei Deep-Learning- Anwendungen durch das Erhöhen der Anzahl der Trainingsdaten. (Bild: Silicon Software GmbH)

Bild 1 | Die Grafiken zeigen eine deutliche Zunahme der Vorhersagegenauigkeit bei Deep-Learning- Anwendungen durch das Erhöhen der Anzahl der Trainingsdaten. (Bild: Silicon Software GmbH)

Bei der Bildklassifikation wird Deep Learning immer wichtiger, während ergänzend dazu die Bildvorverarbeitung, -nachbearbeitung und Signalverarbeitung weiterhin mit den bisherigen Methoden ausgeführt werden. Deep Learning kommt insbesondere bei Applikationen wie reflektierende Oberflächen, schlecht ausgeleuchtete Umgebungen, variierende Beleuchtung oder bewegende Objekte zum Einsatz. Klassische Algorithmen eignen sich aber weiterhin, wenn eine Lokalisierung von Objekten oder Fehlern in einem Bild, das maßliche Prüfen, Codelesen oder Post-Processing benötigt werden. Deep Learning besticht dagegen durch eine hohe Zuverlässigkeit bei den Erkennungsraten. Im Wettbewerb um die bessere Lösung stehen somit die Aufwände für eine algorithmische Umsetzung gegen die Zeit für Training und Vorklassifizierung anhand von Trainingsbildern. Dabei unterscheidet man zwischen dem Training zum Anlernen des neuronalen Netzes, der Implementierung des Netzes und der Inference, d.h. dem Ausführen der CNN-Algorithmik (Convolutional Neural Networks) des Netzes auf Bilder mit der Ausgabe eines Klassifizierungsergebnisses. Beim Training wird das Netz über die Parameter so lange angepasst, bis das erwartete Klassifizierungsergebnis vorliegt. Dies ist zeitaufwändig und setzt eine hohe Expertise voraus. Deep Learning benötigt zudem eine große Mengen vorklassifizierter Daten und eine hohe Rechenleistung. Je mehr Daten für das Antrainieren verwendet werden, desto höher ist die Vorhersagegenauigkeit bei der Klassifikation.

 Die FPGA-Leistung ist zwar 7,3-mal höher als die einer GPU, der Verlust an der Vorhersagegenauigkeit liegt aber bei 0,3%, was 30% mehr inkorrekt klassifizierten ern entspricht. (Bild: Silicon Software GmbH)

Bild 2 | Die FPGA-Leistung ist zwar 7,3-mal höher als die einer GPU, der Verlust an der Vorhersagegenauigkeit liegt aber bei 0,3%, was 30% mehr inkorrekt klassifizierten Bildern entspricht. (Bild: Silicon Software GmbH)

Geschwindigkeit vs. Treffgenauigkeit

Die Defekt- und Objekt-Klassifikation anhand von Deep Learning ist derzeit ein viel diskutiertes Thema. Eignen sich aber die verschiedenen Machine Vision Prozessortechnologien mit ihren speziellen Voraussetzungen hinsichtlich eines schnellen Ausführens (Inference) von CNNs mit sehr geringen Latenzen? Neben Geschwindigkeit und Echtzeit-Anforderungen sind hier hohe Bandbreiten, geringe Wärmeleistung und Langzeitverfügbarkeit gefragt, wofür sich herkömmliche CPUs oder GPUs kaum eignen. Diese stellen eher eine geeignete Lösung für Bildverarbeitungsaufgaben im nicht-industriellen Umfeld dar, wo eine geringere Performanz oder Treffgenauigkeit manchmal ausreichend sind. Zudem zeigen beim Vergleich der technischen Aspekte die Technologieplattformen unterschiedliche Leistungswerte, die ihren Einsatz bei Anwendungen mit hohen Anforderungen ausschließen. So ist die Inference-Zeit einer GPU als Performanz-Indikator bei einer angenommenen Bildgröße von 400×400 Pixeln im Schnitt geringer als 8MB/s und die Bildrate kaum höher als 50fps. Allerdings sind GPUs die richtige Wahl für das Training von neuronalen Netzen aufgrund der sehr hohen Datenmengen. Da für das Training meistens nur eine GPU benötigt wird, wirkt sich die Hardwareumgebung wenig auf die Systemkosten aus. Hier haben sich mittlerweile kommerzielle GPUs durchgesetzt und werden von fast jeder Trainingssoftware unterstützt. Bei der Auswahl eines geeigneten Netzes genügen für typische Visionanwendungen oftmals mittelgroße Netze, wenn nur wenige Merkmale zu klassifizieren sind. Diese sind ausreichend für hohe Geschwindigkeiten bei geringen Abstrichen in der Treffgenauigkeit. Schwerpunkt sind immer größere, aber auch langsamere Netze, die eine breite Erkennung unterschiedlichster Objekte ermöglichen. Gleichzeitig entstanden aber auch kleinere, sehr effiziente Netze für Klassifikationsaufgaben, die typisch für die Bildverarbeitung sind.

 Systemkostenvergleich für eine Deep Learning Anwendung. (Bild: Silicon Software GmbH)

Bild 3 | Systemkostenvergleich für eine Deep Learning Anwendung. (Bild: Silicon Software GmbH)

FPGAs und SoCs für Inference

Die Anforderungen an die Inference vieler Bildverarbeitungsaufgaben erfüllen FPGAs als eigenständiger Prozessor bzw. SoC (System on Chip) im Verbund mit ARM-Prozessoren am besten. FPGAs zeichnen sich durch eine hohe Parallelität der Datenberechnung, einen garantiert robusten Bildeinzug und – im Vergleich zu CPUs und GPUs – eine hohe Rechenleistung, Bildrate und Bandbreite aus. Dadurch klassifizieren CNNs auf FPGAs mit einem hohem Datendurchsatz, was ideal für die anspruchsvollen zeitlichen Anforderungen einer Inline-Inspektion ist. Der FPGA ermöglicht eine Verarbeitung der Bilddaten – von der Bildaufnahme bis zur Bildausgabe – direkt auf einem Framegrabber oder eingebetteten Visiongerät, ohne die CPU zu belasten, was besonders für rechenintensive Anwendungen wie CNNs geeignet ist. Dadurch sind kleinere PCs ohne GPU einsetzbar, was die Kosten des gesamten Bildverarbeitungssystems deutlich verringert. Die Energieeffizienz von FPGAs im industriellen Temperaturbereich ist zudem zehnmal höher im Vergleich zu GPUs, was für Embedded Systeme ideal ist. Dies ermöglicht den Einsatz von Deep Learning in Hinblick auf Industrie 4.0, Drohnen oder autonomes Fahren. Für einen FPGA führt die Verlagerung in den Fixed Point Bereich lediglich zu einer zu vernachlässigenden Reduzierung der Treffgenauigkeit im Vergleich zu GPUs, während die gewonnenen Ressourcen für größere Netzarchitekturen oder einen höheren Datendurchsatz zur Verfügung stehen. Dadurch ist es möglich, die Produktionsgeschwindigkeit etwa bei der Schweißnaht-Inspektion oder Robotik zu steigern. Eine datenreduzierende Bildvorverarbeitung ermöglicht es darüber hinaus, kleinere Netze oder FPGAs einzusetzen. Diese reichen oftmals für einfache Klassifizierungsaufgaben mit wenigen Merkmalen aus.

Anzeige

Empfehlungen der Redaktion

Das könnte Sie auch interessieren

Aeva gibt eine Series-A-Finanzierungsrunde bekannt, die von Lux Capital und Canaan geleitet wird und folgt einer Seed-Runde über 3,5Mio.$ aus dem Jahr 2017. Die Investitionen sollen für den Ausbau des Geschäftsbetriebs verwendet werden, mit dem Ziel, Sensoren für autonome Fahrzeuge ab Anfang der 2020er Jahre in großem Umfang an Auto- und Technologiekunden liefern zu können.

venturebeat.com

Anzeige

Stemmer Imaging hat die Termine für seine Machine Vision Technology Roadshow 2019 bekannt gegeben. Vom 8. bis 9. Oktober 2019 findet das Technologieforum in Unterschleissheim bei München statt, danach in den Niederlanden (15.10.), Frankreich (17.10.), Schweden (22.10.) und zum Abschluss in Großbritannien (13.-14.11.).

www.stemmer-imaging.com

Anzeige

Die VDMA Fachabteilung Industrielle Bildverarbeitung hat im Rahmen der Eröffnung der Vision die aktuellen Branchenzahlen veröffentlicht. Die Deutsche Bildverarbeitunsbranche wuchs im Geschäftsjahr 2017 um 17,5%. Für 2018 rechnet der VDMA nach aktuellen Umfragen damit, dass das Rekordniveau von 2,6Mrd.€ gehalten wird.

rua.vdma.org

Anzeige

Der EMVA und die Messe Vision werden im nächsten Jahr die zweite Embedded Vision Europe organisieren. Die Konferenz findet dann vom 24. bis 25. Oktober 2019 erneut im Stuttgarter ICS statt. Zur Premiere kamen im letzten Jahr bereits 200 Teilnehmer.

www.emva.org

Anzeige

Knapp 85 Teilnehmer aus dem oberen Management der Bildverarbeitungsbranche nahmen am zweiten Early Bird Event der inVISION am Mittwoch Morgen auf der Messe Vision teil.

www.tedo-verlag.de

Die Unternehmen haben während der Vision eine HDR-Videoüberwachungslösung vorgestellt, die kontrastreiche Szenen (120dB) mit 1080p und 30fps aufnehmen kann. Das System, das auf dem Xilinx Zynq 7030 SoC basiert, ist auf die Erfassung von Highlight- und Schattendetails ausgelegt und soll einen besonders hohen Dynamikumfang bieten. Hierzu wurde der Pinnacle Denali-MC HDR ISP mit dem AR0239 CMOS-Bildsensor von ON Semiconductor kombiniert.

www.onsemi.com

Anzeige
Anzeige
Anzeige
Anzeige
Anzeige
Anzeige
Anzeige