No bandwidth bottlenecks
Embedded Stereo Vision based on Intel Arria 10 SOM
To address the growing 3D stereo vision market, which is expected to reach USD 5,46bn by 2022, Dream Chip will release their Arria 10 System on Module (SOM) with dedicated stereo vision support. The module is an ideal fit for all embedded imaging applications supported with an OpenCL BSP for quick development cycles.
The Arria 10 SOM has two dedicated LVDS BCON image sensor connectors, each having four LVDS lanes plus various control signals and can handle up to 1.200fps for Full HD resolution. (Bild: Dream Chip Technologies GmbH)
Two separate memory interfaces allow the ARM Cortex A9 subsystem and the FPGA to handle bandwidth intensive applications such as frame buffering and object detection to proceed in parallel without bandwidth bottlenecks, especially for high frame rate, stereo vision and 4K applications. The system has two dedicated LVDS BCON image sensor connectors, each having four LVDS lanes plus various control signals, allowing the direct connection to image sensor extension boards such as the Basler dart camera, which enables 3D stereo vision and OpenCL algorithm analysis. The Pylon camera control software runs on the ARM subsystem. The SOM itself can handle up to 1.200fps for Full HD resolution, the 32 versatile LVDS lanes on the module connectors, allow a variety of customer specific high speed differential data IO with e.g. image sensors, displays, ADC/DACs etc. The twelfe RX/TX Gigabit transceivers can be used to implement high bandwidth video standards such as 12G SDI or DisplayPort. All components on the module are certified for industrial temperature grade (-40 to +85°C), and the module connectors are ready for vibration intensive environments. To ease the integration into industrial environments, where 3,3-1,8V IO is still common, the module offers level shifters with user provided reference I/O voltage for the ARM/HPS I2C, SPI and GPIO interface signals.
Why the dart BCON camera with LVDS interface?
Stereo vision implies four major requirements regarding the camera:
- • Appropriate image sensor: For stereo vision applications, typically mono sensors are used to reduce computational complexity of the matching algorithm. However, in some cases, color information might be useful as additional feature that helps to find corresponding points. For moving object detection, global shutter sensors are recommended to avoid rolling shutter artefacts. Since high resolution correlates with high computational effort, low resolutions from VGA (640×480 pixels) up to 5MP are used for stereo vision applications. The same principle applies for the framerate. For moving objects, up to 60fps are used, which requires fast image processing on the customer’s processing board. Nevertheless, for most customers, computational time of the matching algorithm is the bottleneck of the application, limiting both framerate and resolution. The dart camera with BCON for LVDS interface utilizes the Aptina AR0134 (1,3MP, 54fps), the EV76C570 (1,9MP, 60fps) and the MT9P031 (5MP, 14fps) as image sensor, making the camera suitable for stereo vision applications. Furthermore, the pylon Camera Software Suite offers a variety of functions to control image resolution and framerate, allowing for an individual adaption of the camera to the application specific requirements.
- • Exact synchronization: Exact synchronization is one of the crucial aspects for reliable extraction of 3D information. The used camera has a dedicated hardware trigger, which can be used for rapid image acquisition. The trigger signal can be sent over the flat flex cable (FFC), so that there is no additional cable connection. One trigger signal can be used for both cameras. Hardware triggers are faster than software triggers by several orders of magnitude. Another advantage of the camera is the immediate trigger mode, which is implemented as firmware feature. If the Immediate trigger mode is set, the trigger delay can be improved significantly. This way, it is possible to reach trigger delays down to 2µs (measured with AR0134 sensor).
- • Low CPU load on customer’s processing board: Algorithms for calculating depth information based on two 2D images are complex and require high computational resources. Especially on low-cost processing boards, these resources are very limited. Unlike other camera modules in the market, the dart BCON delivers a perfect image, not just raw sensor data. For color sensors, advanced image processing, like sharpening filters and debayering algorithms as well as gamma and pixel correction is processed on the camera-internal FPGA before the image is transferred over the BCON interface. This saves highly limited computational resources for customer algorithms. The camera is connected to an FPGA on a processing board. In stereo application algorithms, image processing algorithms like edge detection or pixel correlation can be calculated directly on the FPGA, saving time and CPU resources.
- • Mechanical stability for camera alignment: Calculation of depth information is based on spatial correlation of objects to each other. For stereo vision, the cameras need to know the distance to each other (baseline) as well as the spatial orientation in order to work as expected. This results in highly precise calibration processes, after which the mechanical setup is supposed to stay as it is. The camera comes with pre-drilled screw holes, which can be used for solid attachment of the camera to the underlying construction. Another advantage is the flexible flat flex cable. The 28-pin ZIF connector leaves little room for cable displacement. Also, through its flexibility, applied force to the cable is not transferred to the camera.
The high count of LVDS lanes and the high memory bandwidth make this System on Module the right choice for demanding vision applications. Up to six image sensors with 6,4Gbit/s video data each can e.g. be connected for ADAS applications such as surround view for larger vehicles like busses or trucks. Due to the large amount of available logic of up to 480kLE, multiple 3D stereo vision applications with computing intense algorithms implemented in OpenCL are possible on just one module.
Empfehlungen der Redaktion
Das könnte Sie auch interessieren
Das Khronos Konsortium hat zwei Gruppen zur Standardisierung von neuronalen Netzwerken gegründet. Die eine Gruppe beschäftigt sich mit der Entwicklung eines unabhängigen API Standard File Formats für den Datenaustausch, während die andere sich der Topologie von Convolutional neuronalen Netzwerken widmet, um diese als OpenVX Grafiken darzustellen. ‣ weiterlesen
Die 71MP-CMOS-Kamera Machcam ist in zwei Versionen verfügbar: monochrom (71M) und in Farbe (71C). Das Format der Kamera ist 83x83x63,5mm. Die Kamera verfügt über einen Cmosis-Image-Sensor und eine USB-Schnittstelle. ‣ weiterlesen
Ziel des mit fast 4Mio.E geförderten EU-Projekts Tulipp (Towards Ubiquitous Low-power Image Processing Platforms) ist es leistungsstarke und energieeffiziente Embedded-Systeme für komplexe Bildverarbeitungsanwendungen zu entwickeln. Das Projekt konzentriert sich auf die Entwicklung einer Referenzplattform für Bildverarbeitungssysteme. Dabei werden Richtlinien zur geeigneten Auswahl von Recheneinheiten und Kommunikationsinfrastrukturen für die Instanziierung der Plattform definiert, mit dem Ziel den Energieverbrauch, die Entwicklungskosten und die Produkteinführungszeit zu reduzieren.
Auf einen Blick sieht die 3D-Kamera auf Basis der PMD-Technologie unterschiedlichste Gegenstände und Objekte in ihren räumlichen Dimensionen. Herzstück des Gerätes ist ein neuer Bild-Chip mit 23.000 Empfangselementen. Die Ausgabe erfolgt über Grauwert- und Distanzbild, die Auswertung ist mit marktüblichen Bibliotheken mühelos möglich. ‣ weiterlesen
Active Silicon bietet die FireBird Framegrabber Technologie nun auch im CompactPCI Format an. Die neue Karte arbeitet im erweiterten Temperaturbereich und ist für den Einsatz in anspruchsvollen Embedded Anwendungen geeignet. Die 4-spurige Gen2 Schnittstelle ist schnell genug, die volle Datenrate des CL-Interfaces zu nutzen. Die FireBird CL 3U cPCI Serial unterstützt die gleichzeitige Datenerfassung von zwei unabhängigen Base CL Kameras bzw. die Datenerfassung von einer Base, Medium, Full oder Deca Kamera.
Eine neuartige Beleuchtungstechnologie versetzt Vision-Sensoren erstmals in die Lage, vertiefte oder erhabene Strukturen zuverlässig zu erfassen und auszuwerten. Abhilfe schafft die neue Multishot-Funktion, der Vision-Sensoren der Reihe Visor. ‣ weiterlesen
Die hochauflösende 3D-Kameraserie 3DPixa wird um zwei Produkte erweitert. Die HR 5µm und die HR 2µm zeichnen sich durch eine verbesserte Bildqualität dank einer auf 3D-Anwendungen optimierten Optik aus. Damit werden stabilere und genauere 3D-Daten auch auf kritischen Oberflächen erzielt. Die Erfassungsbreite von ca.35mm und die Abtastgeschwindigkeit von bis zu 30kHz sorgen bei der HR 5µm für kurze Prüfzeiten bei Auflösungen von 5µm. Die HR 2µm ist für Anwendungen mit noch höheren Auflösungs- und Genauigkeitsanforderungen konzipiert und erreicht eine Abtastbreite von 16mm. Verbessert wurde auch das Zusammenspiel zwischen Kamera-Elektronik und Optik. Das Resultat ist eine höhere Bildschärfe an den Rändern.
Der Multicolor CIS (Comapct Image Sensor) für die Qualitätskontrolle in der Druckindustrie ist der erste CIS mit umschaltbarer Auflösung (1200, 600 und 300dpi). Der kompakte Sensor lässt sich einfach in Druckmaschinen einbauen. ‣ weiterlesen
Das Besondere an der kostengünstigen Kamera-Plattform FDC ist deren Flexibilität, nicht nur auf mechanischer Ebene. Die Kamera ist als Platinen-Version und im Würfelgehäuse (29x29x29mm) verfügbar, auch mit IP-Schutzart Ausstattung und verschiedenen Mounts, sowie auf Wunsch auch in anderen geometrischen Abmessungen und weiteren Funktionalitäten. Das umfangreiche Sensorportfolio (Sony, Pregius, ON Semi und e2V) erlaubt die Anpassung an die Kundenbedürfnisse. Möglich sind auch Sensorentfensterung und -kühlung.
Mit der Einführung von Strained Layer Superlattice (SLS) Typ II Detektoren ist es gelungen, die Leistung von Wärmekameras auf das Niveau der integrierten Schaltkreise zum Auslesen des Bildsignals (ROICs) und der Kameraelektronik zu bringen. Durch die Integration von SLS in Wärmekameras können neue Langwellen-IR-Lösungen mit deutlichen Verbesserungen bei Geschwindigkeit, Temperaturbereich, Uniformität und Stabilität angeboten werden, die preislich zudem unterhalb analoger Detektormaterialien liegen. ‣ weiterlesen
EMVA 1288 Online-Seminar
Framos veranstaltet am 19./20. Mai ein Online-Training zum EMVA-1288-Standard in der neuen Version 4.0. Der EMVA-1288-Standard betrachtet die Kamera ohne Optik und führt objektive Kriterien für die Beurteilung der Empfindlichkeit, des Rauschens, der spektralen Charakteristik, des Dunkelstroms, der Homogenität des Sensors und bei der Charakterisierung defekter Pixel.
inVISION Products – April 2021 (Teil 1/2)
Der aktuelle inVISION Products Newsletter 3/21 ist erschienen und stellt zwölf neue Produkte aus Bildverarbeitung und Messtechnik vor. Dieses Mal mit Beiträgen von Bitflow, Cognex, Creaform, DCM Sistemes, Edmund Optics, GOM, Lucid Vision, Midwest Optical, Mitutoyo, Polytec, Sensopart und Ximea.
Neuer Innovation Summit von Edmund Optics
Der nächste Innovation Summit von Edmund Optics findet am 3. Juni statt. Imaging-Experten sprechen über die Zukunft der Imaging-Technologie und zeigen in verschiedenen Sessions wertvolle Einblicke in Sensortechnologie, Pixelgröße und Objektive.
