Anzeige
Anzeige

FPGA development platform
for computer vision

Build custom FPGA-accelerated
10GigE Vision Frame Grabbers

Version 2.0 of the GigE Vision standard enables video transport over 10GigE. As 10GigE Vision cameras become available, they are bundled with off-the-shelf 10G Network Interface Cards (NIC) serving as their frame grabber. This has the benefit of not requiring specialized frame-grabbing hardware but creates an I/O bottleneck between the NIC and the host CPU as NICs are unable to compress or pre-process the video stream in hardware. It gets worse when multiple 10G video channels are required.

Figure 1: A 10GigE Vision intelligent frame grabber is created by using the Software-defined FPGA development environment Quickplay. (Bild: PLDA Group)

Figure 1: A 10GigE Vision intelligent frame grabber is created by using the Software-defined FPGA development environment Quickplay. (Bild: PLDA Group)

The benefit of FPGA for handling Gigabytes of I/O throughput while increasing system performance and reducing system latency with on-the-fly processing is undeniable, but designing FPGAs traditionally requires specialized hardware skills and long design cycles. Quickplay is a software-defined development environment which enables developers with no FPGA skills to build FPGA-accelerated systems, including intelligent vision systems. To complement this development platform, QuickStore is an online marketplace where developers shop for IP that they can use seamlessly in QuickPlay to build their FPGA-accelerated applications. Assembling a 10GigE Vision frame grabber with embedded pre-processing is a straightforward process in the Quickplay IDE. As illustrated in Figure 1, the user drag &drops required processing blocks (IP) from the built-in library, from the catalog of QuickStore IP, or inserts his own processing kernels in C or Verilog/VHDL, and creates a dataflow representation of the FPGA design. This is accomplished graphically or in C++, as preferred. The dataflow modeling is based on a streaming architecture, perfect for real-time video processing. This specification of the hardware design is done at the highest level of abstraction, without reference to any hardware element such as clocks, resets, busses and wires, FIFOs and DMA engines, etc. In figure 1 example, a 10GigE Vision intelligent frame grabber is created by inferring one GigE Vision 2.0 controller IP and associated ports for data and control (including GVSP and GVCP), a 2:1 packet splitter, a JPEG 2000 compression IP and its memory buffer, and a Sobel edge detection filter kernel developed in C. Both the compressed video and Sobel-processed video are pushed out using two separate output ports. This is just one example of an intelligent frame grabber that performs in parallel on the 10G video stream JPEG 2000 compression as well as contour detection, however the ability to insert custom processing kernels in C or in Verilog/VHDL and IP from Quickstore provide endless possibilities. The second step in the development process is the validation of the dataflow model created in Quickplay, using Linux native gcc compiler and gdb debugger. Validation requires linking the design model to either a unitary test application or to the final application (i.e. the frame grabber application software), using the QuickPlay API. Figure 2 presents a subset of the API and illustrates the communication between software application and FPGA design. The third step is the Build stage where the software model of the frame grabber is compiled into a hardware (i.e. HDL) representation. This step requires the user to specify:

  • • The target hardware platform for the design. Quickplay is a platform-aware environment that shields users from the complexity of hardware implementation by offering pre-integrated and pre-validated boards and platforms to choose from. It supports a variety of FPGA boards from 3rd-party vendors, some of which are suitable for computer vision acceleration. The example described requires a board with at least one 10Gb Ethernet (SFP+) connector for 10GigE video acquisition, one PCI Express connector for host interfacing, and one bank of onboard memory required by the JPEG 2000 compression IP.
  • • The mapping and configuration of the design’s input port, output port, and memory buffer to the board’s physical interfaces and physical memory, as listed above; 10 Gigabit UDP/IP for the input port, PCI Express Gen3 for both output ports, and 4GB DDR3 SDRAM memory for the memory bank. The mapping is accomplished in a few clicks. Note that input and output ports could be mapped to any supported physical interface (e.g. Ethernet, SDI, USB, etc.), with no change to the application software, due to the agnostic nature of the communication API.

The Implement stage is the fourth and final step. Quickplay invokes the FPGA vendor’s tool suite completely in the background, until the generation of the FPGA bitstream which can be loaded onto the target board. Executing once again the software application used in step two now communicates with the FPGA hardware and produce the same output, albeit at a much faster pace. The user may at any time customize or completely re-architect the design, by replacing, modifying or adding processing elements, changing the physical I/O interfaces, and even selecting a different FPGA platform.

Conclusion

The ability to seamlessly integrate and interconnect IP from QuickStore, IP designed in-house whether in Verilog/VHDL or in C, and built-in elements from the Quickplay library, provides computer vision professionals an easy and unique way to build FPGA-augmented applications, be it intelligent frame grabbers or other smart video and image processing adapters, all without hardware or FPGA expertise.

Figure 2: Subset of the QuickPlay API. It illustrates the communication between software application and FPGA design. (Bild: PLDA Group)

Figure 2: Subset of the QuickPlay API. It illustrates the communication between software application and FPGA design. (Bild: PLDA Group)

Anzeige

Empfehlungen der Redaktion

Das könnte Sie auch interessieren

Das Khronos Konsortium hat zwei Gruppen zur Standardisierung von neuronalen Netzwerken gegründet. Die eine Gruppe beschäftigt sich mit der Entwicklung eines unabhängigen API Standard File Formats für den Datenaustausch, während die andere sich der Topologie von Convolutional neuronalen Netzwerken widmet, um diese als OpenVX Grafiken darzustellen. ‣ weiterlesen

www.khronos.org

Anzeige

Die 71MP-CMOS-Kamera Machcam ist in zwei Versionen verfügbar: monochrom (71M) und in Farbe (71C). Das Format der Kamera ist 83x83x63,5mm. Die Kamera verfügt über einen Cmosis-Image-Sensor und eine USB-Schnittstelle. ‣ weiterlesen

www.sps-magazin.de

Anzeige

Ziel des mit fast 4Mio.E geförderten EU-Projekts Tulipp (Towards Ubiquitous Low-power Image Processing Platforms) ist es leistungsstarke und energieeffiziente Embedded-Systeme für komplexe Bildverarbeitungsanwendungen zu entwickeln. Das Projekt konzentriert sich auf die Entwicklung einer Referenzplattform für Bildverarbeitungssysteme. Dabei werden Richtlinien zur geeigneten Auswahl von Recheneinheiten und Kommunikationsinfrastrukturen für die Instanziierung der Plattform definiert, mit dem Ziel den Energieverbrauch, die Entwicklungskosten und die Produkteinführungszeit zu reduzieren.

www.thalesgroup.com

Anzeige

Auf einen Blick sieht die 3D-Kamera auf Basis der PMD-Technologie unterschiedlichste Gegenstände und Objekte in ihren räumlichen Dimensionen. Herzstück des Gerätes ist ein neuer Bild-Chip mit 23.000 Empfangselementen. Die Ausgabe erfolgt über Grauwert- und Distanzbild, die Auswertung ist mit marktüblichen Bibliotheken mühelos möglich. ‣ weiterlesen

www.ifm.com

Anzeige

Active Silicon bietet die FireBird Framegrabber Technologie nun auch im CompactPCI Format an. Die neue Karte arbeitet im erweiterten Temperaturbereich und ist für den Einsatz in anspruchsvollen Embedded Anwendungen geeignet. Die 4-spurige Gen2 Schnittstelle ist schnell genug, die volle Datenrate des CL-Interfaces zu nutzen. Die FireBird CL 3U cPCI Serial unterstützt die gleichzeitige Datenerfassung von zwei unabhängigen Base CL Kameras bzw. die Datenerfassung von einer Base, Medium, Full oder Deca Kamera.

www.activesilicon.co.uk

Anzeige

Mit der Einführung von Strained Layer Superlattice (SLS) Typ II Detektoren ist es gelungen, die Leistung von Wärmekameras auf das Niveau der integrierten Schaltkreise zum Auslesen des Bildsignals (ROICs) und der Kameraelektronik zu bringen. Durch die Integration von SLS in Wärmekameras können neue Langwellen-IR-Lösungen mit deutlichen Verbesserungen bei Geschwindigkeit, Temperaturbereich, Uniformität und Stabilität angeboten werden, die preislich zudem unterhalb analoger Detektormaterialien liegen. ‣ weiterlesen

Anzeige

www.flir.com

Anzeige

Eine neuartige Beleuchtungstechnologie versetzt Vision-Sensoren erstmals in die Lage, vertiefte oder erhabene Strukturen zuverlässig zu erfassen und auszuwerten. Abhilfe schafft die neue Multishot-Funktion, der Vision-Sensoren der Reihe Visor. ‣ weiterlesen

www.sensopart.de

Anzeige

Die hochauflösende 3D-Kameraserie 3DPixa wird um zwei Produkte erweitert. Die HR 5µm und die HR 2µm zeichnen sich durch eine verbesserte Bildqualität dank einer auf 3D-Anwendungen optimierten Optik aus. Damit werden stabilere und genauere 3D-Daten auch auf kritischen Oberflächen erzielt. Die Erfassungsbreite von ca.35mm und die Abtastgeschwindigkeit von bis zu 30kHz sorgen bei der HR 5µm für kurze Prüfzeiten bei Auflösungen von 5µm. Die HR 2µm ist für Anwendungen mit noch höheren Auflösungs- und Genauigkeitsanforderungen konzipiert und erreicht eine Abtastbreite von 16mm. Verbessert wurde auch das Zusammenspiel zwischen Kamera-Elektronik und Optik. Das Resultat ist eine höhere Bildschärfe an den Rändern.

www.chromasens.de

Anzeige
Anzeige
Anzeige
Anzeige
Anzeige
Anzeige