Perception Arises with Locomotion

Hand-Eye Coordination and Computer Vision

For humans, it goes without saying that vision is extremely valuable. When you stop to think about it, it’s remarkable what a diverse set of capabilities is enabled by human vision – from reading facial expressions, to navigating complex three-dimensional spaces (whether by foot, bicycle, car, or otherwise), to performing intricate tasks like threading a needle.
One of the reasons why I’m so excited about the potential of computer vision is that I believe that it will bring a similar range of diverse and valuable capabilities to many types of devices and systems. In the past, computer vision required too much computation to be deployed widely. But today, sufficient processing power is available at cost and power consumption levels suitable for high-volume products. As a result, computer vision is proliferating into thousands of products. The vast range of diverse capabilities enabled by vision (from user interfaces to video summarization to navigation, for example), coupled with the wide range of potential applications, can be daunting. How do we figure out which of these capabilities and applications are really worthwhile, and which are mere novelties?

I think the analogy with biological vision can help. In a recent lecture, U.C. Berkeley professor Jitendra Malik pointed out that in biological evolution, „perception arises with locomotion.“ In other words, organisms that spend their lives in one spot have little use for vision. But when an organism can move, vision becomes very valuable – enabling the organism to seek food and mates, for example, and to avoid becoming food for other creatures. In the technological world, to paraphrase Professor Malik, when you put vision and locomotion together, you get things like self-driving cars. And vacuum cleaning robots, obstacle-avoiding drones, driverless forklifts, etc. It’s possible to build autonomous, mobile devices like these without vision, but it rarely makes sense to do so. In other words, just as in the biological world, vision becomes essential when we create devices that move about.

What other clues can we glean from biology to inform our thinking about the most valuable uses of computer vision? In his lecture, Professor Malik pointed out that in biological evolution, „the development of the hand led to the development of the brain.“ While feet carry us from place to place, hands are arguably the main means by which humans act on the physical world. Human hands are extraordinarily versatile – and vision is essential to realizing their potential. Similarly, machines that act on the physical world require visual perception to realize their full potential. For years, this has been evident through research projects showing that vision-enabled robots can do amazing things, from the robot that always wins at Rock, Papers, Scissors to robots that learn how to grasp new object through experimentation. What’s exciting now is that robots that use vision to act on the physical world are being deployed at scale, from tiny interactive toys to large agricultural machines. Of course, not all of these robots have what we would think of as „hands“; depending on the tasks they’re designed for, other types of manipulators may be appropriate. In his lecture, Professor Malik quoted the Greek philosopher Anaxagoras, who said: „It is because of being armed with hands that man is the most intelligent animal.“ Similarly, as machines gain the ability to interact with the physical world, they need intelligence – especially visual intelligence – to become truly capable.

If you want to understand how computer vision is changing industries and business models, and learn about the latest practical techniques and technologies for adding vision to all types of systems, I invite you to join me, Mark Bünger, and over 40 other speakers at the Embedded Vision Summit, taking place May 1-3, 2017 in Santa Clara, California. For details about this unique conference, and to register, please visit www.embedded-vision.com/summit.

Perception Arises with Locomotion
Bild: Embedded Vision Alliance


Das könnte Sie auch interessieren

Camera Link Multi-Kamera-Vision-Controller mit Echtzeit-I/O

Die M100 Camera Link-Serie ist ein lüfterloser Vision-PC. Er enthält eine FPGA-fähige Echtzeit-I/O, die eine extrem niedrige Latenzzeit ermöglicht. Der Controller verfügt über vier Camera Link-Ports, unterstützt vier Basisverbindungen mit einer maximalen Bandbreite von 255MB/s, zwei mittlere Verbindungen mit einer maximalen Bandbreite von 510MB/s, zwei volle Verbindungen mit einer maximalen Bandbreite von 680MB/s oder zwei 80Bit-Verbindungen mit einer maximalen Bandbreite von 850MB/s. Die Ports sind direkt mit einem FPGA verbunden.

Anzeige
ESD-Effekte an Sensoren und Kamerasystemen

Bei der Entladung nimmt der Strom im wahrsten Sinne des Wortes den Weg des geringsten Widerstandes. Das können Datenleitungen von Sensoren und Kamerasystemen sein, in denen die Transceiver beschädigt werden – oder es trifft über die Optik den elektronischen Bildwandler. Um solche Entladungen aufzuspüren, wurde der Quicktester ESD-QT 16 entwickelt. Das batteriebetriebene Diagnosegerät erkennt die Magnetfelder, die durch die Entladeströme entstehen, und signalisiert die Störimpulse über eine LED und akustisch über eine Sirene. Der Tester und die Sirene arbeiten mit einer Batterie und können zusammen mit dem Material in den entsprechenden Kisten durch die Anlage fahren, um Problemstellen zu lokalisieren.

Vierkanaliges GigE-Vision-System

Das kompakte Embedded-Bildverarbeitungssystem EOS 1300 ist ausgelegt für anspruchsvolle Aufgaben, die den Einsatz mehrerer Kameras, höchste Rechenleistung und zeitdeterministische Lösungen erfordern. Das baukleine System ist mit einem Intel Core i7-, i5- oder i3-Prozessor der 6. Generation, vier Gigabit-Power-over-Ethernet-Ports, vier USB-3.0-Ports und FPGA-implementierten, digitalen I/O-Funktionen ausgestattet. Dank der neuesten 500GB-Festplatten und Windows-Embedded-Betriebssystemen sind die Systeme unempfindlich bei plötzlichen Stromausfällen.

Neue Kalibrierrichtlinie

Mit der Richtlinie VDI/VDE 5585 Blatt 1 wird die Vergleichbarkeit und die Prüfbarkeit der wesentlichen messtechnisch erfassbaren Daten von Thermografiekameras verbessert, denn es werden eindeutige Verfahren zu deren Ermittlung festgelegt.

Hammerhartes Gerät

Gebrochene Kunststoffgehäuse, Risse und sich ablösende Gummierungen bei nur wenige Jahre alten Code-Handlesegeräten sorgten beim Automobilzulieferer BorgWarner für Verdruss. Sukzessive ersetzt das Unternehmen beschädigte Geräte durch den ID-Hammer (ID-200). Das DPM-Lesegerät hat ein Gehäuse aus Flugzeug-Aluminium nach Schutzart IP54. Mit seiner Dualzonenoptik und einem neuartigen Lesealgorithmus dekodiert es kontrastarme, extrem dichte oder gar beschädigte Codes. Der Preis entspricht dem eines konventionellen Kunststoffgerätes, die Gewährleistungszeit beträgt drei Jahre.

50% höhere Frameraten

Die neuen EXO Kameras bieten das komplette Spektrum der Sony IMX Sensoren von 2,3 bis 12MP mit den Schnittstellen USB3, Camera Link und GigEVision an. Die Kameras arbeiten mit Camera Link Base. Mit einigen Framegrabbern (z.B. Euresys) werden zudem in der neuen x3 tap-Konfiguration über 50% höhere Frameraten erzielt als bisher. So liefert dann eine Camera Link Kamera mit IMX174 über 100fps, eine EXO267MCL mit IMX267 und 8,8MP kommt auf bis zu 28fps.