Perception Arises with Locomotion

Hand-Eye Coordination and Computer Vision

For humans, it goes without saying that vision is extremely valuable. When you stop to think about it, it’s remarkable what a diverse set of capabilities is enabled by human vision – from reading facial expressions, to navigating complex three-dimensional spaces (whether by foot, bicycle, car, or otherwise), to performing intricate tasks like threading a needle.
One of the reasons why I’m so excited about the potential of computer vision is that I believe that it will bring a similar range of diverse and valuable capabilities to many types of devices and systems. In the past, computer vision required too much computation to be deployed widely. But today, sufficient processing power is available at cost and power consumption levels suitable for high-volume products. As a result, computer vision is proliferating into thousands of products. The vast range of diverse capabilities enabled by vision (from user interfaces to video summarization to navigation, for example), coupled with the wide range of potential applications, can be daunting. How do we figure out which of these capabilities and applications are really worthwhile, and which are mere novelties?

I think the analogy with biological vision can help. In a recent lecture, U.C. Berkeley professor Jitendra Malik pointed out that in biological evolution, „perception arises with locomotion.“ In other words, organisms that spend their lives in one spot have little use for vision. But when an organism can move, vision becomes very valuable – enabling the organism to seek food and mates, for example, and to avoid becoming food for other creatures. In the technological world, to paraphrase Professor Malik, when you put vision and locomotion together, you get things like self-driving cars. And vacuum cleaning robots, obstacle-avoiding drones, driverless forklifts, etc. It’s possible to build autonomous, mobile devices like these without vision, but it rarely makes sense to do so. In other words, just as in the biological world, vision becomes essential when we create devices that move about.

What other clues can we glean from biology to inform our thinking about the most valuable uses of computer vision? In his lecture, Professor Malik pointed out that in biological evolution, „the development of the hand led to the development of the brain.“ While feet carry us from place to place, hands are arguably the main means by which humans act on the physical world. Human hands are extraordinarily versatile – and vision is essential to realizing their potential. Similarly, machines that act on the physical world require visual perception to realize their full potential. For years, this has been evident through research projects showing that vision-enabled robots can do amazing things, from the robot that always wins at Rock, Papers, Scissors to robots that learn how to grasp new object through experimentation. What’s exciting now is that robots that use vision to act on the physical world are being deployed at scale, from tiny interactive toys to large agricultural machines. Of course, not all of these robots have what we would think of as „hands“; depending on the tasks they’re designed for, other types of manipulators may be appropriate. In his lecture, Professor Malik quoted the Greek philosopher Anaxagoras, who said: „It is because of being armed with hands that man is the most intelligent animal.“ Similarly, as machines gain the ability to interact with the physical world, they need intelligence – especially visual intelligence – to become truly capable.

If you want to understand how computer vision is changing industries and business models, and learn about the latest practical techniques and technologies for adding vision to all types of systems, I invite you to join me, Mark Bünger, and over 40 other speakers at the Embedded Vision Summit, taking place May 1-3, 2017 in Santa Clara, California. For details about this unique conference, and to register, please visit www.embedded-vision.com/summit.

Perception Arises with Locomotion
Bild: Embedded Vision Alliance


Das könnte Sie auch interessieren

42MP-Farb-Autofokuskamera

The Imaging Source veröffentlicht eine neue USB3.0-42MP-CMOS-Kamera mit 7fps bei 42MP bzw. 110fps bei Full HD. Die Kamera bietet ein C/CS-Mount oder eine integrierte Optik (inkl. Autofokus). Neben einer automatischen Farbkorrektur und einem 2/3″ CMOS-Sensor ist im Gesamtpaket auch ein Barcode SDK sowie die Vermessungssoftware IC Measure.

www.theimagingsource.com

Anzeige

Die High-Power-LED-Strahler und mit externem Controller gesteuerte Beleuchtungen der Marke Lumimax sind mit neuen Schalteingängen ausgestattet. Die Verwendung von optoisolierten Schalteingängen vereinfacht das Ansteuern der Beleuchtung über die Programmierung der Kamera. Die Beleuchtung kann dadurch genau zum Zeitpunkt der Bildaufnahme lastfrei (High- oder Low-Side) über ein SPS (24VDC)-oder TTL (5VDC)-Signal geschaltet werden. Ein T-Adapterkabel ist die Verbindung zwischen Kamera und Beleuchtung. Über dieses ist die Beleuchtung direkt an die Kamera angeschlossen und ermöglicht das synchrone Schalten zur Bildaufnahme

www.iimag.de

Anzeige
LED-Ringlicht in Schutzgehäuse

Der eingebaute Mikro-Blitzcontroller der neuen LED-Ringlicht-Serie ermöglicht die Anpassung einer Vielzahl von Parametern, wie Pulslänge, Auslöseverhalten, Stromverstärkung und vieles mehr. Die Programmierung kann über RS232 erfolgen – später auch über Bluetooth und WLAN. Die Verstärkung lässt sich bis zum sechsfachen Nennstrom einstellen, so dass die acht 1W Oslon LEDs eine maximale Leistung von bis zu 46W erzielen. Der Controller überprüft die getroffenen Einstellungen und warnt, wenn der Strom für die Pulslänge / Zykluszeit hoch wird.

www.autovimation.com

Anzeige

Die Runtime 5.4.4 von Silicon Software unterstützt mit der Erweiterung des GenICam Explorers die Konfiguration von Action Commands für GigE Vision-Kameraschnittstellen und -Framegrabber. Der GenICam Explorer erkennt angeschlossene Kameras automatisch und ermöglicht den direkten Zugriff auf die GenICam Schnittstelle der Kamera. Über eine grafische Benutzeroberfläche lassen sich die Kameraverbindung, Link-Topologie sowie die Kamera selbst und die Framegrabber-Firmware konfigurieren und steuern sowie die Einstellungen speichern. Der GenICam Explorer ist neben GigE Vision auch für die Kameraschnittstellen CoaXPress und Camera Link HS erhältlich und für alle gängigen Kameramodelle einsetzbar.

www.silicon-software.de

Hochauflösende CXP- und CL-Highspeed-Kameras

Die Kameramodelle Eosens 25CXP+, 12CXP+ und 25CL+ besitzen einen Onsemi Python CMOS Sensor. Die hohe Lichtempfindlichkeit der Hochgeschwindigkeitskameras von 5,8V/Lux*s@550nm liefert auch bei schlechten Lichtverhältnissen verlässliche Bildinformationen. Die CXP+ Modelle verfügen über eine 4-Kanal CXP-6 CoaXPress V1.1-Schnittstelle. Die 25CXP + liefert 80fps bei einer Auflösung von 5.120×5.120 Pixeln. Die 12CXP+ bietet 165fps bei einer Auflösung von 4.096×3.072 Pixeln. Bei einer Auflösung von 1.024×768 Pixeln erhöht sich die Framerate auf bis zu 765fps.

www.mikrotron.de

Anzeige
Zukünftige Verlagerungen

Im vierten Teil der VDMA IBV Expertenrunde geht es um das Thema Kameras. Der Kameramarkt ist derzeit im Wandel, sei es durch technische Entwicklungen (z.B. Embedded Vision), aber auch durch eine zunehmende Zahl von Akquisitionen. Daher hat sich inVISION mit Dr. Dietmar Ley, CEO der Basler AG, über den Kameramarkt der Zukunft unterhalten.

www.baslerweb.com

Anzeige