Anzeige
Anzeige
Anzeige

Mixed reality

Jeff Bier’s column: Hololens will spur many aha moments

At this year’s Consumer Electronics Show, I walked many miles and saw countless demos. Several of these demos were memorable, but one in particular really got my mental gears turning: Microsoft’s Hololens.

Hololens is Microsoft?s 'mixed reality' glasses product (Bild: Microsoft Corporation)

Hololens is Microsoft’s ‚mixed reality‘ glasses product (Bild: Microsoft Corporation)

Hololens, of course, is Microsoft’s ‚mixed reality‘ glasses product, which has been shipping in pre-production form for about a year. (Previously, I would have used the term ‚augmented reality‘ to refer to Hololens, which overlays computer-generated graphics on the user’s view of the physical world. But here I’m adopting the Microsoft’s preferred term, ‚mixed reality‘ which many people now use to describe systems in which ‚people, places, and objects from your physical and virtual worlds merge together.‘) Over the past five years, I’ve seen many demos of virtual reality, augmented reality and mixed reality. Most of these showed promise – but the promise usually felt distant, because the demos weren’t sufficiently polished to feel ‚real‘ and weren’t easy to use. That was then. This is now: Hololens has nailed both the ‚feels real‘ and ease-of-use aspects. Wearing Hololens, I played a shoot-em-up video game against an army of robots. The experience was stunning, thanks to three key capabilities. First, Hololens is a wearable, battery-powered device, so I was able to move about the room to dodge hostile robots. Second, Hololens accurately mapped the room I was in, enabling the robotic invaders to create what really looked like cracks in the actual walls of the room. And third, as I turned my head and shifted my position within the room, Hololens adapted to these movements seamlessly, so that the illusion of merged physical and virtual worlds was maintained. Now that I’ve experienced robust mixed reality, I foresee many compelling applications for this technology beyond gaming: Enabling physicians to see inside a body to enable safer, more accurate treatment. Giving utility workers a clear view of underground pipes and cables. Providing consumers with a realistic preview of how a room will look after redecorating it. Allowing museum visitors to see a skeleton transform into a fully formed, animated dinosaur. (The fact that Hololens sells for $3,000 suggests that, for a while at least, this technology is more likely to be adopted by hospitals, utility companies and museums than by individual consumers.) Of course, a convincing mixed reality (MR) experience -one in which the virtual and physical worlds interact in a realistic way – requires the MR device to maintain an accurate understanding of the surrounding physical world – and the user’s position within it – in three dimensions, with very low latency. That is, it requires fast, highly accurate 3D computer vision. MR doesn’t necessarily require a wearable device. Vehicle applications, for example, can use the windshield as a projection screen. And 8tree’s clever handheld device for quantifying surface damage projects information onto the surface being inspected. But in many cases, glasses are the most compelling way to deliver mixed reality. This is because they leave your hands free, because they know where you are looking, and because they have the ability to project information into your field of view, wherever you’re looking. Packing all of the technology required for a convincing MR experience into a wearable device is a daunting challenge, however. With Hololens, Microsoft has given us a hint of what’s possible. The Hololens team has clearly put enormous effort into everything from custom chips to industrial design to create a device that’s reasonably comfortable to wear (though still bulky). A few years ago, the Microsoft Kinect had a major catalyzing effect on many people’s thinking about low-cost 3D visual perception. In a similar fashion, I believe that Hololens will spur many aha moments, leading to accelerated innovation in wearable computer vision devices, low-power 3D computer vision, and mixed reality. Given the need for many product developers to learn about these technologies, my colleagues and I at the Embedded Vision Alliance have expanded the range of tutorial articles, videos, industry news and other resources on these topics available at the Alliance’s website, www.embedded-vision.com.

Empfehlungen der Redaktion

Das könnte Sie auch interessieren

Das kamerabasierte portable Koordinatenmessgerät (KMG) MoveInspect XR8 erfasst geometrische Eigenschaften und Veränderungen dreidimensional und liefert hochgenaue Daten. Es basiert auf der Moveinspect Technology und besteht aus zwei 8MP Digitalkameras in einem geschlossenen Kamerabalken. Die kalibrierten Kameras sind mit integrierten Blitzen ausgestattet und somit unabhängig von jeglichem Umgebungslicht. Der handgehaltene Messtaster MI.Probe ermöglicht Messungen mit totaler Bewegungsfreiheit, während die Moveinspect Software zu jedem Zeitpunkt die 3D Koordinaten von Objektpunkten oder die 6DOF von Festkörpern bestimmt.

www.aicon3d.de

Anzeige

Die vier Hochleistungsinfrarotkameras für den Bereich Forschung und Wissenschaft X6800sc (640x512Pixeln; 502fps), A8200sc (1.024×1.024 Pixel) und X8500sc für das Mittelwellenspektrum (MWIR) sowie die A6260sc für das Kurzwellenspektrum (SWIR) bieten hohe Bildaufnahmeraten und Empfindlichkeit für anspruchsvollste Anwendungen. Dabei kombiniert jede der vier Plattformen Funktionen wie Fernauslösung und präzise Synchronisierung mit fortschrittlicher Wärmebildtechnologie, damit die Forscher stets exakte Temperaturmessungen vornehmen können.

www.flir.com

Anzeige

Der Wellenfrontsensor SHSLab dient zur die Prüfung von Optiken, optischen Systemen und Lasersystemen. Das Messprinzip ermöglicht die Erfassung von Wellenfronten durch eine einzelne Messung, so dass er schnell und unempfindlich gegenüber externen Einflüssen ist. Ein Mikrolinsen-Array transformiert die lokalen Propagationsrichtungen der Lichtstrahlen in ein Feld von Fokuspunkten auf einer Kamera. Die Abweichung der Fokuspunkte von ihren Referenzpositionen wird berechnet und schließlich die Wellenfront durch numerische Integration.

www.optocraft.com

Anzeige

Das Hochgeschwindigkeitsglastellersystem TAVI.01 – XL kann bis zu 100.000 Teile pro Stunde prüfen und sortieren. Dank des vergrößerten Glastellers lassen sich Sensoren für unterschiedlichste Prüfaufgaben integrieren. Bis zu 16 Sortierkanäle für kundenspezifische Sortierwünsche bieten die Möglichkeit, Teile nach spezifischen Defekten zu sortieren. Ob Dichtungen oder Stopfen aus verschiedenen Elastomeren, Sinterteile, Stanz- oder Feinschneidteile, Drehteile oder Spritzgussteile, die Systeme lassen sich für nahezu jedes Material konfigurieren.

www.nela.de

Anzeige

Bei der Bin-Picking-Lösung von Liebherr wird ein zweistufiges Triangulationssystem eingesetzt. Dadurch ergibt sich eine deutlich verbesserte Auflösung. Während bisherige Bilderkennungssystem nach dem Laserlaufzeitverfahren bei 3 bis 5mm Genauigkeit an seine Grenzen stieß, erreicht das neue System eine zehnfach höhere Auflösung. Zudem werden die Schattenbildung und das Kollisionsrisiko reduziert. Dadurch gelingt dem achtachsigen Roboterarm selbst der Griff in bis zu 1m tiefe Transportbehälter. Das neue Bilderkennungssystem verfügt über einen Blaulichtlaser. Mit nur einer linearen Bewegung erfasst das System den Behälterinhalt, ohne eine vorherige Positionierung des 3D-Visionsystems.

www.liebherr.de

Anzeige

Auf dem Weg zur Losgröße 1 müssen Karosseriebauer schon heute eine wachsende Variantenvielfalt auf ein und derselben Produktionslinie bewältigen. Dies erfordert immer kürzere Anlaufzeiten für den Produktionsprozess und eine gleichbleibend hohe Prozesssicherheit trotz kurzfristiger Anpassungen. Genau auf diese Anwendungen ist der optische 3D-Sensor AIMax Cloud zugeschnitten. ‣ weiterlesen

www.zeiss.de