Lichtfeldkamera im OP

3D-Lichtfeld-Kamera steuert OP-Roboter

Autonomer OP-Roboter

An einfache autonome Roboter, wie Staubsauger oder Rasenmäher hat man sich inzwischen gewöhnt. Chirurgische Eingriffe durch einen autonomen Roboter erscheinen dagegen noch eher als Science-Fiction. Eine Forschungsgruppe vom Sheikh Zayed Institute for Pediatric Surgical Innovation am Children’s National Health System in Washington DC und Johns Hopkins Universität in Baltimore, haben nun eine Hürde auf dem Weg zum autonomen OP-Roboter genommen. Ihr ‚Smart Tissue Autonomous Robot‘ (Star) ist der erste Roboter, der weiches Gewebe autonom nähen kann – und das auch noch besser als ein Chirurg.

 (Bild: Raytrix GmbH)

(Bild: Raytrix GmbH)


Die Forscher verstehen ihr System vor allem als Demonstration, dass diese Art von Eingriff durch ein Robotersystem möglich ist. Der Weg, bevor ein solches System tatsächlich in den klinischen Einsatz kommen könnte, ist allerdings noch weit. In den Versuchen wurde Star auch lediglich halb-autonom betrieben: Ein begleitender Chirurg musste jeden Stich der Naht freigeben, bevor dieser von dem System durchgeführt wurde. Außerdem konnte der Chirurg vor jeder Aktion des Roboters eingreifen, was in ca. 40 Prozent der Fälle auch nötig war, um z.B. den Faden zu halten. Das Resultat kann sich hingegen sehen lassen: Die mit dem Roboter erzeugte Naht war gleichmäßiger und konnte höheren Drücken standhalten, als die von einem Chirurgen manuell erzeugte Naht. Das chirurgische Instrument zum Nähen ist über einen Kraftsensor an einem Kuka-Roboterarm befestigt. Das zu nähende Gewebe ist von einem Chirurgen vorbereitet worden, um den Nahtbereich grob zu fixieren. Während des Nähvorgangs verändert sich die Form und Lage des Nahtbereiches, da jeder Nahtpunkt die Spannungen im Gewebe selbst verändert. Ein weiterer, vorbereitender Schritt, der von einem Chirurgen durchgeführt wird, ist es die Eckpunkte der geplanten Naht mit fluoreszierenden Markierungen zu versehen. Die Marker, die im nahen Infrarotbereich fluoreszieren, werden mit einer 2D-Infrarotkamera aufgenommen und zu der von einer 3D-Lichtfeldkamera aufgenommen 3D-Oberfläche registriert. Dadurch kann jedem Marker eine 3D-Position zugeordnet werden. Zwischen diesen Markerpunkten plant die von den Forschern entwickelte Software dann selbstständig die Positionen der einzelnen Einstichpunkte. Da sich nach jedem Stich die Lage und Form der Oberfläche verändern kann, muss die Lage der Nahtpunkte kontinuierlich neu berechnet werden. Die fluoreszierenden Marker werden von der Infrarotkamera mit 30Hz aufgenommen und durch einen Tracking-Algorithmus verfolgt. Die 3D-Lichtfeldkamera lieferte die neue Oberflächendaten mit 10Hz.

Funktionsweise Lichtfeldkamera

Bei einer Lichtfeldkamera erzeugt das Hauptobjektiv ein räumliches Zwischenbild des Objektes. Ein vor dem Bildsensor eingebrachtes Mikrolinsenarray agiert nun wie ein Mikro-Kamera-Array, wobei jede Mikrolinse aus einer unterschiedlichen Perspektive einen Teil des Zwischenbildes auf den Bildsensor abbildet. Jedes Mikrobild hat dabei typischerweise einen Durchmesser von 20 bis 40 Pixeln. Da jedes Mikrobild aus einer leicht anderen Perspektive aufgenommen wird, kann man die 3D-Form des Zwischenbildes mit Verfahren ähnlich denen von Stereo-Kamerasystemen berechnen. Durch eine zusätzliche metrische Kalibrierung ergibt sich dann die 3D-Form des Objektes. Die Verwendung einer Lichtfeldkamera ist besonders dann von Vorteil, wenn relativ kleine Bildfelder abzubilden sind. Durch die spezielle Mikrolinsentechnologie vergrößert sich zudem noch der Schärfentiefe-Bereich im Vergleich zu einer 2D-Kamera. Axel Krieger vom Children’s National Health System sagt zur Wahl einer Lichtfeldkamera als 3D-Sensor: „Wir haben eine Lichtfeldkamera gewählt, da wir eine Genauigkeit von einem Millimeter in einem dynamischen, operativen Bildfeld benötigen. Die Pixeldichte, Bildrate und Genauigkeit der Lichtfeldkamera waren ideal für unsere Anwendung. Die Kamera lieferte sehr gute Ergebnisse beim nassen und reflektierenden Gewebe.“ In einem Vergleichstest zwischen mehreren Chirurgen und dem Star-System beim Nähen an Gewebestücken ex vivo und an narkotisierten Schweinen in vivo hat sich gezeigt, dass das System die Abstände der Nahtstiche gleichmäßiger setzt als die Chirurgen. Dadurch konnten die Nähte höheren Drücken standhalten bevor sie undicht wurden. Die Anzahl der Fehler, die von den Chirurgen und von Star gemacht wurden, waren vergleichbar. Das Systems ist allerdings noch ein ganzes Stück langsamer als ein Chirurg. Ein Grund dafür ist auch, dass Star absichtlich langsam lief, damit ein manuelles Eingreifen möglich war. In einem voll autonomen Modus wäre eine wesentlich höhere Geschwindigkeit erreichbar. Die nächste Herausforderung, die die Forscher nun angehen wollen, ist es einen Roboter zu bauen, der Gewebe operativ entfernen kann. Das Team überlegt auch auf Basis ihrer Entwicklung ein den Chirurgen unterstützendes Robotersystem für klinische Anwendung zusammen mit einem Investor zu entwickeln. Ein vollständig autonomer Roboter für die Chirurgie bleibt aber auf weiteres noch Science-Fiction.

Autonomer OP-Roboter
Bild: Raytrix GmbH


Das könnte Sie auch interessieren

Inline-Oberflächenprüfung von zylindrischen Schleifteilen

Heitec entwickelte eine Prüfvorrichtung zur Erkennung von Fehlern auf der Mantelfläche mit Zeilenkamera, entozentrischem Objektiv und Balkenbeleuchtung. Die Messzelle erkennt Oberflächenfehler auf der Mantelfläche und unterscheidet dabei zwischen Kratzern und Macken.

www.heitec.de

Anzeige
Die Zeit ist reif

Die Bildverarbeitungsindustrie ist in einem ständigen Wandel begriffen. Zurzeit erleben wir dies auf zwei Ebenen: auf der Seite der Algorithmen mit Deep Learning und bei den Rechnerplattformen mit dem Umbruch von PC-basierter Systemen hin zu Embedded Vision. Erstaunlicherweise gibt es aber etwas in der Bildverarbeitung, das sich nie geändert hat: die Objektivanschlüsse.‣ weiterlesen

www.iwr.uni-heidelberg.de

Geschützt vor Schmutz, Staub und Spritzwasser

Die Ensenso X 3D-Kameraserie von IDS wird um Modelle mit IP65/67 Protection Code zum Einsatz in rauen Umgebungen erweitert. Das Projektionsmodul ist mit einem Gigabit Ethernet Switch ausgestattet und wird mit zwei GigE-uEye-FA-Kameras zu einem 3D-Kamerasystem kombiniert. Kameras, Objektive, Baseline, Vergenzwinkel und Fokusabstand sind frei wählbar. Dadurch bietet das System endlose Flexibilität um es auf Ihre 3D-Anwendungsanforderungen zuzuschneiden.

de.ids-imaging.com

Anzeige
Lichtfeldkameras

Trifft Licht auf einen Punkt an der Oberfläche eines Objektes, so wird es in verschiedene Raumrichtungen reflektiert und erzeugt damit ein Lichtfeld. Lichtfeldkameras (auch plenoptische Kameras) liefern neben einer 2D-Bildinformation auch die Richtung der an der Abbildung beteiligten Lichtstrahlen.‣ weiterlesen

www.evotron-gmbh.de

Anzeige
Ohne Fehl und Tadel

Scheuermann+Heilig GmbH mit Sitz in Buchen im Odenwald hat sich in mehr als 50 Jahren mit Produkten aus Band und Draht weltweit einen Namen gemacht. Innovative Feder-, Stanz-, Biege- und Montageteile zählen zum Sortiment. In Kooperation mit di-soric Solutions hat die Firma eine optische Prüfanlage durch ihr Schwesterunternehmen SH Automation entwickeln lassen, die Stanz- und Biegeteile auf Fehlerfreiheit kontrolliert.‣ weiterlesen

www.sh-gmbh.com; www.di-soric-solutions.com

Industrial Vision Systems erhält PPMA Group Award

Das Unternehmen Industrial Vision Systems mit Sitz in Oxfordshire wurde mit dem ‚Innovative Vision Solution Award 2017‘ prämiert. Der Preis wurde seitens der Processing & Packaging Machinery Association (PPMA) für eine flexible Inspektionslösung zur Qualitätskontrolle überreicht, in der die Bildverarbeitung mit einem kollaborativen Roboter innerhalb eines Prüfstandes kombiniert wurde.

www.industrialvision.co.uk

Anzeige