Lichtfeldkamera im OP

3D-Lichtfeld-Kamera steuert OP-Roboter

Autonomer OP-Roboter

An einfache autonome Roboter, wie Staubsauger oder Rasenmäher hat man sich inzwischen gewöhnt. Chirurgische Eingriffe durch einen autonomen Roboter erscheinen dagegen noch eher als Science-Fiction. Eine Forschungsgruppe vom Sheikh Zayed Institute for Pediatric Surgical Innovation am Children’s National Health System in Washington DC und Johns Hopkins Universität in Baltimore, haben nun eine Hürde auf dem Weg zum autonomen OP-Roboter genommen. Ihr ‚Smart Tissue Autonomous Robot‘ (Star) ist der erste Roboter, der weiches Gewebe autonom nähen kann – und das auch noch besser als ein Chirurg.

 (Bild: Raytrix GmbH)

(Bild: Raytrix GmbH)


Die Forscher verstehen ihr System vor allem als Demonstration, dass diese Art von Eingriff durch ein Robotersystem möglich ist. Der Weg, bevor ein solches System tatsächlich in den klinischen Einsatz kommen könnte, ist allerdings noch weit. In den Versuchen wurde Star auch lediglich halb-autonom betrieben: Ein begleitender Chirurg musste jeden Stich der Naht freigeben, bevor dieser von dem System durchgeführt wurde. Außerdem konnte der Chirurg vor jeder Aktion des Roboters eingreifen, was in ca. 40 Prozent der Fälle auch nötig war, um z.B. den Faden zu halten. Das Resultat kann sich hingegen sehen lassen: Die mit dem Roboter erzeugte Naht war gleichmäßiger und konnte höheren Drücken standhalten, als die von einem Chirurgen manuell erzeugte Naht. Das chirurgische Instrument zum Nähen ist über einen Kraftsensor an einem Kuka-Roboterarm befestigt. Das zu nähende Gewebe ist von einem Chirurgen vorbereitet worden, um den Nahtbereich grob zu fixieren. Während des Nähvorgangs verändert sich die Form und Lage des Nahtbereiches, da jeder Nahtpunkt die Spannungen im Gewebe selbst verändert. Ein weiterer, vorbereitender Schritt, der von einem Chirurgen durchgeführt wird, ist es die Eckpunkte der geplanten Naht mit fluoreszierenden Markierungen zu versehen. Die Marker, die im nahen Infrarotbereich fluoreszieren, werden mit einer 2D-Infrarotkamera aufgenommen und zu der von einer 3D-Lichtfeldkamera aufgenommen 3D-Oberfläche registriert. Dadurch kann jedem Marker eine 3D-Position zugeordnet werden. Zwischen diesen Markerpunkten plant die von den Forschern entwickelte Software dann selbstständig die Positionen der einzelnen Einstichpunkte. Da sich nach jedem Stich die Lage und Form der Oberfläche verändern kann, muss die Lage der Nahtpunkte kontinuierlich neu berechnet werden. Die fluoreszierenden Marker werden von der Infrarotkamera mit 30Hz aufgenommen und durch einen Tracking-Algorithmus verfolgt. Die 3D-Lichtfeldkamera lieferte die neue Oberflächendaten mit 10Hz.

Funktionsweise Lichtfeldkamera

Bei einer Lichtfeldkamera erzeugt das Hauptobjektiv ein räumliches Zwischenbild des Objektes. Ein vor dem Bildsensor eingebrachtes Mikrolinsenarray agiert nun wie ein Mikro-Kamera-Array, wobei jede Mikrolinse aus einer unterschiedlichen Perspektive einen Teil des Zwischenbildes auf den Bildsensor abbildet. Jedes Mikrobild hat dabei typischerweise einen Durchmesser von 20 bis 40 Pixeln. Da jedes Mikrobild aus einer leicht anderen Perspektive aufgenommen wird, kann man die 3D-Form des Zwischenbildes mit Verfahren ähnlich denen von Stereo-Kamerasystemen berechnen. Durch eine zusätzliche metrische Kalibrierung ergibt sich dann die 3D-Form des Objektes. Die Verwendung einer Lichtfeldkamera ist besonders dann von Vorteil, wenn relativ kleine Bildfelder abzubilden sind. Durch die spezielle Mikrolinsentechnologie vergrößert sich zudem noch der Schärfentiefe-Bereich im Vergleich zu einer 2D-Kamera. Axel Krieger vom Children’s National Health System sagt zur Wahl einer Lichtfeldkamera als 3D-Sensor: „Wir haben eine Lichtfeldkamera gewählt, da wir eine Genauigkeit von einem Millimeter in einem dynamischen, operativen Bildfeld benötigen. Die Pixeldichte, Bildrate und Genauigkeit der Lichtfeldkamera waren ideal für unsere Anwendung. Die Kamera lieferte sehr gute Ergebnisse beim nassen und reflektierenden Gewebe.“ In einem Vergleichstest zwischen mehreren Chirurgen und dem Star-System beim Nähen an Gewebestücken ex vivo und an narkotisierten Schweinen in vivo hat sich gezeigt, dass das System die Abstände der Nahtstiche gleichmäßiger setzt als die Chirurgen. Dadurch konnten die Nähte höheren Drücken standhalten bevor sie undicht wurden. Die Anzahl der Fehler, die von den Chirurgen und von Star gemacht wurden, waren vergleichbar. Das Systems ist allerdings noch ein ganzes Stück langsamer als ein Chirurg. Ein Grund dafür ist auch, dass Star absichtlich langsam lief, damit ein manuelles Eingreifen möglich war. In einem voll autonomen Modus wäre eine wesentlich höhere Geschwindigkeit erreichbar. Die nächste Herausforderung, die die Forscher nun angehen wollen, ist es einen Roboter zu bauen, der Gewebe operativ entfernen kann. Das Team überlegt auch auf Basis ihrer Entwicklung ein den Chirurgen unterstützendes Robotersystem für klinische Anwendung zusammen mit einem Investor zu entwickeln. Ein vollständig autonomer Roboter für die Chirurgie bleibt aber auf weiteres noch Science-Fiction.

Autonomer OP-Roboter
Bild: Raytrix GmbH


Das könnte Sie auch interessieren

Oberflächen- und Konturmessung in einem Gerät

Das integrierte Messsystem Duo Vario bietet zwei Messverfahren: das Konfokale und die Fokusvariation, für eine Oberflächenanalyse von Rauheit sowie Konturmessungen. Mit dem konfokalen Verfahren können stark reflektierende Oberflächen rückführbar auf herstellerunabhängige Raunormale gemessen werden. Mit dem neuen Gerät ist dies nun auch mit einem größeren Bildfeld und mit einer höheren lateralen Auflösung möglich. Das Fokusvariationsverfahren ist vor allem für die Messung von Formen und Konturen vorteilhaft. Dabei beträgt der Akzeptanzwinkel über 85°.

www.confovis.com

3D-Fotogrammetrie-Kamera mit visueller Projektion

Die Maxshot 3D-Fotogrammetrie-Kamera verbindet eine einfache Bedienung und Genauigkeit mit umfangreichen Größenmessprojekten. Sie kann als einzelnes Messgerät aber auch in Kombination mit Creaforms 3D-Scannern und tragbaren KMMs verwendet werden. Das Gerät ist 40% präziser als der Vorgänger und hat eine volumetrische Genauigkeit von bis zu 0,015mm/m. Eine visuelle Projektion mit Echtzeit-Feedback direkt auf dem Teil, leitet den Nutzer zu der richtigen Position für die Aufnahme.

www.creaform

Reflektivität in voller Bandbreite

Das Interferometer µPhase basiert auf dem Twyman-Green-Prinzip und vermisst hochpräzise Abweichungen in Planität und Sphärizität, mit einer Genauigkeit bis zu 0.01µm. Die berührungsfreie Messung und Auswertung erfolgt dabei großflächig innerhalb von Sekunden.

www.trioptics.com

Anzeige
66. Heidelberger Bildverarbeitungsforum

Das 66. Heidelberger Bildverarbeitungsforum wird am 10. Oktober in Freiburg an der Technischen Fakultät der Albert-Ludwigs-Universität stattfinden. Das diesjährige Schwerpunktthema lautet ‚Mensch-Maschine-Interaktion mit Vision‘ und gibt anhand von verschiedenen Vorträgen einen systematischen Einblick in die Anwendungsfelder, in der Vision-Technologien zur Interaktion mit dem Menschen eingesetzt werden können. Am Ende der Veranstaltung wird es eine große Abschlussdiskussion zur Fazit-Findung geben.

www.bv-forum.de

Anzeige
Yxlon: Neuer Global Director of Electronics Sales

Yxlon International, spezialisiert auf Durchleuchtungs- und CT-Inspektionssysteme, hat Keith Bryant zum neuen Global Director Electronics Sales ernannt. Bryant bringt über 25 Jahre an Erfahrungen im Bereich Technical Sales mit sich, besonders aus dem Bereich X-Ray. Er wird fortan für alle globalen Marktkanäle zuständig sein und dem globalen Salesteam des Unternehmens vorstehen.

www.yxlon.com

Anzeige
Megatrend Embedded Vision

Mit der ersten Embedded Vision Europe (EVE) Konferenz wird Stuttgart vom 12. bis 13. Oktober zur Embedded Vision Hauptstadt Europas. Hauptredner und Aussteller für die Premierenveranstaltung im ICS Stuttgart stehen bereits fest.

www.embedded-Vision-emva.org

Anzeige