Lichtfeldkamera im OP

3D-Lichtfeld-Kamera steuert OP-Roboter

Autonomer OP-Roboter

An einfache autonome Roboter, wie Staubsauger oder Rasenmäher hat man sich inzwischen gewöhnt. Chirurgische Eingriffe durch einen autonomen Roboter erscheinen dagegen noch eher als Science-Fiction. Eine Forschungsgruppe vom Sheikh Zayed Institute for Pediatric Surgical Innovation am Children’s National Health System in Washington DC und Johns Hopkins Universität in Baltimore, haben nun eine Hürde auf dem Weg zum autonomen OP-Roboter genommen. Ihr ‚Smart Tissue Autonomous Robot‘ (Star) ist der erste Roboter, der weiches Gewebe autonom nähen kann – und das auch noch besser als ein Chirurg.

 (Bild: Raytrix GmbH)

(Bild: Raytrix GmbH)


Die Forscher verstehen ihr System vor allem als Demonstration, dass diese Art von Eingriff durch ein Robotersystem möglich ist. Der Weg, bevor ein solches System tatsächlich in den klinischen Einsatz kommen könnte, ist allerdings noch weit. In den Versuchen wurde Star auch lediglich halb-autonom betrieben: Ein begleitender Chirurg musste jeden Stich der Naht freigeben, bevor dieser von dem System durchgeführt wurde. Außerdem konnte der Chirurg vor jeder Aktion des Roboters eingreifen, was in ca. 40 Prozent der Fälle auch nötig war, um z.B. den Faden zu halten. Das Resultat kann sich hingegen sehen lassen: Die mit dem Roboter erzeugte Naht war gleichmäßiger und konnte höheren Drücken standhalten, als die von einem Chirurgen manuell erzeugte Naht. Das chirurgische Instrument zum Nähen ist über einen Kraftsensor an einem Kuka-Roboterarm befestigt. Das zu nähende Gewebe ist von einem Chirurgen vorbereitet worden, um den Nahtbereich grob zu fixieren. Während des Nähvorgangs verändert sich die Form und Lage des Nahtbereiches, da jeder Nahtpunkt die Spannungen im Gewebe selbst verändert. Ein weiterer, vorbereitender Schritt, der von einem Chirurgen durchgeführt wird, ist es die Eckpunkte der geplanten Naht mit fluoreszierenden Markierungen zu versehen. Die Marker, die im nahen Infrarotbereich fluoreszieren, werden mit einer 2D-Infrarotkamera aufgenommen und zu der von einer 3D-Lichtfeldkamera aufgenommen 3D-Oberfläche registriert. Dadurch kann jedem Marker eine 3D-Position zugeordnet werden. Zwischen diesen Markerpunkten plant die von den Forschern entwickelte Software dann selbstständig die Positionen der einzelnen Einstichpunkte. Da sich nach jedem Stich die Lage und Form der Oberfläche verändern kann, muss die Lage der Nahtpunkte kontinuierlich neu berechnet werden. Die fluoreszierenden Marker werden von der Infrarotkamera mit 30Hz aufgenommen und durch einen Tracking-Algorithmus verfolgt. Die 3D-Lichtfeldkamera lieferte die neue Oberflächendaten mit 10Hz.

Funktionsweise Lichtfeldkamera

Bei einer Lichtfeldkamera erzeugt das Hauptobjektiv ein räumliches Zwischenbild des Objektes. Ein vor dem Bildsensor eingebrachtes Mikrolinsenarray agiert nun wie ein Mikro-Kamera-Array, wobei jede Mikrolinse aus einer unterschiedlichen Perspektive einen Teil des Zwischenbildes auf den Bildsensor abbildet. Jedes Mikrobild hat dabei typischerweise einen Durchmesser von 20 bis 40 Pixeln. Da jedes Mikrobild aus einer leicht anderen Perspektive aufgenommen wird, kann man die 3D-Form des Zwischenbildes mit Verfahren ähnlich denen von Stereo-Kamerasystemen berechnen. Durch eine zusätzliche metrische Kalibrierung ergibt sich dann die 3D-Form des Objektes. Die Verwendung einer Lichtfeldkamera ist besonders dann von Vorteil, wenn relativ kleine Bildfelder abzubilden sind. Durch die spezielle Mikrolinsentechnologie vergrößert sich zudem noch der Schärfentiefe-Bereich im Vergleich zu einer 2D-Kamera. Axel Krieger vom Children’s National Health System sagt zur Wahl einer Lichtfeldkamera als 3D-Sensor: „Wir haben eine Lichtfeldkamera gewählt, da wir eine Genauigkeit von einem Millimeter in einem dynamischen, operativen Bildfeld benötigen. Die Pixeldichte, Bildrate und Genauigkeit der Lichtfeldkamera waren ideal für unsere Anwendung. Die Kamera lieferte sehr gute Ergebnisse beim nassen und reflektierenden Gewebe.“ In einem Vergleichstest zwischen mehreren Chirurgen und dem Star-System beim Nähen an Gewebestücken ex vivo und an narkotisierten Schweinen in vivo hat sich gezeigt, dass das System die Abstände der Nahtstiche gleichmäßiger setzt als die Chirurgen. Dadurch konnten die Nähte höheren Drücken standhalten bevor sie undicht wurden. Die Anzahl der Fehler, die von den Chirurgen und von Star gemacht wurden, waren vergleichbar. Das Systems ist allerdings noch ein ganzes Stück langsamer als ein Chirurg. Ein Grund dafür ist auch, dass Star absichtlich langsam lief, damit ein manuelles Eingreifen möglich war. In einem voll autonomen Modus wäre eine wesentlich höhere Geschwindigkeit erreichbar. Die nächste Herausforderung, die die Forscher nun angehen wollen, ist es einen Roboter zu bauen, der Gewebe operativ entfernen kann. Das Team überlegt auch auf Basis ihrer Entwicklung ein den Chirurgen unterstützendes Robotersystem für klinische Anwendung zusammen mit einem Investor zu entwickeln. Ein vollständig autonomer Roboter für die Chirurgie bleibt aber auf weiteres noch Science-Fiction.

Autonomer OP-Roboter
Bild: Raytrix GmbH


Das könnte Sie auch interessieren

Embedded Vision Europe Conference 2017

Der europäische Bildverarbeitungsverband EMVA plant erstmals vom 12. bis 13. Oktober zusammen mit der Messe Stuttgart die Ausrichtung der Embedded Vision Europe (EVE) Conference in Stuttgart. Über die Ziele und Inhalte der Veranstaltung sprach inVISION mit Gabriele Jansen, Mitglied im ehrenamtlichen Vorstand der EMVA und Geschäftsführerin von Vision Ventures.

www.embedded-vision-emva.org

Projekt zu 3D-Gesichtserkennungssystemen

Das Centre for Machine Vision der University of the West of England (UWE Bristol) kooperiert mit dem britischen Unternehmen Customer Clever, um ein System zur 3D-Gesichtserkennung zu entwickeln, das erstmals auch gewerblich genutzt werden könnte. Das auf zwei Jahre angesetzte Projekt wird u.a. durch 170.000£ Förderung von der staatlichen Agentur Innovate UK mitfinanziert.

info.uwe.ac.uk

Anzeige
Automation Technology erweitert Produktionsstandort

Aufgrund des wachsenden Auftragsvolumens hat AT seinen Produktionsstandort in Bad Oldesloe erweitert. Die seit Mai offiziell in Betrieb befindliche Halle erweitert die Produktionsstätte um mehr als 1.000m² und ist mit einer Solaranlage ausgerüstet, die in Kombination mit neuen Energiespeichern zukünftig eine nahezu autarke Stromversorgung des gesamten Unternehmens erlaubt.

www.automationtechnology.de

Vertriebskooperation zwischen Tattile und Framos

Die beiden Unternehmen Tattile und Framos haben eine gemeinsame Zusammenarbeit bekannt gegeben. Die Vertriebskooperation umfasst die gesamte Palette an Hardware- und Softwareprodukten (Vision Controller, Industriekameras etc.) des Unternehmens Tattile, die zukünftig über das Framos-Vertriebsnetz in Europa und Nordamerika erhältlich sein wird.

www.tattile.com

Anzeige
Robotics & Automation 2017

Die neue ‚Robotics & Automation‘-Messe findet vom 11. bis 12. Oktober in der Arena MK in Milton Keynes, Großbritannien, statt. Die Messe richtet sich vor allem an Kunden aus den Bereichen Manufacturing, Automotive, Distribution, Warehouse, Einzelhandel sowie an pharmazeutische Kunden und beinhaltet neben Messe-Ständen auch Vorträge und Live-Applikationen.

www.roboticsandautomation.co.uk

Schneider-Kreuznach mit neuem Vertriebsleiter

Seit 1. Mai ist Dr. Raimund Lassak neuer Vertriebsleiter der Jos. Schneider Optische Werke GmbH. Der 52-jährige gelernte Ingenieur bringt weitreichende Erfahrungen aus verschiedenen Managementpositionen bei Technologie-Unternehmen mit sich. Er verantwortet bei Schneider-Kreuznach nun sämtliche globalen Vertriebsaktivitäten.

www.schneiderkreuznach.com

Anzeige