News

Projekt TeleSTAR: Erstmalige Übertragung einer Operation der Charité als AR-basierter 3D-Livestream

Erste Live-Übertragung der chirurgischen Insertion eines Cochlea-Implantats mit einem Augmented-Reality-basierten 3D-Live-Stream.

In der heutigen chirurgischen Ausbildung ist die Übertragung von Operationen für Ärzte und Studenten hinsichtlich der Zusammenarbeit und der wahrgenommenen Erfahrung begrenzt. Deshalb hat sich ein Expertenteam der TU Delft, der Charité – Universitätsmedizin Berlin, des Fraunhofer HHI und von ARRI Medical zusammengeschlossen, um das Problem mit Hilfe von Augmented Reality (AR) zu lösen. Das Ergebnis ist TeleSTAR – Telepresence for Surgical Assistance and Training using Augmented Reality. Das TeleSTAR-System verwendet ein volldigitales Operationsmikroskop und Computervisionsalgorithmen, um neue AR-basierte Trainings- und Lehrmethoden und -werkzeuge zu entwickeln, die zu einer neuen Ebene an Transparenz in der Ausbildung führen.

Das System bietet neue Möglichkeiten zur Visualisierung relevanter chirurgischer Informationen, die es den Chirurgen ermöglichen, ihre Entscheidungen zu verbessern und auch zu erklären, da es allen behandelnden medizinischen Fachkräften das exakt gleiche Sichtfeld des Chirurgen garantiert. Sowohl „einfache“ Standardverfahren als auch seltene und komplizierte Verfahren können visuell kommentiert und vergrößert – und mit Audiokommentaren ergänzt – werden, um jeden Schritt der Operation transparent zu machen. Eine bidirektionale Kommunikationsplattform ermöglicht es allen Teilnehmern, zum richtigen Zeitpunkt Fragen an den Chirurgen zu richten, was trotz der örtlichen Entfernung ein dynamisches Lehrumfeld schafft. Das Projekt umfasst 1-2-tägige Sitzungen, in denen HNO-Operationen mit dem „ARRISCOPE“, einem digitalen Operationsmikroskop, durchgeführt werden. HNO-Ärzte aus Deutschland und den Niederlanden werden an den Operationen teilnehmen, die zu Lehrzwecken in entfernte Hörsäle übertragen werden.

Am 26. September 2020 fand der erste Eingriff an der Charité Berlin statt und wurde in entfernte Hörsäle in Delft übertragen, wo 35 Teilnehmer der TU Delft, darunter HNO-Ärzte und Masterstudenten der Fakultät „Biomedizinische Technik“, die Operation zu Lehrzwecken live mitverfolgen konnten. Wichtig war, dass der 3D-Live-Stream durch einen simultanen Audiokommentar und einen intraoperativen Annotationsmodus mittels AR ergänzt wurde. Der intraoperative Annotationsmodus erlaubte es den Chirurgen, dem Live-Stream zusätzliche visuelle Informationen wie Skizzen, Referenzen und bildbasierte Anatomiemessungen hinzuzufügen. Auf diese Weise war jeder Schritt der Operation erklärt und nachvollziehbar.

„Studenten und klinische Auszubildende müssen in der Lehre den gesamten Kontext kennen, in dem die moderne Medizintechnik eingesetzt wird. TeleSTAR bietet chirurgischen Auszubildenden und Entwicklern in der Medizintechnik genau dieses wichtige Kontextbewusstsein“, ergänzt Prof. Dr. John vd Dobbelsteen von der Fakultät für Biomedizinische Technik der TU Delft.

„Augmented Reality unter Verwendung von KI- und Computervisionsalgorithmen in Kombination mit digitalen Verarbeitungsketten sind die Schlüsseltechnologien für neue intraoperative Assistenzinstrumente sowie für die Förderung der Ausbildung durch eine neue Ebene der chirurgischen Transparenz“, erklärt Dipl.-Inf. Jean-Claude Rosenthal, wissenschaftlicher Mitarbeiter am Fraunhofer HHI.

Die nächste 3D/AR-Live-Operation wird an mehrere Standorte übertragen und ist für den 14. und 15. November 2020 geplant. Weitere Informationen finden Sie auf der offiziellen Website.

Zur Galerie:

© GUUS SCHOONEWILLE