Wie Mixed Reality unsere Wahrnehmung der Welt verändern wird.

Autor:
Sebastian Demmerle, CEO bei NMY

Wie XR unsere Wahrnehmung der Welt verändert

Setzen wir eine futuristische (wenn auch noch etwas sperrige) Brille auf, können wir uns plötzlich in ein Stadion versetzen, ein Raumschiff steuern oder sogar in die Tiefen des Meeres eintauchen. Mit dem Smartphone können wir auf Pokémon-Jagd gehen, egal wo wir uns gerade befinden. Snapchat-Filter ermöglichen es uns, lustige Brillen oder Katzenohren zu tragen. Außerdem können wir testen, wie gut das neue Sofa in unser Wohnzimmer passt — all das ist dank Mixed-Reality-Technologien möglich.

Mixed Reality wird vieles erleichtern – sowohl für Patient:innen als auch für Ärzt:innen.

Nicht (nur) zur Unterhaltung.

Die Einsatzmöglichkeiten für Mixed-Reality-Technologien wie Augmented und Virtual Reality sind nahezu grenzenlos. Sie finden Anwendung im Unterhaltungsbereich, aber auch in ernsteren, geschäftlichen und sogar wissenschaftlichen Kontexten. Immer häufiger entdecken wir, wie AR- und VR-Apps dazu beitragen, unsere Art der Lebensgestaltung zu verändern, und wie Unternehmen durch den Einsatz neuer Technologien ihre Workflows und Prozesse optimieren.

Mixed Reality für Sehbeeinträchtigte

Mixed-Reality-Technologien haben eine wesentliche Gemeinsamkeit: Sie sprechen das visuelle System an. Doch wie steht es um Menschen, deren Sehvermögen eingeschränkt ist? Können sehbeeinträchtigte Menschen Mixed Reality nutzen – oder sogar davon profitieren? Lassen Sie uns auf eine Zielgruppe blicken, die bei der Erwähnung modernster Technologien oft nicht als erstes ins Auge springt: Menschen über 60. Auch wenn 60 das neue 40 ist, gehören ältere Generationen bisher nicht zur Hauptzielgruppe von VR- und AR-Anwendungen. Doch das könnte sich bald ändern.

Altersbedingte Makuladegeneration (AMD)

AMD kann zu einem teilweisen oder sogar vollständigen Sehverlust auf einem oder beiden Augen führen. Die Ursachen dafür sind schädliche Stoffwechselprodukte, die sich in den Sinneszellen der Makula lutea ablagern – ein Effekt, der häufig durch den menschlichen Alterungsprozess entsteht. Da die Makula für Farbsehen, zentrales Sehen und hochauflösendes Sehen verantwortlich ist, stellt jede Art von Schädigung hier eine ernste Beeinträchtigung dar. Frühe Stadien der AMD treten bei jeder fünften Person im Alter von 70 Jahren auf und bei 30–40 % der 85-Jährigen. Um die Therapie zu unterstützen und Symptome der AMD zu lindern, arbeitet ein Zusammenschluss wissenschaftlicher und technologischer Partner am sogenannten IDeA-Projekt: ein integriertes Diagnose- und Assistenzsystem für Patient:innen mit altersbedingter Makuladegeneration.

Wissenschaft als Retter: Mixed Reality für AMD-Patient:innen

Seit Dezember 2018 ist NMY am IDeA-Projekt beteiligt, das Partner wie die Universitäten München und Tübingen sowie das Optikunternehmen ZEISS umfasst. Das Hauptziel des staatlich geförderten Forschungsprojekts ist die Entwicklung von Lösungen zur Verbesserung der Lebensqualität für Menschen, die an AMD leiden. Durch die Entwicklung eines Systems, das mehrere wesentliche Funktionen speziell auf AMD-Patient:innen zuschneidet, arbeiten die IDeA-Partner über einen Zeitraum von drei Jahren zusammen. Das Projekt konzentriert sich auf drei zentrale Strategien für Diagnose, Unterstützung und Training.

Wie die Ferndiagnose in (naher) Zukunft aussehen könnte

Diagnostizieren. Unterstützen. Trainieren.

Klinische Diagnosen können durch kostengünstige und tragbare Tests in virtueller Realität oder durch die Analyse von Augenbewegungen im Alltag unterstützt werden. Darüber hinaus ermöglicht unser System den Patient:innen das Erlernen und Verbessern von visuellen Bewältigungsstrategien. Schließlich erhalten Betroffene in schwierigen Situationen eine leicht erkennbare visuelle Erweiterung der Realität, um Informationen besser zugänglich zu machen.

Zusammengefasst: Das IDeA-Projekt zielt darauf ab...

Verbesserung der Lebensqualität von AMD-Patienten
Entwicklung eines Hilfssystems für AMD-Patienten
Diagnoseprozesse zu erleichtern
Ausbildungsprozesse zu erleichtern

Diagnostik mit Mixed Reality: Früherkennung ist der Schlüssel

Eine frühzeitige Diagnose ist entscheidend. Die Entwicklung der AMD dauert Jahre, und da oft nur ein Auge betroffen ist, kompensiert das gesunde Auge den Sehverlust lange Zeit, bevor der Patient ihn bemerkt. In der Zwischenzeit ist die Krankheit bereits fortgeschritten. Regelmäßige Kontrolluntersuchungen beim Augenarzt sind für eine frühzeitige Diagnose und Therapie unerlässlich, da sie ein Fortschreiten der Krankheit verhindern und sogar zu einer Linderung und allgemeinen Verbesserung der Symptome führen können.

Wie können wir die Diagnostik für die Patienten verbessern?

Im Rahmen von IDeA haben wir zwei Ansätze ermittelt. Erstens werden wir die zunehmende Beliebtheit und Verfügbarkeit von Mixed-Reality-Technologien nutzen, um diagnostische Tests in den Alltag zu integrieren. Außerdem wollen wir verschlankte Versionen klassischer klinischer Tests erstellen, die zu Hause durchgeführt werden können. Dies trägt dazu bei, unnötige, zeitaufwändige (oder aufgrund von AMD-Symptomen oft schwierige) Arztbesuche zu vermeiden. Wir werden untersuchen, wie Augenbewegungen in realen und virtuellen Räumen genutzt werden können, um Rückschlüsse auf das Vorhandensein, die Größe und die Lage von Gesichtsfelddefekten zu ziehen. Dazu trägt der Nutzer ein Mixed-Reality-Headset mit integriertem Eyetracker und Umgebungskamera, die eine kontinuierliche Erfassung und Auswertung der Augenbewegungen ermöglichen. Ziel ist es, pathologische Abweichungen vom normalen Blickverhalten im Zusammenhang mit AMD bei „normalen“ Tätigkeiten wie Lesen, Kochen oder Einkaufen möglichst frühzeitig und automatisch zu erkennen, um das Ausmaß der Defekte zu erfassen. Dies geschieht mit einer Genauigkeit, die die Anpassung von AR-basierten Assistenzfunktionen erlaubt.

Unterstützung und Ersatz der klinischen Diagnostik

Standardisierte Verfahren zur Untersuchung der Sehfunktion bei AMD sollen für den telemedizinischen und alltäglichen Einsatz zur Verfügung gestellt werden. Zu diesem Zweck werden computergestützte, AR/VR-basierte Varianten der Verfahren entwickelt und validiert. Der Fokus liegt dabei auf Verfahren, die sowohl technisch machbar sind als auch den größten Erkenntnisgewinn bei einer telemedizinischen Untersuchung versprechen. Darüber hinaus wird untersucht, inwieweit die Dauer einzelner Testsitzungen durch die Integration von Testaufgaben in alltägliche Tätigkeiten verkürzt werden kann, ohne die Validität des Testverfahrens zu beeinträchtigen.

Zusammengefasst: Diagnose mit Mixed Reality...

ermöglicht eine frühere Diagnose, die bei AMD-Patienten zu einem milderen Verlauf führen kann
macht häufige Arztbesuche überflüssig
wird leicht verfügbare Technologie verwenden
die Häufigkeit der Messungen an den Augen erhöht
verbessert die Datenbank, die Ärzte für ihre Entscheidungen nutzen

Ein Assistenzsystem, das wirklich hilft

Für die Entwicklung von nutzerzentrierten Assistenzfunktionen haben wir Augmented Reality (AR) als geeignete Technologie identifiziert, um AMD-Patienten bei alltäglichen Aktivitäten zu unterstützen. Das Assistenzsystem, das in eine AR-Brille implementiert wird, soll die nachlassende Sehkraft kompensieren und zusätzlich Informationen in das intakte Gesichtsfeld projizieren. In späteren Phasen wird die Assistenzsoftware auch kontextbezogen arbeiten, d.h. das System wird selektiv und automatisch Funktionen genau dann anwenden, wenn der Patient sie benötigt.

Das Headset erkennt die Uhr und projiziert die Zeit in digitalen Zahlen auf das Sichtfeld

Außerdem soll das System auf die individuellen Sehbedürfnisse der Nutzer reagieren. Um dieses Ziel zu erreichen, werden funktionale AR-Demonstratoren für AR-Brillen benötigt, die die Objekterkennung nutzen. Es gibt unzählige Anwendungen für AR-basierte Unterstützung in alltäglichen Situationen: Fahrkartenkauf am Automaten, Erkennen von bekannten Gesichtern bei Veranstaltungen, Ablesen von Uhren, etc.

Erste Prototypen wurden bereits auf Konferenzen vorgestellt

Letztendlich dürfen wir nicht vergessen, dass wir hier über zukünftige Entwicklungen sprechen. Die AR-Hardware ist heute noch nicht auf dem neuesten Stand. Wir entwickeln die Strategien und die Software für die Hardware, die es tatsächlich noch nicht gibt. Wir sind jedoch zuversichtlich, dass es nicht eine Frage des „Wie“, sondern des „Wann“ ist. AR-Hardware wird ein gängiges Gerät für Menschen aller Altersgruppen sein.

Zusammengefasst: AR Assistance...

hilft Patienten in ihrem täglichen Leben
hängt von der Entwicklung praktischerer Hardware ab
muss an die individuellen Bedürfnisse der Patienten angepasst werden

XR-Training - Ein Augentrainer für die Zukunft

Ein Prozess, den wir mit unserer Trainingsstrategie unterstützen wollen, ist das Fixationsverhalten, da AMD-Patienten dazu neigen, es zu verändern, was zu einer weiteren Verschlechterung des Sehvermögens führt. Um ein valides Trainingsprogramm zu erstellen, führen wir Experimente durch, um das „freie“ Augenbewegungsverhalten im Hinblick auf seine „Fixationsqualität“ zu bewerten. In einem nächsten Schritt werden wir verschiedene Trainingsmethoden auf ihre Effizienz und Invasivität testen.

Einblick in den VR-Prototyp für Trainingssimulationen (mit virtuellem Assistenten)

In einer späteren Phase werden wir ein Trainingskonzept für den Alltag entwickeln. Zunächst werden Gesichtsfeldausfälle in VR simuliert. Zu den Trainingsmethoden gehört die zusätzliche Manipulation von visuellen Inhalten, die die Entwicklung eines exzentrischen Fixationsortes optimiert (z.B. Vergrößerung des Defekts durch binokulare Darstellung, Darstellung von Defektrandbereichen oder systematische Maskierung von Bildinhalten). Das Trainingsprogramm wird später bei AMD-Patienten in realen Umgebungen angewendet und validiert.

Zusammengefasst: VR-Training ...

kann eine echte Bereicherung für die Therapie von AMD-Patienten sein
wird sich auf reale Bedürfnisse und reale Situationen stützen
muss auf der Grundlage virtueller Daten und realer Personen validiert werden
kann aus der Ferne durchgeführt werden (z. B. zu Hause)

Entwicklung von Software für die Zukunft der Mixed Reality Hardware

Wie bereits erwähnt, konzentriert sich das IDeA-Projekt auf die Entwicklung von Konzepten und Strategien in Erwartung von Hardware, die derzeit nicht auf dem Markt erhältlich ist. Da jedoch die Entwicklung von Mixed-Reality-Hardware von allen großen Software- und Hardwareanbietern übernommen wurde, ist es gut zu wissen, dass die Software einsatzbereit sein wird, sobald die richtige MR-Hardware auf den Markt kommt. AMD-Patienten werden von Diagnose-, Trainings- und Assistenzsystemen in einer Weise profitieren, die heute noch unbekannt ist - aber in (naher) Zukunft zum Standard gehören wird.