Entwicklung einer natürlichen Mensch-Maschine-Interaktion

Prof. Dr. Kai Essig beschreibt, wie Eye Tracking zu zukunftsweisenden Entwicklungen im Bereich natürlicher Benutzerschnittstellen zwischen Menschen und technischen Systemen beiträgt.

Prof. Dr. Kai Essig ist Professor für Human Factors und Interaktive Systeme an der Hochschule Rhein-Waal in Kamp-Lintfort, Deutschland. Zu seinen Forschungsgebieten gehören Eye Tracking, visuelle Wahrnehmung, Bildverarbeitung, Computer Vision, Auge-Hand-Koordination und Robotik. Aktuelle Projekte befassen sich z.B. mit intelligenten Augmented Reality (AR)-Brillen als personalisierte Assistenzsysteme im Industrie- und Wohnbereich, Virtual Reality (VR)-Simulatoren und Realitätsstudien für personalisierte Fahrerassistenzsysteme oder natürliche Interaktionsformen für enge Mensch-Roboter-Teams.

Was ist die übergreifende Vision Ihrer Forschung?

Meine Forschung konzentriert sich auf die Untersuchung des menschlichen Aufmerksamkeits- und Handlungsverhaltens, um diese Erkenntnisse in Computermodelle zu übertragen und sie auf technische Systeme anzuwenden. Dies ermöglicht nicht nur eine natürlichere und intuitivere Mensch-Maschine-Interaktion (HMI), sondern auch, dass technische Systeme das menschliche Verhalten antizipieren und angemessene unterstützende Rückmeldungen geben können.

Beispiele für Systeme, an denen ich derzeit arbeite, sind:

• Intelligente assistive AR-Brillen , die individuelle Probleme bei einer Montageaufgabe antizipieren können und dem menschlichen Nutzer maßgeschneiderte kontextsensitive und audiovisuelle Unterstützung bieten, um selbstgesteuerte Lernprozesse zu ermöglichen.

• Ein selbst entwickelter VR-LKW-Andocksimulator zusammen mit unseren Partnern aus den Niederlanden. Mit diesem Simulator messen wir kontinuierlich Daten von einem LKW-Fahrer, der den Andockvorgang in einem Distributionszentrum durchführt, wie z. B. Lenkradkoordinaten, Geschwindigkeit, Position des LKWs, Entfernungen zur Andockstation und Eye Tracking-Daten. Wir verwenden Techniken des maschinellen Lernens, die auf die aufgezeichneten multimodalen Daten angewendet werden, um automatisch das typische Verhalten von Experten zu lernen.

Wenn ein weniger erfahrener Fahrer den Simulator benutzt, kann das System automatisch seine Leistung mit der von Experten vergleichen und individuelles Feedback auf einem in der Lkw-Kabine installierten Tablet geben. Zum Beispiel Empfehlungen für optimale Lenkradbewegungen oder um die Aufmerksamkeit der Fahrer auf relevante Informationen für den Andockvorgang zu lenken.

Was hat Sie dazu inspiriert, sich auf diese Reise zu begeben, und was motiviert Sie zum Weitermachen?

Die Motivation ist, die vielfältigen und faszinierenden technischen und methodischen Möglichkeiten moderner Techniken und Entwicklungen zu nutzen, um intelligente, nutzerzentrierte assistive Technologien zu schaffen, die Menschen dabei unterstützen, ein selbstbestimmtes Leben entsprechend ihrer körperlichen und geistigen Fähigkeiten zu führen.

Der Schlüssel dazu ist, interdisziplinäre Ansätze und einen Methodenmix zu verwenden, um eine natürliche und intuitive HMI zu erforschen und sie auf der Grundlage der Benutzerbedürfnisse zu optimieren, wie z. B. eine optimale Auswahl von Rückmeldungen, erklärbare Entscheidungen und natürliche Interaktionen.

Das übergeordnete Ziel ist die Implementierung von Techniken für enge Mensch-Maschine-Teams, wobei der Schwerpunkt nicht auf dem Ersatz des Menschen liegt, sondern auf der Unterstützung des Menschen durch die Maschine. Daher spielen ethische, rechtliche und soziale Implikationen (ELSI), Datenschutzaspekte und die frühzeitige Einbeziehung des Nutzers in den Entwicklungsprozess eine wesentliche Rolle.

Was würden Sie als wichtigste Erkenntnis Ihrer bisherigen Arbeit hervorheben?

Der interdisziplinäre und internationale Ansatz ist am besten geeignet, um diese aktuellen und zukünftigen Forschungsfragen zu beantworten. Verschiedene Disziplinen arbeiten an ähnlichen Forschungsfragen - obwohl sie diese aus unterschiedlichen Perspektiven angehen, kommen sie insgesamt zu ähnlichen Schlussfolgerungen.

Eye Tracking, als vielseitige und verbindende Forschungsmethode, spielt in vielen interdisziplinären Forschungsszenarien eine wesentliche Rolle.

Inwiefern hat der Einsatz von Eye Tracking in Ihren Experimenten Ihrer Arbeit genützt?

Eye Tracking spielt in meiner Forschung eine große Rolle.

• Um ein tiefes Verständnis des menschlichen Wahrnehmungsverhaltens und der Auge-Hand-Koordination in verschiedenen Anwendungskontexten zu erlangen (z.B. für gesunde Menschen oder Menschen mit Behinderungen in Montageprozessen in der Industrie oder entsprechenden Werkstatteinrichtungen), um zuverlässige Erkenntnisse für die Modellierungsprozesse zu erhalten.

• Als Werkzeug, um Einblicke in die aktuellen mentalen Prozesse der Benutzer zu erhalten, um adäquate und kontextsensitive Hilfestellungen zu geben, z.B. wenn der Benutzer seine Aufmerksamkeit ruhelos zwischen einzelnen Werkzeugen auf einer Werkbank hin und her schiebt, kann das System auf das Werkzeug hinweisen, das für den nächsten Arbeitsschritt benötigt wird.

• Weitere Forschungsarbeiten befassen sich mit der Untersuchung von Augenbewegungen in Kombination mit anderen Methoden, wie z.B. den Strukturen von mentalen Repräsentationen im Langzeitgedächtnis (z.B. im Sport). Ziel ist es, Erkenntnisse über das Seh- und Handlungsverhalten von Sportlern im Spiel in Abhängigkeit von ihrem Wissensstand (z.B. der Qualität ihrer mentalen Repräsentationsstrukturen) zu gewinnen und Trainingsmaterial für Sportanfänger bereitzustellen.

• Evaluierung der menschlichen Wahrnehmung und der Usability-Aspekte verschiedener Medien , wie z.B. natürliche Benutzerschnittstellen, Webseiten oder mobile Einstellungen (z.B. Shop-Studien).

Was würden Sie aus Ihrer heutigen Sicht und aufgrund Ihrer umfangreichen Erfahrung mit Eye Tracking denjenigen raten, die erwägen, es in ihre Forschung einzubeziehen?

Wie bereits erwähnt, ist Eye Tracking eine vielseitige Forschungsmethode für viele verschiedene Disziplinen, wie Psychologie, Linguistik, Usability-Forschung, Design und Informatik.

Dank bedeutender Entwicklungen im Bereich der Hard- und Software ist die Nutzung der Eye Tracking-Technologie auch für Forscher ohne technischen Hintergrund immer einfacher geworden. Darüber hinaus eröffnet die Verbesserung der Hardware immer mehr Anwendungsbereiche, insbesondere für ferngesteuerte und mobile Eye Tracking-Systeme.

So können wir nicht nur traditionelle (z. B. wie wird meine Website oder mein Design wahrgenommen), sondern auch viele interessante neue Forschungsfragen untersuchen, insbesondere in Synergie mit Forschern aus anderen Disziplinen (z. B. personalisierte Assistenzsysteme im Berufs- und Freizeitumfeld sowie Fahrerassistenzsysteme).

Sind Sie in der Lage, Ihre zukünftigen Ambitionen mit Ihrer Arbeit zu verbinden? Auf welche Fragen suchen Sie derzeit Antworten?

Wie bereits erwähnt, ist es mein übergeordnetes Forschungsziel, natürliche Benutzerschnittstellen zwischen Menschen und technischen Systemen zu entwickeln, um eine individuell zugeschnittene und vorausschauende enge Kommunikation zu ermöglichen.

Es gibt noch viele Fragen zu erforschen, wie z.B.: wie müssen solche Schnittstellen optimal gestaltet sein, um eine natürliche Kommunikation über verschiedene Sinne zu ermöglichen; wie sollten die Rückmeldungen und die Absichten des technischen Systems gestaltet sein, damit der Benutzer sie verstehen kann; wie kann das System optimal aus den multimodalen Benutzerdaten lernen; und wie kann der Benutzer optimal in die Kommunikationsschleife integriert werden, während er das System jederzeit stoppen oder korrigieren kann?

Diese Punkte müssen in internationalen und interdisziplinären Teams erforscht und voneinander gelernt werden (z.B. kulturelle Unterschiede). Eye Tracking wird bei diesen Aspekten weiterhin eine zentrale Rolle spielen. Ich hoffe, nicht nur neue Beiträge in der Forschung zu erforschen, sondern auch zur Verbreitung dieser Technologie beizutragen (z.B. durch interessante Anwendungsszenarien und Evaluierungstechniken wie automatische Annotation von Blickvideos).

Verwandte Informationen

Für weitere Informationen über die Arbeit von Prof. Dr. Essig finden Sie hier eine begrenzte Auswahl an Veröffentlichungen, die über Arbeiten mit der Eye Tracking-Technologie berichten:

Ribeiro, P., Krause, A. F., Meesters, P., Kural, K., van Kolfschoten, J., Büchner, M. A., & Essig, K. (2021). Eine VR-LKW-Andocksimulator-Plattform für die Entwicklung personalisierter Fahrerassistenz . Applied Sciences , 11 (19), 8911.

Lex, H., Essig, K., Knoblauch, A., & Schack, T. (2015). Kognitive Repräsentationen und kognitive Verarbeitung von mannschaftsspezifischen Taktiken im Fußball . PLoS ONE 01/2015; 10(2):e0118219.

Essig, K., Prinzhorn, D., Maycock, J., Dornbusch, D., Ritter, H., & Schack, T. (2012). Automatic Analysis of 3D Gaze Coordinates on Scene Objects Using Data From Eye Tracking and Motion Capture Systems. In: Eye Tracking Research & Anwendungen (ETRA 2012) , Santa Barbara, Kalifornien, USA.

Weitere Informationen über Prof. Dr. Essig finden Sie auf seiner Webseite .