mobile icon
Projekt

Multimodale interaktion in virtueller realität

ArbeitsgruppeArbeitsgruppe Multimodale Interaktion
Laufzeit2018-2023
FörderungHaushaltsmittel
Projektbeschreibung

Die technische Entwicklung im Bereich Erweiterter Realitäten (z. B. Virtuelle Realitäten oder 360°-Visualisierungen) weist derzeit eine starke Dynamik auf. Der hohe Immersionsgrad dieser Technologien ermöglicht es, für Benutzer*innen ein intensives Gefühl der Präsenz in der virtuellen Welt zu erzeugen. Es wird angenommen, dass kognitive Prozesse ein mentales Modell des eigenen Selbst in der virtuellen Welt kreieren, welches ein Gefühl des „in der virtuellen Welt sein“ erzeugt. Es ist jedoch aus kognitionswissenschaftlicher und lernpsychologischer Sicht unklar, in welcher Hinsicht diese Form der Immersion den Benutzer*innen in Wissenskontexten nützen kann.


Auch die Interaktion in hoch immersiver Virtueller Realität stellt Anforderungen und bietet Möglichkeiten, die innovative Interfacedesigns notwendig machen können. So kann sich z. B. der Körper frei im Raum bewegen und entsprechend zur Interaktion eingesetzt werden. Diese Freiräume erweitern das Interaktionsspektrum z. B. gegenüber Touch-Interfaces erheblich. In der Applikationsentwicklung finden sich dazu vielfältige Realisierungsansätze, die aber lernpsychologisch und kognitionswissenschaftlich nur selten untersucht sind. Der Einsatz von Virtual Reality Technologie bietet somit interessante und neuartige Möglichkeiten im Hinblick auf die Gestaltung von Lernumgebungen und auf die unterstützende Informationsverarbeitung, indem die Barrieren zwischen den Agierenden und den Informationsgegenständen reduziert werden.


Es stellt sich aber die Frage, wie Interaktionsdesigns in dieser Umgebung gestaltet werden sollten, um Informationsverarbeitungsprozesse optimal zu unterstützen. Das folgende Beispiel soll diese Punkte verdeutlichen: Bisherige Untersuchungen mit affektiven Stimuli haben ergeben, dass bestimmte Interaktionen, z. B. das Bewegen von affektiven Bildern auf einem Touch-Display, die nachgelagerte Valenzbewertung dieser Bilder beeinflussen kann (z. B. Cervera Torres, Ruiz Fernández, Lachmair, & Gerjets, 2018; cf. Casasanto, 2009). In der virtuellen Realität sind demgegenüber aber noch viel ausladendere Interaktionsmuster möglich, z. B. das Öffnen der Arme, funktional verknüpft mit dem Zoomen von affektiven Bildern. So hat eine kürzlich durchgeführte eigene Studie ergeben, dass positive und negative Bilder positiver bzw. negativer bewertet wurden, wenn sie nach einer öffnenden Arm-Geste vergrößert wurden im Vergleich zu einer Verkleinerung nach einer schließenden Arm-Geste. Dies konnte jedoch nicht beobachtet werden, wenn die öffnende Arm-Geste funktional mit dem Verkleinern und die schließende Arm-Geste mit dem Vergrößern des Bildes verknüpft wurde (Lachmair, Ruiz Fernandez, Cervera Torres, & Gerjets, 2017). Dies zeigt, dass Interaktionen nicht beliebig gestaltet werden sollten. In weiteren Studien soll untersucht werden, wie sich die Interaktionen auch auf Lern- und Gedächtnisleistung der Probanden auswirken.

Publikationen

Lachmair, M., Fischer, M. H., & Gerjets, P. (2022). Action-control mappings of interfaces in virtual reality: A study of embodied interaction. Frontiers in Virtual Reality, 3, Article 976849. https://dx.doi.org/10.3389/frvir.2022.976849

Lachmair, M., Ruiz Fernández, S., & Gerjets, P. (2018). Does Grammatical Number influence the semantic priming between number cues and words related to vertical space? An investigation using Virtual Reality. Frontiers in Psychology, 9:573. https://dx.doi.org/10.3389/fpsyg.2018.00573 

Gerjets, P., Brucker, B., & Lachmair, M. (2023, April 5). Embodied processing in VR. Invited Talk at the Colloquium Future of Education in Virtual and Augmented Realities (FEVAR) series. Arizona State University, USA. [Talk]

Daltoè, T., Ruth-Herbein, E., Brucker, B., Jaekel, A.-K., Trautwein, U., Fauth, B., Gerjets, P., & Göllner, R. (in press). Immersive insights: Unveiling the impact of 360-degree videos on preservice teachers’ classroom observation experiences and teaching-quality ratings. Computers & Education. https://dx.doi.org/10.1016/j.compedu.2023.104976