This cumulative habilitation thesis investigates the temporal dimension of Human Computer Interaction (HCI) from a cognitive-psychological perspective. Whereas temporal system parameters in computer science are often treated as technical performance metrics or as disruptive factors, such as system latencies, this thesis conceptualizes time as a constitutive dimension of interaction. It examines how temporal system properties and latencies become integrated into cognitive representations of interaction and thereby influence perception and behavior in interactive systems. The thesis further extends this perspective to immersive 3D environments and investigates the extent to which the medium of Virtual Reality (VR) and spatial scaling shape users' mental models of temporal dynamics.

The empirical studies included in this habilitation thesis are organized into four research foci that build on one another. Together, they trace a progression from the fundamental integration of temporal features into action representations, through time-based behavioral adaptations in digital systems, to temporal processing in immersive virtual environments.

The first research focus comprises Studies I and II and investigates the role of temporal features in human action control. The theoretical framework for these studies is provided by the Theory of Event Coding (TEC) and the Binding and Retrieval in Action Control (BRAC) framework. The studies show that time is not processed merely as an abstract background variable. Rather, the duration of environmental stimuli and users' own motor actions, such as key presses, can be integrated as distinct features into short-lived episodic representations, so-called event files, and retrieved when associated features recur. For action duration, the findings further indicate that these representations preserve metric information even during early stages of action planning. Time thus functions as an integral cognitive component of action control.

Building on these findings, the second research focus, comprising Studies III-V, investigates the consequences of the cognitive integration of time for interaction with system latencies. The empirical studies show that recurring delays between user actions and system effects can become integrated into cognitive action representations through ideomotor learning mechanisms. This results in an anticipatory adaptation of action initiation, referred to as anticipatory slowdown, that occurs before the delayed system effect in the current interaction step. The findings show that this slowdown increases over the course of interaction and further suggest that it may persist even after the technical latency has been removed. In addition, Study V shows that merely communicating or visually suggesting a system latency, so-called phantom latency, can measurably influence performance and the perceived competence in a video game. These results suggest that latency-related expectations can influence action control independently of the current objective latency.

The third research focus comprises Studies VI and VII and extends this perspective by considering waiting times in technical systems as a potential informational resource for supporting interaction performance. The studies demonstrate how waiting times can serve as predictive cues in anticipatory temporal processing. Waiting times that are consistently coupled with specific system events can implicitly signal which event is likely to occur next. This mechanism is referred to as time-based expectancy. The findings show that the cognitive system can learn time-event correlations and use them to prepare the processing of and responses to upcoming events. The application of this mechanism in a complex video-game scenario demonstrates that users can implicitly learn systematic correlations between waiting times and specific system events and respond more quickly to expected events without consciously recognizing the temporal regularities.

The fourth research focus comprises Studies VIII and IX and extends the investigation of the temporal dimension in HCI to immersive environments in VR. It focuses on abstract time production as well as users' expectations about temporal dynamics in simulated environments. The studies reveal a central dissociation: whereas abstract time production did not differ between physical and virtual environments, expectations about the duration of concrete physical processes changed systematically. These temporal expectations were influenced by both the medium of VR and the spatial scaling of the virtual environment. The findings thus show that physically accurate simulations in VR are not necessarily experienced as temporally plausible because users' expectations about process dynamics may differ between physical and virtual environments.

The integrative general discussion synthesizes the empirical findings into an overarching account. The habilitation thesis shows that temporal properties of human-computer systems, including seemingly passive waiting times, can function as anticipatory components of interaction. Their cognitive integration can slow user actions when delayed system effects are expected; under certain design conditions, however, temporal regularities can also serve as predictive resources that support anticipatory preparation and improve interaction performance. Furthermore, the findings show that anticipatory temporal processing in VR, particularly expectations about the duration of physical processes, varies with context and spatial scaling and may differ from expectations formed in physical environments. Together, these findings support an understanding of time as a cognitively represented dimension of interaction that can be deliberately designed. On this basis, the general discussion derives implications and future research directions for the investigation and design of interactive systems.

Die vorliegende kumulative Habilitationsschrift untersucht die zeitliche Dimension der Mensch-Computer-Interaktion (HCI) aus kognitionspsychologischer Perspektive. Während zeitliche Systemparameter in der Informatik häufig als technische Leistungsmetriken oder als Störfaktoren, etwa Systemlatenzen, behandelt werden, konzeptualisiert diese Arbeit Zeit als konstitutive Dimension der Interaktion. Sie untersucht, wie zeitliche Systemeigenschaften und Latenzen in kognitive Repräsentationen der Interaktion integriert werden und dadurch Wahrnehmung und Verhalten in interaktiven Systemen beeinflussen. Darüber hinaus erweitert die Arbeit diese Perspektive auf immersive 3D-Umgebungen und untersucht, inwieweit das Medium der virtuellen Realität (VR) und die räumliche Skalierung die mentalen Modelle der Nutzer:innen hinsichtlich zeitlicher Dynamiken prägen.

Die in dieser Habilitationsschrift enthaltenen empirischen Studien sind in vier aufeinander aufbauende Forschungsschwerpunkte gegliedert. Zusammen zeichnen sie eine Entwicklungslinie von der grundlegenden Integration zeitlicher Merkmale in Handlungsrepräsentationen über zeitbasierte Verhaltensanpassungen in digitalen Systemen bis hin zur zeitlichen Verarbeitung in immersiven virtuellen Umgebungen.

Der erste Forschungsschwerpunkt umfasst die Studien I und II und untersucht die Rolle zeitlicher Merkmale in der menschlichen Handlungssteuerung. Den theoretischen Rahmen für diese Studien bilden Theory of Event Coding (TEC) und das Binding and Retrieval in Action Control (BRAC)-Framework. Die Studien zeigen, dass Zeit nicht lediglich als abstrakte Hintergrundvariable verarbeitet wird. Vielmehr können die Dauer von Umweltreizen und die Dauer eigener motorischer Handlungen, etwa von Tastendrücken, als eigenständige Merkmale in kurzlebige episodische Repräsentationen, sogenannte Event Files, integriert und abgerufen werden, wenn assoziierte Merkmale erneut auftreten. Für die Handlungsdauer deuten die Befunde zudem darauf hin, dass diese Repräsentationen selbst in frühen Phasen der Handlungsvorbereitung metrische Informationen enthalten. Zeit fungiert somit als integraler kognitiver Bestandteil der Handlungssteuerung.

Aufbauend auf diesen Befunden untersucht der zweite Forschungsschwerpunkt, der die Studien III-V umfasst, die Konsequenzen der kognitiven Integration von Zeit für die Interaktion mit Systemlatenzen. Die empirischen Studien zeigen, dass wiederkehrende Verzögerungen zwischen Nutzerhandlungen und Systemeffekten über ideomotorische Lernmechanismen in kognitive Handlungsrepräsentationen integriert werden können. Dies führt zu einer antizipatorischen Anpassung der Handlungsinitiierung, die als antizipatorische Verlangsamung bezeichnet wird und einsetzt, bevor der verzögerte Systemeffekt im aktuellen Interaktionsschritt auftritt. Die Befunde zeigen, dass diese Verlangsamung im Verlauf der Interaktion zunimmt, und deuten darüber hinaus darauf hin, dass sie auch nach Entfernung der technischen Latenz fortbestehen kann. Zusätzlich zeigt Studie V, dass bereits die bloße Mitteilung oder visuelle Suggestion einer Systemlatenz, eine sogenannte Phantomlatenz, die Leistung und das Kompetenzerleben in einem Videospiel messbar beeinflussen kann. Diese Ergebnisse legen nahe, dass latenzbezogene Erwartungen die Handlungssteuerung unabhängig von der aktuell objektiv vorliegenden Latenz beeinflussen können.

Der dritte Forschungsschwerpunkt umfasst die Studien VI und VII und erweitert diese Perspektive, indem Wartezeiten in technischen Systemen als potenzielle Informationsressource zur Unterstützung der Interaktionsleistung betrachtet werden. Die Studien zeigen, wie Wartezeiten im Rahmen antizipatorischer Zeitverarbeitung als prädiktive Hinweisreize dienen können. Wartezeiten, die konsistent mit bestimmten Systemereignissen gekoppelt sind, können implizit signalisieren, welches Ereignis wahrscheinlich als Nächstes eintreten wird. Dieser Mechanismus wird als time-based expectancy (TBE) bezeichnet. Die Befunde zeigen, dass das kognitive System Zeit-Ereignis-Korrelationen lernen und nutzen kann, um die Verarbeitung bevorstehender Ereignisse und die Reaktionen darauf vorzubereiten. Die Anwendung dieses Mechanismus in einem komplexen Videospielszenario zeigt, dass Nutzer:innen systematische Zusammenhänge zwischen Wartezeiten und bestimmten Systemereignissen implizit lernen und schneller auf erwartete Ereignisse reagieren können, ohne die zeitlichen Regelmäßigkeiten bewusst zu erkennen.

Der vierte Forschungsschwerpunkt umfasst die Studien VIII und IX und erweitert die Untersuchung der zeitlichen Dimension der HCI auf immersive Umgebungen in VR. Im Zentrum stehen die abstrakte Zeitproduktion sowie die Erwartungen der Nutzer:innen hinsichtlich zeitlicher Dynamiken in simulierten Umgebungen. Die Studien zeigen eine zentrale Dissoziation: Während sich die abstrakte Zeitproduktion zwischen physischen und virtuellen Umgebungen nicht unterschied, veränderten sich die Erwartungen hinsichtlich der Dauer konkreter physikalischer Prozesse systematisch. Diese zeitlichen Erwartungen wurden sowohl durch das Medium VR als auch durch die räumliche Skalierung der virtuellen Umgebung beeinflusst. Die Befunde zeigen somit, dass physikalisch korrekte Simulationen in VR nicht notwendigerweise als zeitlich plausibel erlebt werden, da sich die Erwartungen der Nutzer:innen hinsichtlich der Prozessdynamik zwischen physischen und virtuellen Umgebungen unterscheiden können.

Die integrative Gesamtdiskussion führt die empirischen Befunde zu einem übergreifenden Gesamtbild zusammen. Die Habilitationsschrift zeigt, dass zeitliche Eigenschaften von Mensch-Computer-Systemen, einschließlich scheinbar passiver Wartezeiten, als antizipatorische Bestandteile der Interaktion fungieren können. Ihre kognitive Integration kann Nutzerhandlungen verlangsamen, wenn verzögerte Systemeffekte erwartet werden; unter bestimmten Gestaltungsbedingungen können zeitliche Regelmäßigkeiten jedoch auch als prädiktive Ressourcen dienen, die antizipatorische Vorbereitung unterstützen und die Interaktionsleistung verbessern. Darüber hinaus zeigen die Befunde, dass Erwartungen hinsichtlich der Dauer physikalischer Prozesse als eine Form antizipatorischer Zeitverarbeitung in VR je nach Kontext und räumlicher Skalierung variieren und von Erwartungen abweichen können, die in physischen Umgebungen gebildet werden. Zusammengenommen stützen diese Befunde ein Verständnis von Zeit als kognitiv repräsentierte Dimension der Interaktion, die gezielt gestaltet werden kann. Auf dieser Grundlage leitet die Gesamtdiskussion Implikationen und zukünftige Forschungsrichtungen für die Untersuchung und Gestaltung interaktiver Systeme ab.