![[img]](https://epub.uni-regensburg.de/style/images/fileicons/application_pdf.png) | License: Creative Commons Attribution 4.0 (39MB) |
- URN to cite this document:
- urn:nbn:de:bvb:355-epub-752594
- DOI to cite this document:
- 10.5283/epub.75259
| Item type: | Thesis of the University of Regensburg (PhD) |
|---|---|
| Open Access Type: | Primary Publication |
| Date: | 28 March 2025 |
| Referee: | Prof. Dr. Niels Henze and Prof. Dr. Enrico Rukzio |
| Date of exam: | 11 December 2024 |
| Institutions: | Languages and Literatures > Institut für Information und Medien, Sprache und Kultur (I:IMSK) > Professur für Medieninformatik (Prof. Dr. Niels Henze) Informatics and Data Science > Department Human-Centered Computing > Professur für Medieninformatik (Prof. Dr. Niels Henze) |
| Keywords: | Deep Learning, Latency |
| Dewey Decimal Classification: | 000 Computer science, information & general works > 004 Computer science |
| Status: | Published |
| Refereed: | Yes, this version has been refereed |
| Created at the University of Regensburg: | Yes |
| Item ID: | 75259 |
Abstract (English)
Humans interact with computers in continuous feedback loops. To start an interaction, a user provides an input to the computer, which the computer processes. The results of this procession are then delivered to the user by the computer. Subsequently, the user can either end the interaction if they achieved their desired goal or start the next loop iteration by communicating a new input to the ...
Abstract (English)
Humans interact with computers in continuous feedback loops. To start an interaction, a user provides an input to the computer, which the computer processes. The results of this procession are then delivered to the user by the computer. Subsequently, the user can either end the interaction if they achieved their desired goal or start the next loop iteration by communicating a new input to the computer. Since computers require time to process the user's input, to calculate responses, and to produce outputs, the user does not receive feedback on their input immediately.
This time between the user's input to a system and the user's perception of the system's generated output is called latency.
Latency is inherently part of every interactive system. Regardless of the shrinking sizes of the latest transistors, updated networking architecture, and novel developments in software engineering, transmitting and processing user input will always require time. A latency that is too high, however, negatively influences user experience and performance. When interacting with a high latency system, users are less accurate. For example, when selecting elements in a user interface, they require more time to complete specific tasks and derive less satisfaction from the interaction than interacting with a low-latency system. In general, the faster and more interactive a system or application is, and thus, the tighter the interaction deadline is, the more pronounced the negative effects of latency are. Hence, fast-paced video games stand out as one category of interactive systems significantly impaired by latency. In video games, a high latency leads to players scoring fewer points, needing more time to complete in-game tasks, or even being unable to complete a given task at all. Depending on the game, the internal game mechanics, and various other factors, the threshold before latency starts affecting gameplay varies. Previous works report latency thresholds between 25 ms and 1000 ms. However, particularly in fast-paced games that require split-second decision-making, such as shooting games, latency can make the difference between virtual life and death. To overcome and compensate for the negative effects of latency, researchers, developers, and publishers proposed and investigated different latency compensation approaches. Previous work, for instance, evaluated methods based on manipulating the geometrical dimension of video games to account for latency, communicating latency to the players via in-game objects, allowing them to adjust their gaming behavior to the current latency, or predicting future game states which allow the game to calculate game events before the actual user input which reduces the overall perceived latency. Although a large body of work researched latency and its compensation in video games, the methods used are typically highly specialized, perceived to be unfair by players, or unsuitable for generalization. Thus, there are still open challenges and questions about the effects of latency in video games and its compensation that require investigation to provide players with a high level of game experience and performance while accounting for latency.
The overarching goal of this dissertation is to enhance our understanding of the effects of latency on video game players and to use this knowledge to design and develop better latency compensation methods. To achieve this, we conducted nine empirical user studies investigating different aspects of latency in video games and its compensation. In the first two studies, we investigated how latency variation, a change in latency, influences player performance and experience. We show that a small-term latency variation, a rapid change in latency, is not as negatively influential as a long-term switch between two levels. Players in our studies could cope with small-term variations but were affected if latency switched for a longer duration. In the subsequent four studies, we investigated how the perceptual channel, which is how the players perceive latency, modulates its effects. We show that standalone auditory latency only affects highly skilled players, that the in-game perspective, how players visually perceive the game, does not alter the effects of latency, and that the mere display of latency induces an expectation-based performance and experience degradation in players.
In the last three studies presented in this dissertation, we use the knowledge gained within this thesis to develop novel latency compensation methods. We evaluate artificial neural network-based latency compensation techniques based on our investigation and previous work. First, we showcase that artificial neural networks can compensate for the negative effects of latency in a custom video game using game-internal information about the game world and player behavior by predicting player movement in the game, effectively alleviating playing in a high latency system to a low latency level. Next, we applied the developed methods in a slow-paced commercial video game without accessing game-internal data. In the last study, we further refined our approach and predicted player inputs for latency compensation in a fast-paced commercial shooting game using a multi-model approach. Overall, the presented studies demonstrate that artificial neural networks predicting player behavior and input are well-suited methods for latency compensation in video games.
Building on the empirical findings of our studies, this thesis concludes with actionable design guidelines for future latency compensation development and latency research for games and beyond.
Translation of the abstract (German)
Menschen interagieren mit Computern in kontinuierlichen Rückkopplungsschleifen. Um eine Interaktion zu starten, gibt der Benutzer dem Computer eine Eingabe, die der Computer verarbeitet. Die Ergebnisse dieses Prozesses werden dann vom Computer an den Benutzer übermittelt. Anschließend kann der Benutzer entweder die Interaktion beenden, wenn er sein gewünschtes Ziel erreicht hat, oder die nächste ...
Translation of the abstract (German)
Menschen interagieren mit Computern in kontinuierlichen Rückkopplungsschleifen. Um eine Interaktion zu starten, gibt der Benutzer dem Computer eine Eingabe, die der Computer verarbeitet. Die Ergebnisse dieses Prozesses werden dann vom Computer an den Benutzer übermittelt. Anschließend kann der Benutzer entweder die Interaktion beenden, wenn er sein gewünschtes Ziel erreicht hat, oder die nächste Schleifeniteration starten, indem er dem Computer eine neue Eingabe übermittelt. Da Computer Zeit benötigen, um die Eingaben des Benutzers zu verarbeiten, Antworten zu berechnen und Ausgaben zu produzieren, erhält der Benutzer nicht sofort eine Rückmeldung über seine Eingaben.
Diese Zeit zwischen der Eingabe des Benutzers in ein System und der Wahrnehmung der vom System erzeugten Ausgabe durch den Benutzer wird als Latenzzeit bezeichnet.
Latenzzeiten sind ein fester Bestandteil jedes interaktiven Systems. Ungeachtet der schrumpfenden Größe der neuesten Transistoren, der aktualisierten Netzwerkarchitektur und der neuen Entwicklungen in der Softwaretechnik wird die Übertragung und Verarbeitung von Benutzereingaben immer Zeit erfordern. Eine zu hohe Latenzzeit wirkt sich jedoch negativ auf das Benutzererlebnis und die Leistung aus. Bei der Interaktion mit einem System mit hoher Latenz sind die Benutzer weniger genau. Wenn sie beispielsweise Elemente auf einer Benutzeroberfläche auswählen, benötigen sie mehr Zeit, um bestimmte Aufgaben zu erledigen, und sind weniger zufrieden mit der Interaktion als bei einem System mit niedriger Latenz. Generell gilt: Je schneller und interaktiver ein System oder eine Anwendung ist und je kürzer die Interaktionszeit ist, desto ausgeprägter sind die negativen Auswirkungen der Latenzzeit. Daher sind rasante Videospiele eine Kategorie interaktiver Systeme, die durch Latenzzeiten erheblich beeinträchtigt werden. Bei Videospielen führt eine hohe Latenzzeit dazu, dass die Spieler weniger Punkte erzielen, mehr Zeit für die Erledigung von Aufgaben im Spiel benötigen oder sogar eine bestimmte Aufgabe gar nicht erledigen können. Je nach Spiel, interner Spielmechanik und verschiedenen anderen Faktoren variiert der Schwellenwert, ab dem die Latenz das Spielgeschehen beeinträchtigt. In früheren Arbeiten wurden Latenzschwellen zwischen 25 ms und 1000 ms genannt. Vor allem bei rasanten Spielen, bei denen Entscheidungen in Sekundenbruchteilen getroffen werden müssen, wie z. B. bei Schießspielen, kann die Latenz jedoch über Leben und Tod entscheiden. Um die negativen Auswirkungen der Latenz zu überwinden und zu kompensieren, haben Forscher, Entwickler und Publisher verschiedene Ansätze zur Latenzkompensation vorgeschlagen und untersucht. In früheren Arbeiten wurden beispielsweise Methoden bewertet, die auf der Manipulation der geometrischen Dimension von Videospielen beruhen, um die Latenz zu berücksichtigen, den Spielern die Latenz über spielinterne Objekte mitzuteilen und ihnen zu ermöglichen, ihr Spielverhalten an die aktuelle Latenz anzupassen, oder künftige Spielzustände vorherzusagen, die es dem Spiel ermöglichen, Spielereignisse vor den tatsächlichen Benutzereingaben zu berechnen, was die insgesamt wahrgenommene Latenz verringert. Obwohl zahlreiche Arbeiten die Latenz und ihre Kompensation in Videospielen untersucht haben, sind die verwendeten Methoden in der Regel hochspezialisiert, werden von den Spielern als unfair empfunden oder eignen sich nicht zur Verallgemeinerung. Daher gibt es immer noch offene Herausforderungen und Fragen zu den Auswirkungen der Latenz in Videospielen und ihrer Kompensation, die untersucht werden müssen, um den Spielern ein hohes Maß an Spielerlebnis und Leistung zu bieten und gleichzeitig die Latenz zu berücksichtigen.
Das übergeordnete Ziel dieser Dissertation ist es, unser Verständnis der Auswirkungen von Latenz auf Videospieler zu verbessern und dieses Wissen zu nutzen, um bessere Methoden zur Latenzkompensation zu entwerfen und zu entwickeln. Um dies zu erreichen, haben wir neun empirische Nutzerstudien durchgeführt, die verschiedene Aspekte der Latenz in Videospielen und deren Kompensation untersuchten. In den ersten beiden Studien untersuchten wir, wie Latenzvariation, also eine Veränderung der Latenz, die Leistung und das Erlebnis der Spieler beeinflusst. Wir zeigen, dass eine kurzfristige Latenzvariation, eine schnelle Änderung der Latenz, nicht so negativ beeinflusst wird wie ein langfristiger Wechsel zwischen zwei Stufen. Die Spieler in unseren Studien konnten mit kurzfristigen Schwankungen umgehen, wurden aber beeinträchtigt, wenn die Latenz für eine längere Dauer wechselte. In den folgenden vier Studien untersuchten wir, wie der Wahrnehmungskanal, d. h. die Art und Weise, wie die Spieler die Latenz wahrnehmen, ihre Auswirkungen moduliert. Wir zeigen, dass die alleinige auditive Latenz nur hochqualifizierte Spieler beeinträchtigt, dass die Spielperspektive, d. h. die Art und Weise, wie die Spieler das Spiel visuell wahrnehmen, die Auswirkungen der Latenz nicht verändert, und dass die bloße Anzeige der Latenz bei den Spielern eine erwartungsbasierte Leistungs- und Erlebnisverschlechterung hervorruft.
In den letzten drei Studien, die in dieser Dissertation vorgestellt werden, nutzen wir die in dieser Arbeit gewonnenen Erkenntnisse, um neuartige Latenzausgleichsmethoden zu entwickeln. Wir evaluieren auf künstlichen neuronalen Netzen basierende Latenzkompensationsverfahren auf der Grundlage unserer Untersuchung und früherer Arbeiten. Zunächst zeigen wir, dass künstliche neuronale Netze die negativen Auswirkungen der Latenz in einem benutzerdefinierten Videospiel kompensieren können, indem sie spielinterne Informationen über die Spielwelt und das Spielerverhalten nutzen, indem sie die Bewegungen des Spielers im Spiel vorhersagen und so das Spielen in einem System mit hoher Latenz effektiv auf ein niedriges Latenzniveau reduzieren. Anschließend haben wir die entwickelten Methoden in einem langsamen kommerziellen Videospiel angewandt, ohne auf spielinterne Daten zuzugreifen. In der letzten Studie haben wir unseren Ansatz weiter verfeinert und die Spielereingaben zur Latenzkompensation in einem schnellen kommerziellen Schießspiel mit Hilfe eines Multi-Modell-Ansatzes vorhergesagt. Insgesamt zeigen die vorgestellten Studien, dass künstliche neuronale Netze, die das Verhalten und die Eingaben der Spieler vorhersagen, gut geeignete Methoden für den Latenzausgleich in Videospielen sind.
Aufbauend auf den empirischen Ergebnissen unserer Studien schließt diese Arbeit mit umsetzbaren Designrichtlinien für die zukünftige Entwicklung von Latenzausgleich und Latenzforschung für Spiele und darüber hinaus.
Metadata last modified: 28 Mar 2025 05:36
Owner only: item control page
Download Statistics