This thesis explores the application of large language models (LLMs) in the context of behaviour change support systems, focusing on the integration of Motivational Interviewing (MI) principles to enhance the effectiveness and safety of these interactions. This work addresses both the technical and theoretical aspects of applying conversational AI to intentional behaviour change scenarios.

The primary technical contributions of this research include an annotated dataset of written conversations about behaviour change, transferable and robust classification algorithms for identifying behaviour change language, and strategic methodologies for significantly reducing harms and unsuitable outputs in LLM-based conversations. An annotation scheme was also developed to identify and mitigate unsuitable behaviours in LLM outputs, accompanied by an annotated dataset of real human-LLM interactions, which provides insights into user behaviour and system performance in practical settings.

This project provides novel insights into the domain independence of behaviour change language, demonstrating the applicability of the developed systems across various contexts and target behaviours. Furthermore, the project explores user behaviour and expectations during interactions with LLMs, offering a deeper understanding of how users engage with and respond to LLM-based behaviour change support.

In general, this thesis contributes to the field of conversational AI by showcasing how LLMs can be used effectively and safely to support behaviour change, emphasising the importance of tailoring interactions based on MI principles and user-specific communication patterns. The findings not only advance our understanding of the technical and interactional dynamics of conversational AI but also set the stage for future research in the deployment of these technologies in diverse real-world applications. All code is made available on GitHub

Diese Arbeit untersucht die Anwendung von Large Language Models (LLMs) im Kontext von Systemen zur Unterstützung von Verhaltensänderungen und konzentriert sich dabei auf die Integration von Prinzipien der motivierenden Gesprächsführung (MI), um die Effektivität und Sicherheit dieser Interaktionen zu verbessern. Diese Arbeit befasst sich sowohl mit den technischen als auch mit den theoretischen Aspekten der Conversational AI in Szenarien zur beabsichtigten Verhaltensänderung.

Zu den primären technischen Beiträgen dieser Forschung gehören ein annotierter Datensatz schriftlicher Konversationen über Verhaltensänderung, übertragbare und robuste Klassifizierungsalgorithmen zur Identifizierung von Sprache zur Verhaltensänderung und strategische Methoden zur signifikanten Reduzierung von gefährlichen und unangemessenen Textausgaben in LLM-basierten Konversationen. Darüber hinaus wurde ein Annotationsschema entwickelt, um ungeeignete Verhaltensweisen in LLM-Outputs zu identifizieren und abzuschwächen, begleitet von einem annotierten Datensatz echter Mensch-LLM-Interaktionen, der Einblicke in das Nutzerverhalten und die Systemleistung in der Praxis bietet.

Dieses Projekt bietet neue Einblicke in die Domänenunabhängigkeit von Sprache über Verhaltensänderung und demonstriert die Anwendbarkeit der entwickelten Systeme in verschiedenen Kontexten unf für verschiedene Verhaltensänderungen. Darüber hinaus erforscht das Projekt das Verhalten und die Erwartungen von NutzerInnen während der Interaktion mit LLMs und bietet so ein tieferes Verständnis dafür, wie diese mit LLM-basierten Verhaltensmodellen umgehen und darauf reagieren. Sämtlicher Code wird auf GitHub veröffentlicht.