Conversational assistants such as Siri, Alexa, and Google Home have become ubiquitous in daily life, simplifying tasks such as scheduling events and checking the weather. However, they struggle with complex search tasks, especially in procedural domains like cooking. Therefore, this thesis investigates conversational search in the cooking domain, aiming to understand user information needs and ...
Abstract (English)
Conversational assistants such as Siri, Alexa, and Google Home have become ubiquitous in daily life, simplifying tasks such as scheduling events and checking the weather. However, they struggle with complex search tasks, especially in procedural domains like cooking. Therefore, this thesis investigates conversational search in the cooking domain, aiming to understand user information needs and how assistance systems can effectively support them. A range of studies, from naturalistic to controlled experiments, are conducted to achieve these goals. The thesis presents four main studies: 1. An in-situ study where users prepare a meal and converse with a human assistant offers insights into which information needs users have when cooking with a conversational agent. Based on this, a detailed taxonomy of information needs is developed, and experiments show that these needs can be algorithmically predicted. 2. A survey aimed at understanding user expectations and desires from a cooking assistant reveals different user expectations across demographics. For example, the findings suggest that younger cooking enthusiasts desire background knowledge on food history and scientific processes. These needs were not part of the initial taxonomy. 3. A controlled information retrieval experiment explores how user needs can be best supported from an algorithmic perspective. The experiment demonstrates that aligning the recipe document representation with the task structure and prepending the previous two to three user turns enhances accuracy in system responses, ensuring that user information needs are effectively addressed. 4. As a final contribution, support is studied from an interaction perspective. A Wizard-of-Oz study demonstrates that a proactive agent policy leads to more engaging conversations and greater knowledge communication compared to a passive policy.
Translation of the abstract (German)
Sprachassistenten wie Siri, Alexa und Google Home gehören mittlerweile zum Alltag und vereinfachen Aufgaben wie die Terminplanung und das Abrufen des Wetterberichts. Bei komplexeren Suchaufgaben, insbesondere in prozeduralen Bereichen wie dem Kochen, stoßen sie jedoch schnell an ihre Grenzen. Diese Arbeit untersucht daher die sprachbasierte Suche im Kochkontext. Ziel ist es, die auftretenden ...
Translation of the abstract (German)
Sprachassistenten wie Siri, Alexa und Google Home gehören mittlerweile zum Alltag und vereinfachen Aufgaben wie die Terminplanung und das Abrufen des Wetterberichts. Bei komplexeren Suchaufgaben, insbesondere in prozeduralen Bereichen wie dem Kochen, stoßen sie jedoch schnell an ihre Grenzen. Diese Arbeit untersucht daher die sprachbasierte Suche im Kochkontext. Ziel ist es, die auftretenden Informationsbedürfnisse beim Kochen zu verstehen und zu lernen, wie Assistenzsysteme diese Bedürfnisse effektiv erfüllen können. Hierfür werden verschiedene Studien von naturalistischen bis hin zu kontrollierten Experimenten durchgeführt. Die vorliegende Arbeit präsentiert vier Hauptstudien. Eine In-situ-Studie, in der Teilnehmer ein Gericht zubereiten und dabei mit einem menschlichen Assistenten interagieren, zeigt die verschiedenen Informationsbedürfnisse auf, die beim Kochen mit einem Sprachassistenten entstehen können. Auf Grundlage der Gespräche mit dem Assistenten wird eine detaillierte Informationsbedürfnistaxonomie entwickelt. Machine Learning-Experimente zeigen, dass diese Bedürfnisse automatisch vorhergesagt werden können. Die zweite Studie ist eine Umfrage, die darauf abzielt, die Erwartungen und Wünsche der Nutzer an einen Kochassistenten zu verstehen. Die Ergebnisse zeigen, dass je nach demografischen Merkmalen der Nutzer unterschiedliche Erwartungen existieren. Insbesondere jüngere NutzerInnen, die gerne kochen, wünschen sich zum Beispiel zusätzliches Hintergrundwissen über die Geschichte von bestimmten Lebensmitteln und die zugrundeliegenden wissenschaftlichen Prozesse. Diese Art von Bedürfnissen wurden in der ursprünglichen Taxonomie nicht erfasst. In einem kontrollierten Information Retrieval-Experiment (= Studie 3) wird untersucht, wie Informationsbedürfnisse aus algorithmischer Sicht am besten unterstützt werden können. Hierbei zeigt sich, dass eine Anpassung der Repräsentation des Rezeptdokuments an die Aufgabenstruktur und das Berücksichtigen der vorherigen zwei bis drei Nutzeräußerungen die Genauigkeit der Systemantworten deutlich verbessert. Dadurch werden die Informationsbedürfnisse der Nutzer besser befriedigt. In einer letzten Studie wird die Unterstützung aus einer Interaktionsperspektive betrachtet. Eine Wizard-of-Oz-Studie zeigt, dass ein proaktiver Sprachassistent zu einer besseren Nutzererfahrung führt und im Vergleich zu einem passiven Assistenten mehr Wissen vermittelt wird.
![[img]](https://epub.uni-regensburg.de/style/images/fileicons/application_pdf.png)
Download Statistics