Classifying user information needs in cooking dialogues – an empirical performance evaluation of transformer networks - University of Regensburg Publication Server

Item type:	Thesis of the University of Regensburg (Masters)
Date:	14 July 2021
Referee:	Prof. Dr. Bernd Ludwig
Date of exam:	31 May 2021
Institutions:	Languages and Literatures > Institut für Information und Medien, Sprache und Kultur (I:IMSK) > Lehrstuhl für Informationswissenschaft (Prof. Dr. Udo Kruschwitz)
Keywords:	Deep learning, machine learning, natural language processing, conversational agent, text classification, dialogue processing
Dewey Decimal Classification:	000 Computer science, information & general works > 004 Computer science 000 Computer science, information & general works > 020 Library & information sciences 300 Social sciences > 320 Political science 400 Language > 400 Language, Linguistics
Status:	Published
Refereed:	Yes, this version has been refereed
Created at the University of Regensburg:	Yes
Item ID:	46308

Abstract (German)

In this master’s thesis, I carry out 3720 machine learning experiments. I want to test how transformer networks perform in a dialogue processing task. Transformer networks are deep neural networks that have first been proposed in 2017 and have since rapidly set new state of the art results on many tasks. To evaluate their performance in dialogue classification, I use two tasks from two datasets. ...

Abstract (German)

In this master’s thesis, I carry out 3720 machine learning experiments. I want to test how transformer networks perform in a dialogue processing task. Transformer networks are deep neural networks that have first been proposed in 2017 and have since rapidly set new state of the art results on many tasks. To evaluate their performance in dialogue classification, I use two tasks from two datasets. One comes from a dialogue; the other does not. I compare various transformer network’s F1 scores on these two classification tasks. I also look at many different baseline models, from random forest classifiers to long short-term memory networks. A theoretically derived taxonomy will be used to annotate dialogue data with information on dialogue flow. I will show that modelling human conversation is an intricate task and that more features do not necessarily make classification better. Five hypotheses are tested using statistical methods on the output data from the 3720 experiments. Those analyses show that results are very alike for the same machine learning
algorithms on the two different tasks. Beyond performance evaluation, the aim is to use transformers to improve user information need classification. These needs I am examining in this study arise during assisted cooking dialogues with a conversational agent. Generally, I can show that transformer networks achieve better classification results than the established baseline models.

Translation of the abstract (German)

In dieser Masterarbeit führe ich 3720 Experimente zum maschinellen Lernen durch. Ich möchte testen, wie Transformer-Netze bei einer Dialogverarbeitungsaufgabe abschneiden. Transformator-Netzwerke sind tiefe neuronale Netze, die erstmals 2017 vorgeschlagen wurden und seitdem bei vielen Aufgaben schnell neue State-of-the-Art-Ergebnisse erzielt haben. Um ihre Leistung bei der Dialogklassifizierung ...

Translation of the abstract (German)

In dieser Masterarbeit führe ich 3720 Experimente zum maschinellen Lernen durch. Ich möchte testen, wie Transformer-Netze bei einer Dialogverarbeitungsaufgabe abschneiden. Transformator-Netzwerke sind tiefe neuronale Netze, die erstmals 2017 vorgeschlagen wurden und seitdem bei vielen Aufgaben schnell neue State-of-the-Art-Ergebnisse erzielt haben. Um ihre Leistung bei der Dialogklassifizierung zu bewerten, verwende ich zwei Aufgaben aus zwei Datensätzen. Eine stammt aus einem Dialog, die andere nicht. Ich vergleiche die F1-Scores verschiedener Transformer-Netzwerke bei diesen beiden Klassifikationsaufgaben. Ich betrachte auch viele verschiedene Basismodelle, von Random-Forest-Klassifikatoren bis hin zu LSTM-Netzwerken. Eine theoretisch abgeleitete Taxonomie wird verwendet, um Dialogdaten mit Informationen über den Dialogablauf zu annotieren. Ich werde zeigen, dass die Modellierung menschlicher Konversation eine komplizierte Aufgabe ist und dass mehr Features die Klassifikation nicht unbedingt besser machen. Fünf Hypothesen werden mit statistischen Methoden an den Ausgabedaten der 3720 Experimente getestet. Diese Analysen zeigen, dass die Ergebnisse für dieselben Algorithmen des maschinellen Lernens bei den zwei verschiedenen Aufgaben sehr ähnlich sind. Über die Leistungsbewertung hinaus ist es das Ziel, Transformer-Netzwerke zu verwenden, um die Klassifizierung von Informationsbedürfnissen der Benutzer zu verbessern. Diese Bedürfnisse, die ich in dieser Studie untersuche, entstehen während Kochdialogen mit einem Sprachassistenten. Generell kann ich zeigen, dass Transformer-Netzwerke bessere Klassifikationsergebnisse erzielen als die etablierten Baseline-Modelle.

Classifying user information needs in cooking dialogues – an empirical performance evaluation of transformer networks

Details

Preview: Master Thesis Text

Export bibliographical data

Abstract (German)

Abstract (German)

Translation of the abstract (German)

Translation of the abstract (German)

Download Statistics

Downloads

More literature (via CORE)

University Library