Classifying user information needs in cooking dialogues – an empirical performance evaluation of transformer networks - Publikationsserver der Universität Regensburg

Dokumentenart:	Hochschulschrift der Universität Regensburg (Abschlussarbeit zum Master)
Open Access Art:	Primärpublikation
Datum:	14 Juli 2021
Begutachter (Erstgutachter):	Prof. Dr. Bernd Ludwig
Tag der Prüfung:	31 Mai 2021
Institutionen:	Sprach- und Literatur- und Kulturwissenschaften > Institut für Information und Medien, Sprache und Kultur (I:IMSK) > Lehrstuhl für Informationswissenschaft (Prof. Dr. Udo Kruschwitz)
Stichwörter / Keywords:	Deep learning, machine learning, natural language processing, conversational agent, text classification, dialogue processing
Dewey-Dezimal-Klassifikation:	000 Informatik, Informationswissenschaft, allgemeine Werke > 004 Informatik 000 Informatik, Informationswissenschaft, allgemeine Werke > 020 Bibliotheks- und Informationswissenschaft 300 Sozialwissenschaften > 320 Politik 400 Sprache > 400 Sprachwissenschaft, Linguistik
Status:	Veröffentlicht
Begutachtet:	Ja, diese Version wurde begutachtet
An der Universität Regensburg entstanden:	Ja
Dokumenten-ID:	46308

Zusammenfassung (Deutsch)

In this master’s thesis, I carry out 3720 machine learning experiments. I want to test how transformer networks perform in a dialogue processing task. Transformer networks are deep neural networks that have first been proposed in 2017 and have since rapidly set new state of the art results on many tasks. To evaluate their performance in dialogue classification, I use two tasks from two datasets. ...

Zusammenfassung (Deutsch)

In this master’s thesis, I carry out 3720 machine learning experiments. I want to test how transformer networks perform in a dialogue processing task. Transformer networks are deep neural networks that have first been proposed in 2017 and have since rapidly set new state of the art results on many tasks. To evaluate their performance in dialogue classification, I use two tasks from two datasets. One comes from a dialogue; the other does not. I compare various transformer network’s F1 scores on these two classification tasks. I also look at many different baseline models, from random forest classifiers to long short-term memory networks. A theoretically derived taxonomy will be used to annotate dialogue data with information on dialogue flow. I will show that modelling human conversation is an intricate task and that more features do not necessarily make classification better. Five hypotheses are tested using statistical methods on the output data from the 3720 experiments. Those analyses show that results are very alike for the same machine learning
algorithms on the two different tasks. Beyond performance evaluation, the aim is to use transformers to improve user information need classification. These needs I am examining in this study arise during assisted cooking dialogues with a conversational agent. Generally, I can show that transformer networks achieve better classification results than the established baseline models.

Übersetzung der Zusammenfassung (Deutsch)

In dieser Masterarbeit führe ich 3720 Experimente zum maschinellen Lernen durch. Ich möchte testen, wie Transformer-Netze bei einer Dialogverarbeitungsaufgabe abschneiden. Transformator-Netzwerke sind tiefe neuronale Netze, die erstmals 2017 vorgeschlagen wurden und seitdem bei vielen Aufgaben schnell neue State-of-the-Art-Ergebnisse erzielt haben. Um ihre Leistung bei der Dialogklassifizierung ...

Übersetzung der Zusammenfassung (Deutsch)

In dieser Masterarbeit führe ich 3720 Experimente zum maschinellen Lernen durch. Ich möchte testen, wie Transformer-Netze bei einer Dialogverarbeitungsaufgabe abschneiden. Transformator-Netzwerke sind tiefe neuronale Netze, die erstmals 2017 vorgeschlagen wurden und seitdem bei vielen Aufgaben schnell neue State-of-the-Art-Ergebnisse erzielt haben. Um ihre Leistung bei der Dialogklassifizierung zu bewerten, verwende ich zwei Aufgaben aus zwei Datensätzen. Eine stammt aus einem Dialog, die andere nicht. Ich vergleiche die F1-Scores verschiedener Transformer-Netzwerke bei diesen beiden Klassifikationsaufgaben. Ich betrachte auch viele verschiedene Basismodelle, von Random-Forest-Klassifikatoren bis hin zu LSTM-Netzwerken. Eine theoretisch abgeleitete Taxonomie wird verwendet, um Dialogdaten mit Informationen über den Dialogablauf zu annotieren. Ich werde zeigen, dass die Modellierung menschlicher Konversation eine komplizierte Aufgabe ist und dass mehr Features die Klassifikation nicht unbedingt besser machen. Fünf Hypothesen werden mit statistischen Methoden an den Ausgabedaten der 3720 Experimente getestet. Diese Analysen zeigen, dass die Ergebnisse für dieselben Algorithmen des maschinellen Lernens bei den zwei verschiedenen Aufgaben sehr ähnlich sind. Über die Leistungsbewertung hinaus ist es das Ziel, Transformer-Netzwerke zu verwenden, um die Klassifizierung von Informationsbedürfnissen der Benutzer zu verbessern. Diese Bedürfnisse, die ich in dieser Studie untersuche, entstehen während Kochdialogen mit einem Sprachassistenten. Generell kann ich zeigen, dass Transformer-Netzwerke bessere Klassifikationsergebnisse erzielen als die etablierten Baseline-Modelle.

Classifying user information needs in cooking dialogues – an empirical performance evaluation of transformer networks

Details

Vorschau: Master Thesis Text

Bibliographische Daten exportieren

Zusammenfassung (Deutsch)

Zusammenfassung (Deutsch)

Übersetzung der Zusammenfassung (Deutsch)

Übersetzung der Zusammenfassung (Deutsch)

Downloadstatistik

Downloads

Weitere Literatur (mittels CORE)

Universitätsbibliothek