Direkt zum Inhalt

Paun, S. ; Carpenter, B. ; Chamberlain, J. D. ; Hovy, D. ; Kruschwitz, Udo ; Poesio, Massimo

Comparing Bayesian Models of Annotation

Paun, S., Carpenter, B., Chamberlain, J. D., Hovy, D., Kruschwitz, Udo und Poesio, Massimo (2018) Comparing Bayesian Models of Annotation. Transactions of the Association for Computational Linguistics 6, S. 571-585.

Veröffentlichungsdatum dieses Volltextes: 11 Jun 2019 09:37
Artikel
DOI zum Zitieren dieses Dokuments: 10.5283/epub.40304


Zusammenfassung

Crowdsourcing has revolutionised the way tasks can be completed but the process is frequently inefficient, costing practitioners time and money. This research investigates whether crowdsourcing can be optimised with a validation process, as measured by four criteria: quality; cost; noise; and speed. A validation model is described, simulated and tested on real data from an online crowdsourcing ...

Crowdsourcing has revolutionised the way tasks can be completed but the process is frequently inefficient, costing practitioners time and money. This research investigates whether crowdsourcing can be optimised with a validation process, as measured by four criteria: quality; cost; noise; and speed. A validation model is described, simulated and tested on real data from an online crowdsourcing game to collect data about human language. Results show that by adding an agreement validation (or a like/upvote) step fewer annotations are required, noise and collection time are reduced and quality may be improved.



Beteiligte Einrichtungen


Details

DokumentenartArtikel
Titel eines Journals oder einer ZeitschriftTransactions of the Association for Computational Linguistics
Verlag:Association for Computational Linguistics
Band:6
Seitenbereich:S. 571-585
Datum2018
InstitutionenSprach- und Literatur- und Kulturwissenschaften > Institut für Information und Medien, Sprache und Kultur (I:IMSK) > Lehrstuhl für Informationswissenschaft (Prof. Dr. Udo Kruschwitz)
Informatik und Data Science > Fachbereich Menschzentrierte Informatik > Lehrstuhl für Informationswissenschaft (Prof. Dr. Udo Kruschwitz)
Identifikationsnummer
WertTyp
10.1162/tacl_a_00040DOI
Dewey-Dezimal-Klassifikation000 Informatik, Informationswissenschaft, allgemeine Werke > 020 Bibliotheks- und Informationswissenschaft
StatusVeröffentlicht
BegutachtetJa, diese Version wurde begutachtet
An der Universität Regensburg entstandenUnbekannt / Keine Angabe
URN der UB Regensburgurn:nbn:de:bvb:355-epub-403048
Dokumenten-ID40304

Bibliographische Daten exportieren

Nur für Besitzer und Autoren: Kontrollseite des Eintrags

nach oben