| Veröffentlichte Version Download ( PDF | 751kB) | Lizenz: Creative Commons Namensnennung 4.0 International |
Comparing Bayesian Models of Annotation
Paun, S., Carpenter, B., Chamberlain, J. D., Hovy, D., Kruschwitz, Udo
und Poesio, Massimo
(2018)
Comparing Bayesian Models of Annotation.
Transactions of the Association for Computational Linguistics 6, S. 571-585.
Veröffentlichungsdatum dieses Volltextes: 11 Jun 2019 09:37
Artikel
DOI zum Zitieren dieses Dokuments: 10.5283/epub.40304
Zusammenfassung
Crowdsourcing has revolutionised the way tasks can be completed but the process is frequently inefficient, costing practitioners time and money. This research investigates whether crowdsourcing can be optimised with a validation process, as measured by four criteria: quality; cost; noise; and speed. A validation model is described, simulated and tested on real data from an online crowdsourcing ...
Crowdsourcing has revolutionised the way tasks can be completed but the process is frequently inefficient, costing practitioners time and money. This research investigates whether crowdsourcing can be optimised with a validation process, as measured by four criteria: quality; cost; noise; and speed. A validation model is described, simulated and tested on real data from an online crowdsourcing game to collect data about human language. Results show that by adding an agreement validation (or a like/upvote) step fewer annotations are required, noise and collection time are reduced and quality may be improved.
Alternative Links zum Volltext
Beteiligte Einrichtungen
Details
| Dokumentenart | Artikel | ||||
| Titel eines Journals oder einer Zeitschrift | Transactions of the Association for Computational Linguistics | ||||
| Verlag: | Association for Computational Linguistics | ||||
|---|---|---|---|---|---|
| Band: | 6 | ||||
| Seitenbereich: | S. 571-585 | ||||
| Datum | 2018 | ||||
| Institutionen | Sprach- und Literatur- und Kulturwissenschaften > Institut für Information und Medien, Sprache und Kultur (I:IMSK) > Lehrstuhl für Informationswissenschaft (Prof. Dr. Udo Kruschwitz) Informatik und Data Science > Fachbereich Menschzentrierte Informatik > Lehrstuhl für Informationswissenschaft (Prof. Dr. Udo Kruschwitz) | ||||
| Identifikationsnummer |
| ||||
| Dewey-Dezimal-Klassifikation | 000 Informatik, Informationswissenschaft, allgemeine Werke > 020 Bibliotheks- und Informationswissenschaft | ||||
| Status | Veröffentlicht | ||||
| Begutachtet | Ja, diese Version wurde begutachtet | ||||
| An der Universität Regensburg entstanden | Unbekannt / Keine Angabe | ||||
| URN der UB Regensburg | urn:nbn:de:bvb:355-epub-403048 | ||||
| Dokumenten-ID | 40304 |
Downloadstatistik
Downloadstatistik