Aufbau eines wissenschaftlichen Textcorpus auf der Basis der Daten der englischsprachigen Wikipedia

Item type:	Thesis of the University of Regensburg (Masters)
Open Access Type:	Primary Publication
Date:	11 October 2010
Referee:	Prof. Dr. Christian Wolff and Prof. Dr. Rainer Hammwöhner
Date of exam:	15 December 2009
Institutions:	Languages and Literatures > Institut für Information und Medien, Sprache und Kultur (I:IMSK) > Lehrstuhl für Informationswissenschaft (Prof. Dr. Udo Kruschwitz) Informatics and Data Science > Department Human-Centered Computing > Lehrstuhl für Informationswissenschaft (Prof. Dr. Udo Kruschwitz) Languages and Literatures > Institut für Information und Medien, Sprache und Kultur (I:IMSK) > Lehrstuhl für Medieninformatik (Prof. Dr. Christian Wolff) Informatics and Data Science > Department Human-Centered Computing > Lehrstuhl für Medieninformatik (Prof. Dr. Christian Wolff)
Interdisciplinary Subject Network:	Not selected
Keywords:	Verarbeitung natürlicher Sprache, NLP, Wikipedia, Korpus, Textkorpus
Dewey Decimal Classification:	000 Computer science, information & general works > 030 General encyclopedic works 000 Computer science, information & general works > 020 Library & information sciences 400 Language > 420 English 000 Computer science, information & general works > 004 Computer science
Status:	Published
Refereed:	Yes, this version has been refereed
Created at the University of Regensburg:	Yes
Item ID:	11533

Abstract (German)

Die Wikipedia hat sich in den letzten Jahren zu einer vielversprechenden Forschungs-Ressource entwickelt. Ihr enzyklopädischer Aufbau, ihre freie Verfügbarkeit und die Aktualität der Inhalte sind nur ein Teil der Gründe, die die Online-Enzyklopädie so attraktiv für viele wissenschaftliche Bereiche (Information Retrieval, Information Extraction, Verarbeitung natürlicher Sprache, maschinelles ...

Abstract (German)

Die Wikipedia hat sich in den letzten Jahren zu einer vielversprechenden Forschungs-Ressource entwickelt. Ihr enzyklopädischer Aufbau, ihre freie Verfügbarkeit und die Aktualität der Inhalte sind nur ein Teil der Gründe, die die Online-Enzyklopädie so attraktiv für viele wissenschaftliche Bereiche (Information Retrieval, Information Extraction, Verarbeitung natürlicher Sprache, maschinelles Lernen, ...) machen.
Doch der Zugriff auf die in der Wikipedia enthaltenen Informationen ist nicht leicht, da sie in Wikitext, der Wikipedia-eigenen Markup-Sprache, enkodiert sind. Die maschinelle Verarbeitung von Wikitext-Markup ist jedoch sehr schwer, weil eine formale Definition fehlt.
Diese Arbeit beschreibt ein System, das aus den Daten der englischen Wikipedia automatisch ein Textkorpus erstellen kann, das die häufigsten zu Forschungszwecken verwendeten Inhalte enthält. Bei der Erstellung des Korpus werden die Artikeltexte darüber hinaus mit Lemma- und Part-of-Speech-Informationen annotiert und Kookkurrenz-Häufigkeiten extrahiert. Wegen der Speicherung aller Daten in einer relationalen Datenbank ist ein sehr effizienter Zugriff auf die Wikipedia-Daten mit umfassender Suchfunktionalität möglich.

Translation of the abstract (English)

With the growth in popularity over the last eight years, Wikipedia has become a very promising resource in academic studies. Some of its properties make it attractive for a wide range of research fields (information retrieval, information extraction, natural language processing, ...), e.g. free availability and up to date content. However, efficient and structured access to this information is ...

Translation of the abstract (English)

With the growth in popularity over the last eight years, Wikipedia has become a very promising resource in academic studies. Some of its properties make it attractive for a wide range of research fields (information retrieval, information extraction, natural language processing, ...), e.g. free availability and up to date content.
However, efficient and structured access to this information is not easy, as most of Wikipedia's contents are encoded in its own markup language (wikitext). And, unfortunately, there is no formal definition of wikitext, which makes parsing very difficult and burdensome.
In this thesis, we present a system that lets the researcher automatically build a richly annotated corpus containing the information most commonly used in research projects. To this end, we built our own wikitext parser based on the original converter used by Wikipedia itself to convert wikitext into HTML. The system stores all data in a relational database, which allows for efficient access and extensive retrieval functionality.

Details

Preview

Export bibliographical data

Abstract (German)

Abstract (German)

Translation of the abstract (English)

Translation of the abstract (English)

Download Statistics

Downloads

More literature (via CORE)

University Library