This dissertation engages with the improvement of user interfaces for manual annotation tasks in a linguistic context. Eleven linguistic annotation tools are evaluated in order to derive hints for good and bad designs in this specific domain of application. The evaluation design is influenced by related work from the field of human handwritten annotation theory and linguistic annotation standards and practices. At the same time it builds upon established usability engineering concepts and usability testing methods. The results of the annotation tool evaluation are documented as usability patterns. While the identification of patterns is generally considered a rather vague and unstructured process, this dissertation presents a systematic approach for the integration of qualitative results from a series of heuristic walkthroughs and a usability pattern format. The twenty-six usability patterns identified in this work help tool developers to prevent common mistakes and pitfalls in the design of annotation tool interfaces. They also guide actual tool users to decide which tool to choose with regard to usability requirements.

Diese Dissertation beschäftigt sich mit der Verbesserung von Benutzeroberflächen für manuelle Annotationsaufgaben in linguistischen Anwendungskontexten. In einer Evaluationsstudie mit insgesamt elf linguistischen Annotationswerkzeugen wurden wichtige Hinweise für gutes und schlechtes Interface-Design in dieser spezifischen Anwendungsdomäne identifiziert. Das Evaluationsdesign ist beeinflusst durch verwandte Arbeiten aus dem Feld der handschriftlichen Annotationstheorie (human handwritten annotation theory) sowie durch Standards und Praktiken der linguistischen Textannotation. Gleichzeitig baut die Studie auf etablierten Konzepten und Methoden des Usability Engineering und der Usability-Evaluation auf. Die Ergebnisse der Studie werden in Form von Usability-Patterns dokumentiert. Um den häufig als vage und unstrukturiert wahrgenommenen Prozess der Pattern-Identifikation besser nachvollziehbar zu machen, präsentiert diese Dissertation einen systematischen Ansatz für die Integration qualitativer Heuristic Walkthrough-Daten in ein bestehendes Usability-Pattern-Format. Die so identifizierten 26 Usability-Patterns helfen Tool-Entwicklern dabei typische Fehler beim Design von Annotationstools zu vermeiden. Gleichzeitig erlauben es die Patterns den Anwendern solcher Annotationstools geeignete Werkzeuge in Hinblick auf Usability-Anforderungen für spezifische Projekte auszuwählen.