Emphasizing the laborious side of machine learning: annotation guidelines and how to develop them

Abstract

"This paper presents an overview on the development and application of Annotation Guidelines (AGs) in the context of the BIBB job advertisements project. It highlights the importance of AGs in ensuring data annotation consistency, fostering reproducibility, and research transparency. It describes the process of creating AGs for the extraction of information from online job advertisements, emphasizing the challenges faced and the iterative approaches adopted to refine these guidelines. The study also examines the transition from classic to ‘relational extraction’ methods to address complex, compositional concepts in unstructured texts. Highlighting the importance of AGs in enhancing reproducibility, transparency, and the interoperability of computational social science, the paper advocates for the open access of AGs as critical resources for advancing the field." (authors' abstract)

"Dieser Beitrag gibt einen Überblick über die Entwicklung und Anwendung von Annotationsrichtlinien oder „Annotationsguidelines“ (AGs) im Rahmen des Stellenanzeigen Projekts des BIBB. Er unterstreicht die Wichtigkeit von AGs in Bezug auf die Qualität von Datenannotationen, die Reproduzierbarkeit sowie die Transparenz im Bereich Computational Social Science. Der Beitrag beschreibt den Prozess der Erstellung von AGs für die Extraktion von Informationen aus Online-Stellenanzeigen. Er hebt die Herausforderungen hervor und beschreibt Lösungsansätze, die zur Verbesserung von AGs genutzt werden können. An praktischen Beispielen untersucht der Beitrag die Frage, wie sogenannte "relationale Extraktionsmethoden" helfen können, komplexe, kompositorische Konzepte in unstrukturierten Texten zu erfassen. Das Papier hebt die Bedeutung von AGs für die Verbesserung der Reproduzierbarkeit, Transparenz und Interoperabilität der Computational Social Science hervor und plädiert für einen offenen Zugang zu AGs als wichtige Ressourcen für die Weiterentwicklung des Fachgebiets." (BIBB-Autorenreferat)