Projektgruppe: Master

Sprache Englisch

GERBIL ist eine Benchmarking-Plattform. Ursprünglich für das Benchmarking von Wissensextraktionssystemen entwickelt, hat sie sich zu einer Plattform entwickelt, die auch für das Benchmarking von Fragebeantwortungs-, Faktenvalidierungs- und maschinellen Übersetzungssystemen verwendet wird. Dies führte jedoch zu einer Situation, in der die Zweige auseinanderliefen und Aktualisierungen auf einen Zweig nach dem anderen angewendet werden mussten. Daher besteht das erste Ziel dieser Projektgruppe darin, alle diese GERBIL-Versionen zu einem einzigen GERBIL zusammenzuführen, das einen aufgabenunabhängigen Kern und aufgabenabhängige Module umfasst. Das zweite Ziel ist die Verwendung dieses Kerns zur Implementierung einer Erweiterung von GERBIL für das Benchmarking von Algorithmen zur Einbettung von Wissensgraphen.

• Schaffung eines generischen GERBIL-Rahmens, der nicht an eine bestimmte Gruppe von Aufgaben gebunden ist.
• Verwendung des zuvor erstellten generischen Frameworks zur Entwicklung einer neuen GEBRIL-Instanz für Wissensgrapheneinbettungen

Literatur:

• "GERBIL – General Entity Annotation Benchmark Framework" By Ricardo Usbeck, Michael Röder, Axel-Cyrille Ngonga Ngomo, Ciro Baron, Andreas Both, Martin Brümmer, Diego Ceccarelli, Marco Cornolti, Didier Cherix, Bernd Eickmann, Paolo Ferragina, Christiane Lemke, Andrea Moro, Roberto Navigli, Francesco Piccinno, Giuseppe Rizzo, Harald Sack, René Speck, Raphaël Troncy, Jörg Waitelonis, Lars Wesemann. In Proceedings of the 24th WWW conference, 2015.
• "GERBIL - Benchmarking Named Entity Recognition and Linking consistently" By Michael Röder, Ricardo Usbeck, Axel-Cyrille Ngonga Ngomo. In Semantic Web Journal, 2018.
• "Benchmarking Question Answering Systems" By Ricardo Usbeck, Michael Röder, Michael Hoffmann, Felix Conrads, Jonathan Huthmann, Axel-Cyrille Ngonga Ngomo, Christian Demmler, Christina Unger. In Semantic Web Journal, 2019.
• "A general benchmarking framework for text generation" By Diego Moussallem, Paramjot Kaur, Thiago Ferreira, Chris van~der Lee, Anastasia Shimorina, Felix Conrads, Michael Röder, René Speck, Claire Gardent, Simon Mille, Nikolai Ilinykh, and Axel-Cyrille Ngonga~Ngomo. In Proceedings of the 3rd International Workshop on Natural Language Generation from the Semantic Web (WebNLG+), 2020.

Voraussetzungen:

Sie sollten in der Lage sein, in Java zu programmieren. Kenntnisse über RDF, Wissensgraphen, Einbettungsalgorithmen und Software-Designprinzipien sind von Vorteil.