GERBIL
Über GERBIL KE
Wir präsentieren GERBIL, ein allgemeines Annotationssystem für Entitäten. GERBIL bietet eine einfach zu bedienende, webbasierte Plattform für den agilen Vergleich von Annotatoren mit mehreren Datensätzen und einheitlichen Messansätzen. GERBIL unterstützt zwei Setups. Der Nutzer kann einen der bereits integrierten Annotatoren nutzen oder selbst einen hinzufügen. Um ein Tool zu GERBIL hinzuzufügen, muss der Endnutzer lediglich eine URL zu einer REST-Schnittstelle zu seinem Tool bereitstellen, die sich an eine vorgegebene Spezifikation hält. Weitere Informationen dazu finden Sie in unserem GitHub-Wiki. Die Integration und das Benchmarking des Tools anhand der vom Benutzer angegebenen Datensätze wird dann automatisch von der GERBIL-Plattform durchgeführt. Derzeit liefert unsere Plattform Ergebnisse für 20 Annotatoren und 44 Datensätze, weitere werden folgen. Darüber hinaus bietet unsere Plattform 10 Experimenttypen, darunter Entity Recognition, Entity Disambiguation und Relation Extraction. Intern basiert GERBIL auf dem Natural Language Programming Interchange Format (NIF) und bietet Java-Klassen zur Implementierung von APIs für Datensätze und Annotatoren für NIF.


GERBIL KE

Demo hier öffnen.
Über GERBIL QA
Wir stellen GERBIL QA vor, eine Erweiterung des allgemeinen Entitätsannotationssystems GERBIL. Es bietet eine einfach zu bedienende, webbasierte Plattform für den agilen Vergleich von QA-Systemen mit mehreren Datensätzen und einheitlichen Messansätzen. Gerbil QA unterstützt drei verschiedene Setups. Der Benutzer kann entweder eines der bereits integrierten QS-Systeme benchmarken, ein anderes QS-System per URI hinzufügen oder eine JSON-Datei mit Antworten hochladen. Um mit GERBIL QA verwendet werden zu können, muss ein QA-System die Webservice-Schnittstelle wie hier beschrieben implementieren. Zur einfacheren Nutzung stellen wir eine Vorlage zur Verfügung, die diese Schnittstelle bereits implementiert. Hochgeladene JSON-Dateien müssen ebenfalls im QALD-JSON-Format vorliegen.
Weitere Informationen zu den QA-Systemen mit ihren Dokumenten und Webservices finden Sie hier.


GERBIL QA

Demo hier öffnen.
Über Gerbil KBC
GERBIL KBC ist ein Zweig der Evaluierungsplattform GERBIL adapter für den Bereich Knowledge Base Curation. Sein Hauptzweck ist das Benchmarking von Fact-Checking-Ansätzen.
Es wurde für mehrere Challenges verwendet, darunter die Semantic Web Challenges 2017, 2018 und 2019 auf der ISWC.