Wir präsentieren GERBIL, ein allgemeines Annotationssystem für Entitäten. GERBIL bietet eine einfach zu bedienende, webbasierte Plattform für den agilen Vergleich von Annotatoren mit mehreren Datensätzen und einheitlichen Messansätzen. GERBIL unterstützt zwei Setups. Der Nutzer kann einen der bereits integrierten Annotatoren nutzen oder selbst einen hinzufügen. Um ein Tool zu GERBIL hinzuzufügen, muss der Endnutzer lediglich eine URL zu einer REST-Schnittstelle zu seinem Tool bereitstellen, die sich an eine vorgegebene Spezifikation hält. Weitere Informationen dazu finden Sie in unserem GitHub-Wiki. Die Integration und das Benchmarking des Tools anhand der vom Benutzer angegebenen Datensätze wird dann automatisch von der GERBIL-Plattform durchgeführt. Derzeit liefert unsere Plattform Ergebnisse für 20 Annotatoren und 44 Datensätze, weitere werden folgen. Darüber hinaus bietet unsere Plattform 10 Experimenttypen, darunter Entity Recognition, Entity Disambiguation und Relation Extraction. Intern basiert GERBIL auf dem Natural Language Programming Interchange Format (NIF) und bietet Java-Klassen zur Implementierung von APIs für Datensätze und Annotatoren für NIF.