Die HOBBIT-Bewertungsplattform ist eine verteilte FAIR-Benchmarking-Plattform für den Lebenszyklus von Linked Data. Das bedeutet, dass die Plattform entwickelt wurde, um Mittel zur Verfügung zu stellen, um:

Benchmarking für jeden Schritt des Lebenszyklus von Linked Data, einschließlich Generierung und Erfassung, Analyse und Verarbeitung, Speicherung und Kuratierung sowie Visualisierung und Dienste Sicherstellung, dass Benchmarking-Ergebnisse leicht gefunden, abgerufen, integriert und wiederverwendet werden können (FAIR-Prinzipien) Benchmarking von Big-Data-Plattformen, indem sie die erste verteilte Benchmarking-Plattform für Linked Data ist.

Wir hosten eine Online-Instanz unserer Plattform um öffentliche Wettbewerbe durchzuführen und
Wir stellen sicher, dass auch Personen ohne die erforderliche Infrastruktur in der Lage sind, die Benchmarks durchzuführen, an denen sie interessiert sind.

Die Plattform ist Open-Source und kann heruntergeladen und lokal ausgeführt werden.

Grundlegende Prinzipien

Die HOBBIT-Benchmarking-Plattform stellt sicher:

• Benutzer können Systeme mit den HOBBIT-Benchmarks testen, ohne sich um die Suche nach standardisierter Hardware kümmern zu müssen
• Neue Benchmarks können leicht erstellt und der Plattform von Dritten hinzugefügt werden.
• Die Auswertung kann auf große Datenmengen und auf verteilte Architekturen skaliert werden.
• Die Veröffentlichung und Analyse der Ergebnisse verschiedener Systeme kann auf einheitliche Weise über die verschiedenen Benchmarks hinweg durchgeführt werden.

Die erste Version der Plattform wurde im Februar 2017 veröffentlicht. Sie bietet die wichtigsten Funktionen einer Evaluierungsplattform und wurde im Laufe der Zeit weiter ausgebaut. Die Veröffentlichung der zweiten Version ist für Februar 2018 geplant. Für diese Version konzentrieren wir uns vor allem auf die Benutzerfreundlichkeit der Plattform sowie auf die Unterstützung zusätzlicher Funktionen, die von den Benchmark-Implementierungen genutzt werden können (z. B. gemeinsam genutzte Volumes oder Hardware-Statistiken).

Wie man die Plattform nutzt - Die Online-Instanz der HOBBIT-Benchmarking-Plattform - ist hier zugänglich. Weitere Informationen über die Funktionen und die Nutzung der Plattform finden Sie in Beitrag D2.2.1 und in unserer Online-Dokumentation.

Tutorial-Videos finden Sie auf dem HOBBIT YouTube-Kanal.