Ro­bust Em­bed­dings for Know­ledge Graphs

Methoden zur Einbettung von Wissensgraphen erlernen kontinuierliche Vektordarstellungen für Entitäten und Relationen in Wissensgraphen und wurden bereits erfolgreich für viele Anwendungen, einschließlich der Vorhersage von Verbindungen, eingesetzt [1]. „Das beste Verhältnis zwischen Ausdruckskraft und Größe des Parameterraums zu finden, ist der Schlüssel zu Einbettungsmodellen“ [2]. Für eine umfassende Optimierung der Hyperparameter sind jedoch moderne Hardwaresysteme erforderlich. Beispielsweise benötigt das RotatE-Modell 9 Stunden Rechenzeit [3], um seine Spitzenleistung auf dem FB15K-Benchmark-Datensatz mit einer GeForce GTX 1080 Ti GPU zu erreichen. Die Gesamtlaufzeit des RotatE-Modells während der Hyperparamter-Optimierungsphase auf FB15K entspricht 1512 Stunden. Die Verfügbarkeit hochmoderner Hardwaresysteme hat oft darüber entschieden, welche Forschungsideen erfolgreich sind (und welche nicht) [4].

Nakkiran et al. [5,6] aus der OPENAI-Forschung zeigen, dass das Phänomen des doppelten Abstiegs bei CNNs, ResNets und Transformatoren auftritt: „Die Leistung verbessert sich zunächst, wird dann schlechter und verbessert sich dann wieder mit zunehmender Modellgröße, Datenmenge oder Trainingszeit“.

In dieser Arbeit soll der Student folgende Fragen beantworten:

  • Tritt das Phänomen des doppelten Abstiegs bei der Einbettung von Wissensgraphen auf [1,2,3]?
  • Können wir uns dieses Phänomen zunutze machen, um eine umfangreiche Hyperparameteroptimierung zu vermeiden?

Erforderliche Kenntnisse:

  • Wissensgrapheneinbettung
  • Maschinelles Lernen
  • Wissensgraphen
  • Python, NumPy und PyTorch

Quellen:

[1] Convolutional Complex Knowledge Graph Embeddings (https://arxiv.org/abs/2008.03130)
[2] Complex Embeddings for Simple Link Prediction (https://arxiv.org/abs/1606.06357)
[3] ROTATE: Knowledge Graph Embedding by relational rotation in complex space (https://arxiv.org/abs/1902.10197)
[4] The Hardware Lottery (https://arxiv.org/abs/2009.06489)
[5] Deep Double Descent: Where Bigger Models and More Data Hurt (https://arxiv.org/abs/1912.02292)
[6] deep-double-descent blogpost (https://openai.com/blog/deep-double-descent/)

Be­treuer

business-card image

Dr. Caglar Demir

Data Science / Heinz Nixdorf Institute

Write email