Dy­nam­ic La­bel Re­lax­a­tion

Die Regularisierung von (Deep-)Learning-Modellen kann auf der Modell-, Verlust- oder Datenebene durchgeführt werden. Die L1- und L2-Regularisierung kann als Regularisierungstechnik auf Modellebene kategorisiert werden, während Label-Glättung und Label-Relaxationstechniken als Regularisierungstechniken zwischen Verlust und Daten kategorisiert werden können. Bei der Label-Glättung werden deterministische Klassenlabels (z.B. C1=0 und C2=1) in Wahrscheinlichkeitsverteilungen (C1=0.1 und C2=0.9) umgewandelt, bei der Label-Relaxation ist das Ziel eine Menge von Wahrscheinlichkeiten, die in Form einer oberen Wahrscheinlichkeitsverteilung dargestellt werden.

In dieser Arbeit werden Techniken zur iterativen Aktualisierung/Kalibrierung der Größe einer Menge von Wahrscheinlichkeiten untersucht, die durch eine obere Wahrscheinlichkeitsverteilung dargestellt werden. Eine Iteration kann in einem Batch- oder Epochenintervall realisiert werden.

Be­treuer

business-card image

Dr. Caglar Demir

Data Science / Heinz Nixdorf Institute

Write email