Statistical and Machine Learning - Heinz Nixdorf Institut (HNI)

Statistische und maschinelle Lernverfahren

Kurzbeschreibung

Beispiel für ein zweischichtiges, voll verknüpftes neuronales Netz

Die Veranstaltung Statistische und maschinelle Lernverfahren vermittelt einen Einblick in die Komponenten und Algorithmen von statistischen und maschinellen Lernverfahren. Es werden verschiedenste Ansätze vorgestellt, wie Charakteristika aus Daten entweder überwacht oder unüberwacht gelernt werden können und wie unbekannte Muster erkannt werden. Die vorgestellten Techniken können auf vielfältige Klassifikations- und Regressionsprobleme angewendet werden, sei es für eindimensionale Signale (z.B. Sprache), zweidimensionale (z.B. Bilder) oder symbolische Daten (z.B. Texte, Dokumente).

Vorlesungsinhalte

Einführung in Klassifikationsverfahren, Bayes'sche und andere Entscheidungsregeln
Optimierungsverfahren: Gradientenabstieg, algorithmisches Differenzieren, Optimierung mit Randbedingung
Lineare Klassifikatoren: Perzeptron, Support Vector Machines
Tiefe neuronale Netze
Dimensionsreduktionsverfahren (PCA, LDA)
Unüberwachtes Lernen: Mischungsverteilungen, Clusterverfahren

Lernergebnisse & Fachliche Kompetenzen

Die Studierenden sind nach dem Besuch der Lehrveranstaltung in der Lage,

Für ein vorgegebenes Klassifikations- oder Regressionsproblem eine geeignete Lösungsmethode auszuwählen
Methoden des überwachten und unüberwachten Lernens auf neue Problemstellungen anzuwenden und die Ergebnisse des Lernens kritisch zu bewerten
Haben ein grundlegendes Verständnis von maschinellen Lernverfahren
Können Programmbibliotheken zur Realisierung von Klassifikatoren (z.B. neuronale Netze, Support Vector Machines) sinnvoll anwenden und eigene Programme schreiben
können für eine vorgegebene Trainingsdatenmenge einen sinnvolle Wahl für die Dimension des Merkmalsvektors und die Komplexität des Klassifikators zu treffen

Die Studierenden

Haben Fertigkeiten in Python erworben, die sie auch außerhalb dieser Anwendungsdomäne einsetzen können
Haben ein Verständnis für das Prinzip der Parsimomität und können es auf andere Fragestellungen übertragen
Können ein vorgegebenes Klassifikations- oder Regressionsproblem analysieren, eine Lösung synthetisieren und sie anschließend an Testdaten evaluieren
Können die in diesem Kurse gewonnenen Kenntnisse und Fertigkeiten auf andere Disziplinen übertragen
Können in einer Gruppe umfangreichere Aufgabenstellungen gemeinsam analysieren, in Teilaufgaben zerlegen und lösungsorientiert bearbeiten
Können die Leistungsfähigkeit, aber auch die Grenzen von maschinellen Lernverfahren bewerten

Methodische Umsetzung

Vorlesungen mit überwiegendem Tafeleinsatz, vereinzelt Folien-Präsentation
Präsenzübungen mit Übungsblättern und Demonstrationen am Rechner
praktische Übungen mit Python, in denen Studierende eigenständig Trainings- und Testdaten generieren, Lösungswege erarbeiten und Lernverfahren oder Klassifikatoren implementieren, testen, sowie Ergebnisse auswerten.

Literaturempfehlungen

R.O. Duda, P.E. Hart und D.G. Stork: "Pattern Classification", 2nd Edition,Wiley, 2000
I. Goodfellow, Y. Bengio, A. Courville: Deep Learning, MIT Press, 2016
S. Theodoridis: "Machine Learning", Academic Press, 2015
K. Fukunaga, Statistical Pattern Recognition, Academic Press, 1990
Hastie, Tibshirani, The Elements of Statistical Learning, Springer 2003