Statistische und maschinelle Lernverfahren

Kurz­be­schrei­bung

Die Veranstaltung Statistische und maschinelle Lernverfahren vermittelt einen Einblick in die Komponenten und Algorithmen von statistischen und maschinellen Lernverfahren. Es werden verschiedenste Ansätze vorgestellt, wie Charakteristika aus Daten entweder überwacht oder unüberwacht gelernt werden können und wie unbekannte Muster erkannt werden. Die vorgestellten Techniken können auf vielfältige Klassifikations- und Regressionsprobleme angewendet werden, sei es für eindimensionale Signale (z.B. Sprache), zweidimensionale (z.B. Bilder) oder symbolische Daten (z.B. Texte, Dokumente).

Vor­le­sungs­in­hal­te

  • Einführung in Klassifikationsverfahren, Bayes'sche und andere Entscheidungsregeln
  • Optimierungsverfahren: Gradientenabstieg, algorithmisches Differenzieren, Optimierung mit Randbedingung
  • Lineare Klassifikatoren: Perzeptron, Support Vector Machines
  • Tiefe neuronale Netze
  • Dimensionsreduktionsverfahren (PCA, LDA)
  • Unüberwachtes Lernen: Mischungsverteilungen, Clusterverfahren

Ler­n­er­geb­nis­se & Fach­li­che Kom­pe­ten­zen

Die Studierenden sind nach dem Besuch der Lehrveranstaltung in der Lage,

  • Für ein vorgegebenes Klassifikations- oder Regressionsproblem eine geeignete Lösungsmethode auszuwählen
  • Methoden des überwachten und unüberwachten Lernens auf neue Problemstellungen anzuwenden und die Ergebnisse des Lernens kritisch zu bewerten
  • Haben ein grundlegendes Verständnis von maschinellen Lernverfahren
  • Können Programmbibliotheken zur Realisierung von Klassifikatoren (z.B. neuronale Netze, Support Vector Machines) sinnvoll anwenden und eigene Programme schreiben
  • können für eine vorgegebene Trainingsdatenmenge einen sinnvolle Wahl für die Dimension des Merkmalsvektors und die Komplexität des Klassifikators zu treffen

Die Studierenden

  • Haben Fertigkeiten in Python erworben, die sie auch außerhalb dieser Anwendungsdomäne einsetzen können
  • Haben ein Verständnis für das Prinzip der Parsimomität und können es auf andere Fragestellungen übertragen
  • Können ein vorgegebenes Klassifikations- oder Regressionsproblem analysieren, eine Lösung synthetisieren und sie anschließend an Testdaten evaluieren
  • Können die in diesem Kurse gewonnenen Kenntnisse und Fertigkeiten auf andere Disziplinen übertragen
  • Können in einer Gruppe umfangreichere Aufgabenstellungen gemeinsam analysieren, in Teilaufgaben zerlegen und lösungsorientiert bearbeiten
  • Können die Leistungsfähigkeit, aber auch die Grenzen von maschinellen Lernverfahren bewerten

Me­tho­di­sche Um­set­zung

  • Vorlesungen mit überwiegendem Tafeleinsatz, vereinzelt Folien-Präsentation
  • Präsenzübungen mit Übungsblättern und Demonstrationen am Rechner
  • praktische Übungen mit Python, in denen Studierende eigenständig Trainings- und Testdaten generieren, Lösungswege erarbeiten und Lernverfahren oder Klassifikatoren implementieren, testen, sowie Ergebnisse auswerten.

Li­te­ra­tur­emp­feh­lun­gen

  • R.O. Duda, P.E. Hart und D.G. Stork: "Pattern Classification", 2nd Edition,Wiley, 2000
  • I. Goodfellow, Y. Bengio, A. Courville: Deep Learning, MIT Press, 2016
  • S. Theodoridis: "Machine Learning", Academic Press, 2015
  • K. Fukunaga, Statistical Pattern Recognition, Academic Press, 1990
  • Hastie, Tibshirani, The Elements of Statistical Learning, Springer 2003

Ein­ord­nung

  • Veranstaltung für Master-Studierende
  • ECTS: 6
  • Sprache: Englisch
  • Semester: Sommersemester

Vor­le­sungs­un­ter­la­gen

Script (Recent version accessible via https://panda.uni-paderborn.de):

Exer­ci­ses

Switched to https://panda.uni-paderborn.de. Files here are outdated, but kept for students who took the curse at that time.

Exercise files:

Tutorial:

Homework Assignment:

Old exams

Vor­le­sungs­lei­ter

business-card image

Prof. Dr. Reinhold Häb-Umbach

Nachrichtentechnik (NT) / Heinz Nixdorf Institut

Leiter des Fachgebiets Nachrichtentechnik

E-Mail schreiben +49 5251 60-3626

Übungs­lei­ter

business-card image

Christoph Böddeker

Nachrichtentechnik (NT) / Heinz Nixdorf Institut

Forschung & Lehre

E-Mail schreiben +49 5251 60-5288
business-card image

Thilo von Neumann

Nachrichtentechnik (NT) / Heinz Nixdorf Institut

Forschung & Lehre

E-Mail schreiben +49 5251 60-5288