Inhalte:

In dieser Lehrveranstaltung werden die relevanten Grundlagen im Bereich der numerischen Methoden der Künstlichen Intelligenz (KI) vermittelt. Ein besonderer Schwerpunkt liegt bei der Vermittlung der praktischen Fähigkeiten, indem diese numerischen Methoden in den angeleiteten Projekten implementiert und angewendet werden.

Die Themen umfassen:

• Einführung in die KI-Numerik, stochastische vs. deterministische Numerik von Lernalgorithmen (stochastische vs. deterministische Verfahren erster Ordnung, Komplexitäts- und Konvergenzschätzungen);
• Numerik in biologischen, neurophysiologischen und anderen mathematischen Modellen lebender neuronaler Netze (unter Einbeziehung relevanter Konzepte aus der Numerik von ODEs und SDEs), Numerik von Spiking Neural Networks (SNN);
• Numerik der euklidischen ML/KI jenseits numerischer Methoden erster Ordnung (Newton, Innere-Punkt-Methoden und darüber hinaus);
• restringierte vs. unrestringierte KI-Numerik (Lernen basierend auf uneingeschränkter konvexer Optimierung vs. LP- und QP-basierten Lernmethoden);
• Numerik des Markovschen und Bayesianischen Lernens, effiziente Algorithmen für agentenbasierte Lernverfahren, Numerik von Entscheidungsunterstützungssystemen (Random Forests, Numerik des Integer Programming);
• CPU- vs. GPU-Numerik von KI in Julia und MATLAB;
• Numerik entropischer Lernmethoden: Scalable Probabilistic Approximation und darüber hinaus.

Kontaktzeit:

4 SWS / 56 h Vorlesung
2 SWS / 28 h Übung

Inhaltliche Voraussetzungen:

Es werden fundierte Kenntnisse und Fähigkeiten in den folgenden Bereichen der Mathematik vorausgesetzt:

(a) Analysis (Ableitungen, Gradienten, Jacobi-Matrix, Hesse-Matrix, Kettenregel, Leibnitz-Notation, relevante Begriffe aus der Multivariaten Analysis und Optimierung mit und ohne Nebenbedingungen),

(b) Lineare Algebra (Vektoren, Matrizen, Eigen- und Singulärwertzerlegung, Rechenregeln mit Matrizen und Vektoren, lineare Löser).

(c) Wahrscheinlichkeitstheorie und Statistik (Grundlagen der Wahrscheinlichkeitstheorie, Eigenschaften von Erwartungswert und (Ko-)Varianz, zentraler Grenzwertsätze, (Log-)Likelihood und grundlegende Parameterschätzung mit Maximum-Log-Likelihood-Methoden).

Optionale Anforderungen (nice to have):

Es ist wünschenswert (aber nicht verpflichtend), dass Studierende, die das Modul belegen wollen, über Grundkenntnisse und Erfahrungen in der Programmierung mit einer der folgenden drei Sprachen verfügen: MATLAB, Python, Julia. Wir empfehlen MATLAB. Hilfreich (aber nicht zwingend erforderlich) ist zudem die vorherige Teilnahme an dem Modul [MAT-63-10-M-7] "Mathematische Methoden in der KI".

Angebotsturnus:

Die Vorlesung wird unregelmäßig angeboten.

Hier geht es zum KIS-Eintrag: [KIS]

OLAT-Kurs

Inhalte:

In der Lehrveranstaltung werden die relevanten mathematischen Konzepte und Methoden im Bereich der Künstlichen Intelligenz (KI) eingeführt sowie die praktischen Fähigkeiten zur Anwendung dieser Methoden in angeleiteten Praxisprojekten, die sich mit realen Daten und Fragestellungen befassen, vermittelt. Der rote Faden ist dabei die Etablierung einer gemeinsamen stochastisch-statistischen Perspektive auf der Grundlage von Optimierungsparadigmen und Komplexitätsabschätzungen für verschiedene mathematische Methoden und Algorithmen, die im Bereich des maschinellen Lernens (MI) und der KI eingesetzt werden.

Die behandelten Themen umfassen:

• Einführung, biologische, neurophysiologische und mathematische Grundlagen lebender neuronaler Netze, mathematische Implikationen der Unterschiede zwischen lebenden und gängigen synthetischen Klassen künstlicher neuronaler Netze;
• Euklidische, nicht-euklidische und informationstheoretische Maße in ML/KI;
• Transformation von Maßen, Einbettungstheoreme (Whitney und Takens);
• deterministische vs. stochastische Approximation von Funktionen und Integralen;
• deterministische vs. stochastische Methoden der Optimierung ohne Nebenbedingungen in der KI;
• Methoden zur Optimierung unter Nebenbedingungen in der KI, weiche vs. harte Nebenbedingungen, notwendige Konzepte aus der linearen und quadratischen Optimierung;
• Mathematische Grundlagen des Markovschen und Bayesschen Lernens;
• Dimensionsreduktion und Merkmalsauswahl in ML/KI als Optimierungsproblem für verschiedene Maße;
• Schlecht-Gestelltheit und die "Herausforderung des Lernens mit kleinen Daten", informationstheoretische vs. üblichere (L1-/L2-) Regularisierungen bei Lernproblemen;
• Mathematische Konzepte in der eXplainable AI (XAI), die Familie der skalierbaren probabilistischen Approximationsmethoden und ihre Erweiterungen.

Kontaktzeit:

4 SWS / 56 h Vorlesung
2 SWS / 28 h Übung

Inhaltliche Voraussetzungen:

Es werden fundierte Kenntnisse und Fähigkeiten in den folgenden Bereichen der Mathematik vorausgesetzt:

• Analysis.
• Lineare Algebra
• Wahrscheinlichkeitstheorie und Statistik

Optionale Anforderungen (nice to have):

Es ist wünschenswert (aber nicht verpflichtend), dass Studierende, die an diesem Kurs teilnehmen, Grundkenntnisse und Erfahrungen in der Programmierung mit einer der folgenden drei Sprachen haben: MATLAB, Python, Julia. Wir empfehlen MATLAB.

Hilfreich für den Kurs wäre auch die Beherrschung der Prinzipien des fortgeschrittenen Frechet-Calculus mit Matrizen (aus dem Matrix-"Kochbuch").

Angebotsturnus:

Die Vorlesung wird unregelmäßig angeboten.

Hier geht es zum KIS-Eintrag: [KIS]

OLAT-Kurs