Einführung in Deep Learning mit Pytorch: MLP und CNN

Lineare Regression

• Beschreibung der Problemstellung
• Implementierung mit Python und Numpy
• Back-Propagation
• Gradient Descent – Optimierungsverfahren
• Visuelle Aufbereitung mit Matplotlib
• Variante Logistic-Regression zur Klassifizierung

Grundlagen

• Vektoren und Linearkombinationen
• Matrizen und lineare Transformationen
• Partielle Ableitungen
• Analysis in höheren Dimensionen
• Kettenregel und andere Regeln
• Geometrische Intuition
• Häufig benutzte Funktionen

Neurale Netzwerke

• Pytorch: Historische Entwicklung  
• Tensor als Basistyp mit Operationen
• Automatische Gradienten-Berechnung
• Ausführliche Behandlung der Dimensionierung
• DataSet, DataLoader und ImageFolder
• Standard-Datensätze wie MNIST
• nn.Module als Basisbaustein
• Multilayer Perceptron als grundlegender Netzwerktyp
• Nichtlineare Aktivierungsfunktionen: Sigmoid, Softmax, ReLU u.a.
• Loss-Funktionen
• Optimizer: SGD, Adam und Weitere
• Trainingsschleife, Validation-Set
• Underfitting und Overfitting
• Visualisierung mit TensorBoard

Convolutional Neural Networks (CNNs)

• Basistyp zur Bildklassifizierung
• Abgrenzung zu RNN und Transformer
• Vorbereitung der Bilddaten (Transforms)
• Convolution-Layer in Pytorch im Detail
• Training mit GPUs zum Beispiel Google Colab
• ImageNet: Wettbewerb und Bild-Datenbank
• Wichtige Architekturen: AlexNet, VGG, ResNet, ResNeXt
• Varianten von Transfer-Learning
• Auto-Encoders