Ausbildung zum Deep Learning Specialist - Berufsbegleitender Zertifikatslehrgang

KI-Vertiefung: von Grundlagen bis zur selbstständigen Programmierung von KI-Anwendungen mit Keras (TensorFlow)

Deep Learning ist ein Teilgebiet der Künstlichen Intelligenz, das auf künstlichen Neuronalen Netzen basiert. Durch Trainings mit großen Datenmengen sind diese Netzwerke in der Lage, Muster zu erkennen und Vorhersagen zu treffen. Deep Learning Algorithmen finden bereits in unterschiedlichen Wirtschaftsbereichen und im Alltag Anwendung, zum Beispiel im Bereich autonomes Fahren, Sprach- und Texterkennung, optische Fehlererkennung sowie Online-Produktempfehlungen. Sie sind aktuell die bedeutendste und stärkste Algorithmusklasse im Bereich Machine Learning bzw. Künstliche Intelligenz. Es sind bereits zahlreiche Frameworks zur Umsetzung und Arbeit mit Neuronalen Netzen auf dem Markt verfügbar, mit denen Anwendern die Analyse von Daten mittels Deep Learning erleichtert wird. Keras (TensorFlow) ist aktuell das beliebteste Framework in der europäischen Industrie, da es sich durch seine Einfachheit und Mächtigkeit auszeichnet. Die dahinterstehende Open Source Community entwickelt das Framework stetig weiter und ermöglicht somit immer größere Möglichkeiten der Nutzbarkeit für Unternehmen.

Ziele

• Der Lehrgang bietet einen optimalen Mix aus Theorie und Praxis. Durch das erlernte Wissen mit Keras sind Teilnehmende anschließend in der Lage, selbstständig Deep Learning-Anwendungen zu trainieren.

• Teilnehmenden wird aufgezeigt, wie sie potenzielle Anwendungsfälle Im Unternehmenskontext detektieren und als Projekte initiieren.

• Jeder Teilnehmende erhält eine eigens eingerichtete state of the art NVIDIA GPU in der Cloud und lernt so unmittelbar, was beim Trainieren auf einer GPU beachten werden muss. Zwischen allen Modulen sind 100h an GPU Übungszeit inklusive.

• Die Referenten stehen den Teilnehmern auch zwischen den Modulen bei konkreten Fragestellungen zur Verfügung (Q& A Sessions).

• Die Teilnehmenden lernen von Top-Referentinnen und -Referenten aus Wirtschaft und Forschung mit langjähriger Berufserfahrung in den Bereichen KI, Deep Learning, Machine Learning und Data Analytics.

Zielgruppe

Der berufsbegleitende Zertifikatslehrgang zum Deep Learning Specialist richtet sich an Teilnehmende, welche einen kompakten und praxisorientierten Einstieg in die konkrete Anwendung von Deep Learning Algorithmen erhalten möchten. Zur Zielgruppe gehören u.a. Data Scientists, Data Engineers, Data Analysts, Business Intelligence Analysts, angehende Machine Learning (ML) Engineers, DL/ML Entwicklungsingenieure, Medizintechniker, Informatiker, Softwareentwickler im autonomen Fahren, Applied DL/ML Engineer, (Perception/DL) Research Engineers. Die Teilnehmenden sind nach dem Lehrgang in der Lage, eigenständig Deep Learning Algorithmen auf Projekte und Business Cases zu übertragen.

Voraussetzung für die Teilnahme: Bitte beachten Sie, dass dieser Lehrgang kein Anfängerkurs ist. Es steht das konkrete Programmieren und Umsetzen von Deep Learning Anwendungen im Vordergrund. Hierbei werden, wenn notwendig, auch (mathematische) Grundlagen erklärt. Für den Lehrgang benötigen Sie erste Erfahrung in Python bzw. die Beherrschung einer anderen Programmiersprache. Notwendig sind neben den Programmierkenntnissen grundlegende Vorkenntnisse im Bereich der Statistik, Begriffsdefinitionen wie bspw. Mittelwert, Median, Standardabweichung, Normalverteilung) und Kenntnisse grundlegender mathematischer Symbole und Begriffe (Summenzeichen, Integral, Funktion, Ableitung, Menge der natürlichen und reellen Zahlen, Vektor, Matrix). Das Grundverständnis von Matrizen und Vektoren und deren Berechnung wird bei einigen Kapiteln vorausgesetzt.

Voraussetzung für den Erhalt des Zertifikats ist die Bearbeitung unterschiedlicher Aufgaben zwischen den Modulen 3 und 4. Die Aufgaben werden im Rahmen von Q& A Sessions ausführlich ausgewertet und diskutiert.

Inhalte

• Der berufsbegleitende Zertifikatslehrgang setzt sich aus vier Modulen (8 Schulungstagen) zusammen und wird durch Selbstlernphasen (ca. 4-6h) ergänzt, bei denen die Teilnehmenden mit praktischen Übungen zwischen jedem Modul arbeiten.

• Die Teilnehmenden lernen modulübergreifend häufig verwendete Neuronale Netzwerkstrukturen in der Theorie kennen (u. a. Multi Layer Perceptron (MLP), Convolutional Neural Network (CNN), Recurrent Neural Network (RNN), Long Short Term Memory (LSTM), Gated Recurrent Unit (GRU) und setzen diese hands-on mit Keras (Tensorflow) in Python auf einer eigenen state of the art GPU (Graphics Processing Unit) in der Cloud um.

• In verschiedenen Anwendungsszenarien (z.B. Objektdetektion mit Bounding Boxes, Semantische Segmentierung, Bild-Klassifizierung, Text Sentiment Analysis, Predictive Maintenance) mit verschiedenen Datensätzen werden Teilnehmende unterschiedliche Neuronale Netze umsetzen, trainieren und deren Leistungsfähigkeit kennenlernen. Dabei werden typische Fragestellungen diskutiert. Praktische Handlungsempfehlungen helfen für die Umsetzung im Beruf, z. B. Regularisierung während des Trainings, Dropout, Keras Callbacks, Data Augmentation, Fine Tuning und Transfer Learning.

• Ein weiterer Fokus liegt auf Text- und Zeitreihendaten. Sie lernen, wie Sie mit Natural Language Processing (NLP) Sprachdaten verarbeiten und erhalten Einblicke in klassische und neuronale Netzwerk-basierte Ansätze, einschließlich der Erstellung von Wortvektoren und dem Einsatz von Sequenz-zu-Sequenz-Modellen. Ein weiterer Teil des Moduls ist den Zeitreihendaten gewidmet, wobei die Struktur und Implementierung von Recurrent Neural Networks (RNNs) sowie deren Erweiterungen wie LSTM und GRU in Keras behandelt werden.

• Im Deployment lernen Sie schließlich, wie Sie eigene Webanwendungen erstellen und trainierte Modelle für unerfahrene Benutzer zugänglich machen können. Das ist ein unmittelbarer Mehrwert des Lehrgangs, denn der Wissenstransfer ins eigene Unternehmen und unternehmensbezogene Prozesse und Projekte ist ein zentraler Schwerpunkt.

• Abschließend werden Unsupervised Learning Verfahren zum Clustern von Bildern betrachtet sowie praktische Hilfestellung und Best Practices für das Debugging in TensorFlow/Keras gegeben. Zudem wird als Beispiel einer NLP Anwendung die technischen Hintergründe von ChatGPT erläutert, einschließlich seiner Anwendungen in Textgenerierung, Textanalyse und Übersetzung. Ein Schwerpunkt liegt auch auf dem Prompt -Engineering, um erfolgreiche Abfragen durch ChatGPT zu ermöglichen.

• Zwischen den Modulen werden Aufgaben zur Bearbeitung gestellt. Hierbei können Sie das Erlernte direkt vertiefen und selbstständig auch auf ihre eigenen Fragestellungen übertragen. Zur Unterstützung besteht zwischen jedem Modul die Möglichkeit, in einer 90-minütigen Q& A Session offene Fragen mit den Dozentinnen und Dozenten zu diskutieren. Dabei besteht über den gesamten Lehrgang hinweg auch die Möglichkeit, direkt mit den Referierenden im Austausch zu stehen.

Module im Überblick

• Deep Learning: Einführung, Grundlagen &Vertiefung (Essentials von Deep Learning und Keras, Datenaufbereitung, Architekturen (MLP, CNN), Training von Netzwerken)

• Deep Learning mit Bilddaten (Klassifizierung, Object Detection, Semantische Segmentierung, Training bei wenigen Daten, Unsicherheitsbestimmung, Semi-Supervised Learning)

• Deep Learning mit Sequenzdaten: Text und Zeitreihen (Vorbereitung der Daten und bekannte Architekturen (RNNLSTM). Grundlagen vom Natural Language Processing (NLP))

• DeploymentChat GPT / Prompt Engineering und weitere Deep Learning Anwendungen (Web Applikation streamlit zum DeploymentUnsupervised Learning zum Clustern von BildernGrundlagen, Stärken und Grenzen von ChatGPT)

Seminarprogramm

Modul 1Deep Learning: Einführung, Grundlagen &Vertiefung – Essentials von Deep Learning und Keras: Datenaufbereitung, Architekturen (MLP, CNN), Training eines Netzwerks

In Modul 1 werden die Grundlagen von Deep Learning und dem Framework Keras erläutert. Grundlagen der Datenaufbereitung werden vertieft, bevor das Multi-Layer-Perceptron (MLP) Schritt für Schritt erklärt wird, um eine Basis für alle späteren Netzwerkarchitekturen zu haben. In diesem Zusammenhang werden wichtige Grundbegriffe erklärt und in Übungsaufgaben die Umsetzung gefestigt. Die Inhalte umfassen die Struktur eines MLP, die Schritte beim Trainieren eines Neuronalen Netzes und das für Bilddaten wichtige Convolutional Neural Network (CNN) mit einer Faltungsschicht (Convolutional Layer). Überdies wird die Klassifikation von Bildern mit einem CNN umgesetzt und die Überwachung des Trainings und Speichern von Zwischenergebnissen mit Keras Callbacks und Mlflow besprochen.

Tag 1

• Intro Machine Learning und Künstlicher Intelligenz

  • Entstehung und Kontext von Deep Learning

  • Machine Learning, Künstliche Intelligenz und Deep Learning als Königsdisziplin

  • Anwendungsbeispiele von Deep Learning Algorithmen

• Data Preprocessing

  • Overfitting im Machine Learning

  • Train-Validation-Test Split

  • Normalisierung von Daten

  • Dummy Enkodierung / One-Hot encoding

• Multi-Layer-Perceptron (MLP)

  • Perceptron, Gewichte, Bias

  • Aktivierungsfunktionen (Non-linearities)

  • Softmax für Fragestellungen mit Klassifizierung

• Training eines Netzwerks

  • Loss-Funktionen

  • Gewichts-Initialisierung

  • Update von Gewichten (Backpropagation)

  • Epoche und Batch-Size

Tag 2

• Convolutional Neural Network (CNN)

  • Eine Faltung (Convolution)

  • Filter im convolutional layer

  • Stride und Padding

  • Bias im CNN

  • Max-Pooling

  • Was sieht ein CNN auf den unterschiedlichen Ebenen?

• Callbacks mit Keras

  • Callbacks in Keras umsetzen

  • Speichern von Modelgewichten

  • Early Stopping zur frühzeitigen Beendigung des Trainings

  • MLflow zur Verwaltung von Experimenten und Beobachtung des Trainings

  • Vorstellung bekannter Netzwerkarchitekturen

• Image classification

  • Softmax-Layer

  • Cross-Entropy Loss

  • Data-Generator in Keras

  • AlexNet und VGG-16 (CNN-Architekturen)

  • Drop-Out und L2 Regularisierung

  • Laden eines fertig trainierten Models

Modul 2Deep Learning mit Bilddaten – Klassifizierung, Object Detection, Semantische Segmentierung, Training bei wenigen Daten, Unsicherheitsbestimmung, Semi-Supervised Learning

Modul 2 fokussiert sich auf die Verarbeitung von Bilddaten mit Deep Learning. Neben der Einführung in wichtige Grundlagen von numpy zur Behandlung von Bildern wird die Multi-Label Klassifizierung erörtert und vorgestellt. Es wird zudem die Object Detection mit Bounding Boxes behandelt, um Objekte auf Bildern mithilfe von rechteckigen Bounding Boxes zu erkennen und zu klassifizieren. Danach wird die semantische Segmentierung anschaulich erläutert, welche beispielsweise im autonomen Fahren Anwendung findet.

An Tag 2 liegt der Fokus auf dem Training von neuronalen Netzen mit wenigen bzw. unzureichenden Daten, was in der Realität oft der Fall ist. Es wird die Daten-Augmentierung, d.h. die künstliche Vergrößerung des Datensatzes durch Verzerrung der bisherigen Trainingsdaten sowie das Fine-Tuning / Transfer Learning, d.h. das Verwenden von neuronalen Netzen, die auf anderen Datensätzen vortrainiert wurden, vorgestellt. Zudem wird ein Schwerpunkt das Thema Uncertainty Estimation sein, um eine bessere Einschätzung der Klassifizierungswahrscheinlichkeit zu erhalten. Modul 2 wird durch Semi-Supervised Learning, einer Lernmethode, in der neben gelabelten Daten auch ungelabelte Daten verwendet werden, abgeschlossen.

Tag 3

• Einführung in numpy zur Arbeit mit Bilddaten

  • Ein numpy Array und dessen Attribute

  • Arrays erstellen und mit Daten befüllen (bzw. mit Zufallszahlen)

  • Mathematische Operationen mit Numpy

• Multi-Label Klassifizierung

  • Multi-Hot Encoding

  • Sigmoid Aktivierungsfunktion

  • Binary Crossentropy

• Objekt-Detektion mit Bounding Boxes

  • Mean-Squared-Error und Cross-Entropy Loss

  • Trainingsgüte: intersection over union (IoU)

• Semantische Segmentierung

  • Cross-Entropy Loss und mean IoU

  • U-Net (bekannte Netzwerkarchitektur für Segmentierung)

  • Up-Convolution

Tag 4

• Training bei wenig Daten und Fine-Tuning

  • Data Augmentation zur Erweiterung des Datensatzes im Training

  • Code von vortrainierten Netzwerk-Architekturen verwenden

  • Fine-Tuning: Netzwerke für seine Aufgabe adaptieren

• Uncertainty Estimation

  • Arten von Uncertainty (Aleatoric, Epistemic)

  • Überblick von Methoden zur Bestimmung der Uncertainty

  • Berechnung von Netzwerkunsicherheit mit Ensembles und MC Dropout

• Semi-Supervised Learning

  • Überblick über Arten des Semi-Supervised Learnings

  • Implementierung eines Semi-Supervised Algorithmus für die Bildklassifizierung

Modul 3Deep Learning mit Sequenzdaten: Text und Zeitreihen – Vorbereitung der Daten und bekannte Architekturen (RNNLSTM). Grundlagen vom Natural Language Processing (NLP)

In Modul 3 werden die Grundlagen von Deep Learning Sequenzmodellen vermittelt. Diese spielen eine wichtige Rolle u. a. in der Verarbeitung natürlicher Sprache, dem Natural Language Processing (NLP). Viele industrielle und wissenschaftliche Daten müssen als Zeitreihendaten im Deep Learning Kontext speziell behandelt werden. Ein Tag des Moduls widmet sich der Sprachverarbeitung. Dieser Teil stellt zunächst klassische Verfahren mit Machine Learning dar, z. B. zur Textklassifikation und Informationsextraktion. Danach werden neuronale Netze verwendet. Das Modul beginnt hier mit dem automatischen Lernen von Wortvektoren, führt dann Sequenzmodelle ein (z. B. zum Part-of-Speech-Tagging) und endet dann mit Sequenz-zu-Sequenz-Modellen mit vortrainierten und selbst trainierten Transformer-Modellen (z. B. zur Übersetzung oder Zusammenfassung).

Zudem werden Zeitreihendaten und die Recurrent Neural Network (RNN) Architekturen behandelt. Es wird aufgezeigt, wie ein RNN aufgebaut ist und wie dieses Schritt für Schritt in Keras umgesetzt werden kann. Zudem wird ein Einblick in die Erweiterungen, das LSTM (Long Short Term Memory) und die GRU (Gated Recurrent Unit) gegeben. In der Praxis kommt oft eine Mischung aus traditionellen und modernen Verfahren zum Einsatz. Hierbei werden auch die leistungsstarken Algorithmen, wie Facebook Prophet für die Analyse von Zeitreihendaten behandelt und analysiert.

Tag 5

• Deep Learning mit Zeitreihendaten: Überblick

  • Charakteristika und Besonderheiten von Zeitreihen / Sequenzdaten

  • Codierung: Aufbereitung von Daten für die Zeitreihenanalyse mit Deep Learning

  • Fallbeispiel: Trends in der Energieerzeugung

• Einführung in Neuronale Netzwerkarchitekturen für Zeitreihen

  • Einführung in Recurrent Neural Networks (RNNs)

  • Codierung: Manuelle Implementierung von RNNs

  • Praxisbeispiel: Vereinfachte Wetterprognosen mittels RNNs

• Anwendung Neuronaler Netzwerkarchitekturen für Zeitreihen

  • Herausforderungen bei der Anwendung von RNNs und die Theorie der Long Short-Term Memory (LSTM) Netzwerke

  • Codierung: Implementierung von RNNs und LSTMs mit Keras

  • Fallbeispiel: Prognose des Stromverbrauchs mit LSTM-Netzwerken

• Modellvergleich und Hybride Ansätze in der Zeitreihenanalyse

  • Einblick in traditionelle Zeitreihenanalysemethoden (wie ARIMA, Prophet)

  • Entwicklung und Anwendung hybrider Modelle in der Zeitreihenanalyse

  • Codierung: Vergleich von Deep Learning Ansätzen mit alternativen Modellen

  • Praxisbeispiel: Prognosen für Smart Grids

Tag 6

• Überwachte Verfahren zur Textklassifikation

  • Einführung zu statistischen Lernverfahren

  • Feature Repräsentation von Text (Bag of Words)

  • Anwendungsfall: Sentiment-Analysis

• Wortvektoren (Embeddings) und Sequenzmodelle

  • Motivation und Anwendungsfälle für Wortvektoren

  • Theoretischer Hintergrund: word2vec / Glove-Modell

  • Sequenzmodelle zur Klassifikation von Tokens (z. B. POS-Tagging)

• Transformer-Modelle (BERT, GPT2, T5)

  • Theoretischer Hintergrund zu Transformer-Modellen

  • Einführung in Huggingface / Transformers

  • Vortrainierte Modelle in Keras für verschiedene Anwendungsfälle (z. B. Question-Answering, Übersetzung)

• Text-zu-Text-Generierung

  • Modelle zur Übersetzung, Zusammenfassung und Textgenerierung

  • Training und Anwendung eigener Modelle

Modul 4Deep Learning Web App &Chat GPT / Prompt Engineering und weitere Deep Learning Anwendungen:Web Applikation streamlit für Deployment, Clustering mit Deep Learning , Grundlagen, Stärken und Grenzen von ChatGPT

Modul 4 fokussiert sich an Tag 1 auf das Deployment der trainierten Algorithmen mit der Web App streamlit. Diese werden, basierend auf bereits trainierten Modellen des Lehrgangs, in eine streamlit Applikation eingebunden. Das Framework streamlit eignet sich zur leichten und schnellen Erstellung von Web Applikationen. Ziel ist es, die Funktionalitäten kennen zu lernen, um eine eigene Webapp erstellen zu können, so dass auch unerfahrene Benutzer Zugang zu den trainierten Netzen und dessen Output haben. Hierbei werden insbesondere die Möglichkeiten der Datenvisualisierung behandelt.

Daneben wird ein Ausblick auf weitere Anwendungsmöglichkeiten im Deep Learning gegeben. Es wird ein spezieller Case des Unsupervised Learning behandelt. Dabei werden mit den Algorithmen UMAP und HDBSCAN ungelabelte Bilder geclustert, um exemplarisch die automatische Sortierung von Bildern zu veranschaulichen. Zudem wird ein Einblick in das Debugging in Tensorflow / Keras gegeben und Best Practices für das Deep Learning vorgestellt.

Außerdem wird ChatGPT als Vertreter einer NLP Anwendung vorgestellt, beginnend mit technischen Hintergrundinformationen zu Modell und Daten, die hinter ChatGPT stehen. Es wird gezeigt, für welche Anwendungsfälle man am besten zu ChatGPT greifen sollte. Hierzu zählen unter anderem die Generierung von Text (z. B. Stellenanzeigen, Blogeinträgen, Marketingtexten / Copywriting), die Analyse von Texten und Ausgabe strukturierter Information (z. B. Sentiment-Analysis) und Übersetzung. Dann betrachten wir das Prompt Engineering: Methoden, mit denen wir unsere Ergebnisse durch bessere Nutzung des Modells verbessern können. Zuletzt beschäftigen wir uns mit möglichen Integrationen von ChatGPT.

Der Lehrgang schließt mit einer umfassenden Q& A-Session ab, um offene Fragen und Problemstellungen, auch aus Ihrer Praxis, zu diskutieren. Zudem wird ein Ausblick auf zukünftige Entwicklungen gegeben.

Tag 7

• Webapps mit streamlit

  • Einführung in streamlit

  • Überblick über Widgets und Funktionalitäten

  • Buttons zur interaktiven Eingabe erzeugen

• Datenvisualisierung mit streamlit

  • Einlesen von Daten

  • Visuelle Darstellung von Daten

  • Überblick von verschiedenen Plots für ein interaktives Dashboard

  • Bildverarbeitung (Filter, Rotation, Cropping)

• Trainieren neuronaler Netze on the fly

  • Interaktives Ändern von Parametern im Training und Visualisierung der Effekte

  • Anwendung: Nutzung trainierter Netze für die Klassifizierung von Bildern

  • Grenzen von streamlit

Tag 8

• Unsupervised Learning

  • Erläuterung von UMAP und HDBSCAN

  • Anwendung auf das Clustern von ungelabelten Bildern

• Debugging / Best Practices

  • Debugging in Tensorflow / Keras (Eager vs. Graph Mode)

  • Best Practices, wie man eine Deep Learning Aufgabe angeht

• Technologie hinter ChatGPT

  • Grundlagen: Large Language Models und ChatGPT

  • Anwendungsfälle von ChatGPT

  • Hintergrund zu ChatGPT (Modell, Training, Konfigurationsparameter, )

• Einsatz und Integration von ChatGPT

  • Prompt -Engineering: Verschiedene gängige Methoden (z. B. Few-Shot-Learning, Reasoning, )

  • Integration von ChatGPT in die eigene Infrastruktur

• Klärung offener Fragen und Feedback

• Rückblick auf den ZertifikatslehrgangFeedback der Teilnehmenden

  Widerruf: Sie können als Privatkunde (Verbraucher) Ihren Vertrag mit der Bitkom Akademie widerrufen. Alle Informationen dazu finden Sie in unseren AGB auf unserer Website.