NVIDIA - Schnelle Anwendungsentwicklung mit großen Sprachmodellen

Einführung

• Begrüßung und Vorstellung des Trainers
• Einrichtung eines Kontos

Vom Deep Learning zu großen Sprachmodellen (LLMs)

• Erhalte ein fundiertes Verständnis für Aufbau und Einsatz moderner Sprachmodelle:
• Einführung in Deep Learning und klassenbasiertes Denken – und wie daraus Sprachmodellierung entsteht
• Transformer-Architekturen verstehen: Konzepte, Schnittstellen und zugrunde liegende Intuition
• Skalierung und Anpassung von Modellen zur Entwicklung moderner LLM-Lösungen

Spezialisierte Encoder-Modelle

• Lerne, wie unterschiedliche Aufgabenstellungen mit Encoder-Modellen gelöst werden:
• Überblick über aktuelle Encoder-Modelle aus dem HuggingFace-Ökosystem
• Einsatz vortrainierter und feinabgestimmter Modelle für:
• Token-Klassifizierung
• Sequenz-Klassifizierung
• Spannen-/Bereichsvorhersage (Span Prediction)
• Zero-Shot-Klassifizierung

Encoder-Decoder-Modelle für Seq2Seq

• Verstehe die Generierung unbegrenzter Sequenzen mit LLMs:
• Einführung in Decoder-Komponenten für autoregressive Texterzeugung
• Cross-Attention und das „Sequence-as-Context“-Prinzip
• Multitasking-Ansätze und Zero-Shot-Reasoning
• Grundlagen multimodaler Sequenzmodelle anhand ausgewählter Beispiele

Decoder-Modelle für die Texterzeugung

• Vertiefe dein Wissen zu GPT-ähnlichen Architekturen:
• Wann sind reine Decoder-Modelle sinnvoll?
• Typische Herausforderungen beim Training und Einsatz
• Einfluss von Modellgröße und spezielle Anwendungstechniken
• Analyse ausgewählter großer Textgenerierungsmodelle und ihrer Funktionsweise

Zustandsbasierte LLMs

• Erweitere Sprachmodelle durch Kontext und externe Wissensquellen:
• Moderne Kompositionstechniken für Verlaufs- (History) und Zustandsmanagement
• Retrieval-Augmented Generation (RAG) zur Einbindung externer Datenquellen
• Vom „stochastischen Papagei“ zum kontextsensitiven System

Bewertung und Q&A

• Zusammenfassung und Wiederholung der zentralen Lerninhalte
• Codebasierte Abschlussprüfung zur Erlangung eines Zertifikats