Workflow Orchestration with Cloud Composer (WOCC) - Online Training

Modul 1 - Einführung in Cloud Composer

Themen

• Der Bedarf des Dateningenieurs an Workflow-Orchestrierung
• Einführung in Apache Airflow
• Cloud-Komponist
• Umgebung einrichten
• Verwendung von Composer und Airflow

Zielsetzungen

• Erkunden Sie Apache Airflow und Cloud Composer.
• Bereitstellung von Cloud Composer-Instanzen.
• Erkunden Sie die Benutzeroberflächen von Airflow und Composer.

Aktivitäten

• Übung: Bereitstellung von Cloud Composer

Modul 2 - Erstellen und Verwalten von DAGs

Themen

• DAG-Struktur und bewährte Verfahren
• Gemeinsame Betreiber
• Abhängigkeiten, Auslöseregeln und Flusskontrolle
• Integration von Airflow und Google Cloud Services

Zielsetzungen

• DAGs schreiben.
• Erkunden Sie gängige Airflow-Operatoren.
• Verwalten Sie Auslöser, Abhängigkeiten und Ablaufsteuerung.
• Integrieren Sie Airflow mit Google Cloud Services.

Aktivitäten

• Übung: Zusammenstellen eines Datenverarbeitungs-Workflows

Modul 3 - Fortgeschrittene Luftstromtechniken und bewährte Verfahren

Themen

• Erweiterte Airflow-Funktionen
• Fehlersuche in DAGs
• Leistung und Skalierbarkeit
• Sicherheit und Zugangskontrolle
• Beobachtbarkeit und Überwachung

Zielsetzungen

• Nutzen Sie die erweiterten Airflow-Funktionen.
• Debug DAGs.
• Beobachten und überwachen Sie Ihre laufenden DAGs

Aktivitäten

• Übung: Erweitern und Überwachen von DAGs

Lernziele

• Erkunden Sie Apache Airflow und Cloud Composer als Lösungen zur Workflow-Orchestrierung.
• Erstellen und verwalten Sie Airflow-DAGs nach bewährten Verfahren.
• Testen und Debuggen von Airflow-DAGs.
• Airflow-DAGs auf Cloud Composer überwachen und beobachten

Zielgruppen

Dateningenieure, die lernen möchten, wie sie Apache Airflow und Cloud Composer für die Orchestrierung ihrer Data-Engineering-Workflows nutzen können.