Orchestrate BigQuery Workloads with Dataform (OBWD) - Online Training

Modul 1 - Dataform-Kernkomponenten

Themen:

• SQL-Arbeitsablauf
• Repositories und Arbeitsbereiche
• Standarddateien und -ordner
• Kompilierte Diagramme

Zielsetzungen:

• Verstehen der Komponenten des Dataflow-Kerns.

Modul 2 - Tabellendefinitionen und Abhängigkeiten

Themen:

• Deklarieren Sie eine Datenquelle.
• Erstellen Sie eine Tabelle.
• Erstellen Sie eine inkrementelle Tabelle.
• Partitionierungs- und Clustering-Optionen festlegen.
• Erstellen Sie eine leere Tabelle.
• Erstellen Sie eine externe BigLake-Tabelle.
• Erstellen Sie Ansichten und materialisierte Ansichten.
• Definieren Sie Abhängigkeiten.

Zielsetzungen:

• Erstellen von Tabellen und Ansichten in BigQuery mit Dataform

Modul 3 - BigQuery-Tabellen und Ansichten dokumentieren

Themen:

• Verwenden Sie Spaltenbeschreibungen.
• Verwenden Sie global definierte JavaScript-Konstanten.
• Etiketten hinzufügen.

Zielsetzungen:

• Dokumentieren Sie BigQuery-Tabellen und -Ansichten.

Aktivitäten:

• Übung: SQL-Workflows mit Abhängigkeiten in Dataform erstellen

Modul 4 - BigQuery-Sicherheitseinstellungen

Themen:

• IAM-Zugriff auf Datensätze und Tabellen/Ansichten
• Sicherheit auf Säulenebene
• Sicherheit auf Zeilenebene

Zielsetzungen:

• Verstehen der BigQuery-Sicherheitseinstellungen mit Dataform

Modul 5 - Behauptungen

Themen:

• Verwenden Sie integrierte Assertions.
• Erstellen Sie manuelle Assertions.

Zielsetzungen:

• Verwenden Sie Assertions zur Validierung von Daten in Dataform-Workflows.

Aktivitäten:

• Übung: Arbeiten mit Assertions und BigQuery-Sicherheitseinstellungen in Dataform.

Modul 6 - SQL-Workflow-Ausführungen

Themen:

• Dataform-Code-Lebenszyklus.
• Was passiert bei der Kompilierung?
• Anpassen und Planen der Kompilierungsergebnisse.
• Ausführen von Arbeitsabläufen (UI, Cloud Scheduler, Cloud Composer).
• Protokollierung und Überwachung.

Zielsetzungen:

• Automatisierte Ausführung von Dataform SQL-Workflows.

Aktivitäten:

• Übung: SQL-Workflow-Ausführungen in Dataform automatisieren und überwachen

Modul 7 - Erweiterte Anwendungsfälle

Themen:

• Erstellen Sie eine BigLake-Tabelle nach dem Datei-Upload mit Cloud Run-Funktionen.
• Erstellen Sie eine Pipeline für maschinelles Lernen mit BigQuery ML.
• Arbeit mit sich langsam verändernden Dimensionen Typ 2.

Zielsetzungen:

• Erkunden Sie weitere Anwendungsfälle für Dataform.

Aktivitäten:

• Übung: Erstellen einer BigLake-Tabelle mit Dataform unter Verwendung von Cloud Run Functions.

Lernziele

• die Komponenten des Dataform-Kerns zu verstehen.
• Erstellen von Tabellen und Ansichten in BigQuery mit Dataform.
• Dokumentieren Sie BigQuery-Tabellen und -Ansichten.
• Verstehen der BigQuery-Sicherheitseinstellungen mit Dataform.
• Verwenden Sie Assertions zur Validierung von Daten in Dataform-Workflows.
• Automatisierte Ausführung von Dataform SQL-Workflows.