Google BigQuery: Einführung und grundlegende Konzepte in Köln

• Tag 1: Grundlagen, Architektur, Datenaufnahme, SQL
• 1. Einführung in BigQuery
  • Übersicht und Ziele: Was ist BigQuery und warum ist es 2026 wichtig?
  • Historische Entwicklung und Hauptmerkmale
  • Architektur: serverlose Welt mit Trennung von Speicher (Capacitor) und Compute (Dremel)
  • Platzierung innerhalb von Google Cloud
  • Anwendungs-Bereiche: typische Einsatz-Szenarien für BigQuery im Data Warehousing und Analytics
  • Markt-Welt 2026: Wettbewerb mit Snowflake (Cortex AI), Amazon Redshift (Amazon Q), Databricks (MosaicAI), Microsoft Fabric (Copilot)
  • BigQuery Editions (Standard, Enterprise, Enterprise Plus) seit 2023 als Preis-Welt
  • BigQuery Omni für Multi-Cloud (AWS S3, Azure Blob) als BigQuery-Stärke

• 2. Einrichtung und Konfiguration
  • Erste Schritte: Voraussetzungen für die Nutzung von BigQuery, Einrichtung eines Google Cloud-Projekts
  • Anlegen eines BigQuery-Datasets und erste Konfigurationen
  • Arbeits-Umgebung: Überblick über die BigQuery-Webkonsole, CLI und APIs
  • Aktualität: BigQuery Studio als integrierte Werkstatt seit 2024 - SQL, Python, Spark und Notebooks in einer Oberfläche, Versionierung über Git, Vertex AI-Anbindung nativ
  • Region-Auswahl mit Daten-Standort-Sicht (Frankfurt, Belgien, Niederlande, Finnland) für DSGVO-Welt

• 3. Datenaufnahme und -speicherung
  • Daten-Import: verschiedene Methoden (CSV, JSON, Avro, Parquet, ORC)
  • Daten-Quellen: Integration externer Quellen wie Google Sheets, Cloud Storage, Drive
  • Daten-Organisation: Tabellen, Datasets und Projekt-Strukturen in BigQuery
  • Aktualität: BigLake als Lakehouse-Welt seit 2023, Apache Iceberg Tables seit 2024 für Open Table Format mit Multi-Engine-Zugriff (BigQuery plus Spark plus Trino plus Flink)
  • Object Tables für unstrukturierte Daten (Bilder, Videos, Dokumente) mit Anbindung an Cloud Vision API und Document AI
  • BigQuery Data Transfer Service für automatisierte Übertragungen

• 4. Grundlegende Abfragen und SQL
  • BigQuery-SQL: Einführung in den SQL-Dialekt von BigQuery (Standard SQL)
  • Grundlegende Abfragen und Syntax
  • Abfrage-Optimierung: erste Schritte zur Optimierung für bessere Performance
  • Speicher und Kosten: Überblick über die Speicher-Optionen und Kosten-Modelle (Slots, On-Demand, Editions)
  • Aktualität: Gemini Code Assist in BigQuery Studio für KI-gestützte SQL-Erstellung; Natural Language to SQL über Gemini - Fragen auf Deutsch oder Englisch stellen, BigQuery generiert SQL

• Praxis-Übung 1: Einrichtung und erste Abfragen
  • Problem: BigQuery-Projekt einrichten und erste Daten-Abfragen durchführen, um die grundlegenden Funktionen und das Abfrage-System zu verstehen
  • Lösung: Google-Cloud-Projekt einrichten, BigQuery-Dataset erstellen, Rollen und Berechtigungen zuweisen, Beispiel-Datensatz importieren, grundlegende Abfragen durchführen, optional BigQuery Studio mit Gemini Code Assist nutzen
  • Tools: Google Cloud-Konto (Free Tier mit 300 USD Guthaben), BigQuery Studio, Beispiel-Datensatz
  • Ergebnis: funktionierendes BigQuery-Projekt mit erfolgreich durchgeführten Abfragen

• Tag 2: Erweiterte SQL, Gemini, Datenmodellierung
• 5. Erweiterte SQL-Funktionen
  • Joins und Subqueries: Nutzung von INNER, LEFT, RIGHT, FULL JOIN, Subqueries und Common Table Expressions (CTEs)
  • Fenster-Funktionen: Einführung und Anwendung für komplexe Analysen
  • User-Defined Functions (UDFs): Erstellung und Nutzung in SQL und JavaScript
  • Aktualität: Gemini-LLM-Funktionen in SQL (seit 2024): 
    • ML.GENERATE_TEXT für Text-Generierung mit Gemini-Modellen
    • ML.UNDERSTAND_TEXT für NLP-Aufgaben (Sentiment, Entity Recognition)
    • ML.TRANSLATE für Übersetzung in SQL
    • ML.GENERATE_EMBEDDING für Vector-Embeddings (text-embedding-004, multilingual-embedding)

  • Vector Search mit Cosine Similarity und Euclidean Distance für semantische Suche
• 6. Datenmodellierung und -organisation
  • Schema-Design: Best Practices für das Design von Daten-Modellen in BigQuery
  • Partitionierung und Clustering zur Optimierung der Abfrage-Performance
  • Nested und Repeated Data (BigQuery-spezifische Stärke): STRUCT- und ARRAY-Welten, Denormalisierung versus Normalisierung
  • Daten-Pflege: Strategien zur Pflege und Archivierung in BigQuery
  • Materialized Views und Continuous Queries für deklarative Aktualisierung
  • Aktualität: BigQuery ML-Modelle als Teil der Modellierungs-Welt (CREATE MODEL für Forecasting, Klassifikation, Regression, Anomalie-Erkennung)

• Tag 3: Pipelines, Sicherheit, BI, Schluss-Werkstatt
• 7. Integration und Datenpipelines
  • ETL-Prozesse: Aufbau und Verwaltung mit Google Cloud Dataflow und weiteren Werkzeugen
  • BigQuery Data Transfer Service: automatisierte Daten-Übertragungen
  • Echtzeit-Datenverarbeitung: Implementierung von Echtzeit-Pipelines mit Pub/Sub und Dataflow
  • Aktualität: Continuous Queries seit 2024 für SQL-basierte Streaming-Welten - deklarative Alternative zu klassischen Pub/Sub-Dataflow-Pipelines in vielen Welten
  • Integration externer ETL-Werkzeuge: dbt, Fivetran, Airbyte
  • Datastream für CDC-Welten (Change Data Capture)

• 8. Sicherheit und Berechtigungen
  • Zugriffs-Steuerung: Verwaltung von Zugriffs-Rechten und Rollen innerhalb von BigQuery (IAM)
  • Daten-Verschlüsselung: Überblick über die Verschlüsselungs-Optionen (Google-managed, Customer-managed Keys, Customer-supplied Keys)
  • Compliance: Einhaltung von Datenschutz-Richtlinien und gesetzlichen Anforderungen
  • Aktualität: DSGVO mit Daten-Residency in EU-Regionen (Frankfurt, Belgien, Niederlande, Finnland), Sovereign Cloud-Optionen
  • EU AI Act seit 2. August 2026 bei Gemini-Funktionen mit Transparenz-Pflicht
  • Column-Level Security, Row-Level Security, Dynamic Data Masking
  • VPC Service Controls und Private Service Connect

• Praxis-Übung 2: Implementierung einer modernen Datenpipeline mit Gemini
  • Problem: Datenpipeline zur Integration und Verarbeitung von Daten aus verschiedenen Quellen aufbauen, mit moderner Welt (Continuous Queries oder Materialized Views) und KI-Anreicherung über Gemini
  • Lösung: Daten aus zwei Quellen (CSV in Cloud Storage und Pub/Sub-Stream) in BigQuery integrieren, eine Materialized View oder Continuous Query für deklarative Aktualisierung erstellen, Gemini-LLM-Funktion für Anreicherung der Daten nutzen (z.B. ML.UNDERSTAND_TEXT für Sentiment auf Text-Spalten), Ergebnis in einem BI-Werkzeug visualisieren
  • Tools: BigQuery Studio, Pub/Sub als Quelle, Gemini-Anbindung über BigQuery ML, Looker Studio oder Tableau für BI
  • Ergebnis: funktionale Datenpipeline mit deklarativer Aktualisierung, Gemini-Anreicherung und BI-Visualisierung

• 9. Datenvisualisierung und Reporting
  • Integration mit BI-Werkzeugen: Verbindung von BigQuery mit Looker Studio (vormals Google Data Studio), Looker (Enterprise-BI), Tableau, Power BI
  • Erstellung interaktiver Dashboards und Berichte
  • Best Practices für Daten-Visualisierung und Dashboard-Design
  • Aktualität: Data Canvas in BigQuery Studio mit Gemini für KI-gestütztes Visual Query Building
  • Direct Query versus Daten-Import-Welt
  • Performance-Optimierung in der BI-Anbindung (BI Engine, Materialized Views, Reservations)

LernzieleJede teilnehmende Person verlässt das Seminar mit einem funktionierenden BigQuery-Projekt aus Praxis-Übung 1, einer modernen Datenpipeline mit deklarativer Aktualisierung und Gemini-Anreicherung aus Praxis-Übung 2, einem Verständnis für die 2024er- und 2026er-Welten (Gemini, BigQuery Studio, BigLake mit Iceberg, Editions, Omni, Object Tables, Vector Search), einer Sicherheits- und Compliance-Sicht mit DSGVO und EU-AI-Act-Bezug sowie konkreten Anwendungs-Ideen für die eigene Daten-Welt.ZielgruppenDieses Seminar richtet sich an Datenanalysten, Datenwissenschaftler, IT-Administratoren und BI-Experten, die ihre Kenntnisse in der Nutzung von BigQuery erweitern möchten. Grundlegende Kenntnisse in Datenanalyse und SQL sind hilfreich