Big Data III – Advanced Training (Live Online Training)

• Modul 1: Lakehouse & Architekturentscheidungen
  • Lakehouse & Medallion Layering
  • Storage-Formate (Delta, Iceberg, Hudi) im Vergleich
  • Governance- und Compliance-Anforderungen
  Modul 2: Echtzeitdaten & Streaming-Architekturen
  • Event Streaming mit Apache Kafka
  • Topics, Partitionierung, Rebalancing
  • Streaming vs. Microbatching
  Modul 3: Change Data Capture & Realtime Synchronisation
  • Einsatz von Debezium & Log-basierten CDC-Verfahren
  • Umgang mit Update/Deletes in Streaming-Systemen
  • Data Quality & Validierung in Streaming-Umgebungen
  Modul 4: Orchestrierung & Betrieb
  • Airflow / Dagster Workflows modellieren
  • Monitoring, Alerting, Logging & SLA-Konzepte
  • Fehlertoleranz & Wiederanfahren von Pipelines
  Modul 5: DataOps & Governance
  • Rollen, Verantwortlichkeiten & Betriebskonzepte
  • Data Catalogues, Metadata & Data Lineage
  • Data Contracts für unternehmensweite Standards
  Modul 6: MLOps – KI-Modelle produktiv betreiben
  • Versionierung, Deployment & Retraining-Zyklen
  • Modellüberwachung und Drift-Erkennung
  • Betriebsmodelle für KI in Data Plattformen

Methode