AWS Glue: Datenintegration und -transformation in der Cloud

• Einführung in AWS Glue
  • Was ist AWS Glue?
  • Überblick über die Funktionen und Vorteile
  • Vergleich mit anderen ETL-Tools (z. B. Apache Spark, Talend)

• AWS Glue-Architektur und Komponenten
  • Glue Data Catalog
  • Glue Crawler und Klassifizierer
  • Glue Jobs und Entwicklungsendpunkte

• Datenquellen und -ziele in AWS Glue
  • Unterstützte Datenformate (z. B. JSON, CSV, Parquet)
  • Integration mit AWS-Services (S3, RDS, Redshift)
  • Verbindung zu externen Datenquellen

• Erstellung und Verwaltung von Glue Jobs
  • Erstellung von ETL-Jobs mit dem Glue Studio
  • Verwendung von PySpark und Scala für benutzerdefinierte Transformationen
  • Planung und Überwachung von Glue Jobs

• Übung am Ende des Tages:
  • Praktische Übung:  Die Teilnehmer erstellen einen einfachen ETL-Job, um Daten von einer  S3-Bucket zu extrahieren, zu transformieren und in eine andere S3-Bucket zu laden.

• Datenkatalog und Metadatenverwaltung
  • Erstellung und Verwaltung von Datenkatalogen
  • Nutzung von Crawlern zur automatischen Erkennung von Schemata
  • Metadatenverwaltung und -optimierung

• Erweiterte Datenverarbeitung mit AWS Glue
  • Verwendung von Dynamic Frames für flexible Datenverarbeitung
  • Umgang mit komplexen Datentypen und verschachtelten Strukturen
  • Optimierung von Glue Jobs für große Datenmengen

• Integration mit anderen AWS-Services
  • Integration mit AWS Lambda für serverlose Datenverarbeitung
  • Nutzung von AWS Step Functions für komplexe Workflows
  • Datenanalyse mit AWS Athena und Redshift

• Best Practices und Sicherheit in AWS Glue
  • Sicherheitsbest Practices (IAM-Rollen, Verschlüsselung)
  • Kostenoptimierung und Ressourcenmanagement
  • Fehlerbehandlung und Logging

• Übung am Ende des Tages:
  • Projektarbeit:  Die Teilnehmer entwickeln einen komplexen ETL-Workflow, der mehrere  Datenquellen integriert und transformiert, und präsentieren ihre  Ergebnisse.

LernzieleDas Seminar vermittelt fundierte Kenntnisse über die Nutzung von AWS Glue für Datenintegration und -transformation. Die Teilnehmer lernen, wie sie komplexe ETL-Workflows entwickeln, Datenkataloge verwalten und AWS Glue mit anderen AWS-Services integrieren können. Sie werden befähigt, effiziente und sichere Datenverarbeitungslösungen in der Cloud zu implementieren.Zielgruppen

• Data Engineers und Datenarchitekten, die ETL-Prozesse in der Cloud implementieren möchten
• Cloud-Architekten und DevOps-Ingenieure, die AWS-Services für Datenverarbeitung nutzen wollen
• Datenanalysten und Data Scientists, die große Datenmengen verarbeiten müssen
• IT-Manager und Entscheidungsträger, die Cloud-basierte Datenlösungen evaluieren

Voraussetzungen:

• Grundkenntnisse in Datenverarbeitung und ETL-Prozessen
• Erfahrung mit AWS-Services (z. B. S3, IAM)
• Grundkenntnisse in Python oder Scala sind von Vorteil