Data Engineering für Einsteiger

Data Engineering macht das Leben von Data Scientists einfacher. Der Data Engineer ist eine der wichtigsten Personen in einer datengesteuerten Organisation.

Einführung in Data Engineering

• Was ist Data Engineering?
• Einführung in Data Engineering
• Dateningenieur versus Datenwissenschaftler
• Wesentliche Werkzeuge für Data Engineering

Datenbanken und Dataframes

• Einführung in Datenbanken und ihre Typen
• Verstehen von Datenbankschemata
• Verteiltes Rechnen

Daten-Engineering-Werkzeuge

• MapReduce und Hadoop
• Hive
• Spark
• Airflow

ETL-Pipelines

• Quellen der Datenextraktion
• Datenextraktion aus einer PostgreSQL-Datenbank
• Transformieren von Daten
• Laden von Daten in eine DB
• Planen der ETL-Pipeline mit Airflow

Es gibt so viele Schlagworte in der Tech-Branche in diesen Tagen. Man kennt sich aus mit maschinellem Lernen, künstlicher Intelligenz, neuronalen Netzwerken usw. Und obwohl das Schreiben von Algorithmen zur Erstellung von Vorhersagen eine wichtige neue Fähigkeit ist, ist es nicht die einzige, die man braucht, um in diesem Bereich einzusteigen. Im modernen Big-Data-System ist die Person, die Algorithmen schreibt, nicht diejenige, die die Daten bereinigt. Das Auslegen von Daten für Wissenschaftler und Forscher ist mittlerweile ein komplexes Problem für sich selbst. Das ist der Punkt, an dem Dateningenieure einspringen und ihre Rolle in diesem Ökosystem finden. Sie werden die Grundlagen des Data Engineering lernen. Sie werden damit beginnen, die Bedeutung von Data Engineering zu verstehen, wie es sich von Data Science unterscheidet und welche Tools Sie beherrschen sollten, um Datenpipelines zu entwickeln. Dann werden Sie die Grundlagen eines Big-Data-Systems untersuchen, wie Datenbanken und verteiltes Rechnen. Im weiteren Verlauf lernen Sie die Tools kennen, die bei der Entwicklung einer ETL-Datenpipeline für jede Art von Problem nützlich sein können. Abschließend werden Sie die erlernten Konzepte und Tools anwenden, um Ihre eigene ETL-Pipeline zu entwickeln und zu planen.