Von SSIS zu Azure Data Factory und Microsoft Fabric in Köln

• Tag 1: SSIS-Konzepte in der Cloud - ADF als Replatforming-Ziel
• 1. Standortbestimmung: SSIS-Landschaft bewerten und Migrationsziele definieren
  • SSIS-Bestandsaufnahme: Wie viele Pakete, welche Komplexität, welche Datenquellen, welche Abhängigkeiten (SQL Agent Jobs, Scheduling, File Watcher, Environment Variables)? Typische SSIS-Landschaften: 10 Pakete (einfach) vs. 500 Pakete (Enterprise DWH).
  • SSIS Migration Assessment Tool: Automatisierte Bewertung bestehender Pakete - welche lassen sich 1:1 migrieren, welche erfordern Umbau, welche sind nicht migrierbar (custom Components, Script Tasks mit COM-Interop).
  • Die drei Migrationspfade: Lift-and-Shift (Azure-SSIS IR), Replatform (ADF Pipelines), Modernize (Fabric Lakehouse). Entscheidungsmatrix: Zeitdruck, Budget, Modernisierungsziel, Skillverfügbarkeit, Komplexität der Pakete.
  • SSIS -> ADF/Fabric Konzept-Mapping: Control Flow -> Pipeline, Data Flow Task -> Mapping Data Flow, Package -> Pipeline, Connection Manager -> Linked Service, Variable -> Parameter/Variable, Expression -> Expression, For Each Loop -> ForEach Activity, Execute SQL Task -> Stored Procedure / Script Activity.
  • Praxis-Übung: SSIS Migration Assessment für 5 vorbereitete Demo-Pakete durchführen. Ergebnis interpretieren: Welche Pakete sind grün" (migrierbar), welche gelb" (anpassbar), welche rot" (Neuentwicklung)?

• 2. Lift-and-Shift: SSIS-Pakete auf Azure-SSIS Integration Runtime
  • Azure-SSIS Integration Runtime (IR): Eine vollständige SSIS-Laufzeitumgebung in Azure - bestehende Pakete laufen unverändert. SSISDB in Azure SQL Database oder Managed Instance, SQL Agent Scheduling über ADF-Trigger, Zugriff auf On-Premises-Datenquellen via Self-Hosted IR / VNet-Integration.
  • Konfiguration: Azure-SSIS IR erstellen, SSISDB migrieren, Pakete deployen, Scheduling einrichten. Performance-Konfiguration (Node-Anzahl, Node-Größe, Express Custom Setup für Drittanbieter-Komponenten).
  • Wann Lift-and-Shift? Hoher Zeitdruck (SQL Server 2016 EOL), Hunderte von Paketen (Replatforming zu aufwändig), keine Modernisierungsziele (SSIS funktioniert, soll nur in der Cloud laufen), als Zwischenschritt vor einer späteren Modernisierung.
  • Einschränkungen und Kosten: Azure-SSIS IR kostet auch wenn keine Pakete laufen (VM-basiert - starten/stoppen als Kostenoptimierung), keine neuen SSIS-Features, Abhängigkeit von SSISDB-Kompatibilität, nicht alle Custom Components laufen in Azure.
  • Praxis-Übung: Azure-SSIS IR in der Seminarumgebung erstellen, 3 Demo-Pakete aus der lokalen SSISDB migrieren, ausführen und Ergebnis prüfen. Scheduling über ADF-Trigger konfigurieren.

• 3. Replatform: SSIS-Logik in ADF-Pipelines übersetzen
  • ADF-Architektur im Überblick: Pipelines (Orchestrierung), Activities (einzelne Schritte), Linked Services (Verbindungen), Datasets (Datenstrukturen), Triggers (Scheduling), Integration Runtimes (Ausführungsumgebung). Data Factory vs. Synapse Pipelines (identische Engine, unterschiedliches Hosting).
  • Control-Flow-Migration: Sequence Container -> Pipeline-Gruppen, For Each Loop -> ForEach Activity, Execute SQL Task -> Stored Procedure / Script Activity, File System Task -> Copy Activity + Delete Activity, Send Mail Task -> Web Activity / Logic App, Execute Package Task -> Execute Pipeline Activity.
  • Data-Flow-Migration: SSIS Data Flow -> ADF Mapping Data Flow. Source -> Source Transformation, Lookup -> Lookup Transformation, Conditional Split -> Conditional Split, Derived Column -> Derived Column, Aggregate -> Aggregate, Sort -> Sort, Union All -> Union, Merge Join -> Join, OLE DB Destination -> Sink. Konzepte sind ähnlich - aber die Syntax (ADF Expression Language vs. SSIS Expressions) und das Debugging (ADF Data Flow Debug vs. SSIS Breakpoints) unterscheiden sich.
  • Was in ADF anders ist als in SSIS: Kein visueller Debugger mit Breakpoints (stattdessen: Data Preview, Debug Run), kein lokales Dateisystem (stattdessen: Blob Storage, Data Lake), keine Package-Variablen im SSIS-Sinn (stattdessen: Pipeline Parameters, Global Parameters), kein SSISDB (stattdessen: ARM Templates, Git Integration für Versionierung).
  • Praxis-Übung: Ein SSIS-Paket (CSV -> Staging -> Fact Table mit Lookup und Derived Column) Schritt für Schritt in eine ADF-Pipeline mit Mapping Data Flow übersetzen. Ergebnis vergleichen: Gleiche Daten im Ziel? Performance-Vergleich?

• 4. ADF vertiefen: Scheduling, Fehlerbehandlung und Monitoring
  • Trigger-Typen: Schedule Trigger (Cron-äquivalent), Tumbling Window Trigger (für historische Nachholläufe), Event Trigger (Blob Storage: Datei angelegt -> Pipeline startet), Custom Event Trigger (Event Grid).
  • Fehlerbehandlung: Activity-Dependency (Success, Failure, Completion, Skipped), If-Condition Activity für dynamische Logik, Web Activity für Alerting (Teams-Webhook, E-Mail), Retry Policies auf Activity-Level.
  • Monitoring und Alerting: ADF Monitor (Pipeline Runs, Activity Runs, Trigger Runs), Azure Monitor Integration (Alerts auf Failure, Duration, Data Movement), Log Analytics für historische Analyse und Dashboards.
  • Self-Hosted Integration Runtime: Zugriff auf On-Premises-Datenquellen (SQL Server, Fileshares, Oracle, SAP) aus ADF-Pipelines. Installation, Konfiguration, High Availability (Multi-Node), Netzwerk-Anforderungen (keine eingehenden Ports, nur ausgehend HTTPS).
  • Kosten verstehen und optimieren: ADF-Preismodell (Pipeline-Ausführungen, Data Movement Units, Mapping Data Flow Cluster-Stunden). Kostenvergleich SSIS On-Premises vs. ADF vs. Azure-SSIS IR. Optimierung: Data Flows nur starten wenn nötig, Copy Activity statt Data Flow für einfache Kopieraufgaben, IR-Sizing.
  • Praxis-Übung: Pipeline mit Schedule Trigger und Event Trigger konfigurieren. Fehlerbehandlung einbauen (bei Failure: Benachrichtigung via Web Activity). Self-Hosted IR installieren und On-Premises-SQL-Server als Quelle anbinden.

• Tag 2: Microsoft Fabric als Modernisierungsziel
• 5. Microsoft Fabric für SSIS-Profis: Paradigmenwechsel verstehen
  • Fabric-Architektur: OneLake (ein Data Lake für alles), Lakehouses (strukturierte Daten im Delta-Format), Warehouses (T-SQL auf Delta Tables), Data Pipelines (ADF-kompatibel), Dataflows Gen2 (Power-Query-basiert), Notebooks (Spark/Python/SQL), Eventstreams (Echtzeit). Alles in einer Plattform, ein Sicherheitsmodell, eine Governance.
  • Paradigmenwechsel ETL -> ELT: SSIS = ETL (Extract-Transform-Load: Daten werden VOR dem Laden transformiert, außerhalb der Datenbank). Fabric = ELT (Extract-Load-Transform: Daten erst laden, dann in der Zielplattform transformieren - mit Spark, SQL oder Dataflows). Warum ELT in der Cloud sinnvoller ist: Cloud-Compute ist elastisch, Transformation in der Zielplattform nutzt dessen Optimierungen.
  • SSIS-Konzepte -> Fabric-Konzepte: SSIS-Paket -> Fabric Data Pipeline + Dataflow Gen2/Notebook, SSISDB -> OneLake (kein separater Katalog, alles im Lake), SQL Agent Job -> Fabric Pipeline Trigger, Flat File Source -> OneLake File, OLE DB Source -> Lakehouse Table / Warehouse Table, Staging-Datenbank -> Lakehouse (Bronze Layer), Data Warehouse -> Warehouse (Gold Layer).
  • Praxis-Übung: Fabric-Workspace erstellen, Lakehouse anlegen, eine CSV-Datei in OneLake hochladen, mit T-SQL über den SQL Analytics Endpoint abfragen - der erste Hello World"-Moment in Fabric.

• 6. Fabric Data Pipelines und Dataflows Gen2: ETL-Logik neu gebaut
  • Data Pipelines in Fabric: Identische Engine wie ADF - Copy Activity, ForEach, If Condition, Stored Procedure, Notebook Activity. SSIS-Profis finden sich sofort zurecht. Unterschied: Ziel ist immer OneLake (Lakehouse oder Warehouse), nicht eine beliebige Datenbank.
  • Dataflows Gen2 (Power Query): Visuelle Datentransformation mit Power Query (M-Language). Für SSIS-Profis, die visuelle Transformationen gewohnt sind, eine intuitive Alternative zu Mapping Data Flows. Quellen: 200+ Connectors (SQL Server, Oracle, SAP, REST APIs, Flat Files). Transformationen: Merge, Append, Pivot, Unpivot, Group By, Conditional Column. Ziel: Lakehouse Table.
  • Notebooks (Spark/Python): Für komplexe Transformationslogik, die in Power Query oder Pipelines nicht abbildbar ist. PySpark, Spark SQL, pandas-on-Spark. Für SSIS-Profis mit Script-Task-Erfahrung der natürliche nächste Schritt.
  • Medallion-Architektur (Bronze-Silver-Gold): Bronze (Rohdaten, unverändert geladen - entspricht SSIS Staging), Silver (bereinigt, dedupliziert, standardisiert - entspricht SSIS Transformation), Gold (geschäftsfähig, aggregiert, modelliert - entspricht SSIS Fact/Dimension Load). Fabric Lakehouse als natürliche Heimat für Medallion.
  • Praxis-Übung: Das SSIS-Paket aus Topic 3 (CSV -> Staging -> Fact Table) in Fabric nachbauen: (1) Data Pipeline: Copy Activity lädt CSV in Lakehouse Bronze. (2) Dataflow Gen2: Transformation von Bronze nach Silver (Bereinigung, Lookup, Derived Column). (3) Notebook oder SQL: Aggregation von Silver nach Gold. Ergebnis vergleichen.

• 7. Mirroring, Shortcuts und hybride Szenarien
  • SQL Server Mirroring in Fabric: Echtzeit-Replikation von On-Premises SQL Server nach Fabric - ohne ETL-Pipeline. Daten erscheinen automatisch als Delta Tables im Lakehouse. Für SSIS-Profis: viele einfache Lade-Pakete (SELECT * FROM source -> INSERT INTO staging) werden durch Mirroring überflüssig.
  • OneLake Shortcuts: Virtuelle Verweise auf externe Datenquellen (Azure Data Lake, S3, Google Cloud Storage) - Daten werden nicht kopiert, sondern in-place abgefragt. Reduziert Datenbewegung und Kosten.
  • Hybride Szenarien: Nicht alles muss sofort migriert werden. Muster: SSIS lädt weiter in On-Premises SQL Server -> Mirroring repliziert nach Fabric -> Reporting auf Fabric. Oder: Einfache Pakete auf Fabric migrieren, komplexe Pakete auf Azure-SSIS IR als Zwischenlösung.
  • Praxis-Übung: SQL Server Mirroring konfigurieren (Demo-SQL-Server -> Fabric Lakehouse). Prüfen: Daten erscheinen in Echtzeit als Delta Table. Vergleich: Wie viele der 5 Demo-SSIS-Pakete aus Topic 1 werden durch Mirroring obsolet?

• Tag 3: Migrationsstrategie und Hands-on-Migration
• 8. Migrationsstrategie: Den richtigen Pfad für jedes Paket wählen
  • Paket-Klassifizierung: Nicht jedes Paket wird gleich migriert. Kategorien: (1) Einfache Kopie (SELECT->INSERT, Flat File->Table -> Mirroring oder Copy Activity), (2) Transformation mit Standardlogik (Lookup, Derived Column, Aggregate -> Dataflow Gen2 oder Mapping Data Flow), (3) Komplexe Logik (Script Tasks, Custom Components, komplexe Expressions -> Notebook oder Neuentwicklung), (4) Obsolet (Pakete, die nicht mehr gebraucht werden - jede Migration ist eine Chance aufzuräumen).
  • Entscheidungsmatrix pro Paket: Einfache Kopie -> Mirroring (kein ETL nötig) oder Copy Activity. Standard-Transformation -> Dataflow Gen2 (Fabric) oder Mapping Data Flow (ADF). Komplexe Logik -> Spark Notebook (Fabric) oder Azure-SSIS IR (Lift-and-Shift als Zwischenlösung). Scheduling-Abhängigkeiten -> Fabric Data Pipeline oder ADF Pipeline als Orchestrator.
  • Migrationsphasen für Enterprise-SSIS-Landschaften: Phase 1 (Quick Wins: einfache Kopierpakete -> Mirroring/Copy Activity, 20-40 % der Pakete), Phase 2 (Standard-ETL -> Dataflows Gen2/Mapping Data Flows, 40-60 % der Pakete), Phase 3 (Komplexe Pakete -> Notebooks oder Azure-SSIS IR, 10-20 % der Pakete), Phase 4 (Dekommissionierung: SSIS-Infrastruktur abschalten, SSISDB archivieren).
  • Parallelbetrieb und Cutover: SSIS und ADF/Fabric können parallel laufen - schrittweise Migration statt Big Bang. Validierung: Ergebnisse SSIS vs. ADF/Fabric vergleichen (Zeilenanzahl, Checksummen, Stichproben). Rollback: SSIS-Pakete bleiben lauffähig, bis die Cloud-Version validiert ist.
  • Praxis-Übung: Die 5 Demo-Pakete aus Topic 1 klassifizieren: welcher Migrationspfad für welches Paket? Migrationsphasen-Plan erstellen.

• 9. Hands-on: Drei SSIS-Pakete migrieren
  • Migration 1 - Einfaches Lade-Paket (Copy): SSIS-Paket: CSV-Datei -> Staging-Tabelle (keine Transformation). Migration: Fabric Mirroring oder Data Pipeline mit Copy Activity. Aufwand: 15 Minuten. Validierung: Zeilenanzahl vergleichen.
  • Migration 2 - Standard-ETL (Transformation): SSIS-Paket: Flat File -> Lookup (Referenztabelle) -> Derived Column (berechnetes Feld) -> Conditional Split (Fehlerbehandlung) -> Fact Table. Migration: Fabric Dataflow Gen2 mit Power Query: Merge Query (= Lookup), Custom Column (= Derived Column), Filter (= Conditional Split), Load to Lakehouse Table. Aufwand: 45 Minuten. Validierung: Stichproben und Aggregate vergleichen.
  • Migration 3 - Komplexe Orchestrierung: SSIS-Paket: For Each Loop über Dateien in einem Verzeichnis -> Execute SQL Task (Truncate Staging) -> Data Flow (Laden) -> Execute SQL Task (Stored Procedure für Merge/Upsert) -> Send Mail (Erfolg/Fehler). Migration: Fabric Data Pipeline: GetMetadata Activity (Dateien auflisten) -> ForEach Activity -> Copy Activity -> Stored Procedure Activity -> Web Activity (Teams-Webhook). Aufwand: 60 Minuten. Validierung: End-to-End-Lauf mit Monitoring.
  • Praxis-Übung: Alle drei Migrationen hands-on durchführen. Am Ende: 3 funktionierende Fabric-Pipelines/Dataflows, die die SSIS-Pakete ersetzen. Ergebnisvergleich: Sind die Daten identisch?

• 10. Governance, Monitoring und Kosten in der neuen Welt
  • Versionierung und Deployment: SSIS -> SSISDB Deployment (ispac-Dateien). ADF/Fabric -> Git Integration (Azure DevOps oder GitHub). ARM Templates oder Bicep für Infrastructure as Code. CI/CD für Datenpipelines (Build -> Test -> Deploy über Environments).
  • Monitoring: SSIS -> SSISDB Execution Reports, SQL Agent Job History. ADF -> Monitor Hub (Pipeline Runs, Activity Runs), Azure Monitor Alerts. Fabric -> Monitoring Hub, Capacity Metrics, Admin Portal.
  • Data Governance: SSIS -> keine eingebaute Governance. Fabric -> Microsoft Purview Integration (Data Lineage, Data Catalog, Sensitivity Labels). Automatische Lineage: Fabric dokumentiert, woher jede Tabelle kommt und welche Pipelines/Dataflows sie befüllen.
  • Kostenmodell: SSIS -> Serverkosten (Lizenz + Hardware). ADF -> Pay-per-Use (Pipeline Runs, Data Movement, Data Flow Cluster-Stunden). Fabric -> Capacity-basiert (F-SKUs, reserviert oder Pay-as-you-go). Kostenvergleich für typische Workloads: wann ist ADF günstiger, wann Fabric, wann Azure-SSIS IR?
  • Praxis-Übung: Git-Integration für den Fabric-Workspace konfigurieren. Lineage der migrierten Pipelines im Fabric Lineage View inspizieren. Kosten für die migrierten Workloads schätzen (Fabric Capacity Calculator).

• 11. Praxis-Workshop: Mein SSIS-Migrationsplan"
• Phase 1 - Bestandsaufnahme (15 Min):
  • Eigene SSIS-Landschaft beschreiben: Anzahl Pakete, Komplexitätsverteilung (einfach/mittel/komplex), Datenquellen, Scheduling, Abhängigkeiten, SQL-Server-Version, EOL-Druck.
  • Pakete klassifizieren (Mirroring / Copy / Dataflow / Notebook / Lift-and-Shift).

• Phase 2 - Zielplattform und Migrationsstrategie (20 Min):
  • Zielplattform wählen und begründen: ADF (wenn Azure-First, aber kein Fabric-Commitment), Fabric (wenn Microsoft-Data-Stack als Ganzes, Lakehouse-Architektur), Hybrid (Azure-SSIS IR für komplexe Pakete + Fabric für Neuentwicklung).
  • Migrationsphasen definieren (Quick Wins -> Standard-ETL -> Komplexe Pakete -> Dekommissionierung).
  • Timeline und Ressourcenbedarf schätzen.
  • Risiken identifizieren (Custom Components, Performance, Kosten, Skills).

• Phase 3 - Peer-Review (10 Min):
  • Migrationsplan vorstellen. Feedback: Ist die Phasierung realistisch? Fehlt ein Risiko? Ist die Zielplattform-Wahl begründet?

• Phase 4 - Skill-Entwicklungsplan (15 Min):
  • Gap-Analyse: Welche Skills hat mein Team (SSIS, T-SQL, SSISDB) vs. welche werden gebraucht (ADF Pipelines, Power Query/M, Spark/PySpark, Fabric, Git-basiertes Deployment)?
  • Weiterbildungs-Roadmap: GFU-Seminare als Bausteine - ADF (S2498/S4192), Fabric (S3013, S3876 DP-600, S6571 DP-700), Power Query (S2336), Spark (diverse).

LernzieleJede teilnehmende Person verlässt das Seminar mit der praktischen Erfahrung, drei SSIS-Pakete nach ADF/Fabric migriert zu haben, einem Verständnis aller drei Migrationspfade (Lift-and-Shift, Replatform, Modernize) mit Entscheidungsmatrix, einer Bestandsaufnahme und Klassifizierung der eigenen SSIS-Landschaft, einem individuellen Migrationsplan (Phasen, Timeline, Zielplattform, Risiken) und einem Skill-Entwicklungsplan für das Team.Zielgruppen

• SSIS-Entwickler und BI-Entwickler: Die ihre bestehenden ETL-Pakete in Azure Data Factory oder Microsoft Fabric überführen.
• SQL-Server-Administratoren: Die SSIS-Infrastruktur (SSISDB, SQL Agent, SSIS Catalog) betreiben und einen Cloud-Migrationspfad planen.
• Data Engineers: Die von On-Premises-ETL auf moderne Cloud-Datenintegration umsteigen.
• IT-Architekten und Entscheider: Die bewerten, ob ADF, Fabric oder ein Hybridmodell die richtige Zielplattform für bestehende SSIS-Workloads ist.

Voraussetzungen: Fundierte SSIS-Kenntnisse (Pakete entwickeln, Control Flow, Data Flow, Variablen, Expressions, Deployment). Idealerweise Besuch der GFU-Seminare SSIS Grundlagen" (S1029, 3T) oder SSIS Komplett" (S1825, 5T) oder vergleichbare Praxiserfahrung. Grundverständnis von Azure ist hilfreich, aber nicht zwingend.Abgrenzung: Dieses Seminar ist ein Migrationsseminar für SSIS-Profis - es setzt SSIS-Kenntnisse voraus und zeigt den Weg zu ADF und Fabric. Es ist kein SSIS-Einsteigerkurs (dafür: S1029, 3T), kein allgemeines ADF-Seminar (dafür: S2498/S4192, je 2T), kein Fabric-Zertifizierungskurs (dafür: DP-600 S3876 / DP-700 S6571) und kein allgemeines Cloud-Seminar (dafür: DP-900 S3047, 1T).