Die wichtigsten Themen
DAGs professionell in Python coden
Komplexe Abhängigkeiten steuern
Custom Operators und Plugins bauen
Skalierung mit Celery und K8s
Monitoring und Alerting einrichten
Best Practices für Production
Überblick
Wer hier richtig ist
- Data Engineers und Data Scientists
- DevOps-Spezialistinnen und Backend-Entwickler
- Softwarearchitektinnen im Big Data Umfeld
- Für alle, die Datenprozesse automatisieren, überwachen und skalierbar gestalten wollen.
Das lernst du
Nach diesem Seminar sind die Teilnehmerinnen und Teilnehmer fähig, komplexe Data Pipelines mittels Apache Airflow zu konzipieren und zu implementieren. Sie verstehen die interne Architektur und können entscheiden, welcher Executor für welches Szenario geeignet ist. Zudem beherrschen sie Techniken zur Fehlerbehandlung und zum Monitoring, um einen stabilen Produktionsbetrieb zu gewährleisten.
Die Themen
- Architektur und Core-Konzepte
- Komponenten: Scheduler, Webserver, Metastore und Worker
- Lebenszyklus eines DAGs (Directed Acyclic Graph)
- Installation und Konfiguration der Entwicklungsumgebung
- Airflow CLI und Navigation im Web UI
- DAG Design und Implementation
- Definition von Workflows als Python-Code
- Einsatz von Standard-Operatoren (Bash, Python, SQL)
- Abhängigkeiten und Task-Reihenfolge definieren
- Scheduling-Intervalle und Backfilling-Strategien
- Fortgeschrittene Workflow-Steuerung
- Datenaustausch zwischen Tasks mittels XComs
- Verzweigungen und bedingte Ausführung (Branching)
- Dynamische DAG-Generierung für variable Workloads
- Trigger Rules und SLA-Definitionen
- Erweiterbarkeit und Customizing
- Entwicklung eigener Operatoren und Sensoren
- Hooks für die Anbindung externer Systeme (Cloud, DBs)
- Plugins zur Erweiterung der Funktionalität
- Best Practices für wiederverwendbaren Code
- Production Engineering und Deployment
- Executor-Modelle im Vergleich (Local, Celery, Kubernetes)
- Monitoring, Logging und Alerting-Strategien
- Fehlerbehandlung, Retries und Timeouts
- Unit Testing von DAGs und CI/CD Integration
So arbeiten wir
Das Seminar setzt auf eine intensive Mischung aus technischem Deep-Dive und praktischer Anwendung. Nach der theoretischen Einführung in die Konzepte setzen die Teilnehmerinnen und Teilnehmer das Gelernte direkt in einer bereitgestellten Lab-Umgebung um. Wir entwickeln sukzessive komplexere Pipelines, schreiben eigenen Code für Operatoren und simulieren Fehlerfälle, um das Debugging zu trainieren.
Empfohlene Vorkenntnisse
- Solide Kenntnisse in der Programmiersprache Python sind zwingend erforderlich.
- Grundlegendes Verständnis von SQL und allgemeinen Datenbankkonzepten wird vorausgesetzt.
Python Grundkurs intensiv
Linux Container Workshop - Docker und podman Intensivkurs
SQL Grundlagen und Datenbankdesign
Docker Grundkurs - Der komplette Einstieg
Dein Fahrplan
Termine & Buchung
Vor Ort
Online
Der passende Termin ist nicht dabei? Kontaktiere uns – wir finden die passende Lösung
Inhouse-Schulungen & Firmenseminare
Inhouse-Schulungen
Buche diese Schulung als maßgeschneiderte Inhouse-Schulung für dein Unternehmen oder deine Behörde. Unsere Trainer kommen zu dir und führen die Schulung in deinen Räumlichkeiten durch.
Vorteile:
- Maßgeschneiderte Inhalte für dein Unternehmen
- Flexible Terminplanung nach euren Bedürfnissen
- Kosteneffizient bei mehreren Teilnehmern
- Schulung in vertrauter Umgebung
- Fokus auf deine spezifischen Anforderungen
Firmen-Seminare
Firmen-Seminare finden an einem unserer Schulungsstandorte statt, sind aber maßgeschrneidert für dich und exklusiv für dein Team. Sie können auch online stattfinden.
Ideal für:
- Geschlossene Gruppen aus einem Unternehmen
- Individuelle Terminplanung für dein Team
- An unseren Schulungsstandorten oder Online
- Angepasste Inhalte für deine Anforderungen
Unser Qualitätsversprechen: Wissen, das in der Praxis funktioniert
Aus der Praxis für die Praxis
Schluss mit theoretischem Ballast. Wir trainieren dich für reale IT-Herausforderungen, nicht für Multiple-Choice-Tests. Unsere Trainer vermitteln dir genau das Wissen, das am nächsten Montagmorgen im Job wirklich funktioniert.
Individuell statt "Schema F"
Deine Fragen passen nicht ins Standard-Skript? Bei uns schon. Wir verzichten auf starre Lehrpläne und geben deinen konkreten Projekt-Fragen Raum. Unsere Trainer passen die Inhalte flexibel an das an, was dich und dein Team aktuell weiterbringt.
Maximale Freiheit: Remote oder vor Ort
Lerne so, wie es in deinen Alltag passt – ohne Reise-Stress und Zeitverlust. Egal ob remote, hybrid oder präsent vor Ort: Wir garantieren dir ein nahtloses und effektives Lernerlebnis, egal von wo du dich zuschaltest.
Mit Zufriedenheitsgarantie
Wir sind von unserer Qualität überzeugt – und wollen, dass du es auch bist. Sollte ein Training einmal nicht deinen Erwartungen entsprechen, bieten wir dir an, den Kurs kostenlos zu wiederholen oder ein anderes Training zu besuchen. Ohne Risiko, ohne Diskussion.
Fragen und Antworten zu Apache Airflow: Skalierbare Data Pipelines
Benötige ich Vorkenntnisse in Docker oder Kubernetes?
Wird Airflow 2.x verwendet?
Weitere häufig gestellte Fragen und Antworten findest du in den FAQs .
Ähnliche Kurse
Python Data Science Einstieg mit Pandas, Numpy & Co.
Data Science und Machine Learning - Einführung
Über 20.000 Unternehmen und Behörden vertrauen auf uns
