Apache Flink 2 Schulung: SQL und DataStream API
Entwickle zustandsbehaftete Kafka-Pipelines, teste Recovery per Checkpoint und schreibe Streams nach Iceberg oder Paimon.
Die wichtigsten Themen
Event Time und Watermarks beherrschen
Flink SQL für Kafka-Streams einsetzen
Zustand mit DataStream API verwalten
Exactly Once mit Checkpoints absichern
Flink auf Kubernetes bereitstellen
Iceberg oder Paimon anbinden
Überblick Die Apache Flink 2 Schulung führt einen Kafka-Ereignisstrom durch eine zustandsbehaftete Pipeline bis zu Apache Iceberg oder Apache Paimon. Du versiehst Ereignisse mit Zeitstempeln und konfigurierst Watermarks für...
Die Apache Flink 2 Schulung führt einen Kafka-Ereignisstrom durch eine zustandsbehaftete Pipeline bis zu Apache Iceberg oder Apache Paimon. Du versiehst Ereignisse mit Zeitstempeln und konfigurierst Watermarks für verspätet eintreffende Daten. Tumbling, Sliding und Session Windows gruppieren die Ereignisse nach Event Time. Flink SQL verarbeitet dynamische Tabellen, Joins und Aggregationen. Mit der DataStream API implementierst du eigene Zustandslogik mit Timern und Process Functions in Java.
Du simulierst einen Jobabbruch und stellst den Zustand aus einem Checkpoint wieder her. Anschließend prüfst du die Exactly-once-Verarbeitung vom Kafka-Offset bis zum Tabellen-Commit. Du startest den Job im Application Mode auf Kubernetes und untersuchst Backpressure mit Flink-Metriken und Logs. Alle Übungen verwenden dieselbe Pipeline mit Kafka als Quelle und einem persistenten Lakehouse-Ziel. cmt stellt die Übungsgeräte und die benötigte Software bereit. Die Gruppe umfasst höchstens acht Personen. Für dein Team passt cmt das Inhouse-Training an eure technische Umgebung an.
Die Themen JobGraph und Ausführungsplan in Flink 2 · Aufgaben von JobManager und TaskManager · Parallelität und verkettete Operatoren · Backpressure entlang des Datenflusses · Zeitstempel für die Event-Time-Semantik...
Flink-2-Architektur und Laufzeit
- JobGraph und Ausführungsplan in Flink 2
- Aufgaben von JobManager und TaskManager
- Parallelität und verkettete Operatoren
- Backpressure entlang des Datenflusses
Ereigniszeit und Zeitfenster
- Zeitstempel für die Event-Time-Semantik
- Watermark-Strategien für verspätete Ereignisse
- Tumbling Windows für feste Intervalle
- Sliding Windows für überlappende Intervalle
- Session Windows für Aktivitätsphasen
Flink SQL und dynamische Tabellen
- Kafka-Tabellen über SQL DDL
- Zeitattribute für dynamische Tabellen
- Window TVFs für zeitbasierte Aggregationen
- Zeitbezogene Joins zwischen dynamischen Tabellen
Table API und Datenmodelle
- Abfragepipelines mit der Table API
- Changelog-Modi für dynamische Tabellen
- Schema-Definition mit Flink-Datentypen
Zustand mit der DataStream API
- Keyed State für partitionierte Schlüsselströme
- Broadcast State für verteilte Regeln
- Timer in zustandsbehafteten Process Functions
- Operator-UIDs für die Savepoint-Zuordnung
Fehlertoleranz und Wiederherstellung
- Checkpoints für automatische Wiederanläufe
- Savepoints für geplante Jobänderungen
- Checkpoint Barriers im Ereignisstrom
- Exactly-once-Verarbeitung bis zur Senke
- Wiederanlauf nach simulierten Jobabbrüchen
- Rescaling mit wiederhergestelltem Zustand
Kafka und Lakehouse-Speicher
- Kafka-Quellen mit verwalteten Offsets
- Kafka-Senken mit Transaktionsgarantien
- Kataloge für Apache Iceberg oder Paimon
- Tabellen-Commits bei kontinuierlichen Schreibvorgängen
Bereitstellung und Fehleranalyse
- Application Mode auf Kubernetes
- Ressourcen für JobManager und TaskManager
- Persistenter Speicher für Checkpoints
- Flink-Metriken zur Analyse von Backpressure
- Konfiguration von Restart-Strategien
- Logauswertung nach fehlgeschlagenen Neustarts
Zielgruppe
- Data Engineers für Streaming-Pipelines
- Backend- und Java-Entwickler für Ereignisverarbeitung
- Platform Engineers für Flink auf Kubernetes
- Architekten für Lakehouse-Datenflüsse
Das lernst du
- Streaming-Pipelines mit Kafka, Flink 2 und einem persistenten Ziel entwickeln
- Verspätete Ereignisse so verarbeiten, dass Zeitfenster reproduzierbare Ergebnisse liefern
- Flink SQL, Table API und DataStream API nach dem benötigten Abstraktionsgrad auswählen
- Zustand mit Keyed State, Timern und Broadcast State modellieren
- Recovery aus Checkpoints testen und bestätigte Ergebnisse nach einem Neustart erhalten
- Flink auf Kubernetes bereitstellen und Verzögerungen anhand von Metriken lokalisieren
So arbeiten wir
Kurze Fachimpulse wechseln mit Live-Demos und Übungen an einer durchgängigen Kafka-Flink-Pipeline. Code-Reviews in Zweiergruppen prüfen SQL-Abfragen und DataStream-Code. Vorbereitete Fehlerszenarien machen Checkpoint-Recovery, Backpressure und Monitoring beobachtbar. Ein Abschlussworkshop verbindet Kubernetes-Deployment mit Iceberg oder Paimon.
Empfohlene Vorkenntnisse
- Praktische Kenntnisse in Java und SQL
- Grundlagen in Kafka, Linux und Containern
- Für Kubernetes empfiehlt sich der Kubernetes Grundkurs
Dein Fahrplan
- Flink 2 Laufzeit mit JobManager und TaskManager
- Kafka-Streams, Parallelität und Operator Chains
- Event Time, Zeitstempel und Watermarks
- Zeitfenster und verspätete Ereignisse
Organisatorisches
Lernformate
Unsere Seminare bieten dir maximale Flexibilität: Du kannst zwischen Live-Online und Vor Ort in unseren modernen Schulungszentren im D-A-CH Raum wählen. Beide Formate garantieren dir die gleiche hohe Qualität und interaktive Lernerfahrung.
Schulungsarten
Wir bieten dir verschiedene Schulungsarten: Offene Seminare, Firmenseminare für Teams und Inhouse-Schulungen direkt bei dir vor Ort. So findest du genau das Format, das zu deinen Bedürfnissen passt.
Uhrzeiten
09:00-16:00 Uhr
Aktuelle Software
In unseren offenen Kursen arbeiten wir mit der aktuellsten Software-Version. So lernst du direkt mit den Tools und Features, die du auch in deinem Arbeitsalltag verwendest - praxisnah und zukunftsorientiert. Bei Inhouse- und Firmenschulungen bestimmt ihr die Version.
Deine Vorteile
Zufriedenheitsgarantie
Wir sind von unserer Qualität überzeugt. Sollte ein Training einmal nicht deinen Erwartungen entsprechen, bieten wir dir an, den Kurs kostenlos zu wiederholen oder ein anderes Training zu besuchen. Ohne Risiko, ohne Diskussion.
Inklusivleistungen
Deine Teilnahme beinhaltet: Schulungsmaterial, Zertifikat, Verpflegung (bei Präsenzveranstaltungen) und persönliche Betreuung durch unsere Trainer und unser Orga-Team. Alles aus einer Hand - keine versteckten Kosten.
Lernen von Experten
Unsere Trainer sind zertifizierte und erfahrene Profis mit jahrelanger Berufserfahrung. Sie vermitteln dir in den Kursen nicht nur theoretisches Wissen, sondern teilen ihre Erfahrungen aus realen Projekten und helfen dir, das Gelernte direkt in deiner täglichen Arbeit anzuwenden. Das ist kein Werbeversprechen, sondern unser Anspruch. Am besten siehst du das in unseren Bewertungen, z.B. auch bei Google.
Keine Vorkasse
Du zahlst erst nach dem Seminar. Keine Vorkasse, keine Vorauszahlung - so kannst du sicher sein, dass du nur für das bezahlst, was du auch wirklich erhalten hast. Die Rechnung erhältst du erst nach Kursbeginn.
Max. 8 Teilnehmende
Wir setzen auf kleine Gruppen, damit du die Aufmerksamkeit bekommst, die du verdienst. So haben wir mehr Zeit für deine individuellen Fragen und können gezielt auf deine Bedürfnisse eingehen.
Termine & Buchung
Leider haben wir aktuell keine Termine geplant. Es wird wahrscheinlich bei uns etwas schief gelaufen sein - bitte kontaktiere uns und wir finden den passenden Termin.
Nicht der passende Termin dabei?
Wir finden eine Lösung: anderer Termin, mehrere Teilnehmer, Inhouse-Schulung oder individuelle Beratung.
Lieber gleich das ganze Team schulen?
Diese Schulung gibt es auch exklusiv für dein Unternehmen, bei euch vor Ort, an unseren Standorten oder Live-Online. Inhalte und Termine nach Maß.
Inhouse-Schulung
Wir kommen zu euch: diese Schulung maßgeschneidert in euren Räumen, für Unternehmen und Behörden.
- Inhalte exakt auf euch zugeschnitten
- Termine nach euren Bedürfnissen
- Günstiger ab mehreren Teilnehmern
- Vertraute Umgebung, kein Reiseaufwand
Firmen-Seminar
Exklusiv für dein Team an einem unserer Standorte oder Live-Online, individuell angepasst.
- Geschlossene Gruppe aus eurem Haus
- Individuelle Terminplanung
- An unseren Standorten oder Live-Online
- Angepasste Inhalte
Fragen und Antworten zu Apache Flink 2 Schulung: SQL und DataStream API
Was ist Apache Flink und wofür wird es eingesetzt?
Apache Flink ist ein verteiltes Framework für zustandsbehaftete Verarbeitung kontinuierlicher Datenströme. Es verarbeitet Ereignisse anhand von Event Time, hält Anwendungszustand über Operatoren hinweg und stellt ihn nach Fehlern aus Checkpoints wieder her. Typische Anwendungen sind laufende Aggregationen, Ereigniskorrelation und Streaming-ETL.
Was unterscheidet Flink SQL, Table API und DataStream API?
Flink SQL beschreibt relationale Verarbeitung über dynamische Tabellen. Die Table API bildet vergleichbare Operationen programmatisch ab. Die DataStream API gibt dir Zugriff auf Ereignisse, eigenen Zustand, Timer und Process Functions für anwendungsspezifische Streaming-Logik.
Wie erreicht Apache Flink Exactly Once?
Exactly Once entsteht durch konsistente Checkpoints der Operatorzustände und Quellpositionen sowie durch eine Senke mit koordiniertem Commit. Für eine Ende-zu-Ende-Garantie müssen Quelle und Senke das jeweilige Wiederanlaufverfahren unterstützen. Im Training testest du dieses Verhalten mit Kafka und einer persistenten Senke.
Behandelt die Schulung Apache Flink 2?
Die Übungen und Architekturthemen orientieren sich an Apache Flink 2. Versionsabhängige Connectoren für Kafka, Iceberg oder Paimon werden in einer abgestimmten Trainingsumgebung eingesetzt, damit API und Connector-Versionen zusammenpassen.
Welche Vorkenntnisse brauche ich für das Flink Training?
Du solltest Java und SQL praktisch anwenden können und die Grundlagen von Kafka kennen. Erfahrung mit Linux und Containern erleichtert die Übungen. Kubernetes-Grundkenntnisse unterstützen dich beim Deployment-Teil.
Muss ich ein Notebook oder Softwarelizenzen mitbringen?
cmt stellt die benötigten Geräte, virtuellen Umgebungen und Softwarekomponenten bereit. Du kannst dadurch direkt mit Kafka, Flink und Kubernetes arbeiten, ohne eine eigene Trainingsumgebung vorzubereiten.
Ist die Apache Flink Schulung als Inhouse-Training verfügbar?
cmt bietet die Schulung als Inhouse-Training und Firmenseminar an. Inhalte, Connectoren und Übungen lassen sich auf Anfrage an euren Technik-Stack sowie an anonymisierte Datenflüsse aus eurem Unternehmen anpassen.
Gibt es Angebote für mehrere Mitarbeiter?
Für mehrere Mitarbeiter erstellt cmt auf Anfrage ein passendes Angebot. Übermittle dazu die Teamgröße, das gewünschte Format und den geplanten Standort an cmt.
Weitere häufig gestellte Fragen und Antworten findest du in den FAQs .
Unser Qualitätsversprechen: Wissen, das in der Praxis funktioniert
Aus der Praxis für die Praxis
Schluss mit theoretischem Ballast. Wir trainieren dich für reale IT-Herausforderungen, nicht für Multiple-Choice-Tests. Unsere Trainer vermitteln dir genau das Wissen, das am nächsten Montagmorgen im Job wirklich funktioniert.
Individuell statt "Schema F"
Deine Fragen passen nicht ins Standard-Skript? Bei uns schon. Wir verzichten auf starre Lehrpläne und geben deinen konkreten Projekt-Fragen Raum. Unsere Trainer passen die Inhalte flexibel an das an, was dich und dein Team aktuell weiterbringt.
Maximale Freiheit: Remote oder vor Ort
Lerne so, wie es in deinen Alltag passt - ohne Reise-Stress und Zeitverlust. Egal ob remote, hybrid oder präsent vor Ort: Wir garantieren dir ein nahtloses und effektives Lernerlebnis, egal von wo du dich zuschaltest.
Mit Zufriedenheitsgarantie
Wir sind von unserer Qualität überzeugt - und wollen, dass du es auch bist. Sollte ein Training einmal nicht deinen Erwartungen entsprechen, bieten wir dir an, den Kurs kostenlos zu wiederholen oder ein anderes Training zu besuchen. Ohne Risiko, ohne Diskussion.
NOCH FRAGEN?
Rufe mich an oder schreibe mir eine E-Mail.
Michaela Berger
Über 20.000 Unternehmen und Behörden vertrauen auf uns
