Apache Kafka 4 Grundkurs: Streaming-Pipelines bauen
Baue einen KRaft-Cluster und eine durchgängige Streaming-Pipeline. Die komplette Übungsumgebung wird bereitgestellt.
Die wichtigsten Themen
KRaft-Cluster aufsetzen
Topics und Partitionen dimensionieren
Producer und Consumer konfigurieren
Schema-Änderungen steuern
CDC mit Kafka Connect umsetzen
Flink, Spark und Iceberg anbinden
Überblick Kafka 4 verwaltet Cluster-Metadaten ausschließlich mit KRaft; ZooKeeper gehört nicht mehr zur Architektur. Die viertägige Apache Kafka Schulung führt vom Metadaten-Quorum zu einer Pipeline, die Ereignisse aus einer...
Kafka 4 verwaltet Cluster-Metadaten ausschließlich mit KRaft; ZooKeeper gehört nicht mehr zur Architektur. Die viertägige Apache Kafka Schulung führt vom Metadaten-Quorum zu einer Pipeline, die Ereignisse aus einer Datenquelle übernimmt und für die Weiterverarbeitung bereitstellt. Eine eingerichtete Übungsumgebung enthält Broker, Controller, Producer und Consumer und ist ohne eigene Lizenzen nutzbar. Das Training zeigt an einem durchgängigen Datenfluss, wie Schlüssel die Partitionierung beeinflussen und Consumer-Gruppen Offsets verwalten. Producer serialisieren Ereignisse mit Avro und registrieren die zugehörigen Schemas in einer Schema Registry. Die Schema Registry prüft jede Änderung anhand festgelegter Kompatibilitätsregeln. Kafka Connect bindet Datenquellen und Zielsysteme an. Ein CDC-Connector liest Änderungen aus Datenbank-Logs, während Dead Letter Queues fehlerhafte Datensätze für die Analyse zurückhalten. TLS, SASL und ACLs schützen Transportwege und begrenzen Zugriffe auf Cluster-Ressourcen. Zum Abschluss liest Apache Flink 2 Ereignisse aus Kafka und schreibt Verarbeitungsergebnisse in Apache-Iceberg-Tabellen. Apache Spark wird als zweiter Verarbeitungspfad angebunden. Du testest die fertige Pipeline mit einem geänderten Schema und einem Consumer-Ausfall. So zeigt sich, ob Fehlerbehandlung und Wiederanlauf funktionieren. Bei einer Inhouse-Schulung stimmen wir die Übungsumgebung auf den Technik-Stack deines Teams ab.
Die Themen Broker-Rollen im Kafka-Cluster · KRaft-Controller und Metadaten-Quorum · Cluster-Konfiguration für Kafka 4 · Reihenfolge innerhalb einer Partition · Partitionierung durch passende Schlüssel...
Cluster-Architektur mit KRaft
- Broker-Rollen im Kafka-Cluster
- KRaft-Controller und Metadaten-Quorum
- Cluster-Konfiguration für Kafka 4
Topics, Partitionen und Replikation
- Reihenfolge innerhalb einer Partition
- Partitionierung durch passende Schlüssel
- Replikationsfaktor und In-Sync Replicas
Producer und Consumer
- Producer-Acknowledgements und Idempotenz
- Consumer-Gruppen und Offset-Verwaltung
- Zustellgarantien bei der Verarbeitung
Schemas und Avro
- Schema Registry für Avro-Ereignisse
- Kompatibilitätsregeln bei Schema-Änderungen
- Schema-Nutzung durch Producer und Consumer
Daten-Pipelines mit Kafka Connect
- Source-Connectors für Datenquellen
- Sink-Connectors für Zielsysteme
- CDC aus Datenbank-Logs
- Dead Letter Queues für Fehlerfälle
Monitoring und Absicherung
- Broker-Metriken und Consumer Lag
- Transportverschlüsselung mit TLS
- Authentifizierung über SASL
- Zugriffssteuerung mit ACLs
Flink, Spark und Iceberg
- Kafka-Ereignisse in Apache Flink 2
- Kafka-Quellen in Apache Spark
- Schreibpfade zu Apache-Iceberg-Tabellen
Pipeline-Test und Wiederanlauf
- Connector-basierte Aufnahme von Ereignissen
- Pipeline-Test mit geändertem Schema
- Wiederanlauf nach Consumer-Ausfall
Zielgruppe
- Data Engineers am Einstieg in Event-Streaming
- Softwareentwickler für ereignisbasierte Anwendungen
- Plattform- und DevOps-Fachkräfte für Dateninfrastruktur
- Lakehouse-Teams mit Spark-, Flink- oder Iceberg-Umgebungen
Das lernst du
- Eigenständiger Aufbau eines Kafka-4-Clusters mit KRaft
- Topics anhand von Durchsatz und Reihenfolge partitionieren
- Producer, Consumer und Schemas für einen Ereignisfluss konfigurieren
- CDC-Pipelines mit Kafka Connect umsetzen und überwachen
- Zugriffe mit TLS, SASL und ACLs absichern
- Kafka-Ereignisse für Flink, Spark und Iceberg bereitstellen, damit Lakehouse-Prozesse aktuelle Daten erhalten
So arbeiten wir
Kurze Fachimpulse wechseln mit angeleiteten Übungen, Konfigurationsaufgaben und Fehleranalysen. Eine durchgängige Pipeline verbindet die einzelnen Bausteine. Geräte, VMs und benötigte Software werden bereitgestellt.
Empfohlene Vorkenntnisse
- Grundkenntnisse in Linux und verteilten Anwendungen
- Erste Erfahrung mit Datenbanken oder Daten-Pipelines
Dein Fahrplan
- Broker und Controller starten
- Metadaten-Quorum untersuchen
- Topics und Partitionen anlegen
- Replikation im Cluster prüfen
Organisatorisches
Lernformate
Unsere Seminare bieten dir maximale Flexibilität: Du kannst zwischen Live-Online und Vor Ort in unseren modernen Schulungszentren im D-A-CH Raum wählen. Beide Formate garantieren dir die gleiche hohe Qualität und interaktive Lernerfahrung.
Schulungsarten
Wir bieten dir verschiedene Schulungsarten: Offene Seminare, Firmenseminare für Teams und Inhouse-Schulungen direkt bei dir vor Ort. So findest du genau das Format, das zu deinen Bedürfnissen passt.
Uhrzeiten
09:00-16:00 Uhr
Aktuelle Software
In unseren offenen Kursen arbeiten wir mit der aktuellsten Software-Version. So lernst du direkt mit den Tools und Features, die du auch in deinem Arbeitsalltag verwendest - praxisnah und zukunftsorientiert. Bei Inhouse- und Firmenschulungen bestimmt ihr die Version.
Deine Vorteile
Zufriedenheitsgarantie
Wir sind von unserer Qualität überzeugt. Sollte ein Training einmal nicht deinen Erwartungen entsprechen, bieten wir dir an, den Kurs kostenlos zu wiederholen oder ein anderes Training zu besuchen. Ohne Risiko, ohne Diskussion.
Inklusivleistungen
Deine Teilnahme beinhaltet: Schulungsmaterial, Zertifikat, Verpflegung (bei Präsenzveranstaltungen) und persönliche Betreuung durch unsere Trainer und unser Orga-Team. Alles aus einer Hand - keine versteckten Kosten.
Lernen von Experten
Unsere Trainer sind zertifizierte und erfahrene Profis mit jahrelanger Berufserfahrung. Sie vermitteln dir in den Kursen nicht nur theoretisches Wissen, sondern teilen ihre Erfahrungen aus realen Projekten und helfen dir, das Gelernte direkt in deiner täglichen Arbeit anzuwenden. Das ist kein Werbeversprechen, sondern unser Anspruch. Am besten siehst du das in unseren Bewertungen, z.B. auch bei Google.
Keine Vorkasse
Du zahlst erst nach dem Seminar. Keine Vorkasse, keine Vorauszahlung - so kannst du sicher sein, dass du nur für das bezahlst, was du auch wirklich erhalten hast. Die Rechnung erhältst du erst nach Kursbeginn.
Max. 8 Teilnehmende
Wir setzen auf kleine Gruppen, damit du die Aufmerksamkeit bekommst, die du verdienst. So haben wir mehr Zeit für deine individuellen Fragen und können gezielt auf deine Bedürfnisse eingehen.
Termine & Buchung
Leider haben wir aktuell keine Termine geplant. Es wird wahrscheinlich bei uns etwas schief gelaufen sein - bitte kontaktiere uns und wir finden den passenden Termin.
Nicht der passende Termin dabei?
Wir finden eine Lösung: anderer Termin, mehrere Teilnehmer, Inhouse-Schulung oder individuelle Beratung.
Lieber gleich das ganze Team schulen?
Diese Schulung gibt es auch exklusiv für dein Unternehmen, bei euch vor Ort, an unseren Standorten oder Live-Online. Inhalte und Termine nach Maß.
Inhouse-Schulung
Wir kommen zu euch: diese Schulung maßgeschneidert in euren Räumen, für Unternehmen und Behörden.
- Inhalte exakt auf euch zugeschnitten
- Termine nach euren Bedürfnissen
- Günstiger ab mehreren Teilnehmern
- Vertraute Umgebung, kein Reiseaufwand
Firmen-Seminar
Exklusiv für dein Team an einem unserer Standorte oder Live-Online, individuell angepasst.
- Geschlossene Gruppe aus eurem Haus
- Individuelle Terminplanung
- An unseren Standorten oder Live-Online
- Angepasste Inhalte
Fragen und Antworten zu Apache Kafka 4 Grundkurs: Streaming-Pipelines bauen
Was ist Apache Kafka?
Apache Kafka ist eine verteilte Plattform für Event-Streaming. Producer schreiben Ereignisse in partitionierte Topics, Consumer lesen sie unabhängig und in eigener Geschwindigkeit. Replikation hält Daten auf mehreren Brokern vor, während KRaft in Kafka 4 die Cluster-Metadaten ohne ZooKeeper verwaltet.
Was ist KRaft in Kafka 4?
KRaft ist das in Kafka integrierte Verfahren zur Verwaltung der Cluster-Metadaten und zur Wahl des aktiven Controllers. Ein Controller-Quorum protokolliert Änderungen an Topics, Partitionen und Brokern. Kafka 4 betreibt Cluster auf dieser Architektur ohne ZooKeeper.
Wann eignet sich Kafka Connect anstelle einer eigenen Producer-Anwendung?
Kafka Connect eignet sich für standardisierte Übertragungen zwischen Kafka und unterstützten Datenquellen oder Zielsystemen. Eine eigene Producer-Anwendung passt besser, wenn die Fachlogik Ereignisse während der Erzeugung anreichert oder ein spezielles Protokoll verarbeitet. Das Seminar vergleicht beide Ansätze an einer Daten-Pipeline.
Wie unterscheidet sich CDC von regelmäßigem Datenimport?
CDC liest einzelne Änderungen aus dem Transaktionsprotokoll einer Datenbank und überträgt sie als Ereignisse. Ein regelmäßiger Import verarbeitet meist vollständige Tabellen oder größere Datenblöcke zu festgelegten Zeiten. CDC liefert dadurch fortlaufende Änderungen für nachgelagerte Verbraucher.
Kann die Apache Kafka Schulung inhouse durchgeführt werden?
Eine Inhouse-Durchführung ist online oder vor Ort möglich. Inhalte und Übungen lassen sich auf Anfrage an euren Technik-Stack, vorhandene Datenquellen und die geplanten Zielsysteme anpassen.
Gibt es einen Nachweis für die Teilnahme?
Den passenden Nachweis für deine Personalakte klärst du vor der Buchung mit cmt. Das Training konzentriert sich auf die Anwendung von Kafka 4 und enthält keine separat ausgewiesene Zertifizierungsprüfung.
Brauche ich einen eigenen Laptop oder Softwarelizenzen?
Du brauchst keinen eigenen Laptop und keine Kafka-Lizenzen mitzubringen. Geräte, VMs und die benötigte Software werden für die Übungen bereitgestellt.
Welche Trainings passen nach dem Kafka 4 Grundkurs?
Für die Stream-Verarbeitung passt die Apache Flink 2 Schulung. Das Apache Iceberg Training vertieft die Lakehouse-Anbindung; Apache Airflow ergänzt die Orchestrierung geplanter Daten-Pipelines.
Weitere häufig gestellte Fragen und Antworten findest du in den FAQs.
Unser Qualitätsversprechen: Wissen, das in der Praxis funktioniert
Aus der Praxis für die Praxis
Schluss mit theoretischem Ballast. Wir trainieren dich für reale IT-Herausforderungen, nicht für Multiple-Choice-Tests. Unsere Trainer vermitteln dir genau das Wissen, das am nächsten Montagmorgen im Job wirklich funktioniert.
Individuell statt "Schema F"
Deine Fragen passen nicht ins Standard-Skript? Bei uns schon. Wir verzichten auf starre Lehrpläne und geben deinen konkreten Projekt-Fragen Raum. Unsere Trainer passen die Inhalte flexibel an das an, was dich und dein Team aktuell weiterbringt.
Maximale Freiheit: Remote oder vor Ort
Lerne so, wie es in deinen Alltag passt - ohne Reise-Stress und Zeitverlust. Egal ob remote, hybrid oder präsent vor Ort: Wir garantieren dir ein nahtloses und effektives Lernerlebnis, egal von wo du dich zuschaltest.
Mit Zufriedenheitsgarantie
Wir sind von unserer Qualität überzeugt - und wollen, dass du es auch bist. Sollte ein Training einmal nicht deinen Erwartungen entsprechen, bieten wir dir an, den Kurs kostenlos zu wiederholen oder ein anderes Training zu besuchen. Ohne Risiko, ohne Diskussion.
NOCH FRAGEN?
Rufe mich an oder schreibe mir eine E-Mail.
Michaela Berger
Über 20.000 Unternehmen und Behörden vertrauen auf uns
