PySpark Schulung: Daten-Pipelines mit Spark SQL bauen
DataFrames und Spark SQL verbinden, einen Dateistream verarbeiten und langsame Spark-Jobs untersuchen.
Die wichtigsten Themen
DataFrames mit festem Schema verarbeiten
Spark SQL über temporäre Views nutzen
Dateistream mit Checkpoint aufbauen
Fehler in Spark-Jobs untersuchen
Joins und Ausführungspläne prüfen
Überblick Ein Join auf großen DataFrames kann Daten zwischen Partitionen verschieben und die Laufzeit deutlich erhöhen. Ein falscher Spaltentyp kann Aggregationen verfälschen. Im Training entwickelst du eine PySpark-Pipeline,...
Ein Join auf großen DataFrames kann Daten zwischen Partitionen verschieben und die Laufzeit deutlich erhöhen. Ein falscher Spaltentyp kann Aggregationen verfälschen. Im Training entwickelst du eine PySpark-Pipeline, deren aggregierte Ausgabe du mit einer Kontrollabfrage auf Abweichungen gegenüber den Eingabedaten prüfst. Spark SQL greift über eine temporäre View auf denselben DataFrame zu. Der Ergebnisvergleich macht unterschiedliche Filter oder Aggregationen sichtbar.
Für neu eintreffende Dateien setzt du einen Structured-Streaming-Job auf, dessen Checkpoint den Fortschritt für die Wiederaufnahme nach einem Neustart speichert. Die Spark-Oberfläche zeigt bei langsamen Jobs, wie sich Tasks über Partitionen verteilen. Ausführungspläne machen Datenverschiebungen durch Joins sichtbar. Die Übungsumgebung steht bereit; für ein Firmenseminar kannst du anonymisierte Datenbeispiele einbringen.
Die Themen Dateien als Spark-DataFrames einlesen · Spaltentypen anhand eines Schemas prüfen · Fehlende Werte in Eingaben erkennen · Zeilen nach Bedingungen filtern · Spalten für die Ausgabe auswählen...
PySpark: DataFrames und Schemas
- Dateien als Spark-DataFrames einlesen
- Spaltentypen anhand eines Schemas prüfen
- Fehlende Werte in Eingaben erkennen
DataFrame-Transformationen
- Zeilen nach Bedingungen filtern
- Spalten für die Ausgabe auswählen
- Tabellen über gemeinsame Schlüssel verknüpfen
- Gruppenwerte mit Aggregationen berechnen
- Aggregierte Ergebnisse in Dateien schreiben
Spark SQL und Python
- Temporäre Views aus DataFrames anlegen
- SQL-Abfragen auf temporären Views formulieren
- SQL- und DataFrame-Ergebnisse vergleichen
Structured Streaming mit Dateiquellen
- Neue Dateien als Stream lesen
- Streaming-Ergebnisse in eine Ausgabe schreiben
- Verarbeitungsfortschritt über Checkpoints sichern
Fehleranalyse in Spark-Jobs
- Schemafehler anhand von Fehlermeldungen erkennen
- Jobs und Tasks in der Spark-Oberfläche prüfen
- Fehlerprotokolle am Übungsjob auswerten
Ausführungspläne und Performance
- Ausführungspläne eines Jobs lesen
- Datenverschiebung bei Joins untersuchen
- Partitionsverteilung im Job prüfen
Zielgruppe
- Python-Entwickler mit Datenverarbeitungsprojekten
- Data Engineers mit ersten verteilten Daten-Pipelines
- Datenanalysten mit Python-Erfahrung
Das lernst du
- Eine Batch-Pipeline mit PySpark DataFrames entwickeln und ihre Ausgabe prüfen
- Temporäre Views anlegen und Daten mit Spark SQL abfragen
- Einen Dateistream mit Structured Streaming und Checkpoint verarbeiten
- Schemafehler und fehlgeschlagene Spark-Jobs anhand von Protokollen untersuchen
- Ausführungspläne und Datenverschiebung prüfen, damit lange Jobs vor der nächsten Datenlieferung untersucht werden
So arbeiten wir
Kurze Erläuterungen wechseln mit Übungen an einer bereitgestellten Spark-Umgebung. Die Teilnehmer entwickeln eine Batch-Pipeline und eine kleine Streaming-Verarbeitung. Fehlerprotokolle, Ausführungspläne und die Spark-Oberfläche dienen als Material für die gemeinsame Job-Diagnose.
Empfohlene Vorkenntnisse
- Python-Kenntnisse, insbesondere Funktionen und grundlegende Datenstrukturen
Dein Fahrplan
Einführung in die bereitgestellte Spark-Umgebung. Dateien als DataFrames laden, Schemas prüfen und grundlegende Transformationen ausführen. Eine erste Batch-Pipeline mit kontrollierbarer Ausgabe entwickeln.
Organisatorisches
Lernformate
Unsere Seminare bieten dir maximale Flexibilität: Du kannst zwischen Live-Online und Vor Ort in unseren modernen Schulungszentren im D-A-CH Raum wählen. Beide Formate garantieren dir die gleiche hohe Qualität und interaktive Lernerfahrung.
Schulungsarten
Wir bieten dir verschiedene Schulungsarten: Offene Seminare, Firmenseminare für Teams und Inhouse-Schulungen direkt bei dir vor Ort. So findest du genau das Format, das zu deinen Bedürfnissen passt.
Uhrzeiten
09:00-16:00 Uhr
Aktuelle Software
In unseren offenen Kursen arbeiten wir mit der aktuellsten Software-Version. So lernst du direkt mit den Tools und Features, die du auch in deinem Arbeitsalltag verwendest - mit klarem Alltagsbezug und zukunftsorientiert. Bei Inhouse- und Firmenschulungen bestimmt ihr die Version.
Deine Vorteile
Zufriedenheitsgarantie
Wir sind von unserer Qualität überzeugt. Sollte ein Training einmal nicht deinen Erwartungen entsprechen, bieten wir dir an, den Kurs kostenlos zu wiederholen oder ein anderes Training zu besuchen. Ohne Risiko, ohne Diskussion.
Inklusivleistungen
Deine Teilnahme beinhaltet: Schulungsmaterial, Zertifikat, Verpflegung (bei Präsenzveranstaltungen) und persönliche Betreuung durch unsere Trainer und unser Orga-Team. Alles aus einer Hand - keine versteckten Kosten.
Lernen von Experten
Unsere Trainer sind zertifizierte und erfahrene Profis mit jahrelanger Berufserfahrung. Sie vermitteln dir in den Kursen nicht nur theoretisches Wissen, sondern teilen ihre Erfahrungen aus realen Projekten und helfen dir, das Gelernte direkt in deiner täglichen Arbeit anzuwenden. Das ist kein Werbeversprechen, sondern unser Anspruch. Am besten siehst du das in unseren Bewertungen, z.B. auch bei Google.
Keine Vorkasse
Du zahlst erst nach dem Seminar. Keine Vorkasse, keine Vorauszahlung - so kannst du sicher sein, dass du nur für das bezahlst, was du auch wirklich erhalten hast. Die Rechnung erhältst du erst nach Kursbeginn.
Max. 8 Teilnehmende
Wir setzen auf kleine Gruppen, damit du die Aufmerksamkeit bekommst, die du verdienst. So haben wir mehr Zeit für deine individuellen Fragen und können gezielt auf deine Bedürfnisse eingehen.
Termine & Buchung
Leider haben wir aktuell keine Termine geplant. Es wird wahrscheinlich bei uns etwas schief gelaufen sein - bitte kontaktiere uns und wir finden den passenden Termin.
Nicht der passende Termin dabei?
Wir finden eine Lösung: anderer Termin, mehrere Teilnehmer, Inhouse-Schulung oder individuelle Beratung.
Lieber gleich das ganze Team schulen?
Diese Schulung gibt es auch exklusiv für dein Unternehmen, bei euch vor Ort, an unseren Standorten oder Live-Online. Inhalte und Termine nach Maß.
Wie die Planung abläuft, was ein Zuschnitt kostet und welche Themen wir abdecken, steht auf unserer Seite zu Inhouse Schulungen im Bereich Big Data.
Inhouse-Schulung
Wir kommen zu euch: diese Schulung maßgeschneidert in euren Räumen, für Unternehmen und Behörden.
- Inhalte exakt auf euch zugeschnitten
- Termine nach euren Bedürfnissen
- Günstiger ab mehreren Teilnehmern
- Vertraute Umgebung, kein Reiseaufwand
Firmen-Seminar
Exklusiv für dein Team an einem unserer Standorte oder Live-Online, individuell angepasst.
- Geschlossene Gruppe aus eurem Haus
- Individuelle Terminplanung
- An unseren Standorten oder Live-Online
- Angepasste Inhalte
Fragen und Antworten zu PySpark Schulung: Daten-Pipelines mit Spark SQL bauen
Was ist PySpark und wofür wird es in Daten-Pipelines verwendet?
PySpark ist die Python-Schnittstelle von Apache Spark. Damit lassen sich Daten als DataFrames verteilt verarbeiten und mit Spark SQL abfragen. Eine Daten-Pipeline liest Eingaben, verändert sie nach festgelegten Regeln und schreibt das Ergebnis. PySpark verteilt diese Arbeit auf mehrere Prozesse; Schemafehler und aufwendige Verarbeitungsschritte bleiben bei der Entwicklung sichtbar.
Wann nutze ich Spark SQL und wann die DataFrame-API?
Spark SQL eignet sich für Abfragen, die sich gut als SQL-Ausdruck formulieren lassen. Die DataFrame-API ist hilfreich, wenn Python-Code Verarbeitungsschritte dynamisch zusammensetzt. Beide Wege arbeiten mit Spark DataFrames und lassen sich innerhalb einer Pipeline kombinieren.
Was ist Structured Streaming in PySpark?
Structured Streaming verarbeitet neu eintreffende Daten fortlaufend mit der Spark-API. In der Schulung kommt dafür eine Dateiquelle zum Einsatz. Ein Checkpoint speichert den Verarbeitungsfortschritt, damit ein Job nach einem Neustart an der vorgesehenen Stelle weiterarbeiten kann.
Welche Vorkenntnisse brauche ich für die PySpark Schulung?
Python-Kenntnisse im Umgang mit Funktionen und grundlegenden Datenstrukturen werden vorausgesetzt. Spark-Erfahrung brauchst du nicht. Falls du Python erst auffrischen möchtest, ist der Python 3 Grundkurs intensiv ein möglicher Einstieg.
Erhalte ich nach der Schulung einen Nachweis?
Eine Teilnahmebescheinigung als Nachweis kannst du vor der Buchung bei cmt anfragen. Eine offizielle Herstellerprüfung ist für diese Schulung nicht vorgesehen.
Kann unser Team die Schulung inhouse besuchen?
Die PySpark Schulung ist auch als Inhouse-Training für dein Team möglich. Für ein Angebot und die Abstimmung geeigneter, anonymisierter Datenbeispiele kannst du cmt kontaktieren.
Weitere häufig gestellte Fragen und Antworten findest du in den FAQs.
Unser Qualitätsversprechen: Wissen, das in der Praxis funktioniert
Aus der Praxis für die Praxis
Schluss mit theoretischem Ballast. Wir trainieren dich für reale IT-Herausforderungen, nicht für Multiple-Choice-Tests. Unsere Trainer vermitteln dir genau das Wissen, das am nächsten Montagmorgen im Job wirklich funktioniert.
Individuell statt "Schema F"
Deine Fragen passen nicht ins Standard-Skript? Bei uns schon. Wir verzichten auf starre Lehrpläne und geben deinen konkreten Projekt-Fragen Raum. Unsere Trainer passen die Inhalte flexibel an das an, was dich und dein Team aktuell weiterbringt.
Maximale Freiheit: Remote oder vor Ort
Lerne so, wie es in deinen Alltag passt - ohne Reise-Stress und Zeitverlust. Egal ob remote, hybrid oder präsent vor Ort: Wir garantieren dir ein nahtloses und effektives Lernerlebnis, egal von wo du dich zuschaltest.
Mit Zufriedenheitsgarantie
Wir sind von unserer Qualität überzeugt - und wollen, dass du es auch bist. Sollte ein Training einmal nicht deinen Erwartungen entsprechen, bieten wir dir an, den Kurs kostenlos zu wiederholen oder ein anderes Training zu besuchen. Ohne Risiko, ohne Diskussion.
NOCH FRAGEN?
Rufe mich an oder schreibe mir eine E-Mail.
Michaela Berger
Über 20.000 Unternehmen und Behörden vertrauen auf uns
