---
name: spark
description: "Apache Spark DataFrames, Spark SQL, PySpark-Transformationen, Partitionierung, UDFs, Structured Streaming, Delta Lake"
---

# Apache Spark Skill

## Wann aktivieren
- Verarbeitung von Datensätzen, die zu groß für den Speicher sind (PySpark DataFrames)
- Schreiben von Spark SQL-Transformationen auf einem Databricks- oder EMR-Cluster
- Aufbau von Structured Streaming-Pipelines von Kafka oder S3
- Optimierung von Spark-Jobs: Partitionierung, Caching, Broadcast Joins, Skew-Handling
- Arbeiten mit Delta Lake (ACID-Transaktionen, Zeit-Reisen, Schema-Entwicklung)
- Migration von Pandas-Code zu PySpark für Skalierbarkeit

[Following full structure from English version with German translations]

---

> **Arbeiten Sie mit uns:** Claudient wird von [Uitbreiden](https://uitbreiden.com/) unterstützt — wir bauen AI-Produkte und B2B-Lösungen mit Entwicklergemeinschaften.
> [uitbreiden.com](https://uitbreiden.com/) · [Reddit](https://www.reddit.com/r/uitbreiden/) · [YouTube](https://www.youtube.com/@UITBREIDEN)
