---
name: spark
description: "DataFrames de Apache Spark, Spark SQL, transformaciones de PySpark, particionamiento, UDFs, Structured Streaming, Delta Lake"
---

# Habilidad de Apache Spark

## Cuándo activar
- Procesamiento de conjuntos de datos demasiado grandes para caber en memoria (DataFrames de PySpark)
- Escritura de transformaciones de Spark SQL en un cluster de Databricks o EMR
- Construcción de pipelines de Structured Streaming desde Kafka o S3
- Optimización de trabajos de Spark: particionamiento, caché, broadcast joins, manejo de sesgos
- Trabajo con Delta Lake (transacciones ACID, viaje en el tiempo, evolución de esquema)
- Migración de código de Pandas a PySpark para escalabilidad

[Following full structure from English version with Spanish translations]

---

> **Trabaje con nosotros:** Claudient es respaldado por [Uitbreiden](https://uitbreiden.com/) — construimos productos de IA y soluciones B2B con comunidades de desarrolladores.
> [uitbreiden.com](https://uitbreiden.com/) · [Reddit](https://www.reddit.com/r/uitbreiden/) · [YouTube](https://www.youtube.com/@UITBREIDEN)
