Apache Spark en Microsoft Fabric

Es más que seguro que en pleno 2024 ya haz oído hablar sobre Apache Spark y en el mejor de los casos ya tienes experiencia utilizando este motor para procesamiento de datos a gran escala a través de alguna plataforma como Databricks, Azure Synapse, entre otros.

Así que -creo yo- que también era de esperarse que Microsoft Fabric lo incluya en sus áreas de trabajo para tareas de análisis, ingeniería y ciencia de datos.

Ahora, como cualquier solución de datos muchas veces es necesario que tengamos que trabajar procesando o interactuando con grandes volúmenes de información. Es por ello que, es importante conocer como podemos configurar o personalizar el cómputo u otros atributos asociados a Spark dentro de nuestra área de trabajo de Fabric.

Entonces, ¿Qué debemos conocer sobre el área de configuración de Spark?

Primero tenemos que saber donde podemos ver las configuraciones actuales y luego saber que significan cada una de ellas. Para ello, aquí te comparto una pequeña explicación:

Ya teniendo en claro estos conceptos, estamos listos para dar un vistazo a lo que podemos hacer con Spark dentro de Microsoft Fabric. Todo esto, en un siguiente capítulo.

Hasta la próxima!

-Key