Ingeniero de plataforma Spark / Databricks

Ubicación
Austin, TX

Nivel de experiencia
Nivel Senior (8 o más años de experiencia)

Resumen del rol
El Ingeniero Databricks diseña, desarrolla y optimiza soluciones de datos escalables en la plataforma Databricks, aprovechando PySpark o Scala para el procesamiento de datos a gran escala. Operando con un alto grado de creatividad y margen, este rol implica construir tuberías de ingestión, implementar arquitectura medallón (capas Bronce, Plata y Oro) y diseñar modelos de datos dimensionales robustos. El ingeniero colabora con partes interesadas transversales para recopilar requisitos, realizar análisis coste/beneficio de soluciones alternativas e implementar marcos de gobernanza de datos, seguridad y calidad para apoyar iniciativas de salud pública empresarial e inteligencia empresarial.

Responsabilidades clave

Ingeniería de Canalizaciones y Plataformas de Datos
• Diseñar, desarrollar y optimizar soluciones de datos altamente escalables en Databricks utilizando Apache Spark, PySpark o Scala para un procesamiento de datos a gran escala.
• Construir, configurar y mantener robustas pipelines de ingestión ETL/ELT utilizando Lakeflow Declarative Pipelines (anteriormente Delta Live Tables / DLT).
• Implementar y mantener arquitecturas Delta Lake y estructuras de bases de datos medallón en capas de datos Bronce, Plata y Oro.
• Orquestar, programar y supervisar trabajos de producción offline utilizando Lakeflow Jobs (anteriormente Databricks Workflows) o herramientas equivalentes como Apache Airflow.

Modelado de Datos y Gobernanza de la Calidad
• Diseñar, desarrollar y dar soporte a almacenes de datos empresariales integrales utilizando modelado de datos dimensionales, incluyendo esquemas Star y Snowflake.
• Implementar una validación rigurosa de la calidad de los datos, controles de seguridad de datos, modelos de acceso a plataformas y marcos de gobernanza de datos.
• Analizar especificaciones del sistema, evaluar limitaciones operativas y realizar auditorías de datos para garantizar escalabilidad, seguridad y eficiencia de costes.

Análisis de negocio y perspectivas operativas
• Colaborar directamente con los grupos de interés empresariales, los gestores de programas y los colegas técnicos para comprender los objetivos operativos, identificar problemas y analizar los procedimientos actuales.
• Traducir objetivos empresariales de alto nivel en requisitos técnicos formales, documentación de diseño de sistemas y análisis coste/beneficio.
• Desarrollar paneles analíticos dinámicos y soluciones de informes de forma nativa dentro de Databricks, incluyendo paneles SQL de Databricks y aplicaciones Databricks, para ofrecer información operativa accionable.

Cualificaciones requeridas
• 8 o más años de experiencia en TI, apoyando el diseño, desarrollo, despliegue o entrega de soluciones tecnológicas.
• 8 o más años de experiencia con Databricks, incluyendo la construcción y optimización de pipelines de datos ETL/ELT usando Apache Spark.
• 8 o más años de experiencia en almacenamiento de datos y modelado de datos dimensionales, incluyendo esquemas Star y Snowflake.
• 8 o más años de competencia profesional utilizando SQL y Python (o Scala) para el procesamiento de datos a gran escala.
• 8 o más años de experiencia diseñando y desarrollando paneles y aplicaciones de forma nativa dentro de Databricks, como paneles SQL de Databricks o aplicaciones de Databricks.
• 8 o más años de experiencia implementando gobernanza de datos, métricas de calidad de datos y prácticas de seguridad de datos.
• 8 o más años de experiencia implementando Lakeflow Declarative Pipelines (anteriormente Delta Live Tables / DLT) para construir y gestionar pipelines de producción.
• 8 o más años de experiencia con Delta Lake, arquitectura medallón (capas Bronze, Silver, Gold), diseño de datalakehouses y programación de trabajos offline usando Lakeflow Jobs (anteriormente Databricks Workflows) o herramientas de orquestación similares.
• 8 o más años de experiencia comunicando especificaciones técnicas y presentando conocimientos basados en datos a partes interesadas técnicas y no técnicas.

Cualificaciones Preferidas
• 1 o más años de experiencia trabajando en entornos del sector público o del gobierno estatal.
• 1 o más años de experiencia implementando prácticas CI/CD para pipelines de datos, incluyendo flujos de trabajo de control de versiones basados en DevOps y Git.
• Certificación profesional de Databricks, como Databricks Certified Data Engineer Associate o Professional.

Habilidades y atributos básicos
• Sólidas habilidades analíticas, de pensamiento crítico y resolución de problemas, con un alto grado de creatividad y libertad.
• Excelentes habilidades de comunicación escrita y verbal para redactar descripciones detalladas de las necesidades del usuario y capacidades de los sistemas documentales.
• Enfoque proactivo y automotivado para gestionar conjuntos de datos complejos y multifuncionales y resolver problemas de carga de trabajo.
• Fuerte capacidad colaborativa para trabajar eficazmente con ingenieros de datos, administradores de bases de datos y socios comerciales.