MasterApp Labs
Senior Azure Databricks Data Engineer
Tiempo completo • Hybrid - US
Beneficios:
- Coincidencia 401(k)
- Seguro dental
- Seguro médico
- Seguro de visión
Título del puesto: Ingeniero de datos senior Azure Databricks
Ubicación: Indianápolis, IN (híbrido) - Presencial un día a la semana
Tipo de puesto: Contrato
Modo entrevista: Cámara web
Funciones del puesto
- Ayuda con la estrategia de tecnología de datos, incluyendo la resolución de problemas estratégicos de integración de datos, como la calidad y gestión de los datos, en tiempo real,
- Integración de datos basada en eventos y elaboración de una visión universal para la integración de datos
- Proporciona dirección y supervisión para el diseño e implementación de soluciones de datos para la integración y síntesis en múltiples sistemas seguros
- Ayuda en la definición, implementación y cumplimiento continuo de nuevas políticas de gestión de datos y estándares de diseño para la ingeniería de datos
- Proporciona asesoramiento, formación y apoyo técnico para diversos proyectos
- Participa en actividades del proyecto como la recopilación de requisitos, la revisión de soluciones y la explicación de complejidades técnicas a personal no técnico
- Trabajar estrechamente con los responsables de soluciones, gestores de proyectos, arquitectos de datos, científicos de datos y analistas de datos en el diseño, arquitectura e implementación de soluciones
- Ayuda en la extracción, transformación y carga de datos de una amplia variedad de fuentes utilizando diversas herramientas y métodos de ingeniería de datos.
- Diseña, construye y mantiene pipelines de datos por lotes y en streaming en Azure Databricks usando Py Spark, Spark SQL y Delta Lake, siguiendo una arquitectura de casa de lago medallón (bronce/plata/oro)
- Desarrolla, carga y ajusta modelos de datos dimensionales y cargas de trabajo SQL en Azure Synapse Analytics (pools SQL dedicados y serverless) para soportar necesidades de informes y paneles
- Orquesta y supervisa los flujos de trabajo de datos utilizando los flujos de trabajo de Databricks y las canalizaciones de Synapse o Azure Data Factory, incluyendo planificación, alertas y recuperación de fallos
- Aplica la gobernanza de datos y los controles de seguridad (por ejemplo, permisos del Catálogo de Unity, acceso basado en roles, seguridad a nivel de fila y columna, enmascaramiento de datos) para proteger datos de salud sensibles (PHI/PII) de acuerdo con HIPAA y la política de la agencia
- Ayuda a documentar y demostrar soluciones desarrollando documentación, diagramas de flujo, diseños, diagramas, diagramas, comentarios de código y código claro.
- Ayuda en las operaciones realizando análisis de sistemas; recomienda cambios en políticas y procedimientos.
- La descripción del puesto no está diseñada para cubrir ni contener una lista exhaustiva de actividades, deberes o responsabilidades que se exigen al empleado. Otras funciones, responsabilidades y actividades pueden cambiar o asignarse en cualquier momento.
Habilidades requeridas/deseadas
Habilidad | Requerido / Deseado | Cantidad | Años reales de experiencia
Máster en ciencia de datos, analítica, informática, informática, matemáticas, ingeniería o campo relacionado; O.... | Obligatorio | 4 |
Licenciatura en un campo relacionado más 2+ años de experiencia relevante; o 4+ años de experiencia práctica en un rol similar de ingeniería de datos; O... | Obligatorio | 4 |
Las certificaciones y cursos relevantes pueden sustituir los requisitos formales de educación/experiencia | Obligatorio | 4 |
Desarrollando con Databricks cuadernos en PySpark, Spark SQL y R, incluyendo transformaciones, uniones, agregaciones y funciones de ventana | Obligatorio | 4 |
transacciones ACID, upserts MERGE, aplicación/evolución de esquemas, viajes en el tiempo y mantenimiento de tablas (OPTIMIZE, orden Z, VACUUM) | Requeridos | 4 |
Trabajar con arquitectura medallion (bronce/plata/oro) e ingesta incremental mediante Auto Loader, Structured Streaming o Lakeflow/DLT | Requerido | 4 |
Uso del Catálogo de Unity para Espacios de Trabajo Catálogos, esquemas, permisos, linaje, ubicaciones externas y credenciales de almacenamiento | Obligatorio | 4 |
Ajustar el tamaño de clústeres y almacenes SQL y diagnosticar problemas de partición, barajado, sesgo y caché mediante Spark UI | Obligatorio | 4 |
Programación y gestión de dependencias con pipelines ADF, flujos de trabajo Databricks (Jobs) y uso de carpetas Git (Rep) para control de versiones | Obligatorio | 4 |
Diseño de tablas de almacén MPP, incluyendo distribución (hash, round-robin, replicado), índices de almacén de columnas y partición | Obligatorio | 4 |
Consulta de archivos Parquet, Delta y CSV en ADLS Gen2 usando OPENROWSET, tablas externas y vistas | Obligatorio | 4 |
Construcción de datos de esquemas estrellas, dimensiones, procedimientos almacenados y vistas, incluyendo SCD Tipo 1 y Tipo 2 | Requerido | 4 |
Desarrollar con COPY INTO, PolyBase y CETAS, y construir pipelines Synapse/ADF parametrizados (copy, flujos de datos, triggers) | Requerido | 4 |
Gestión de carga de trabajo, clases de recursos, estadísticas, vistas materializadas, caché de conjuntos de resultados y escalado/pausa de pools | Obligatorio | 4 |
Diseño de carpetas/formatos de archivo ADLS Gen2 (Parquet/Delta), control de acceso Entra ID, identidades gestionadas y Key Vault | Obligatorio | 4 |
Git y CI/CD en Azure DevOps o GitHub, incluyendo ramificaciones, PRs y despliegue de artefactos Synapse y paquetes de activos Databricks | Obligatorio | 4 |
Monitorizar pipelines y cargas de trabajo con Azure Monitor/Log Analytics y alertas, y solucionar problemas de trabajos fallidos | Obligatorio | 4 |
Fuertes habilidades de comunicación escrita y verbal | Obligatorio |
Uso de patrones de Microsoft lakehouse, incluyendo interoperabilidad y rutas de migración entre Synapse y Databricks | Obligatorio | 4 |
Asociado Ingeniero de Datos Certificado de Databricks (Ingeniero de Datos Certificado de Databricks Profesional a plus) | Muy solicitado |
Certificado Microsoft: Azure Data Engineer Associate (DP-203) si ya está en su posición | Muy solicitado |
Conectividad de Power BI a Synapse (Importar vs. DirectQuery) y cómo el diseño de modelos afecta al rendimiento del panel de control | Deseado | 4 |
Máster en ciencia de datos, analítica, informática, informática, matemáticas, ingeniería o campo relacionado; O.... | Obligatorio | 4 |
Licenciatura en un campo relacionado más 2+ años de experiencia relevante; o 4+ años de experiencia práctica en un rol similar de ingeniería de datos; O... | Obligatorio | 4 |
Las certificaciones y cursos relevantes pueden sustituir los requisitos formales de educación/experiencia | Obligatorio | 4 |
Desarrollando con Databricks cuadernos en PySpark, Spark SQL y R, incluyendo transformaciones, uniones, agregaciones y funciones de ventana | Obligatorio | 4 |
transacciones ACID, upserts MERGE, aplicación/evolución de esquemas, viajes en el tiempo y mantenimiento de tablas (OPTIMIZE, orden Z, VACUUM) | Requeridos | 4 |
Trabajar con arquitectura medallion (bronce/plata/oro) e ingesta incremental mediante Auto Loader, Structured Streaming o Lakeflow/DLT | Requerido | 4 |
Uso del Catálogo de Unity para Espacios de Trabajo Catálogos, esquemas, permisos, linaje, ubicaciones externas y credenciales de almacenamiento | Obligatorio | 4 |
Ajustar el tamaño de clústeres y almacenes SQL y diagnosticar problemas de partición, barajado, sesgo y caché mediante Spark UI | Obligatorio | 4 |
Programación y gestión de dependencias con pipelines ADF, flujos de trabajo Databricks (Jobs) y uso de carpetas Git (Rep) para control de versiones | Obligatorio | 4 |
Diseño de tablas de almacén MPP, incluyendo distribución (hash, round-robin, replicado), índices de almacén de columnas y partición | Obligatorio | 4 |
Consulta de archivos Parquet, Delta y CSV en ADLS Gen2 usando OPENROWSET, tablas externas y vistas | Obligatorio | 4 |
Construcción de datos de esquemas estrellas, dimensiones, procedimientos almacenados y vistas, incluyendo SCD Tipo 1 y Tipo 2 | Requerido | 4 |
Desarrollar con COPY INTO, PolyBase y CETAS, y construir pipelines Synapse/ADF parametrizados (copy, flujos de datos, triggers) | Requerido | 4 |
Gestión de carga de trabajo, clases de recursos, estadísticas, vistas materializadas, caché de conjuntos de resultados y escalado/pausa de pools | Obligatorio | 4 |
Diseño de carpetas/formatos de archivo ADLS Gen2 (Parquet/Delta), control de acceso Entra ID, identidades gestionadas y Key Vault | Obligatorio | 4 |
Git y CI/CD en Azure DevOps o GitHub, incluyendo ramificaciones, PRs y despliegue de artefactos Synapse y paquetes de activos Databricks | Obligatorio | 4 |
Monitorizar pipelines y cargas de trabajo con Azure Monitor/Log Analytics y alertas, y solucionar problemas de trabajos fallidos | Obligatorio | 4 |
Fuertes habilidades de comunicación escrita y verbal | Obligatorio |
Uso de patrones de Microsoft lakehouse, incluyendo interoperabilidad y rutas de migración entre Synapse y Databricks | Obligatorio | 4 |
Asociado Ingeniero de Datos Certificado de Databricks (Ingeniero de Datos Certificado de Databricks Profesional a plus) | Muy solicitado |
Certificado Microsoft: Azure Data Engineer Associate (DP-203) si ya está en su posición | Muy solicitado |
Conectividad de Power BI a Synapse (Importar vs. DirectQuery) y cómo el diseño de modelos afecta al rendimiento del panel de control | Deseado | 4 |
Opciones flexibles de teletrabajo disponibles.
Compensación: 43,35 $ la hora
(si ya tienes un currículum en Indeed)