DS Technologies Inc
Desarrollador de Databricks
Tiempo completo • Hybrid - US
Sobre nosotros: Somos una empresa que ofrece servicios y soluciones de TI innovadoras y transformadoras. Nos apasiona ayudar a nuestros clientes a alcanzar sus objetivos y superar sus expectativas. Nos esforzamos por ofrecer la mejor experiencia posible a nuestros clientes y empleados. Estamos comprometidos con la mejora continua y la innovación, y siempre estamos buscando formas de mejorar nuestros servicios y soluciones. Creemos en trabajar de forma colaborativa con nuestros clientes y empleados para lograr el éxito.
DS Technologies Inc está buscando un puesto de desarrollador en Databricks para uno de nuestros clientes principales.
Título del puesto: Desarrollador Databricks
Ubicación: Atlanta, GA (Híbrido)
Tipo de posición: Contarcto
Solo W2
Tipo de posición: Contarcto
Solo W2
Descripción del puesto:
Desarrollador de Pyspark y Databricks con un buen conocimiento de todo el ciclo de vida de ETL/Azure y experiencia en proyectos de datos.
Responsabilidades:
- Diseñar, desarrollar y mantener pipelines de datos escalables y procesos ETL utilizando Azure Databricks, Data Factory y otros servicios de Azure
- Implementar y optimizar trabajos de Spark, transformaciones de datos y flujos de trabajo de procesamiento de datos, gestión de cuadernos de Databricks, Delta Lake con Python, Delta Lake con SQL de Sparks en Databricks
- Aprovecha las mejores prácticas de Azure DevOps y CI/CD para automatizar los despliegues de despliegues/DAB y la gestión de pipelines e infraestructura de datos
- Garantizar comprobaciones de integridad de datos y comprobaciones de calidad de datos con errores cero en producción
- Entender las nuevas características de Databrick Catálogo de Unity/Flujo de lago/Despliegues DAB/Federación de Catálogos
- Experiencia práctica Extracción de datos (extracción, esquemas, registros corruptos, gestión de errores, código paralelizado), transformaciones y cargas (funciones definidas por el usuario, optimizaciones de uniones) y optimización en producción (automatizar ETL)
Cualificaciones:
- Licenciatura en informática, Tecnología de la Información o campo relacionado.
- Mínimo de 5 años de experiencia en ingeniería de datos o roles similares.
- Experiencia probada con Azure Databricks y frameworks de procesamiento de datos.
- Sólido conocimiento del almacenamiento de datos, procesos ETL y diseño de pipelines de datos.
- Experiencia con SQL, Python y Spark.
- Excelentes habilidades para resolver problemas y analizar.
- Comunicación efectiva y habilidades de trabajo en equipo.
Habilidades:
- Azure Databricks
- Python
- Chispa Apache
- SQL
- Procesos ETL
- Almacén de datos
- Diseño de Pipelines de Datos
- Arquitectura de la nube
- Afinación de Rendimiento
Opciones flexibles de teletrabajo disponibles.
Somos un empleador con igualdad de oportunidades y todos los candidatos calificados recibirán consideración por el empleo sin distinción de raza, color, religión, sexo, origen nacional, estado de discapacidad, estado de veterano protegido o cualquier otra característica protegida por la ley.
(si ya tienes un currículum en Indeed)