Data Engineer Databricks

À propos de nous:

fabskill partners

Description de l'offre:

Nous recherchons un(e) Data Engineer spécialisé(e) Databricks pour rejoindre Fabskill Partners et contribuer à la conception, au déploiement et à l'optimisation de pipelines de données sur AWS.

Responsabilités:

• Concevoir, développer et maintenir des pipelines de données robustes avec Databricks et Apache Spark.
• Intégrer et orchestrer des flux de données sur AWS en utilisant les meilleures pratiques CI/CD.
• Optimiser les performances des jobs Spark et assurer la scalabilité des solutions.
• Collaborer avec les équipes data science et analytics pour fournir des jeux de données fiables.
• Mettre en place des processus de monitoring, de logging et de gestion des incidents.

Exigences:

• Maîtrise de Databricks, Apache Spark et Python.
• Expérience avec les services AWS (S3, Redshift, EMR, etc.).
• Compétences en CI/CD pour l'automatisation des déploiements.
• 3 à 5 ans d'expérience en ingénierie des données.
• Capacité à travailler en équipe et à résoudre des problèmes complexes.

Informations

Requirements

Skills:

Databriks AWS Ci/cd Apache Spark PYTHON