Data engineer SCALA/ SPARK

Description:

• Développer et maintenir les pipelines de données en utilisant les technologies Spark/Scala, en mettant l'accent sur les API DataFrame, Dataset et RDD. 
• La connaissance de la bibliothèque ScalaTest est également requise.
• Expérience pratique avec les composants Azure tels que ADLS (Azure Data Lake Storage), DataBricks, Azure Data Factory, Azure Analysis Services (DAX), DevOps (Terraform, Docker, Kubernetes), Azure Functions et KeyVault.
• Utilisation des IDE tels que Intellij, Visual Studio Code et Visual Studio pour le développement et le débogage.
• Travailler avec des données de différents formats tels que Avro, Parquet, JSON, CSV/Excel et Delta. La connaissance de Python serait un plus.
• Connaissance des technologies Kafka et Impala serait appréciée.
• Maîtrise des requêtes SQL pour la manipulation et l'interrogation des données.
• Connaissance en Python pour l'automatisation et les tâches de traitement des données.
• Familiarité avec les technologies Kafka et Impala pour le streaming de données et l'analyse interactive.
• Expérience avec les outils DevOps tels que Terraform, Docker et Kubernetes pour la gestion des infrastructures

Qualifications requises :

•  Excellente communication, gestion autonome du travail, compétences ETL, travail d'équipe, partage des connaissances, orienté qualité et objectifs, bonne organisation.
• Maîtrise de l'anglais, tant à l'écrit qu'à l'oral

Expérience exigée : entre 3 et 4 Ans.

Informations

Exigences

Compétences:

SYSTEM DATA SCALA AZURE Apache Spark API