Streamlink
Data engineer SCALA/ SPARK
124 Application(s)
Description:
- Développer et maintenir les pipelines de données en utilisant les technologies Spark/Scala, en mettant l'accent sur les API DataFrame, Dataset et RDD.
- La connaissance de la bibliothèque ScalaTest est également requise.
- Expérience pratique avec les composants Azure tels que ADLS (Azure Data Lake Storage), DataBricks, Azure Data Factory, Azure Analysis Services (DAX), DevOps (Terraform, Docker, Kubernetes), Azure Functions et KeyVault.
- Utilisation des IDE tels que Intellij, Visual Studio Code et Visual Studio pour le développement et le débogage.
- Travailler avec des données de différents formats tels que Avro, Parquet, JSON, CSV/Excel et Delta. La connaissance de Python serait un plus.
- Connaissance des technologies Kafka et Impala serait appréciée.
- Maîtrise des requêtes SQL pour la manipulation et l'interrogation des données.
- Connaissance en Python pour l'automatisation et les tâches de traitement des données.
- Familiarité avec les technologies Kafka et Impala pour le streaming de données et l'analyse interactive.
- Expérience avec les outils DevOps tels que Terraform, Docker et Kubernetes pour la gestion des infrastructures
Qualifications requises :
- Excellente communication, gestion autonome du travail, compétences ETL, travail d'équipe, partage des connaissances, orienté qualité et objectifs, bonne organisation.
- Maîtrise de l'anglais, tant à l'écrit qu'à l'oral
Expérience exigée : entre 3 et 4 Ans.
Streamlink
stdClass Object ( [idEntry] => 1216 [name] => Streamlink [website] => www.streamlink.fr [fbpage] => https://www.facebook.com/StreamlinkSARL [codePostal] => 1082 [TextAdress] => Imm Golden Tower, centre urbain nord, Ariana [Phone] => 58920397 [logo] => https://dvz12xmz2ihps.cloudfront.net/bus_logos/cropped/1216-1689338292.png [fbAbout] => Notre société spécialisée dans le digital, SAP et le BI, est présente dans les domaines de la banque, de la finance, de l'assurance, du service et de l'industrie. Les collaborateurs Streamlink développent un fort partenariat avec leurs clients afin de mieux appréhender leurs besoins, leurs exigences ou leurs attentes. Nous essayons toujours de construire une relation à long terme où la qualité et la confiance priment et permettent à tous de bâtir le chemin du succès. [fbDescription] => [latitude] => [longitude] => [isDeleted] => 0 [cover] => https://dvz12xmz2ihps.cloudfront.net/bus_cover/cropped/1216-1689338822.png [enname] => Tunisia [regionname] => Ariana ) 1Website:
www.streamlink.frLocalisation:
Tunisia, ArianaStreet:
Imm Golden Tower, centre urbain nord, ArianaPostal code:
1082Discover the salary expectations of the candidates for the offer Data engineer SCALA/ SPARK
| Middle range: | 1595 - 1976 EUR |
| Average salary: | 1786 EUR |
| Lowest salary: | 500 EUR |
| Highest salary: | 2900 EUR |
Informations
Localisation:
France
Job type:
Office Full-TimeContract:
Mission
Estimations based on the salary expectations of the candidates for this offer