Développeur·euse de données_TG Quality Engineering TGQF

Job Description

Le titulaire de ce poste travaille en collaboration avec l’équipe produit et le ou la scientifique de données afin de livrer des solutions data et d’IA qui rendent les processus et les systèmes plus intelligents grâce au développement de pipelines de données conformes aux exigences des modèles de données prédictifs.

Iel est également imputable de l’accessibilité et de l’intégrité des ensembles de données requis.

Responsabilités

• Mener la conception, l’implantation et la maintenance des processus de transport des données requis par le ou la scientifique de données.
• Effectuer des opérations de transformation de données afin d’alimenter les modèles prédictifs.
• Mener des initiatives en architecture de données afin d’assurer le maintien de pipelines de données fiables pour les données structurées et non structurées.
• Concevoir les modèles de données évolutifs requis pour élaborer le modèle prédictif.
• Assurer la transition entre le pipeline et le modèle de données.
• Lorsque le modèle prédictif est entraîné, assurer son intégration dans les applications, les systèmes et les opérations.
• Intégrer les technologies afin de développer des solutions.
• Surveiller et effectuer le suivi de la qualité des données (fiabilité, cohérence, intégrité) et des dynamiques des flux de données.
• Assurer le suivi de la performance et rendre compte afin d’effectuer les ajustements nécessaires à l’infrastructure.
• Utiliser l’informatique distribuées pour entraîner les modèles.
• Contribuer à un large éventail de projets liés à la mise en œuvre de systèmes, de solutions et de processus courants et nouveaux.
• Effectuer toutes autres tâches connexes.

Qualifications

Formation :

• Diplôme universitaire en informatique ou en génie ou dans un domaine connexe.

Expérience pertinente :

• Minimum cinq années dans l’industrie travaillant avec des données, du codage, du script et la conception.
• Minimum cinq années en développement et en administration de grandes quantités de données.
• Minimum trois années en modélisation des données et en administration de bases de données NoSQL et SQL.

Habiletés :

• Capacité à élaborer des processus en fonction des concepts et des architectures de flux de données.
• Capacité à extraire, transformer et charger les données vers et depuis les systèmes.
• Capacité à configurer, utiliser et développer les systèmes de gestion de données.
• Capacité à développer des grands logiciels structurés en ayant recours aux méthodes de génie logiciel.
• Capacité à employer divers outils et langages (par exemple, Python, SQL, Bash) afin d’intégrer les systèmes.
• Compréhension du Machine Learning.
• Capacité à effectuer des recherches de façon autonome afin de trouver des solutions à des problèmes complexes.
• Connaissance des méthodologies Agile.

Connaissances :

• Expérience avec des environnement cloud (Databricks, Snowflake, AWS).
• Expérience en format de données iceberg et/ou delta.
• Expérience en modèles conceptuels COO.
• Expérience avec Spark, Scala, PySpark.
• Expérience en Flume, NiFi, Kafka ou d’autres outils de pipeline de données.
• Expérience en REST API.
• Expérience en C++, Csharp, Java et .Net.
• Grande connaissance des principes informatiques en algorithmes et en structures de données.
• Expérience en principes et en architectures orientés données, en analyse de flux de données et en diagrammes de flux de données.
• Expérience en affinage, en nettoyage, en transport et en intégrité des données.