Prompt Engineer

Job Description

En tant que Prompt Engineer, vous jouerez un rôle central dans l’amélioration de fonctionnalités d’IA générative destinées à des usages cliniques et opérationnels. Vous contribuerez à faire évoluer la qualité des générations tout en participant à la structuration des pratiques entourant le prompting au sein de l’équipe. Plus précisément, vous serez amené·e à :

• Auditer et réarchitecturer les prompts monolithiques de CoeurWay : Convertir leur structure actuelle en une chaîne modulaire de prompts ciblés et maintenables, améliorant la robustesse, la débogabilité et l'adaptabilité ;
• Diriger la sélection et l'évaluation des modèles de langue : Évaluer et appairer les modèles aux tâches de prompting spécifiques, en favorisant une approche indépendante des modèles qui réduit la dépendance aux fournisseurs et optimise la qualité et les coûts ;
• Assurer la qualité des sorties cliniques générées par l'IA : Définir les critères de qualité, identifier les modes de défaillance et piloter l'amélioration continue par des processus de validation structurés ;
• Faire évoluer et réaligner le cadre d'évaluation existant : Améliorer la couverture du cadre couvrant actuellement 7 rubriques de qualité des notes cliniques, son potentiel d'automatisation et son alignement avec la réalité clinique ;
• Établir une approche systématique de validation des sorties : Identifier les cas limites, mettre en place des tests de régression pour les modifications de prompts et documenter les limitations connues ;
• Concevoir et mettre en œuvre de nouveaux prompts et suites d'évaluation : Soutenir les nouvelles fonctionnalités de CoeurWay et MYLE EMR avec des solutions de prompting et d'évaluation appropriées ;
• Mentorer et assurer la croissance de la pratique : Mentorer les futurs concepteurs de prompts à mesure que l'équipe se développe et participer aux décisions d'embauche.
• Contribuer à la documentation et aux meilleures pratiques : Établir et maintenir la documentation interne, les normes et les meilleures pratiques en matière d'ingénierie de prompting chez MEDFAR ;
• Rester à l'affût de l'évolution du paysage des LLM : Suivre les nouveaux modèles, techniques de prompting et méthodologies d'évaluation, et partager les résultats pertinents avec l'équipe ;
• Développer une compréhension approfondie des flux de travail cliniques : Acquérir l'expertise des besoins des prestataires de soins de santé et maintenir des relations étroites avec les équipes en contact avec les clients et les utilisateurs finaux ;
• Collaborer avec l'équipe GenAIOps : Assurer que les prompts sont prêts pour la production — observables, versionnés et déployables via des processus CI/CD établis ;

Qualifications

Idéalement, vous avez:

• 5 ans minimum d'expérience professionnelle en IA/ML, développement produit, linguistique computationnelle ou domaine connexe ;

• 2 ans minimum d'expérience pratique en prompt engineering dans des systèmes LLM en production, idéalement en contexte SaaS B2B ou industrie réglementée ;
• Expérience démontrée à décomposer des prompts complexes en architectures modulaires et chaînées, incluant des patterns tels que le chaînage de prompts, le routage, la réflexion ou l'utilisation d'outils ;
• Expérience dans la conception ou l'amélioration significative de cadres d'évaluation pour LLM — conception de rubriques, alignement inter-évaluateurs et analyse des modes de défaillance ;
• Forte familiarité avec les API commerciales de modèles génératifs avancés (OpenAI, Anthropic, Google, etc.) et compréhension des compromis pratiques entre elles ;
• Maîtrise avancée de l'anglais, écrit et parlé ;
• Maîtrise du français requise en raison des fréquentes interactions avec les clients ;

Atouts

• Expérience dans le domaine des technologies de l’information en santé, de la documentation clinique ou de cas d’usage liés aux soins ;
• Compréhension des concepts liés aux notes cliniques, à leur structure et à la pertinence des informations à inclure ou à exclure ;
• Expérience avec des approches d’évaluation automatisée de la qualité des générations, incluant l’utilisation de juges basés sur des LLM ;
• Expérience dans des contextes où plusieurs modèles sont utilisés selon différents besoins ou contraintes ;
• Familiarité avec les enjeux d’orchestration, de monitoring ou d’opérationnalisation de solutions de GenAI ;
• Intérêt marqué pour la création de standards, de documentation et de pratiques durables dans un domaine émergent.
• Maîtrise de Python ou d'un autre langage de programmation pour construire des pipelines d'évaluation ou des outils de prompting ;
• Expérience avec des modèles auto-hébergés ou de poids ouverts ;

Additional Information

Ce que nous vous offrons:

• Télétravail et flexibilité (équilibre entre vie professionnelle et vie privée).

• Contribution au REER

• Assurance collective complète dès le premier jour.

• Congé payé: 3 semaines + 1 entre Noël et le Nouvel An.

• Allocation annuelle de formation (1 500$) pour soutenir votre développement professionnel.

• Programme d'onboarding pour vous familiariser avec notre environnement et le domaine de la santé numérique

• Le matériel informatique est fourni, ainsi que d’autres équipements si nécessaire.

• Opportunités de croissance interne (promotions, mobilité interne)

• L’appui d’un comité bien-être et social, avec des initiatives favorisant la cohésion, la santé mentale et le bien-être de nos employés

• Une culture d'entreprise axée sur la transparence, la collaboration et l'innovation.

• Rejoindre un environnement dynamique et innovant, où votre travail a un impact concret et à grande échelle, en contribuant à moderniser les soins de santé tant au Canada qu’à l’international.

With offices around the world, fluency in both French and English is a must at MEDFAR. Because of the need to communicate with colleagues and/or customers in other provinces or countries, bilingualism enables us to communicate in both languages while promoting the use of French.

At MEDFAR, we value diversity, equity and inclusion within our team. We are committed to providing a work environment where every individual feels respected and supported, regardless of their background, identity or abilities.As part of our commitment to a fair and inclusive recruitment process, we offer accommodation to candidates who request it. If you need accommodation during your interview, please let us know so that we can provide you with an adapted experience.

MEDFAR has voluntarily subscribed to an Equal Employment Opportunity Program (EEOP). We encourage applications from women, visible minorities, ethnic minorities, aboriginal peoples and people with disabilities. When applying, we invite you to complete this section, which enables us to implement our Equal Employment Opportunity Program (EEOP). Self-identification is not compulsory, but may enable you to benefit from hiring or promotion measures if you have the skills required for the job.

To better understand the self-identification process, please consult this guide.