Stage Recherche - Évaluation des agents de deep research - F/H

Publication date : Oct 19, 2026, 2:38PM

Contract duration : 6 months

Stage Recherche - Évaluation des agents de deep research : méthodes fiables et
automatisées pour l’analyse de sorties longues en contexte scientifique

Résumé

L’IA agentique permet d’interroger de vastes ensembles de documents pour produire des synthèses structurées, recoupant des informations issues de sources diverses. Dans ledomaine de la recherche scientifique, ces agents peuvent servir à établir un état de l’art, à acquérir de nouvelles compétences ou à explorer l’évolution de méthodes spécifiques.
Cependant, dans le contexte scientifique, les productions longues doivent respecter des critères stricts : langage formel, sources vérifiées en double aveugle, exactitude des informations, absence d’hallucinations, style concis et précis. L’évaluation de ces sorties longues est une tâche chronophage pour les humains, tandis que les méthodes automatiques existantes ne sont pas toujours adaptées ou fiables.
Face à ce constat, l’une des pistes émergentes dans la littérature scientifique actuelle est le rubric scoring : des critères d’évaluation clairs et structurés, pouvant varier en fonction de la tâche demandée. Ces rubriques sont ensuite évaluées de manière automatique, notamment via des approches LLM-as-a-judge. Le rubric scoring constituera ainsi une piste de recherche centrale à explorer.

Vous serez amené à comparer différentes méthodes de construction des rubriques, qu’elles soient manuelles ou automatiques, pouvant inclure notamment le fine-tuning de petits modèles.

Vous serez également amené à évaluer la fiabilité des méthodes LLM-as-a-judge à répondre à ces rubriques afin de fournir l’évaluation finale, en cherchant le meilleur compromis entre performance et frugalité des méthodes d’évaluation.

Ce stage donnera lieu à la rédaction d’un rapport de stage détaillant la démarche et les résultats obtenus. Selon l’avancement et la qualité des travaux, il pourra également déboucher sur la rédaction et la soumission d’un article scientifique.

Références
[1] Sharma, Manasi, et al. "Researchrubrics: A benchmark of prompts and rubrics for evaluating deep research agents." International Conference on Learning Representations. Vol. 2026. 2026.
[2] Xu, Tianze, et al. "Researcherbench: Evaluating deep ai research systems on the frontiers of scientific inquiry." arXiv preprint arXiv:2507.16280 (2025).
[3] Tang, Jiaming, et al. "Quest: Query-aware sparsity for efficient long-context llm inference." arXiv preprint arXiv:2406.10774 (2024)

En dernière année de master Informatique ou d’école d’ingénieur informatique.
- Avec une spécialisation en traitement automatique des langues ou en data & IA
- Vous avez des compétences en deep learning
- Vous avez des compétences en python et l’habitudes d’utiliser les librairies data & ML

Vous serez intégré(e) à une équipe aux compétences diversifiées, comprenant des chercheurs, des data scientists, des ingénieurs et des développeurs.
Vous travaillerez sur un domaine determinant dans l’actualité de l’IA, ce qui ouvre ainsi des perspectives de carrière.

La direction Data & IA, au sein de l’entité Orange Innovation, a pour ambition de développer l’usage de la Data et de l’Intelligence Artificielle, en étroite collaboration avec les pays sur leurs cas d’usages et leurs besoins métier, tout en maintenant son niveau d’expertise élevé grâce à la recherche.
Dans cette direction, l’équipe DESKIN développe des produits et des services à base de technologies d’IA Générative et agentique pour le traitement automatique du langage naturel.
Plus précisément, les missions de l’équipe DESKIN sont:
1. Développer des outils d’IA multilingues, concevoir des solutions complètes de traitement, de manipulation, d’évaluation et visualisation de données textuelles à destination des directions métiers d’Orange, en utilisant les dernières technologies et modèles d’IA Génératives (exemple avec Visual CRM),
2. Accompagner les équipes métiers pays dans l’analyse de données textuelles et conversationnelles, pour des besoins Orange ou des besoins de clients externes,
3. Mener des travaux de recherche et d’anticipation pour développer ou adapter de nouvelles technologies d’IA adaptées aux contenus textuels.

Desired start date : Mar 01, 2027, 12:00AM

At Orange, only your skills matter.

Regardless of your age, gender, background, origin, religion, sexual orientation, disability, neurodiversity, or appearance, we actively encourage diversity within our teams, as it is a collective strength and a driver of innovation.
Orange is a disability-inclusive employer: please feel free to let us know about any specific needs you may have.