Stage - Self-distillation on-policy pour des modèles de langage spécialisés en télécommunications F/H

Publication date : Nov 05, 2026, 10:02AM

Contract duration : 6 months

Et si votre stage de fin d'études contribuait à bâtir l'un des premiers modèles de langage dédiés aux télécoms en Europe ?

Les grands modèles de langage savent beaucoup de choses, mais pas toujours le jargon des réseaux télécoms.

Le sujet : comment spécialiser un modèle sur ce domaine, sans qu'il perde en fiabilité ? Peut-il toujours s'appuyer sur les documents fournis, dire « je ne sais pas » quand il le faut, et rester solide sur des documents jamais vus ?

Pour y répondre, vous étudierez la self-distillation on-policy, une technique où le modèle apprend à partir de ses propres productions, avec un professeur figé ou co-évolutif. Vous explorerez une question ouverte, dont la réponse reste à trouver.

Les axes de travail envisagés :

• Reproduire un résultat publié avec son code officiel, pour valider votre chaîne expérimentale
• Construire un jeu d'évaluation télécom traçable : partitions par document, décontamination vis-à-vis des benchmarks publics, cas où le contexte ne suffit pas à répondre
• Comparer la self-distillation à deux méthodes de référence, un fine-tuning supervisé et un apprentissage par renforcement de type GRPO, à modèle initial identique et à budget de calcul documenté
• Étudier deux formes d'information privilégiée : la réponse de référence et le passage documentaire
• Évaluer les approches : exactitude, ancrage documentaire, abstention appropriée, robustesse, coût de calcul, avec des intervalles de confiance

Ces axes sont un point de départ : vos propres pistes sont les bienvenues, en lien étroit avec l'équipe d'encadrement.

Livrables attendus :

• Un pipeline d'entraînement et d'évaluation reproductible et testé
• Un jeu d'évaluation télécom traçable
• Un rapport d'ablations (un résultat négatif bien contrôlé compte comme un résultat)
• Un mémoire de stage et, si les résultats le permettent, une soumission en atelier (workshop)

Vous préparez un Bac+5 (école d'ingénieurs ou Master 2) en intelligence artificielle, machine learning, traitement du langage (NLP) ou mathématiques appliquées, et vous cherchez un stage de recherche de fin d'études de 5 à 6 mois.

Pour démarrer dans de bonnes condition :

• Des bases solides en mathématiques, statistiques et machine learning
• Vous êtes à l'aise en Python et PyTorch, avec de solides bases en machine learning et en statistiques
• Vous lisez l'anglais technique sans difficulté (articles scientifiques, échanges d'équipe)

Un vrai plus si vous avez déjà expérimenté :

• Les LLM : Hugging Face (Transformers, Datasets, TRL), fine-tuning, génération avec vLLM
• L'entraînement sur cluster GPU : SLURM, PyTorch FSDP avec Accelerate, Linux
• La recherche reproductible : git, pytest, suivi rigoureux des expériences
• La distillation, GRPO ou des outils d'évaluation comme Inspect AI
• Les réseaux télécoms

Votre façon de travailler :

• Curieux·se et autonome : vous aimez chercher ce que vous ne savez pas encore, et dire « je ne sais pas » pour avancer plus vite
• Méthodique face aux problèmes complexes
• À l'aise pour présenter vos travaux, à l'écrit comme à l'oral
• Ouvert·e à l'équipe : vous partagez vos avancées et aimez échanger

Nous lisons vos projets avec attention, qu'ils soient académiques ou personnels. ;)

Les ++++

• Un sujet de recherche rare en Europe, à forte valeur ajoutée pour le secteur des télécoms
• Une équipe d'une vingtaine de personnes à Châtillon (chercheurs, data scientists, data engineers), sur des sujets de pointe
• Des présentations régulières de vos travaux, suivies de vraies discussions
• Des échanges en anglais au quotidien, pour progresser en situation réelle
• Des occasions de participer à des réunions et workshops avec d'autres acteurs du secteur ( à l'international)
• Une équipesoudée et sympathique.

L'indemnité mensuelle brute de stage proposée est comprise entre 1300 et 1600 euros selon votre niveau d'études en cours.

À cela s'ajoutent l'accès aux activités sociales et culturelles proposées par votre comité social et économique, l'accès au restaurant d'entreprise ou aux titres-restaurant, ainsi que la prise en charge à hauteur de 50 % de votre abonnement au transport en commun.

Orange Innovation constitue la vitrine technologique du groupe, et se donne à ce titre les moyens d'explorer les sujets les plus avancés touchant aux métiers de l'opérateur.

Au sein de cette entité, la division Data & AI est reconnue pour son expertise. Vous serez intégré dans des programmes de développement de pointe et serez au contact d'experts reconnus dans leur domaine.

Desired start date : Mar 01, 2027, 12:00AM

At Orange, only your skills matter.

Regardless of your age, gender, background, origin, religion, sexual orientation, disability, neurodiversity, or appearance, we actively encourage diversity within our teams, as it is a collective strength and a driver of innovation.
Orange is a disability-inclusive employer: please feel free to let us know about any specific needs you may have.