# Stage - Self-distillation on-policy pour des modèles de langage spécialisés en télécommunications F/H at Orange

Orange is hiring a Stage - Self-distillation on-policy pour des modèles de langage spécialisés en télécommunications F/H. Level rates it Little AI ●○○○; you can [apply on Orange](https://jobsbylevel.com/go/fa3c88f2-8a46-4158-9974-9136e4553a90?utm_medium=ai-agent).

AI Level 1, AI centrality 34 out of 100. CHÂTILLON,FRANCE.

## Details

- Company: [Orange](https://jobsbylevel.com/companies/orange)
- AI level: AI Level 1 (score 34 out of 100)
- Location: CHÂTILLON,FRANCE
- Posted: November 5, 2026
- Apply: https://jobsbylevel.com/go/fa3c88f2-8a46-4158-9974-9136e4553a90?utm_medium=ai-agent
- Free CV review for this job: https://jobsbylevel.com/cv-review?job=stage-self-distillation-on-policy-pour-des-modeles-de-langage-specialises-en-telecommunications-f-h-at-orange-cac263

## Prepare for this job

The job page lists 5 likely interview questions for this offer, with a CV checklist: https://jobsbylevel.com/jobs/stage-self-distillation-on-policy-pour-des-modeles-de-langage-specialises-en-telecommunications-f-h-at-orange-cac263

## Description

Publication date : Nov 05, 2026, 10:02AM Contract duration : 6 months Et si votre stage de fin d'études contribuait à bâtir l'un des premiers modèles de langage dédiés aux télécoms en Europe ? Les grands modèles de langage savent beaucoup de choses, mais pas toujours le jargon des réseaux télécoms. Le sujet : comment spécialiser un modèle sur ce domaine, sans qu'il perde en fiabilité ? Peut-il toujours s'appuyer sur les documents fournis, dire « je ne sais pas » quand il le faut, et rester solide sur des documents jamais vus ? Pour y répondre, vous étudierez la self-distillation on-policy, une technique où le modèle apprend à partir de ses propres productions, avec un professeur figé ou co-évolutif. Vous explorerez une question ouverte, dont la réponse reste à trouver. Les axes de travail envisagés : Reproduire un résultat publié avec son code officiel, pour valider votre chaîne expérimentale Construire un jeu d'évaluation télécom traçable : partitions par document, décontamination vis-à-vis des benchmarks publics, cas où le contexte ne suffit pas à répondre Comparer la self-distillation à deux méthodes de référence, un fine-tuning supervisé et un apprentissage par renforcement de type GRPO, à modèle initial identique et à budget de calcul documenté Étudier deux formes d'information privilégiée : la réponse de référence et le passage documentaire Évaluer les approches : exactitude, ancrage documentaire, abstention appropriée, robustesse, coût de calcul, avec des intervalles de confiance Ces axes sont un point de départ : vos propres pistes sont les bienvenues, en lien étroit avec l'équipe d'encadrement. Livrables attendus : Un pipeline d'entraînement et d'évaluation reproductible et testé Un jeu d'évaluation télécom traçable Un rapport d'ablations (un résultat négatif bien contrôlé compte comme un résultat) Un mémoire de stage et, si les résultats le permettent, une soumission en atelier (workshop) Vous préparez un Bac+5 (école d'ingénieurs ou Master 2) en intelligence artificielle, machine learning, traitement du langage (NLP) ou mathématiques appliquées, et vous cherchez un stage de recherche de fin d'études de 5 à 6 mois. Pour démarrer dans de bonnes condition : Des bases solides en mathématiques, statistiques et machine learning Vous êtes à l'aise en Python et PyTorch, avec de solides bases en machine learning et en statistiques Vous lisez l'anglais technique sans difficulté (articles scientifiques, échanges d'équipe) Un vrai plus si vous avez déjà expérimenté : Les LLM : Hugging Face (Transformers, Datasets, TRL), fine-tuning, génération avec vLLM L'entraînement sur cluster GPU : SLURM, PyTorch FSDP avec Accelerate, Linux La recherche reproductible : git, pytest, suivi rigoureux des expériences La distillation, GRPO ou des outils d'évaluation comme Inspect AI Les réseaux télécoms Votre façon de travailler : Curieux·se et autonome : vous aimez chercher ce que vous ne savez pas encore, et dire « je ne sais pas » pour avancer plus vite Méthodique face aux problèmes complexes À l'aise pour présenter vos travaux, à l'écrit comme à l'oral Ouvert·e à l'équipe : vous partagez vos avancées et aimez échanger Nous lisons vos projets avec attention, qu'ils soient académiques ou personnels. ;) Les ++++ Un sujet de recherche rare en Europe, à forte valeur ajoutée pour le secteur des télécoms Une équipe d'une vingtaine de personnes à Châtillon (chercheurs, data scientists, data engineers), sur des sujets de pointe Des présentations régulières de vos travaux, suivies de vraies discussions Des échanges en anglais au quotidien, pour progresser en situation réelle Des occasions de participer à des réunions et workshops avec d'autres acteurs du secteur ( à l'international) Une équipesoudée et sympathique. L'indemnité mensuelle brute de stage proposée est comprise entre 1300 et 1600 euros selon votre niveau d'études en cours. À cela s'ajoutent l'accès aux activités sociales et culturelles proposées par votre comité social et économique,

The description is cut here. Read the full offer: https://jobsbylevel.com/jobs/stage-self-distillation-on-policy-pour-des-modeles-de-langage-specialises-en-telecommunications-f-h-at-orange-cac263

Source: https://jobsbylevel.com/jobs/stage-self-distillation-on-policy-pour-des-modeles-de-langage-specialises-en-telecommunications-f-h-at-orange-cac263

## Cite this page

Level. https://jobsbylevel.com/jobs/stage-self-distillation-on-policy-pour-des-modeles-de-langage-specialises-en-telecommunications-f-h-at-orange-cac263.

Get job alerts: https://jobsbylevel.com/newsletter