Doctorant Phd Position Grounding a Multimodal Speech Language Model Through Physical And Social Interaction H/F - 38

A propos d'Inria

Inria est l'institut national de recherche dédié aux sciences et technologies du numérique. Il emploie 2600 personnes. Ses 215 équipes-projets agiles, en général communes avec des partenaires académiques, impliquent plus de 3900 scientifiques pour relever les défis du numérique, souvent à l'interface d'autres disciplines. L'institut fait appel à de nombreux talents dans plus d'une quarantaine de métiers différents. 900 personnels d'appui à la recherche et à l'innovation contribuent à faire émerger et grandir des projets scientifiques ou entrepreneuriaux qui impactent le monde. Inria travaille avec de nombreuses entreprises et a accompagné la création de plus de 200 start-up. L'institut s'eorce ainsi de répondre aux enjeux de la transformation numérique de la science, de la société et de l'économie.Doctorant F/H PhD Position: Grounding a Multimodal Speech Language Model Through Physical and Social Interaction

Type de contrat : CDD

Niveau de diplôme exigé : Bac +5 ou équivalent

Fonction : Doctorant

A propos du centre ou de la direction fonctionnelle

Le Centre Inria de l'Université Grenoble Alpes, regroupe un peu moins de 600 personnes réparties au sein de 22 équipes de recherche et 7 services support à la recherche.

Son effectif est distribué sur 3 campus à Grenoble, en lien étroit avec les laboratoires et les établissements de recherche et d'enseignement supérieur (Université Grenoble Alpes, CNRS, CEA, INRAE, ...), mais aussi avec les acteurs économiques du territoire.

Présent dans les domaines du calcul et grands systèmes distribués, logiciels sûrs et systèmes embarqués, la modélisation de l'environnement à différentes échelles et la science des données et intelligence artificielle, le Centre Inria de l'Université Grenoble Alpe participe au meilleur niveau à la vie scientifique internationale par les résultats obtenus et les collaborations tant en Europe que dans le reste du monde.

Contexte et atouts du poste

Title: Grounding a Multimodal Speech Language Model Through Physical and Social Interaction

Supervision: Dr. Thomas Hueber, GIPSA-lab (CNRS / Grenoble Alpes Univ.) Co-supervision : Dr. Stéphane Lathuilière (INRIA-UGA), Pr. Laurent Girin (GIPSA-lab)

Funding: Fully funded by the Grenoble AI Research Institute MIAI Cluster (3 years)

Context: This PhD position is part of the DevAI&Speech project, funded by the Grenoble AI Research Institute MIAI Cluster. The project aims to advance conversational AI by drawing inspiration from infant language acquisition. It explores textless Speech Language Models (SpeechLMs) - generative speech models that learn without textual supervision, mimicking how children acquire language before literacy. DevAI&Speech focuses on how sensorimotor experience, embodiment, and social interaction can shape language learning. By combining AI and developmental science, it seeks not only to build better AI systems but also to deepen our understanding of human language acquisition. The specific PhD project will investigate how grounding SpeechLMs in multimodal interaction - both physical and social - can improve their language learning capabilities.

Details:https://ultraspeech.com/devai/sujetThese\_ED220\_67045.pdf

Mission confiée

Scientific Objectives: The PhD project will pursue the following goals: Investigate how multimodal inputs (e.g., visual, prosodic, contextual cues) support audio stream segmentation and lexicon acquisition. While LLMs perform well with textual input, segmentation and grounding remain unsolved for raw speech. Study the role of multimodal communicative interaction in the grounded learning of word meanings, with an emphasis on the lexical level.

Principales activités

Methodology & Roadmap
- Multimodal SpeechLM design & lexical metrics: Extend a textless SpeechLM with multimodal inputs (e.g., audio & vision). Use metrics like spot-the-word (sWuggy) to evaluate lexical learning.
- Child-Parent Simulation Framework: Simulate interactions between a child SpeechLM (textless) and a parent model (text-based, pretrained). After a passive self-supervised pretraining phase (analogous to early statistical learning), the child model is prompted with an image to describe. The parent model provides corrections. This setup will allow systematic studies of the impact of communicative cues, especially prosody(e.g., contrastive focus), on learning outcomes.
- Interactive Learning with a Robot: Embed a multimodal SpeechLM into the humanoid robots available at GIPSA-lab (iCub or Furhat). Design experiments where human participants interact with the robot, asking it to name objects (e.g., Look, this is a blue ...) and correct its responses through naturalistic feedback (e.g., That's right! / No, it's a cow.). Inspired by recent work in human-in-the-loop reinforcement learning (e.g., Cohen & Billard, 2018; Deichler et al., 2023), we will explore how multimodal feedback can define a reward function for online learning. Over time, task complexity will increase (e.g., full sentence generation: The white cat is watching the red ball).

Publication and dissemination: The project aims to publish its results in top-tier venues such as ACL, Interspeech, ICASSP, CVPR, ICLR, NeurIPS and to release the code as open source

Compétences

Expected Profile: We are seeking a motivated PhD candidate with a strong background in one or more of the following areas:
Speech processing, NLP, computer vision, machine learning
Solid programming skills (including the PyTorch library)
Interest in connecting AI with human cognition Prior experience with LLM, SpeechLMs, RL algorithms, or robotic platforms is a plus, but not mandatory.

Avantages

- Restauration subventionnée
- Transports publics remboursés partiellement
- Congés: 7 semaines de congés annuels + 10 jours de RTT (base temps plein) + possibilité d'autorisations d'absence exceptionnelle (ex : enfants malades, déménagement)
- Possibilité de télétravail et aménagement du temps de travail
- Équipements professionnels à disposition (visioconférence, prêts de matériels informatiques, etc.)
- Prestations sociales, culturelles et sportives (Association de gestion des oeuvres sociales d'Inria)
- Accès à la formation professionnelle
- Sécurité sociale