Résumé :
L’interaction face-à-face représente une des formes les plus fondamentales de la communication humaine. C’est un système dynamique multimodal et couplé impliquant non seulement la parole mais de nombreux segments du corps dont le regard, l’orientation de la tête, du buste et du corps, les gestes faciaux et brachio-manuels, etc d’une grande complexité. La compréhension et la modélisation de ce type de communication est une étape cruciale dans le processus de la conception des agents interactifs capables d’engager des conversations crédibles avec des partenaires humains. Concrètement, un modèle de comportement multimodal destiné aux agents sociaux interactifs fait face à la tâche complexe de générer un comportement multimodal étant donné une analyse de la scène et une estimation incrémentale des objectifs conjoints visés au cours de la conversation. L’objectif de cette thèse est de développer des modèles de comportement multimodal pour permettre aux agents artificiels de mener une communication co-verbale pertinente avec un partenaire humain. Alors que l’immense majorité des travaux dans le domaine de l’interaction humain-agent repose essentiellement sur des modèles à base de règles, notre approche se base sur la modélisation statistique des interactions sociales à partir de traces collectées lors d’interactions exemplaires, démontrées par des tuteurs humains. Dans ce cadre, nous introduisons des modèles de comportement dits « sensori-moteurs », qui permettent à la fois la reconnaissance des états cognitifs conjoints et la génération des signaux sociaux d’une manière incrémentale. En particulier, les modèles de comportement proposés ont pour objectif d’estimer l’unité d’interaction (IU) dans laquelle sont engagés de manière conjointe les interlocuteurs et de générer le comportement co-verbal du tuteur humain étant donné le comportement observé de son/ses interlocuteur(s). Les modèles proposés sont principalement des modèles probabilistes graphiques qui se basent sur les chaînes de markov cachés (HMM) et les réseaux bayésiens dynamiques (DBN). Les modèles ont été appris et évalués notamment comparés à des classifieurs classiques sur des jeux de données collectés lors de deux différentes interactions face-à-face. Les deux interactions ont été soigneusement conçues de manière à collecter, en un minimum de temps, un nombre suffisant d’exemplaires de gestion de l’attention mutuelle et de deixis multimodale d’objets et de lieux. Nos contributions sont complétées par des méthodes originales d’interprétation et d’évaluation des propriétés des modèles proposés. En comparant tous les modèles avec les vraies traces d’interactions, les résultats montrent que le modèle HMM, grâce à ses propriétés de modélisation séquentielle, dépasse les simples classifieurs en terme de performances. Les modèles semi-markoviens (HSMM) ont été également testé et ont abouti à un meilleur bouclage sensori-moteur grâce à leurs propriétés de modélisation des durées des états. Enfin, grâce à une structure de dépendances riche apprise à partir des données, le modèle DBN a les performances les plus probantes et démontre en outre la coordination multimodale la plus fidèle aux évènements multimodaux originaux.