Association Francophone de la Communication Parlée

Les segments averbaux, unités syntaxiques de l'oral

le webmestre — 2010-04-15T13:46:14Z

Résumé : Différentes études sur de larges corpus oraux ont permis ces dernières années de mettre en lumière des structures bien particulières tout en élaborant différents modèles articulés autour de nouvelles unités opératoires censées remplacer avec efficacité la notion de phrase. Nous pensons à l'inverse que la notion de phrase comme prédication assortie d'une modalité énonciative peut aisément être conservée pour traiter du français parlé, à condition cependant d'être perçue en temps réel. La phrase, désormais analysée en « noyau + affixes », est en effet avant tout une unité de traitement et de production n'ayant qu'une existence temporaire dans le flux de l'activité productive et interprétative. Ce postulat nous permettra d'expliquer certains phénomènes averbaux typiques de l'oral comme les réalisations de compléments différés, les répétitions, les reformulations, les recatégorisations de prédicats en affixes.

Nous nous sommes donc intéressée plus particulièrement aux différents fonctionnements des segments sans verbe dans un corpus oral. Un premier ensemble rassemble les segments sans verbe fonctionnant en tant que phrases selon des degrés de prédicativité plus au moins élevés : prédications averbales, prédications interjectives et réalisations averbales d'une prédication verbale implicite. Cependant, pour de nombreux segments sans verbe, l'interprétation est moins sûre et ces segments dits « flottants », en marge des emplois canoniques, nous renvoient à la problématique de la phrase. C'est par exemple le cas de compléments différés, constituants averbaux oscillant entre trois pôles : éléments intégrés, éléments détachés et éléments autonomes.

Document : doc/theses/these_NT09.pdf

Prosodie de la parole expressive : dimensionnalité d'énoncés méthodologiquement contrôlés authentiques et actés

le webmestre — 2010-04-15T09:22:37Z

Résumé : De plus en plus, les sciences humaines (en linguistique, pragmatique, phonétique, psychologie, etc.) envisagent les affects de l'humain comme un processus inséparable des traitements linguistiques dans l'accomplissement de ses activités communicationnelles. A travers la phonostylistique par exemple, ces phénomènes affectifs ont toujours été étudiés. Dans de nouvelles propositions théoriques, en particulier héritées des théories cognitives des émotions qui redéfinissent globalement l'entité psychologique de l'humain, les affects interviennent de manière décisionnelle sur les choix des actes de parole. S'inscrire dans l'étude de telles hypothèses suppose l'observation des faits de parole en situation de communication dans tout le naturel et la liberté de leur affectivité. Comme il est classique en phonétique expérimentale, se pose méthodologiquement le problème d'une instrumentation précise de mesure et d'analyse. Les progrès récents de la technologie de synthèse vocale grâce a u « clonage » des voix (méthode de synthèse par corpus ou par rushes), ont déplacé l'objectif préalable d'intelligibilité, d'agrément et de naturalité toute relative vers un objectif beaucoup plus écologique et humanisé de l'interaction personne-machine dans le quotidien de l'usage des outils informatiques.

L'objectif de cette thèse est de valider des hypothèses théoriques relatives à la morphologie vocale des expressions des affects dans la parole et plus particulièrement des expressions émotionnelles, dans une optique de modélisation de la connaissance et d'applications en synthèse de la parole expressive et de reconnaissance automatique des affects. De nombreuses études portant sur les expressions prosodiques des affects cherchent à les décrire par des valeurs globales à l'énoncé calculées sur un grand nombre de paramètres acoustiques souvent redondants, qui peuvent permettre d'identifier les affects exprimés mais s'avèrent insuffisant pour synthétiser ces expressions. Pour notre part nous défendons l'hypothèse d'une morphologie en contours gradients dans laquelle l'information affective est portée par la forme des contours multiparamétriques, paramétrés par des valeurs d'ancrage variables en fonction du type d'affect exprimé et des stratégies expressives du locuteur. Une plateforme dédiée à la conception et à la mise en place de scénarios de Magicien d'Oz pour la collecte de corpus de parole expressive authentique, E-Wiz, a été développée. Un scénario d'apprentissage des langues simulant une interaction homme-machine basée sur la reconnaissance vocale a été développé à l'aide de cette plateforme, des états émotionnels positifs puis négatifs étant induits chez les sujets en manipulant leurs performances. 17 locuteurs ont été ainsi piégés, dont 7 acteurs auxquels il a été demandé immédiatement après l'expérience de rejouer les mêmes expressions sur les mêmes énoncés. Cette méthodologie a permis le recueil synchrone de signaux acoustiques, visuels, articulatoires et physiologiques de parole expressive spontanée et actée, dans lesquels les énoncés produits sont contrôlés et comportent une large part de mots monosyllabiques dont les voyelles sont distribuées dans l'espace acoustique, permettant d'étudier la prosodie des affects exprimés indépe ndamment des effets de la prosodie linguistique et d'évaluer de façon contrôlée les variations de paramètres acoustiques variés en fonction des variations émotionnelles. Les affects exprimés ont été étiquetés par les locuteurs eux-mêmes afin de tirer parti de leur mémoire autobiographique. Un sous-ensemble sélectionné des productions du locuteur jugé comme le plus expressif a ensuite été évalué perceptivement, montrant notamment un effet inter-juge pour les expressions de dégoût. Les études menées sur le corpus ainsi recueilli comprennent une analyse acoustique centrée sur les contours de fréquence fondamentale, qui nous a permis d'extraire différentes formes de contours pour différentes expressions émotionnelles sur des énoncés aussi courts que des mots monosyllabiques isolés. Des expériences de projection séparée par analyse/resynthèse des dimensions prosodiques (fréquence fondamentale, qualité de voix, intensité et durée) de stimuli validés perceptivement ont été conduites en collaboration avec Orange-labs. Ces expériences ont pu montrer un poids différent de ces dimensions en fonction de la valence des affects exprimés, sans qu'une dimension prosodique ne soit spécifiquement dédiée à une classe d'émotions particulière. Une expérience de dévoilement progressif d'énoncés monosyllabiques a suggéré un décodage de l'information affective fondé sur la dynamique des contours et non uniquement sur des valeurs globales, la gradience permettant toutefois un e détermination plus précoce de la valeur affective dans le cas des expressions positives plus intenses. L'évaluation d'un algorithme d'extraction automatique du paramètre de qualité de voix NAQ et la confrontation des résultats obtenus avec le signal électroglottographique recueilli pour deux des locuteurs enregistrés a permis de montrer un effet intrinsèque de la voyelle sur les valeurs de NAQ mesurées, ne permettant pas de retenir cette mesure dans l'optique d'une approche en suivi de contours de qualité de voix.

L'étude perceptive de la catégorisation cognitive d'expressions vocales spontanées et actées d'émotions des produites par 6 locuteurs, à travers le recueil de jugements perceptifs de typicalité, de fréquence d'instanciation et de similarité aux idéaux, indique que les expressions vocales des émotions seraient plutôt représentées comme des catégories liées au but au sens de Barsalou que comme des catégories taxonomiques classiques. Ce résultat est en accord avec celui de l'étude d'Horstmann sur les expressions faciales prototypiques, avec toutefois une tendance moindre pour les expressions spontanées. De plus, l'intensité des émotions exprimées spontanément a été jugée moins importante que celle des expressions simulées. Enfin, une tâche de discrimination perceptive audiovisuelle menée sur 24 paires d'expressions spontanées vs. actées de satisfaction, d'inquiétude et d'irritation produites par 4 acteurs a enfin montré que des auditeurs naïfs étaient capables de distinguer les énoncés actés vs. spontanés avec une importante variabilité inter-individuelle, sans que l'intensité perçue de l'émotion ne puisse expliquer entièrement les scores de discrimination. Ce résultat souligne l'importance de l'utilisation de corpus spontané pour la modélisation d'expressions vocales d'émotions, tant pour des objectifs de recherche que dans le cadre d'applications technologiques.

Document : doc/theses/these_NA08.pdf

Apprentissage phonétique des voyelles du français langue étrangère chez des apprenants japonophones

le webmestre — 2010-04-14T10:35:15Z

Résumé : Ce travail s'intéresse à l'application de la phonétique expérimentale (acoustique et perceptive) à la didactique de la prononciation des langues étrangères. Le propos est illustré par les difficultés d'apprentissage par des japonophones des voyelles du français ; les expériences portent spécifiquement sur les voyelles /u y ø/. Le but est d'élucider les difficultés que présentent ces phones selon que leur statut phonémique et leur réalisation phonétique diffèrent ou non entre la langue maternelle et la langue apprise.

Le /u/ français diffère phonétiquement de son équivalent phonémique, le /u/ japonais. L'étude confirme que le /u/ français, phonémiquement identique au /u/ japonais, est plus difficile que la voyelle « nouvelle » /y/, qui n'a pas d'équivalent ni phonémique ni phonétique en japonais. La production du /ø/, qui est « nouveau » phonémiquement mais proche du /u/ japonais au plan acoustique, semble présenter encore moins de difficulté.

La thèse apporte également une réflexion sur la didactique de la prononciation. L'analyse de manuels généralistes de français publiés au Japon suggère que les apprenants et les enseignants sont rarement conscients de la différence de difficultés des /u y ø/. Quelques méthodes d'enseignement de la prononciation – certaines traditionnelles, d'autres innovantes – sont proposées, dans l'idée de favoriser la conscientisation de ces difficultés.

Le but de cette thèse est une contribution à l'éclaircissement des processus d'apprentissage de la prononciation des langues étrangères, et à l'amélioration de son apprentissage et de son enseignement.

Document : doc/theses/these_TK09.pdf

Estimation de fréquences fondamentales multiples en vue de la séparation de signaux de parole mélangés dans un même canal

le webmestre — 2010-04-13T13:59:12Z

Résumé : Cette thèse apporte deux contributions principales : d'une part, un nouvel algorithme d'estimation multipitch (AEPm) conçu pour traiter des mélanges de parole et d'autre part, une analyse des méthodologies d'évaluation possibles en situation multipitch qui a résulté sur une évaluation comparative de notre algorithme avec l'existant. L'algorithme multipitch proposé est purement trame-à-trame et repose sur une approche strictement fréquentielle (pattern matching). Il utilise deux familles de peignes spectraux nommées Peignes à Dents Négatives et Peigne à Dents Manquantes. Une implémentation rapide (environ temps-réel) a été réalisée afin de pouvoir utiliser l'algorithme comme une étape élémentaire de traitement dans un système plus complexe (ie. séparation monaurale de parole mélangée). Dans une situation bipitch (mélange de deux locuteurs), l'algorithme est capable d'estimer correctement (avec une tolérance de 20%) environ 90% des valeurs F0 de référence. De plus, environ 85% des trames sont bien estimées (toutes les valeurs F0 de référence de la trame sont bien estimés). Ces résultats sont très prometteur pour la suite et devrait nous permettre de mettre en place un algoritme de suivi de F0 assez facilement. L'évaluation comparative de plusieurs AEPm est une tâche délicate et oblige à une équité parfaite. Cette thèse met en évidence l'influence critique de la décision voisé/non-voisé (détection de F0) sur les taux d'erreurs grossières classiquement utilisés comme critère de performance. Ce problème est connu mais son influence est souvent sous-estimé.

Document : doc/theses/these_FS09.pdf

Evaluation qualitative de la prosodie de l'anglais britannique d'apprenants français : apport de paramétrisations prosodiques

le webmestre — 2010-04-12T16:01:42Z

Résumé : L'absence de système d'évaluation de la prosodie de l'anglais L2 parlé par des apprenants francophones a motivé la réalisation de ce travail de thèse. Dès lors, l'analyse de facteurs rythmiques dans la production d'apprenants français, qui fait l'objet de cette recherche, a un double objectif : analyser l'influence du rythme de la langue maternelle (L1=français) sur la langue cible (L2=anglais), et d'autre part, proposer des critères évaluatifs du rythme des productions des francophones, à partir de différentes métriques rythmiques proposées dans la littérature. Ces travaux ont mené à l'élaboration d'une base de données d'anglais L1/L2 nommée ANGLISH, à partir de laquelle nous avons montré une discrimination des locuteurs natifs/non natifs s'appuyant sur la combinaison de paramètres rythmiques. Les résultats de ces travaux de recherche montrent donc qu'il est possible de distinguer la L1 de la L2, et de donner une tendance rythmique des productions des apprenants francophones.

Document : doc/theses/these_AT09.pdf

Les bases neurophysiologiques de la perception audiovisuelle syllabique : Etude simultanée en Imagerie par Résonance Magnétique fonctionelle et en Electroencéphalographie (IRMf/EGG)

le webmestre — 2010-04-12T09:00:37Z

Résumé : Si, comme le disait Stetson (1951), la parole est davantage un ensemble de mouvements rendus audibles qu'un ensemble de sons produit par des mouvements, qu'en est-il de la dimension visible de ces mouvements ? L'intelligibilité de la parole est améliorée par l'apport des visèmes, dans un environnement bruyant (Sumby & Pollack, 1954), ce qui nous indique un effet facilitateur sur l'accès au lexique mental. Selon Massaro (1990), l'influence d'une source est maximale si une autre est ambiguë. Pourtant dans l'effet « McGurk » (McGurk & MacDonald, 1976), les deux sources, audible et visible sont équipotentes.

Le résultat est bien une perturbation, puisque la « cible » a été mal interprétée. Certains chercheurs ont montré que l'effet McGurk pouvait avoir lieu sur des mots et même sur des phrases. Cela corrobore l'idée que l'intégration de la source visuelle est précoce et prélexicale, mais aussi sujette à l'influence d'effet top-down. Nous avons mené une étude anatomo-fonctionnelle simultanée en IRMf/EEG, en utilisant une tâche de discrimination à choix forcé, portant sur des syllabes CV, selon deux modalités perceptives : audiovisuelle animée et audiovisuelle fixe, afin de pouvoir observer les bases neurophysiologiques de la perception audiovisuelle syllabique. La tâche de discrimination portait sur des paires syllabiques s'opposant sur les trois traits suivants : la labialité vocalique, le lieu d'articulation et le voisement consonantiques.

Document : doc/theses/these_CD09.pdf

Etude articulatoire et acoustique des fricatives sibilantes.

le webmestre — 2010-04-08T13:20:33Z

Résumé : L'objectif de cette thèse est de décrire de manière analytique le spectre du bruit de friction en mettant en évidence l'affiliation des pics spectraux aux cavités du conduit vocal, par le biais de la modélisation acoustique et avec l'aide des données IRM de 7 langues (30 locuteurs). Les résultats sont les suivants : 1. La dispersion des sibilantes dans l'espace articulatoire dépend du système phonologique (contrastes [+/- antérieur], [+/- distribué], ou les deux). En français ([+/- antérieur], 7 locuteurs), la variation inter-individuelle est importante. 2. Cette variation est due à deux variantes articulatoires du /ʃ/ : (a) plutôt apical, comportant une cavité sublinguale, accompagné de protrusion labiale, et semblable au /ɕ/ polonais ; et (b) palatalisé, mettant en oeuvre le bombement du dos de la langue, comparable au /ɕ/ polonais. L'équivalence acoustique des deux variantes est démontrée par une simulation acoustique systématique. 3. En polonais, où la diff érence articulatoire est phonémique, /s./ est caractérisé par un pic ultra-bas (1,5-1,8 kHz), affilié à la cavité antérieure, d'après la simulation acoustique à l'aide de fonction d'aire réelles de deux locuteurs. 4. Les données articulatoires présentent systématiquement une constriction dentale étroite. D'après la modélisation acoustique, la protrusion labiale aurait comme effet d'abaisser la fréquence d'un formant affilié spécifiquement à la cavité labiale. En somme, la présence de deux constrictions étroites linguale et dentale rend possible le contrôle quasi indépendant d'au moins deux résonances. Cette spécificité garantit aux sibilantes un bruit distinctif qui permet d'expliquer la richesse de leurs inventaires.

Document : doc/theses/these_MT09.pdf

La voix de l'enseignant et la communication du français langue étrangère : étude des facteurs influents liés au passé et au contexte présent.

le webmestre — 2010-04-08T12:10:05Z

Résumé :

Le présent travail de thèse s'intéresse à l'étude de la voix de l'enseignant. En effet, la voix contribue à la transmission du message qu'elle porte surtout quand il est produit en une langue étrangère. Afin de caractériser la modalité selon laquelle un enseignant en situation produit sa voix en classe, la démarche s'intéresse aux facteurs qui influent sur la production de la voix. Il s'agit d'abord de facteurs influents du passé qui précèdent l'action en situation. Ils renvoient aux attitudes et aux représentations innées ou acquises, concernant la manière de parler en langue étrangère et celle de parler en tant qu'enseignant. Il s'agit ensuite de facteurs situationnels qui sont en rapport avec le contexte, l'activité et les intentions de communications de l'enseignant en situation. Cette recherche insiste sur la manière dont se constitue une compétence intonative susceptible d'agir sur le niveau de l'apprenant en langue étrangère. De ce fait, le sujet s'inscrit essentiellem ent dans le cadre des recherches menées en didactique des langues à la Sorbonne nouvelle. Les théories sur lesquelles nous nous basons se rapportent à la phonétique, à la psychosociologie et à la sociologie psychologique. La recherche empirique est menée à partir de deux types de corpus : le premier consiste en des propos oraux et écrits produits par un certain nombre d'enseignants libanais. Le second est un corpus sonore transcrit qui consiste en un extrait de cours enregistré en situation donné par un enseignant libanais. Finalement, en proposant une dimension de recherche portant sur le rôle des paramètres intonatifs dans la transmission des connaissances, le présent mémoire espère contribuer à la recherche en didactique des langues et en pédagogie en général.

Document : doc/theses/these_MM09.pdf

La perception du voisement en français : investigations comportementales et électrophysiologiques du processus de spécialisation phonologique.

le webmestre — 2010-04-08T12:05:29Z

Résumé : Ce travail de thèse porte sur la perception du trait de voisement de consonnes occlusives en position initiale dont l'indice acoustique principal est le Délai d'Etablissement du Voisement (DEV : délai entre la fin de l'occlusion de la consonne et le début de la vibration des cordes vocales ; VOT en anglais). Une première étude concerne la ‘bascule phonologique' c'est à dire le passage d'un mode de perception universel à un mode de perception spécifique à la langue. L'analyse des variations du rythme cardiaque de nourrissons francophones exposés à des syllabes /də/ et /tə/ variant sur un continuum de DEV a montré une sensibilité aux frontières universelles (-30 et +30 ms de DEV) à 4 mois et à la frontière phonologique du français (0 ms de DEV) à 8 mois. Ces résultats suggèrent que la bascule phonologique en français a lieu plus précocement en français qu'en anglais. Dans une autre étude, des enfants de 5, 6, 7 et 8 ans et des adultes francophones ont été soumis à des tâches d'identification et de discrimination de stimuli voisés et non voisés (syllabes /də/ et /tə/). Les résultats ont montré que la perception du voisement continue à évoluer pendant l'enfance et ce indépendamment du niveau de lecture. Afin de déterminer si cette évolution résultait d'une maturation cognitive plus globale, des sujets d'âge similaire ont été testés avec des continua de couleurs (jaune et vert) et d'expressions faciales (joie-peur). Alors que la perception catégorielle des couleurs était présente dès 5 ans, le développement de la perception des expressions faciales était plus tardif et similaire à celui du voisement. Dans une troisième étude, les potentiels auditifs évoqués par la présentation des syllabes /də/ et /tə/ dont le DEV variait entre -75 et +75 ms ont été enregistrés chez des adultes francophones. L'analyse de la morphologie (simple vs double pic) de deux sous-composantes de la N100 (N1b et Na), a mis en évidence des corrélats électrophysiologiques des frontières universelles de voisement auxquelles les nourrissons de 4 mois étaient également sensibles. Par contre, aucun corrélat de la frontière phonologique du français n'est apparu. Les implications théoriques de l'ensemble de ces résultats sont discutées dans le contexte des modèles existants.

Document : doc/theses/these_IH09.pdf

Reconstitution de la parole par imagerie ultrasonore et vidéo de l'appareil vocal : vers une communication parlée silencieuse

le webmestre — 2010-03-26T18:47:55Z

Résumé : L'objectif poursuivi dans ce travail de thèse est la réalisation d'un dispositif capable d'interpréter une parole normalement articulée mais non vocalisée, permettant ainsi la « communication parlée silencieuse ». Destiné, à terme, à être léger et portatif, ce dispositif pourrait être utilisé d'une part, par une personne ayant subi une laryngectomie (ablation du larynx suite à un cancer), et d'autre part, pour toute communication, soit dans un milieu où le silence est requis (transport en commun, opération militaire, etc.), soit dans un environnement extrêmement bruité. Le dispositif proposé combine deux systèmes d'imagerie pour capturer l'activité de l'appareil vocal pendant « l'articulation silencieuse » : l'imagerie ultrasonore, qui donne accès aux articulateurs internes de la cavité buccale (comme la langue), et la vidéo, utilisée pour capturer le mouvement des lèvres. Le problème traité dans cette étude est celui de la synthèse d'un signal de parole « acoustique », uniquement à partir d'un flux de données « visuelles » (images ultrasonores et vidéo). Cette conversion qualifiée ici de « visuo-acoustique », s'effectue par apprentissage artificiel et fait intervenir quatre étapes principales : l'acquisition des données audiovisuelles, leur caractérisation, l'inférence d'une cible acoustique à partir de l'observation du geste articulatoire et la synthèse du signal. Dans le cadre de la réalisation du dispositif expérimental d'acquisition des données, un système de positionnement de la sonde ultrasonore par rapport à la tête du locuteur, basé sur l'utilisation combinée de deux capteurs inertiaux a tout d'abord été conçu. Un système permettant l'enregistrement simultané des flux visuels et du flux acoustique, basé sur la synchronisation des capteurs ultrasonore, vidéo et audio par voie logicielle, a ensuite été développé. Deux bases de données associant observations articulatoires et réalisations acoustiques, contenant chacune environ une heure de parole (continue), en langue anglaise, ont été construites. Pour la caractérisation des images ultrasonores et vidéo, deux approches ont été mises en œuvre. La première est basée sur l'utilisation de la transformée en cosinus discrète, la seconde, sur l'analyse en composantes principales (approche EigenTongues/EigenLips). La première approche proposée pour l'inférence des paramètres acoustiques, qualifiée de « directe », est basée sur la construction d'une « fonction de conversion » à l'aide d'un réseau de neurones et d'un modèle par mélange de gaussiennes. Dans une seconde approche, qualifiée cette fois « d'indirecte », une étape de décodage des flux visuels au niveau phonétique est introduite en amont du processus de synthèse. Cette étape intermédiaire permet notamment l'introduction de connaissances linguistiques a priori sur la séquence observée. Elle s'appuie sur la modélisation des gestes articulatoires par des modèles de Markov cachés (MMC). Deux méthodes sont enfin proposées pour la synthèse du signal à partir de la suite phonétique décodée. La première est basée sur une approche par concaténation d'unités ; la seconde utilise la technique dite de « synthèse par MMC ». Pour permettre notamment la réalisation d'adaptations prosodiques, ces deux méthodes de synthèse s'appuient sur une description paramétrique du signal de parole du type « Harmonique plus Bruit » (HNM).

Document : doc/theses/these_TH09.pdf (attention : taille = 24Mo)