Association Francophone de la Communication Parlée

Ecole interdisciplinaire de Recherche Multimodale d'Information - Techniques & Sciences [ERMITES]

le webmestre — 2012-04-23T10:21:08Z

Les actes de la 5e édition de l'école d'été ERMITES, ainsi que les vidéos des sessions plénières sont en ligne : http://glotin.univ-tln.fr/ERMITES11/

le webmestre — 2012-03-26T11:37:14Z

- 8. Actualités

Prix de thèse AFCP - Edition 2011

le webmestre — 2012-03-26T11:31:43Z

Après étude des candidatures par le Conseil d'administration de l'AFCP, le prix de thèse de l'année 2011 a été attribué à :

Juliette Kahn

du Laboratoire Informatique d'Avignon (Université d'Avignon) et du Laboratoire Informatique de Grenoble (Co-encadrement)

pour sa thèse intitulée

"Parole de locuteur : Performance et confiance en identification biométrique vocale"

Les membres du Conseil d'administration de l'Association Francophone de la communication Parlée, félicitent la lauréate et remercient également l'ensemble des candidats pour leur participation et la qualité des dossiers qu'ils ont soumis.

Cécile Fougeron, présidente de l'AFCP

Prix de thèse AFCP - Edition 2010

le webmestre — 2012-03-26T11:29:15Z

Après étude des candidatures par le Conseil d'administration de l'AFCP, le prix de thèse de l'année 2010 a été attribué à :

Gwénolé LECORVE

de l'INRIA Rennes

pour sa thèse intitulée

"Adaptation thématique non supervisée d'un système de reconnaissance automatique de la parole"

Les membres du Conseil d'administration de l'Association Francophone de la communication Parlée, félicitent le lauréat et remercient également l'ensemble des candidats pour leur participation et la qualité des dossiers qu'ils ont soumis.

Cécile Fougeron, présidente de l'AFCP

Identification audio pour la reconnaissance de la parole

le webmestre — 2012-03-05T10:32:05Z

Résumé : Cette thèse de doctorat se place dans le cadre de la reconnaissance de la parole dans des documents audio. Le but de ce travail est d'adapter les principes de l'identification audio pour la reconnaissance de la parole ainsi que concevoir et développer des techniques d'identification robustes. Les systèmes d'identification audio par empreinte (audio fingerprinting) sont conçus pour l'indexation d'extraits de musique mais ne traitent pas des spécificités du signal de parole. Dans un premier temps, différentes méthodes d'identification audio par empreinte sont étudiées ainsi qu'un premier travail d'adaptation à la reconnaissance de la parole. Ce travail est poursuivi par le développement d'un système d'identification audio par empreinte dédié à la tâche de décodage acoustico-phonétique. De nouveaux types de sous-empreinte basés sur des paramètres usuels de la parole sont alors proposés. Dans un second temps, les différents types de variabilité du signal de parole sont décrits ainsi que les principaux paramètres de représentation acoustique du signal de parole. La robustesse de différents types de sous-empreinte à la variabilité extrinsèque et à la variabilité intrinsèque est évaluée. En présence de perturbations liées à l'environnement et aux conditions de transmission du signal de parole (CTIMIT), un type de sous-empreinte issu de l'identification audio s'avère alors le plus robuste.

Document : doc/theses/these_MC11.pdf

Perturbation de la production des Occlusives chez des locuteurs présentant une division palatine ou labio-palatine

le webmestre — 2012-02-17T09:19:25Z

Résumé : Les fentes palatines et labio-palatines sont des malformations qui apparaissent in utero, vers la 6e semaine de gestation, lors de la fusion des deux côtés du palais. Ces fentes entrainent le plus souvent, au niveau de la production de la parole, des perturbations qui sont plus ou moins accentuées en fonction de la sévérité de la pathologie, même si les enfants sont opérés dès leur plus jeune âge. Si l'on accepte que le geste phonétique correspond à l‘unité de base de la production de la parole, on peut constater qu'il est malléable, adaptable et montre une grande plasticité, suivant le contexte de son apparition. Aussi, chaque geste est accompli dans le but d'atteindre une « cible », et cela peut se faire avec un degré de variabilité possible à différents niveaux, articulatoire et acoustique. Dès lors, il est possible de considérer le système de production-perception de la parole comme faisant émerger un ensemble de solutions linguistiquement possibles. Ainsi, c'est dans le cadre conceptuel de la Théorie de la Viabilité, transposée dans le domaine de la production et de la perception de la parole que s'inscrivent nos travaux de recherche. Nous avons mené quatre expériences sur le plan acoustique. La première repose sur l'analyse de durées segmentales et le timing du VOT et du VTT. La deuxième s'intéresse à la mesure de l'équation du locus, et les deux dernières sont fondées, respectivement, sur l'analyse des aires d'espaces vocaliques et consonantiques, calculées à partir de données formantiques. Ces différents paramètres acoustiques, constituant des indices précieux quant au décèlement de stratégies articulatoires déployées par les locuteurs, nous ont permis de mettre en exergue certaines caractéristiques propres à la production de la parole chez des enfant présentant des fentes palatines ou labio-palatines. Les données obtenues dans cette étude sur la production de la parole pathologique sont analysées et rationalisées dans le cadre du paradigme des perturbations et des réajustements en production de la parole.

Mots clés : production de la parole, enfants, occlusives, division palatine, division labio-palatine, perturbations, réajustements, viabilité, durées, VOT, VTT, équations du locus, aires d'espaces vocaliques et consonantiques.

doc/theses/these_MB11.pdf

Variation phonologique régionale en interaction conversationnelle

le webmestre — 2012-02-01T14:33:13Z

Résumé : C'est dans l'interaction sociale, lieu d'occurrence premier du langage parlé (Local, 2003) que la parole est apprise, qu'elle est produite quotidiennement et qu'elle évolue. De nouvelles approches interdisciplinaires de l'étude de la parole, notamment la sociophonétique ou les récents développements de l'interaction conversationnelle, ouvrent de nouvelles perspectives dans la modélisation du traitement de la parole. Une question centrale à cette entreprise est la caractérisation des représentations mentales associées aux sons de la parole. Pour traiter cette question, nous utilisons l'approche exemplariste du traitement de la parole, qui propose que les sons de la parole sont mémorisés en incorporant des informations contextuelles détaillées. Nous présentons une nouvelle tâche interactionnelle, GMUP (pour ``Group 'em up''), destinée à recueillir les réalisations de matériel phonologique finement contrôlé produit par deux interactants dans un cadre expérimental écologiquement valide. Les variables phonologiques décrivent les différences existant entre deux variétés de français parlé, le français standard et le français méridional. Des outils de reconnaissance automatique de la parole ont été développés pour évaluer la convergence phonétique, observable de l'évolution des représentations mentales, à deux niveaux de granularité : au niveau catégoriel de la variable phonologique et au niveau plus fin, subphonémique. L'emploi de mesures acoustiques détaillées à grande échelle permet de caractériser finement les différences inter-individuelles dans l'évolution de la forme des réalisations acoustiques associées aux représentations mentales en interaction conversationnelle.

Document : doc/theses/these_VA11.pdf

Processus d'acquisition des clusters et autres séquences de consonnes en langue seconde : de l'analyse acoustico-perceptive des séquences consonantiques du vietnamien à l'analyse de la perception et production des clusters du français par des apprenants vietnamiens du FLE.

le webmestre — 2012-02-01T14:32:11Z

Résumé : Une des principales difficultés rencontrées par les Vietnamiens apprenants du français langue étrangère, une des plus résistantes aux enseignements de phonétique corrective, est la prononciation des groupes consonantiques intra- ou inter-syllabiques, intra- ou inter-mots du français. Les suites de deux ou plusieurs consonnes n'étant pas licites en vietnamien à l'intérieur d'une même syllabe, elles sont la plupart du temps réalisées déformées par rapport à la cible, entraînant chez l'auditeur incompréhensions ou malentendus. Les enseignants du FLE relèvent que ces difficultés persistent même après plusieurs années de pratique, même chez des étudiants de niveau déjà confirmé ou d'exposition à la langue pendant une longue durée. Quelles sont alors les véritables raisons de ces difficultés ? Quels sont les éléments du crible phonologique qui gênent ou empêchent l'acquisition des clusters ? Plus précisément, quels sont leurs implications dans l'acquisition des percepts phonétiques de la langue cible ? En quoi consistent exactement les erreurs de réalisation ? Quelle est la part des caractéristiques de la langue maternelle et celle d'autres facteurs tels ceux relevant de principes universels des systèmes phonologiques des langues ? Peut-on trouver, dans cette problématique de l'acquisition des clusters, des éléments propres à la structuration de l'interlangue et/ou capables de rendre compte des mécanismes du fonctionnement du langage humain en général ? Par une approche à la fois descriptive et expérimentale, la thèse tente de répondre à ces questions. La démarche retenue vise à mettre en évidence des éléments de la structure phonologique de l'interlangue à partir 1/ d'une étude descriptive et quantitative comparant les types de séquences consonantiques possibles dans la langue cible (le français) et dans la langue source (le vietnamien) ; 2/ d'analyses acoustico-perceptives des séquences consonantiques de la langue source en prenant en compte la syllabe et ses frontières ; 3/ d'analyses menées sur la perception et production des clusters et autres séquences de consonnes de la langue cible (le français) par des apprenants vietnamiens. Dans un cadre théorique liant perception et production des sons du langage, phonologie et phonétique, la thèse propose un ensemble de résultats tout à fait intéressants et novateurs qui, discutés à la lumière des différentes théories et modèles d'acquisition des sons des langues étrangères, offrent des pistes solides pour le développement d'outils de technologie éducative capables de proposer des protocoles en phonétique corrective tels que stratégies de récupération des gestes (entraînements) et évaluation des performances des apprenants. Au-delà de la problématique de l'acquisition des systèmes sonores de langues secondes et de ses aspects didactiques, les résultats obtenus apportent des éléments aux discussions théoriques suivantes de phonétique générale : 1/ la nature physique de la syllabe et son rôle dans les processus de production-perception du langage ; 2/ les liens entre perception et production ; 3/ l'importance de la marque dans la structuration des systèmes sonores montrant la nécessité de comprendre l'origine des tendances universelles dans les systèmes sonores des langues du monde, notamment les rapports entre systèmes phonologiques et capacités sensorimotrices. La thèse montre ainsi que l'étude phonético-phonologique de l'interlangue, de l'émergence de ses unités et de ses structures à son évolution temporelle, constitue un observatoire sans doute capable de refléter des éléments fondamentaux du fonctionnement du langage humain en général et de ses unités.

Document : doc/theses/these_TT11.pdf

Modélisation biomécanique du visage : Etude du contrôle des gestes oro-faciaux en production de la parole

le webmestre — 2012-02-01T14:31:08Z

Résumé : Un modèle tridimensionnel du visage a été élaboré, dans la perspective de contribuer à l'étude de questions importantes sur le contrôle moteur de la production de la parole. Ce modèle est construit sur un maillage constitué d'éléments hexahédraux et de clavettes, qui comporte 3 couches distinctes et est symétrique par rapport au plan medio-sagittal. Les muscles faciaux sont représentés dans le maillage par un sous-ensemble d'éléments contigus. Les propriétés élastiques des éléments du maillage sont décrites par une loi de comportement de type isotrope quasi incompressible et hyperélastique. Dans une première phase de ce travail, pour étudier les conséquences globales de l'activation des muscles oro-faciaux sur les mimiques faciales et les gestes labiaux, et plus particulièrement sur les gestes labiaux en parole, un modèle linéaire de muscle a été élaboré. L'influence des variations de la raideur des tissus mous sur les gestes faciaux a été étudiée. En effet, l'activation des muscles entraîne un raidissement des tissus mous musculaires concernés. Cet effet est pris en compte dans le modèle de muscle par un changement de la loi de comportement hyperélastique avec l'activation musculaire. Une attention particulière a été portée dans cette étude à la production du geste de protrusion/arrondissement des lèvres qui est un geste fondamental dans la production des voyelles arrondies, en particulier en Français. Nous montrons que le raidissement des tissus mous musculaires facilite la production précise de ce geste grâce à l'existence d'un effet de saturation dans la relation entre les activations musculaires et les paramètres géométriques des lèvres qui sont pertinents acoustiquement. Ce résultat souligne l'importance des propriétés dynamiques des articulateurs dans la production des gestes de la parole, et il nous a incités à améliorer encore la modélisation de la source principale de force en production de la parole, c'est-à-dire les muscles. C'est pourquoi, un modèle de muscles plus réaliste a été élaboré qui se fonde sur une loi de comportement transversalement isotrope quasi incompressible et hyperélastique et sur un modèle de muscle de type Hill. Ce modèle a été implémenté dans le logiciel éléments finis ANSYS® grâce à sa fonction de programmation USERMAT. La prise en compte supplémentaire d'une loi caractéristique force-vitesse a permis la modélisation complète d'un modèle de muscle de type Hill. Ceci a été fait sous ANSYS® grâce à sa fonction de programmation USERELEM. Cette loi caractéristique force-vitesse introduit un effet d'amortissement dans le mouvement du muscle du fait d'une atténuation croissante de la force musculaire lorsque la vitesse de compression du muscle augmente. Ce nouvel élément de type muscle a été conçu de manière telle qu'il est possible d'implémenter d'autres modèles de muscles que le modèle de type Hill. C'est pourquoi nous avons aussi implémenté le modèle de Feldman, qui a été utilisé de manière importante à Gipsa-lab dans les dernières années. L'intégration du modèle de Feldman dans une structure à éléments finis a nécessité une reformulation de façon à le rendre compatible avec une modélisation distribuée. Les modèles de Hill et de Feldman ont ensuite été incorporés dans le modèle de visage pour remplacer le modèle linéaire initial. Dans ces conditions les premières simulations du geste de protrusion/arrondissement labial ont donné des résultats réalistes. Finalement une comparaison des résultats obtenus avec le modèle de Hill avec ceux qui génère le modèle de Feldman montrent que les formes labiales finales sont très similaires pour les deux modèles.

Document : doc/theses/these_MAN11.pdf

Parole de locuteur : performance et confiance en identification biométrique vocale

le webmestre — 2012-02-01T14:29:48Z

Résumé : Ce travail de thèse explore l'usage biométrique de la parole dont les applications sont très nombreuses (sécurité, environnements intelligents, criminalistique, surveillance du territoire ou authentification de transactions électroniques). La parole est soumise à de nombreuses contraintes fonction des origines du locuteur (géographique, sociale et culturelle) mais également fonction de ses objectifs performatifs. Le locuteur peut être considéré comme un facteur de variation de la parole, parmi d'autres. Dans ce travail, nous présentons des éléments de réponses aux deux questions suivantes :

Tous les extraits de parole d'un même locuteur sont-ils équivalents pour le reconnaître ?
Comment se structurent les différentes sources de variation qui véhiculent directement ou indirectement la spécificité du locuteur ?

Nous construisons, dans un premier temps, un protocole pour évaluer la capacité humaine à discriminer un locuteur à partir d'un extrait de parole en utilisant les données de la campagne NIST-HASR 2010. La tâche ainsi posée est difficile pour nos auditeurs, qu'ils soient naïfs ou plus expérimentés. Dans ce cadre, nous montrons que ni la (quasi) unanimité des auditeurs ni l'auto-évaluation de leurs jugements ne sont des gages de confiance dans la véracité de la réponse soumise. Nous quantifions, dans un second temps, l'influence du choix d'un extrait de parole sur la performance des systèmes automatiques. Nous avons utilisé deux bases de données, NIST et BREF ainsi que deux systèmes de RAL, ALIZE/SpkDet (LIA) et Idento (SRI). Les systèmes de RAL, aussi bien fondés sur une approche UBM-GMM que sur une approche i-vector montrent des écarts de performances importants mesurés à l'aide d'une mesure de variation relative autour de l'EER moyen, $Vr$ (pour NIST, Vr_Idento=1.41 et Vr_ALIZE/SpkDet=1.47 et pour BREF, Vr=3.11) selon le choix du fichier d'apprentissage utilisé pour chaque locuteur. Ces variations de performance, très importantes, montrent la sensibilité des systèmes automatiques au choix des extraits de parole, sensibilité qu'il est important de mesurer et de réduire pour rendre les systèmes de RAL plus fiables. Afin d'expliquer l'importance du choix des extraits de parole, nous cherchons les indices les plus pertinents pour distinguer les locuteurs de nos corpus en mesurant l'effet du facteur Locuteur sur la variance des indices (eta2). La F0 est fortement dépendante du facteur Locuteur, et ce indépendamment de la voyelle. Certains phonèmes sont plus discriminants pour le locuteur : les consonnes nasales, les fricatives, les voyelles nasales, voyelles orales mi-fermées à ouvertes. Ce travail constitue un premier pas vers une étude plus précise de ce qu'est le locuteur aussi bien pour la perception humaine que pour les systèmes automatiques. Si nous avons montré qu'il existait bien une différence cepstrale qui conduisait à des modèles plus ou moins performants, il reste encore à comprendre comment lier le locuteur à la production de la parole. Enfin, suite à ces travaux, nous souhaitons explorer plus en détail l'influence de la langue sur la reconnaissance du locuteur. En effet, même si nos résultats indiquent qu'en anglais américain et en français, les mêmes catégories de phonèmes sont les plus porteuses d'information sur le locuteur, il reste à confirmer ce point et à évaluer ce qu'il en est pour d'autres langues.

Document : doc/theses/these_JK11.pdf