Les campagnes d’évaluation ESTER visaient à la mesure des performances des systèmes de transcription d’émissions radiophoniques. Les transcriptions sont enrichies par un ensemble d’informations annexes, comme le découpage automatique en tours de paroles, le marquage des entités nommées, etc. La transcription enrichie a donc pour but d’obtenir une transcription lisible d’une part et, d’autre part, une représentation structurée du document à des fins d’extraction d’informations. L’évaluation de la qualité des informations annexes en complément de l’évaluation de la transcription orthographique permet d’établir une référence des niveaux de performances actuels de chacune des composantes d’un système d’indexation, tout en donnant une idée des performances du système complet.
Historique
La première campagne a été organisée dans le cadre du project EVALDA, financé par le Ministère de la Recherche dans le cadre de l’appel à projet Technolangue, sous l’impulsion de l’Association Francophone de la Communication Parlée, du Centre d’Expertise Parisien de la Délégation Générale de l’Armement et de ELDA (Evaluations and Language resources Distribution Agency). Organisée en deux phases, cette première campagne s’est terminée par une campagne de test menée en janvier 2005.
La deuxième campagne ESTER, démarrée fin janvier 2008, s’est achevée en avril 2009. Elle avait pour but de mesurer les progrès effectués depuis la première campagne et de lancer de nouveaux axes de recherche. Elle a été organisée conjointement par la Direction Générale à l’Armement et l’Association Francophone de la Communication Parlée, avec le concours de ELDA (Evaluations and Language resources Distribution Agency).
Contacts
AFCP : Guillaume Gravier
DGA/CEP : Laura Chaubard, Edouard Geoffrois
ELDA : Khalid Choukri