Campagne d'évaluation des Systèmes de Transcription Enrichie d'Émissions Radiophoniques


Accueil
Documents
Corpora
Ressources
Publications
Listes
Campagnes

Résultats ESTER 2

Segmentation en événements sonores

Parole

Système	Africa	Inter	RFI	TVME	Global
IRISA	0,0165	0,0142	0,0058	0,0244	0,0149
IRIT	0,0205	0,0085	0,0065	0,0247	0,0131
IRIT-1	0,0418	0,0090	0,0097	0,0225	0,0180
IRIT-2	0,0205	0,0085	0,0065	0,0247	0,0131
IRIT-3	0,0205	0,0085	0,0065	0,0247	0,0131
IRIT-4	0,0205	0,0085	0,0065	0,0247	0,0131
IRIT-5	0,1020	0,0827	0,0596	0,0838	0,0833
IRIT-6	0,0205	0,0085	0,0065	0,0247	0,0131
LIMSI	0,0255	0,0052	0,0026	0,0171	0,0108
RTL/Tel. ParisTech	0,0140	0,0110	0,0061	0,0207	0,0123
RTL/Tel. ParisTech-1	0,0206	0,0188	0,0079	0,0198	0,0176

[detection error rate (in %)]

Système	Africa	Inter	RFI	TVME	Global
IRISA	0,9915	0,9922	0,9970	0,9866	0,9920
IRIT	0,9894	0,9953	0,9967	0,9864	0,9929
IRIT-1	0,9782	0,9950	0,9950	0,9875	0,9903
IRIT-2	0,9894	0,9953	0,9967	0,9864	0,9929
IRIT-3	0,9894	0,9953	0,9967	0,9864	0,9929
IRIT-4	0,9894	0,9953	0,9967	0,9864	0,9929
IRIT-5	0,9456	0,9541	0,9691	0,9535	0,9547
IRIT-6	0,9894	0,9953	0,9967	0,9864	0,992
LIMSI	0,9867	0,9971	0,9987	0,9906	0,9942
RTL/Tel. ParisTech	0,9928	0,9940	0,9969	0,9885	0,9934
RTL/Tel. ParisTech-1	0,9893	0,9897	0,9960	0,9890	0,9906

[F-measure]

Musique

Système	Africa	Inter	RFI	TVME	Global
IRIT	0,0663	0,0517	0,0593	0,0463	0,0551
IRIT-1	0,1082	0,1130	0,0717	0,0520	0,0960
IRIT-2	0,1093	0,1138	0,0723	0,0599	0,0980
IRIT-3	0,0664	0,0647	0,0606	0,0480	0,0618
IRIT-4	0,1117	0,0672	0,0670	0,0485	0,0735
IRIT-5	0,1117	0,0672	0,0670	0,0485	0,0735
IRIT-6	0,0744	0,0650	0,0640	0,0480	0,0642
RTL/Tel. ParisTech	0,1240	0,0295	0,0392	0,0410	0,0525
RTL/Tel. ParisTech-1	0,6697	0,0543	0,0533	0,0566	0,1826

[detection error rate (in %)]

Système	Africa	Inter	RFI	TVME	Global
IRIT	0,5954	0,7853	0,4060	0,5805	0,6980
IRIT-1	0,0732	0,2859	0,1690	0,4840	0,2579
IRIT-2	0,0485	0,2755	0,1594	0,3687	0,2316
IRIT-3	0,5941	0,6866	0,3833	0,5584	0,6262
IRIT-4	0,0161	0,7394	0,3052	0,5476	0,5895
IRIT-5	0,0161	0,7394	0,3052	0,5476	0,5895
IRIT-6	0,5205	0,6847	0,3244	0,5584	0,6063
RTL/Tel. ParisTech	0,6206	0,8956	0,7094	0,7275	0,7885
RTL/Tel. ParisTech-1	0,2458	0,8247	0,6734	0,6816	0,5277

[F-measure]

Suivi et regroupement en locuteurs

Système	Africa	Inter	RFI	TVME	Global
IRIT	14,87	14,36	5,51	21,10	13,99
IRIT-1	14,47	22,24	5,88	19,60	17,42
IRIT-2	14,48	19,90	5,78	20,19	16,40
IRIT-3	14,84	14,40	5,51	21,10	14,01
IRIT-4	8,32	13,22	3,02	17,00	11,01
LIA	13,31	14,19	8,94	27,47	15,09
LIG	7,96	13,48	4,27	14,54	10,89
LIG-1	11,64	15,04	6,57	14,54	12,81
LIMSI	9,03	18,05	2,37	10,92	12,40
LIMSI-1	5,28	13,74	1,46	10,15	9,31
LIUM	9,76	11,32	3,69	18,71	10,80

[speaker diarization error rate (in %)]

Transcription

Système	Africa	Inter	RFI	TVME	Global
IRISA	30,0	28,3	17,2	24,3	26,3
LIA	28,9	30,2	16,0	26,2	27,1
LIMSI	12,8	14,2	7,3	11,6	12,4
LIUM	18,9	20,5	11,1	17,1	18,2
LIUM-1	19,7	21,2	11,4	18,3	18,9
LIUM-2	19,5	20,9	11,4	18,1	18,7
LIUM-3	19,5	20,9	11,4	18,1	18,7
LORIA	32,2	27,6	17,6	24,7	26,6
VR	15,7	17,7	9,7	13,7	15,5

[word error rate (in %)]

Last modified: August 02, 2005 by webmaster-ester@afcp-parole.org
Hébergement : Université d'Avignon