Lot 06 Évaluation des Modules

Objectif : d’évaluer la qualité des modules de sous-titrages multilingues et LSF.

La validation des modules de sous-titrages multilingues et LSF de ROSETTA sera faite auprès des utilisateurs concernés à partir :

• de la mesure de leur degré d’utilité et d’utilisabilité pour les besoins spécifiques
• de la mesure du contenu auquel l’utilisateur a pu accéder (à quel point l’information a été interprétée et comprise)
• de la mesure du degré de satisfaction des utilisateurs (quantifiée sur une échelle) en considérant les différentes dimensions de l‘usage de ROSETTA et les différents types de contenus,
• de la comparaison avec un interprète humain pour les langues étrangères et en langue des signes.

Pour cela, le partenaire LUTIN, en responsable du lot 6, mettra en place un protocole classique qui consiste à évaluer l’apport de la nouvelle technique par rapport à l’existant.

En ayant recours à un interprète humain en LSF, ainsi qu’au produit ROSETTA, sous la responsabilité du Lutin Userlab/EPHE, le lot 6 mesurera la proportion de satisfaction :

• Par rapport à divers types de contenus, le nombre d’incompréhensions, de méprises sémantiques,
• Et aussi par rapport au temps mis et la robotisation en ligne.