« Modéliser le geste pour l’apprentissage en langue des signes »

« Je m’intéresse à la modélisation des mouvements en couplant des données capturées avec des modèles de simulation. L’un de mes axes de recherche concerne le développement d’applications numériques facilitant l’inclusion des enfants sourds au monde de l’éducation. L’objectif est de générer de nouveaux contenus éducatifs, aujourd’hui limités par la faible disponibilité de vidéos préenregistrées en langue des signes française (LSF).

Avec un avatar 3D

Deux types d’applications sont considérés. La première est la traduction du texte vers la LSF par un avatar 3D animé. Afin de produire des mouvements fluides et compréhensibles, nous nous appuyons sur des techniques d’animation similaires à celles des jeux vidéo, en utilisant des données de mouvements capturés sur des personnes signantes. Dans le sens inverse, la traduction des signes en textes¹ facilite le sous-titrage automatique. L’une des clés réside dans l’accès à d’importantes bases de données vidéo, couplé à la mise en œuvre de modèles d’intelligence artificielle, permettant de reconnaître automatiquement les signes. Cette recherche permet d’envisager de futures solutions innovantes et performantes sur ces deux approches. »