Indian-Engineering-Student-AI-model-sign-language-English

Une étudiante invente un traducteur instantané pour la langue des signes

Une étudiante indienne révolutionne la traduction de la langue des signes. 

Priyanjali Gupta est étudiante en troisième année d’ingénierie au Vellore Institute of Technology (VIT), en Inde. Elle a mis au point une technologie capable de traduire la langue des signes américaine en anglais. Et ce, en temps réel.

À savoir qu’aux États-Unis, le signe est la troisième langue la plus parlée après l’anglais et l’espagnol.

Une traduction instantanée

L’étudiante Priyanjali a annoncé sa création dans un post LinkedIn. Elle y explique comment elle a réussi à développer un modèle d’intelligence artificielle (IA) capable de traduire instantanément la langue des signes américaine (ASL). Sa publication a suscité plus de 60 000 réactions.

Pour créer ce traducteur intelligent, elle dit s’être inspirée d’une vidéo du spécialiste des données Nicholas Renotte traitant de la détection en temps réel de la langue des signes.

La détection des objets

Concrètement, l’étudiante a inventé son modèle d’IA à l’aide de l’API de détection d’objets Tensorflow.

La détection d’objets est un domaine de la recherche visant à classer et localiser des régions ou des zones d’une image ou d’un flux vidéo. Tensorflow est une bibliothèque open source de Machine Learning, créée par Google. Elle permet de développer et d’exécuter des applications de Machine Learning et de Deep Learning. À la manière d’une boîte à outils, elle est capable de résoudre des problèmes mathématiques extrêmement complexes. Ainsi, Tensorflow permet aux chercheurs de développer des architectures d’apprentissage expérimentales et de les transformer en logiciels.

S’appuyer sur l’open-source

Dans le cadre du développement de ce traducteur, Tensorflow traduit les gestes de la main en utilisant l’apprentissage par transfert à partir de ssd_mobilenet, un modèle de détection pré-entraîné. Les MobileNets sont des algorithmes de Deep Learning. Ils ont été inventés par Google et implémentés dans Tensorflow.

Priyanjali Gupta explique que la construction d’un modèle d’apprentissage profond dédié à la détection de la langue des signes est un véritable défi. Dans un commentaire de son post, elle écrit, “actuellement, je ne suis qu’une étudiante amatrice, mais j’apprends et je crois que tôt ou tard, notre propre communauté open-source qui est beaucoup plus expérimentée et cultivée que moi trouvera une solution, et peut-être que nous pourrons avoir des modèles d’apprentissage profond uniquement pour les langues des signes”.

L’étudiante explique avoir généré l’ensemble de données à l’aide du fichier Python Image Collection. Ce dernier collecte des images provenant de webcams pour plusieurs signes de la langue des signes américaine. Par exemple, le signe I Love You, Thank you, Please, ou encore Yes et No.

 

_
Suivez Geeko sur Facebook, Youtube et Instagram pour ne rien rater de l'actu, des tests et bons plans.