Sony dévoile le brevet pour la traduction en langue des signes en jeu

Sony a franchi une étape importante vers l'amélioration de l'accessibilité dans les jeux en déposant un brevet pour un traducteur de langue des signes en jeu en temps réel. Cette technologie innovante, intitulée «Traduction de la langue des signes dans un environnement virtuel», vise à combler les lacunes de communication entre les joueurs sourds en traduisant la langue des signes américains (ASL) en langue des signes japonais (JSL) et vice versa. Ce système promet non seulement d'améliorer l'expérience de jeu pour les joueurs sourds, mais favorise également une communauté de jeux plus inclusive.

Le système proposé capture les gestes de la langue des signes d'un joueur, les convertit en texte, traduit le texte dans la langue cible, puis rend les gestes de la langue des signes traduits à l'écran via des indicateurs virtuels ou des avatars. Cette traduction en temps réel garantit que les joueurs utilisant différentes langues de signe peuvent communiquer efficacement dans le jeu. Le brevet de Sony souligne la nécessité de cette technologie en raison des variations géographiques des langues des signes, qui ne sont pas universelles.

Proposé d'utiliser les appareils VR et de travailler sur les jeux en nuage

Sony envisage ce système de traduction implémenté à l'aide de périphériques VR ou d'affichages montés sur tête (HMD). Ces appareils se connecteraient à des appareils utilisateur tels que des ordinateurs personnels ou des consoles de jeux, câblées ou sans fil, pour offrir une expérience de visualisation immersive de l'environnement virtuel. Le HMDS permettrait aux utilisateurs de voir les gestes de la langue des signes traduits en temps réel, améliorant l'interaction entre les joueurs.

De plus, Sony propose que les appareils utilisateur puissent communiquer de manière transparente sur un réseau avec un serveur de jeu. Ce serveur exécuterait une session partagée du jeu vidéo, en maintenant son état canonique et son environnement virtuel. En synchronisant les périphériques utilisateur, les joueurs peuvent interagir dans le même environnement de jeu, même s'ils utilisent différentes langages de signe. Sony suggère également que le serveur de jeux pourrait faire partie d'un système de jeu cloud, qui rendrait et diffuserait la vidéo entre les appareils utilisateur, améliorant davantage l'expérience de jeu.