Así es Showleap: el traductor de lengua de signos a texto y voz en tiempo real está cada vez más cerca

Dentro de las soluciones que nos ofrece la tecnología en todos los ámbitos imaginables, merecen una mención especial aquellas propuestas que abogan por la accesibilidad. En este sentido, más allá de las aportaciones que hacen gigantes como Google, destaca el trabajo realizado por la Fundación Vodafone España, que actualmente apoya diversos proyectos dirigidos a mejorar la calidad de vida de las personas con algún tipo de enfermedad o minusvalía.

Suyos son, por ejemplo, unos accesorios IoT pensados para cuidar la salud de los deportistas, y la aplicación móvil Tur4All, que permite explorar establecimientos y actividades turísticas accesibles. Recientemente, hemos conocido, además, un proyecto que nos ha llamado mucho la atención: se llama Showleap, es un traductor de lengua de signos en tiempo real y ya hemos podido comprobar cómo funciona.

Una cámara y un software

Showleap, que obtuvo el primer premio en la categoría ‘Accesibilidad TIC’ de la XII Edición de los Premios Vodafone a la Innovación 2018, ha sido creada con el objetivo de ayudar a las personas sordas o con discapacidad auditiva a comunicarse con cualquier oyente que no entienda la lengua de signos. Para ello, se sirve de dos elementos: una cámara que detecta el movimiento y reconoce las imágenes de la persona que está signando, y un software que traduce en tiempo real lo que la persona sorda expresa en lengua de signos y lo pasa a texto y voz.

En Xataka Móvil

Asistimos a la primera intervención quirúrgica teleasistida con 5G: el médico en el MWC y el paciente en el hospital

Los fundadores del proyecto, Teo Atienza y Emilio Guerra, aseguran que el software está evolucionando para intentar "construir el traductor en base a lo que las personas sordas demandan". Al principio, empezaron con dos brazaletes (fabricados por un tercero) que funcionaban bien con pocos signos, pero al aumentar la base de datos a 20.000 signos, comenzaron a fallar. Además, las personas sordas que los probaban les transmitían que "ellos no querían tener que ponerse nada adicional para entablar una conversación normal".

En sus inicios, Showleap requería el uso de unos brazaletes; ahora, basta con una cámara que grabe los signos

Decidieron entonces cambiar los brazaletes por una cámara y comenzaron un largo proceso "porque el trabajo anterior no servía y había que reprogramarlo todo". Ahora, aseguran, Showleap "funciona con cualquier cámara o webcam a color", que es la encargada de grabar en tiempo real los signos para que el programa los procese y aparezca la traducción en pantalla. Dicho programa, de momento, puede instalarse en un ordenador, pero "la idea es que, en un futuro, se convierta en una app para el móvil o tablet".

Un proyecto con vistas al futuro

Según nos cuentan Teo y Emilio, Showleap es un proyecto complejo a nivel técnico porque utiliza técnicas de deep learning y un programa que consta de tres redes neuronales: la primera procesa el vídeo, la segunda capta los signos que se han hecho y los interpreta, y la tercera es la que se encarga de "unir" los signos y darle un sentido a la frase.

En Xataka Móvil

Siete aplicaciones para personas con discapacidad en Android y iOS

Esta tercera red neuronal es la que está en desarrollo actualmente. Ahora mismo se encuentran en una fase en la que Showleap es capaz de reconocer palabras sueltas sin problemas (como pudimos comprobar en la demo), pero están trabajando para que pueda traducir frases completas. También están colaborando con el Ayuntamiento de Madrid, que les adjudicó un contrato de compra pública de innovación, y en mayo tendrán el primer testeo en entorno real.

Esas pruebas de Showleap con personas sordas se realizarán en dependencias del Ayuntamiento y permitirán comprobar si traduce correctamente frases completas (usarán unas veinte frases en el test, nos dicen) y si la comunicación resulta fluida y "natural". Aunque las demos que nos han hecho estaban montadas en servidores locales, en mayo realizarán las pruebas con almacenamiento en la nube y a través de un navegador porque la idea, como decíamos antes, es que en un futuro a corto plazo puedan "pasar" Showleap a móvil para que cualquier usuario a nivel particular lo utilice en cualquier momento.

La idea es que, en un futuro a corto plazo, Showleap llegue a los móviles y cualquier usuario a nivel particular pueda utilizarlo en cualquier momento

Una vez que hayan perfilado lo que ellos llaman "la parte difícil", es decir, la traducción de signo a texto, pasarán a trabajar en la comunicación bidireccional. Eso implicará la implementación de la traducción de voz a texto, de manera que, cuando la persona oyente hable a la persona sorda, la aplicación convierta estas palabras a texto para que esta pueda leerlas en su dispositivo.

Marta, sordomuda, nos da las gracias al finalizar la demo y Showleap nos lo traduce al instante

Lo ideal, nos dicen, sería que esa comunicación bidireccional incluyera la conversión de voz a signos, pero eso requeriría disponer de una serie de vídeos pre-grabados para que, cuando el problema "oyera" una frase determinada, mostrara su correspondiente vídeo. Y claro, "eso ya se va a medio plazo" porque requiere mucho desarrollo.

Pero el equipo de Showleap es optimista y antes de despedirnos nos aseguran que "lo natural, al final, es que la comunicación sea completamente bidireccional y natural: que la persona sorda signe y se lo traduzca a voz al oyente, y que el oyente conteste hablando y se lo traduzca a signos a la persona sorda". Esperemos que así sea, de momento, y a juzgar por estos primeros pasos, está claro que Showleap "camina" en la buena dirección.

Más información | Showleap