Las nuevas gafas pueden "escuchar" lo que sincronizas con los labios y decirle a tu teléfono

gafas-escuchan-gestos-francisco-perez-yoma


El dispositivo de lectura de labios permite comandos de voz sin la voz.

Los comandos de voz son una forma manos libres de interactuar con los teléfonos

inteligentes, pero en lugares públicos no son muy privados.

Pronto, las personas podrán tener la opción de usar manos libres y voz.

"Siri, envíale un mensaje de texto a mamá".

"Alexa, pon Flores de Miley Cyrus".

Los comandos de voz son convenientes, a menos que estés en un concierto ensordecedor, en una biblioteca tranquila o no puedas usar tu voz. Las nuevas monturas para gafas que leen los labios del usuario ofrecen ahora una solución.

La lectura de labios implica seguir los movimientos faciales para determinar lo que alguien está diciendo. Muchos dispositivos de lectura de labios apuntan con una cámara a la cara del usuario.

Otros dependen de sensores colocados dentro o alrededor de la boca del hablante. Ninguno de los métodos es adecuado para el uso diario, afirma Ruidong Zhang. Estudia ciencias de la información en la Universidad de Cornell en Ithaca, Nueva York.

Su equipo construyó la nueva tecnología de lectura de labios en un par de anteojos. Utiliza la acústica (el sonido) para reconocer el habla silenciosa. Zhang presentó este trabajo el 19 de abril en la Conferencia ACM sobre Factores Humanos en Sistemas Informáticos en Hamburgo, Alemania.

Hoy en día, los comandos de voz no son privados, dice Pattie Maes. Es experta en interacciones persona-computadora e inteligencia artificial (IA). Trabaja en el Instituto Tecnológico de Massachusetts en Cambridge. Desarrollar “enfoques silenciosos, con manos y ojos libres” podría hacer que las interacciones digitales sean más accesibles y al mismo tiempo mantenerlas confidenciales, afirma.

Maes no participó en el nuevo trabajo, pero desarrolló otros tipos de interfaces de voz silenciosa. Está ansiosa por ver cómo se compara este en áreas como usabilidad, privacidad y precisión. "Estoy emocionada de ver este novedoso enfoque acústico", dice.

Escuchar un discurso silencioso

"Imagínese el sistema de sonar que utilizan las ballenas o los submarinos", dice Zhang. Envían un sonido a su entorno y escuchan ecos. A partir de esos ecos, localizan objetos en su entorno.

"Nuestro enfoque es similar, pero no exactamente igual", explica Zhang. “No sólo estamos interesados en localizar algo. En cambio, estamos tratando de rastrear patrones de movimiento sutiles”.

Zhang llama a la nueva tecnología EchoSpeech. Consiste en dos pequeños parlantes debajo de una lente de un par de anteojos, dos pequeños micrófonos debajo de la otra lente y una placa de circuito unida a uno de los brazos laterales.

Cuando EchoSpeech está encendido, sus altavoces reproducen sonidos agudos. La gente no puede oírlos. Pero las ondas sonoras todavía reverberan en todas direcciones. Algunos viajan alrededor de los labios y la boca del usuario. Mientras habla, los movimientos faciales del usuario cambian la trayectoria de esas ondas sonoras. Esto, a su vez, cambia los patrones de eco captados por los micrófonos.

Estos patrones se envían al teléfono inteligente del usuario a través de Bluetooth. Utilizando IA, una aplicación EchoSpeech desentraña los patrones de eco. Hace coincidir cada patrón con los comandos que luego sigue el teléfono inteligente.

Para probar esta tecnología, 24 personas se turnaron para usar las gafas. Daban órdenes silenciosas mientras estaban sentados o caminando. EchoSpeech funcionó bien en ambos casos, incluso con ruidos de fondo fuertes. En general, tuvo una precisión de alrededor del 95 por ciento.

Construir el prototipo costó menos de 100 dólares, y Zhang dice que probablemente se podrían diseñar marcos para ocultar la electrónica en versiones futuras. ¿Necesita lentes recetados? Ningún problema. Simplemente colóquelos en los marcos de EchoSpeech.

Mejorar la comunicación personal

Actualmente, EchoSpeech reconoce 31 comandos de voz, desde "reproducir" hasta "oye, Siri". También reconoce números de tres a seis dígitos. Pero esos no son límites, dice Zhang. Cree que las versiones futuras podrían reconocer un vocabulario mucho más amplio. "Si las personas pueden aprender a leer los labios de manera eficiente, la IA también puede hacerlo", afirma.

De ser así, los usuarios podrían escribir mensajes de texto personales mediante voz silenciosa. En un restaurante ruidoso, podrían utilizar ese método para enviar mensajes a amigos con problemas de audición o que están lejos, en lugar de intentar gritar por encima del ruido o escribir sus palabras.

Y aquellos que hayan perdido la voz podrían participar en conversaciones cara a cara. Sus movimientos faciales podrían interpretarse en tiempo real y sus palabras enviarse por mensaje de texto a los teléfonos inteligentes de sus amigos.

EchoSpeech fue diseñado para interpretar el habla silenciosa, pero también podría ayudar a recrear voces. Las personas a las que les extirparon las cuerdas vocales se han puesto en contacto con el equipo de Zhang. Quieren saber si esta interfaz podría leer sus labios y luego hablar en voz alta por ellos.

Ahora está explorando si Echo Speech podría hacer esto con la propia voz de una persona. Los patrones de eco de la misma palabra son ligeramente diferentes entre los hablantes. Las diferencias podrían reflejar las cualidades vocales específicas del hablante, si es posible desenredarlas.

Las personas sin voz suelen utilizar programas de texto a voz que suenan robóticos. El mensaje "no tiene emoción, no tiene su tono, no tiene su estilo de discurso", señala Zhang. En este momento, dice, "estamos tratando de mantener esa información para tener una voz viva y real".

Este es uno de una serie que presenta noticias sobre tecnología e innovación, posible gracias al generoso apoyo de la Fundación Lemelson.

Traducido y Adaptado de ScienceNewsExplores

Fuente: este post proviene de Francisco Pérez Yoma, donde puedes consultar el contenido original.
¿Vulnera este post tus derechos? Pincha aquí.
Creado:
¿Qué te ha parecido esta idea?

Esta idea proviene de:

Y estas son sus últimas ideas publicadas:

La IA ya no es opcional para la mayoría de las empresas y está lejos de ser un factor diferenciador. De hecho, los investigadores descubrieron que más del 95% de las empresas tienen iniciativas de IA ...

Etiquetas:

Recomendamos

Relacionado

aplicacion apple ios13 ...

En la Conferencia Mundial de Desarrolladores del año pasado, Apple anunció la nueva aplicación Siri Shortcuts, que permite a los usuarios de iOS crear comandos de voz personalizados para sus aplicaciones. Hoy, la empresa ha presentado una serie de actualizaciones para la aplicación Siri Shortcuts para mejorar la experiencia tanto de los usuarios como de los desarrolladores de aplicaciones. También ...

app android app iphone siri para android

Desde su aparición en 2011 junto al Iphone 4, la aplicación de reconocimiento de voz SIRI se ha vuelto una necesidad y una comodidad muy importante para los usuarios del IOS de Apple a nivel internacional. Este asistente de voz, apoyándose en su sistema de reconocimiento de comandos, ha sido una herramienta revolucionaria que permite llevar las interacciones usuario-dispositivo a un nuevo nivel. ...

Apple TV productos de Apple Siri

Aunque  Apple puso mucho hincapié en el lanzamiento de Apple TV en 80 países de manera simultánea y en la función de control mediante comandos de voz, finalmente no sera así. De este modo,  el asistente Siri estará disponible solamente en ocho de los 80 países de lanzamiento, al menos a día de hoy. Asimismo, el Apple TV de nueva generación tendrá dos versiones: una equipada con el nuevo control r ...

accesibilidad invidentes braille ...

Está claro que los Smartphones que actualmente encontramos en el mercado no suponen un ejemplo de accesibilidad para las personas invidentes al no poder interactuar correctamente con las pantallas lisas de estos terminales aunque algunos fabricantes se han preocupado de crear opciones de accesibilidad y comandos de voz estos no son muy útiles. Motivado a lo expuesto anteriormente, un conjunto de ...

apple asistente consejos ...

Si hablar en voz alta con Siri (o con tu asistente digital preferida) no te parece normal, no eres el único. He tenido a Siri desde siempre, pero puedo contar con una mano el número de veces que he hablado con ella. Siempre me ha parecido más fácil abrir una aplicación en mi iPhone o escribir una consulta de Google y obtener exactamente lo que estoy buscando, en lugar de estar preguntando a Siri p ...