Combina cualquier imagen, con un paisaje sonoro imaginario con esta App con inteligencia artificial

El sonido puede ser maravillosamente evocativo; alejándonos de las oficinas y hogares para que se sienten al lado de balbuceos arroyos en los sombreados bosques, o se estremezcan en un lado expuesto de la montaña.




Pero un nuevo proyecto de investigadores japoneses aprovecha este potencial imaginativo y lo combina con la inteligencia artificial para lograr un efecto mágico. La aplicación web resultante, "Imaginary Soundscapes", utiliza el aprendizaje automático para hacer coincidir cualquier imagen que cargue, con una combinación de audio adecuado.

Sube una xilografía japonesa de barcos de pesca, por ejemplo, y el sistema ofrece olas y sonidos de agua; carga una pintura abstracta de ruiseñores, y te dan un paisaje sonoro de jardín de carillones de viento y pájaros.

A menudo los resultados son exactamente los esperados, pero más interesante es cuando el sistema detecta elementos de la imagen en los que tal vez no hayas pensado (como emparejar Megatron con sonidos de tractor) o que no tienen ningún sentido (como esta pintura de manos combinada con sonidos de un juego de deportes en vivo).






Algunos consejos rápidos: tiende a obtener resultados interesantes cuando sube ilustraciones, fotografías de actividades humanas e imágenes abstractas. Cargar memes solo confunde la máquina.

Todo esto es producto de un mecanismo de Inteligencia Artificial relativamente simple. Utiliza el reconocimiento de objetos para identificar elementos dentro de la imagen, y luego los combina con un conjunto de datos de más de 52,000 archivos de sonido.

Los investigadores responsables, Yuma Kajihara, Shoya Dozono y Nao Tokui de la Universidad de Tokyo, han estado trabajando en este tipo de “modelo cruzado" durante años.






Una versión anterior de Imaginary Soundscapes se lanzó en enero, para que combinar con audio, las imágenes de Google Street View, y puede leer esta publicación de blog de Tokui para obtener más información acerca de ese proyecto. (Él cita a Brian Eno como inspiración).

Es una pequeña aplicación divertida y un fantástico ejemplo de los nuevos tipos de expresiones creativas que la Inteligencia Artificial permite.

El sistema no es perfecto: el reconocimiento de objetos produce errores y la base de datos de sonido es inevitablemente incompleta, pero eso es parte del encanto. En todo caso, los paisajes sonoros fortuitos e inesperados que produce son más interesantes que las coincidencias "correctas".

Puedes probar la app haciendo clic en esta liga