Y no sólo lo que nos dicen las fotos. El Deep Learning es una familia de algoritmos de Inteligencia Artificial que permite a los ordenadores extraer información útil de todo tipo de datos mediante el aprendizaje sin intervención humana.Para conseguirlo necesitan una gran cantidad de datos y un objetivo que indique qué tipo de información queremos extraer.
Un nuevo algoritmo basado en Deep Learning diseñado por Raul Gómez, investigador de la unidad de Tecnologías Audiovisuales de Eurecat, permite aprender relaciones entre imágenes y palabras. Lo consigue aprendiendo de imágenes con texto asociados. Esta técnica se llama aprendizaje no supervisado y elimina la necesidad de etiquetar los datos manualmente, lo que supone un avance.
Un caso práctico: lo que nos dicen los turistas que visitan Barcelona en Instagram
Para el desarrollo de este nuevo algoritmo se han analizado un millón de imágenes públicas de la red social visual más potente del mundo: Instagram. Y se ha seleccionado “Barcelona” como término de búsqueda ya que es una de las ciudades más populares de la red con más de 35 millones de entradas.
Primero, el algoritmo de análisis textual aprende relaciones entre palabras del texto asociado a las publicaciones de Instagram. Estudiando los contextos en los que aparecen, aprende una representación semántica de éstas. De este modo podemos saber qué palabras asocian los usuarios de Instagram a Barcelona y otros conceptos.
A continuación, el algoritmo de análisis visual aprende a reconocer patrones en las imágenes de Instagram que permitirán relacionarlas con términos textuales. El algoritmo nos mostrará qué elementos visuales relacionan los usuarios de Instagram con Barcelona y otros conceptos.
Análisis textual: ¿Qué palabras relacionan los usuarios con #Barcelona y otros conceptos?
Cuando los turistas hablan de #Barcelona en Instagram se suelen referir a conceptos como la arquitectura y la cultura, lo que permite al algoritmo relacionar estos dos ámbitos con “turismo” en la ciudad.
Estableciendo relaciones según el tipo de alojamiento
El diseño y la arquitectura son conceptos asociados a los hoteles en Barcelona mientras que los términos relacionados con hostels se refieren al ambiente juvenil y de diversión de estos establecimientos.
Las imágenes también hablan: Desayuno con #churros, #brunch al mediodía y #paella para cenar
El algoritmo también es capaz de hacer un análisis visual y determinar qué tipo de imágenes se relacionan con cada término textual. En el caso concreto de este estudio, el algoritmo ha aprendido que cuando la gente habla de diversión en Barcelona (“fun”) asocia imágenes de las playas de la ciudad o de tomar copas y cuando se habla de cultura Gaudí se erige como el máximo exponente.
La gastronomía es otro de los puntos fuertes de la ciudad y por este motivo es interesante conocer los conceptos asociados a las imágenes que toman los visitantes.
El desayuno se asocia al chocolate con churros, mientras que el algoritmo ha aprendido a relacionar la paella con el concepto “cena”. Para el brunch se suelen asociar imágenes de comida saludable como ensaladas.
El Deep Learning nos puede servir para detectar tendencias
Por barrios: vermú y modernismo en Sant Antoni y menú económico en Sants
Los visitantes suelen asociar el vermú a Sant Antoni, mientras que relacionan Sants a menús baratos o Sitges a sus playas y ambiente homosexual. Poblesec está asociado a sus tapas, mientras las fotos de los turistas relacionan Gràcia al arte callejero de este barrio.
Relaciones por barrios
En una segunda fase se ha extendido el análisis a un desglose por idiomas de los contenidos haciendo un análisis por barrios. La combinación de análisis textual y visual también arrojará resultados interesantes para conocer preferencias y tendencias en la ciudad.
Deep Learning para ciudades
Los resultados aportan información de alto valor sobre tendencias en sectores tan competidos como el turismo o el retail. También pueden ser útiles para las ciudades para extraer conclusiones derivadas de los datos públicos colgados en redes sociales relacionados con ellas.
Este análisis de las imágenes de redes sociales, texto asociado y técnicas Deep Learning es extrapolable a cualquier otra ciudad, evento o sujeto del cual se puedan obtener una gran cantidad de datos.
Para aplicar el algoritmo a otra área, es necesario recoger imágenes con texto asociado sobre ésta y reentrenar los algoritmos con estos datos.
¿Estás interesado en iniciar algún proyecto Deep Learning? Contáctanos al correo info@eurecat.org
