UMI-LINGO

Acceso abierto a una pinza de mano modular, multi-herramienta y a un conjunto de datos multimodal para la manipulación robótica guiada por lenguaje natural.

UMI-LINGO democratiza el aprendizaje robótico mediante una pinza de mano de código abierto y un conjunto de datos multimodal a partir de demostraciones humanas.

Al integrar instrucciones en lenguaje natural, imágenes visuales y sensores táctiles/auditivos, el proyecto permite una recopilación de datos y entrenamiento de modelos rentables, acelerando la adopción de la automatización en diversos sectores, especialmente en las pymes.

Basándose en la Universal Manipulation Interface (UMI), UMI-LINGO introduce un enfoque novedoso: las demostraciones de tareas se generan a partir de descripciones en lenguaje natural. En este sistema, una persona describe la tarea a partir de imágenes del estado inicial y final, y otra la ejecuta únicamente a partir de esa descripción oral. Este método recoge la diversidad de la comunicación y ejecución humanas, enriqueciendo los conjuntos de datos para entrenar robots con inteligencia artificial.

UMI-LINGO es una iniciativa seleccionada en la 3ª Open Call “Creación de conjuntos de datos de tareas de manipulación con visión e instrucciones en lenguaje natural”, impulsada por el proyecto euROBIN.

En este sentido, UMI-LINGO complementa al planificador LLM de euROBIN al ofrecer la implementación automática de habilidades, eliminando la programación manual y mejorando la autonomía de los flujos de trabajo. Más allá de euROBIN, la iniciativa beneficia a toda la industria europea al promover la reutilización de datos, reducir las barreras de I+D y fomentar la colaboración.

Para maximizar la accesibilidad, el proyecto ofrece videotutoriales sobre el montaje de la pinza, la captura de datos y el entrenamiento de modelos, empoderando a las pymes y a usuarios no expertos para desplegar soluciones robóticas de forma autónoma y asequible.

UMI-LINGO es un proyecto ejecutado por la Unidad de Robótica y Automatización de Eurecat, con mentoría de Inria, y se validará en múltiples dominios: fabricación flexible, asistencia doméstica y robótica en exteriores.