UMI-LINGO

Accés obert a una pinça de mà modular, multi-eina i a un conjunt de dades multimodal per a la manipulació robòtica guiada per llenguatge natural.

UMI-LINGO democratitza l’aprenentatge de robots proporcionant una pinça de mà de codi obert i un conjunt de dades multimodal basat en demostracions humanes.

Integrant instruccions en llenguatge natural, imatges visuals i sensors tàctils/auditius, el projecte permet una recopilació de dades i entrenament de models rendibles, accelerant l’adopció de l’automatització en diversos sectors, especialment a les pimes.

Basant-se en la Universal Manipulation Interface (UMI), UMI-LINGO introdueix un enfocament innovador: les demostracions de tasques es generen a partir de descripcions en llenguatge natural. En aquest sistema, un usuari descriu una tasca a partir d’imatges de l’estat inicial i final, i un altre la realitza només a partir de la descripció oral. Aquest procés captura la diversitat de la comunicació i execució humanes, enriquint els conjunts de dades emprats per entrenar robots amb intel·ligència artificial.

UMI-LINGO és una iniciativa seleccionada en la 3a Open Call “Creació d’un conjunt de dades de tasques de manipulació amb instruccions de visió i llenguatge sobre intercanvi tecnològic i projectes de col·laboració en robòtica i IA”, impulsada pel projecte euROBIN.

En aquest sentit, UMI-LINGO complementa el planificador LLM d’euROBIN oferint la implementació automàtica d’habilitats, eliminant la programació manual i millorant l’autonomia dels fluxos de treball. Més enllà d’euROBIN, el projecte afavoreix la indústria europea promovent la reutilització de dades, reduint les barreres de R+D i fomentant la col·laboració.

Per maximitzar l’accessibilitat, el projecte ofereix videotutorials sobre el muntatge de la pinça, la captació de dades i l’entrenament de models, capacitant les pimes i persones no expertes per implementar solucions robòtiques de manera autònoma i assequible.

UMI-LINGO és un projecte executat per la Unitat de Robòtica i Automatització d’Eurecat, amb mentoratge d’Inria, i es validarà en diversos àmbits: fabricació flexible, assistència domèstica i robòtica d’exteriors.