Els models de llenguatges basats en la IA Generativa han causat un gran impacte a tots els nivells per la impressionant capacitat de manipulació del llenguatge a qualsevol domini i pels grans beneficis que pot aportar a nivell d’aplicacions. Tot i això, des del punt de vista de la tecnologia, aquests models presenten problemes que han de ser resolts per poder ser integrats en solucions innovadores per a les empreses.
Entre els problemes més importants, hi ha la gran demanda de recursos computacionals i energia que es necessiten per a l’entrenament i l’ús d’aquests models, i lligat a això, la ineficiència en termes de temps de resposta. Altres problemes no menys importants són la generació d’informació falsa o amb biaix, la dificultat d’explicar els resultats, la poca transparència relativa a l’origen de les dades, la possibilitat de violar normes de privadesa i el cost de mantenir actualitzada la informació.
En resposta a diversos d’aquests problemes, han anat guanyant terreny recentment els Small Language Models (SLM), que són models compactes que utilitzen relativament poques dades d’entrenament i relativament pocs paràmetres –de l’ordre de milions en comparació a més de 100 bilions que utilitzen els Large Language Models (LLMs)-, cosa que els fa més accessibles i més eficients.
Els Small Language Models són entrenats usant Large Language Models a través d’un procés de destil·lació del coneixement sobre dominis específics, amb la possibilitat de fer un entrenament extra per millorar l’exercici per a certes tasques (fine-tuning). En definitiva, són models que poden ser implementats en aplicacions amb recursos limitats, que requereixen temps de resposta ràpids i amb un exercici semblant als Large Language Models en tasques específiques.
Altres grans avantatges dels Small Language Models radica que al contrari dels Large Language Models que aprenen de gran quantitat de dades privades i públic, sense gran control sobre aquests, els Small Language Models són entrenats amb una relativament petita quantitat de dades, permetent seleccionar-los en base a la seva qualitat i confiabilitat i, així, controlar problemes de biaix i privadesa. Això sumat a la mida reduïda del model facilita l’explicabilitat i auditoria dels resultats.
Tot sembla indicar que els Small Language Models són la gran alternativa als Large Language Models i que seran el camí que cal seguir en el desenvolupament d’aplicacions que vulguin treure profit del gran potencial que brinden els nous models de llenguatges. Aquest any serà clau per poder verificar l’impacte que aquesta tecnologia tindrà en creixement.
Maria Eugenia Fuenmayor
Directora científica de l’Àrea Digital d’Eurecat
