És saludable un batut? La IA de Google Research t'obliga a decidir

Quan la categoria no té límits clars

Aquest supòsit funciona amb categories objectives, com un senyal de stop o un golden retriever, que tenen uns límits clars i reconeguts arreu.

El problema arriba amb les zones grises. Google Research sosté que en conceptes com «menjar sa» o «art inspirador» els límits canvien amb el context cultural o les conviccions personals, i que la gent rarament els té clars per endavant: els descobreix quan topa amb exemples reals.

Agile Deliberation, signat pels investigadors Otilia Stretcu i Leijie Wang, converteix el sistema d'IA en un company que ajuda la persona a afinar la seva pròpia definició abans de construir el classificador, segons Google Research.

Primer pas: acotar el concepte

La primera etapa, la delimitació del concepte (concept scoping), consisteix a desglossar la idea general en una jerarquia de subcategories i exclusions explícites, segons Google Research.

Segons Google Research, en el seu exemple «menjar sa» es divideix en amanides, bols de cereals i proteïnes magres, i deixa fora els aliments processats i els ingredients crus sense preparar. Aquesta estructura serveix de base inicial per al model.

Segon pas: buscar els casos dubtosos

L'aprenentatge automàtic tradicional tracta qui etiqueta com un «oracle» que ja té al cap totes les regles. Google Research afirma que Agile Deliberation trenca aquesta premissa i aposta per refinar-les en col·laboració.

La segona etapa, la iteració del concepte (concept iteration), s'inspira en l'aprenentatge actiu, però segons Google Research no tria exemples només per reduir la incertesa de la màquina: busca els que posen a prova la definició escrita per l'usuari.

El batut que obliga a decidir

Segons Google Research, el sistema pot mostrar un batut de fruita davant del concepte de «dieta sana» i obligar a decidir: és una beguda saludable perquè porta fruita crua o un aliment processat exclòs pel seu alt contingut de sucre?

Google Research sosté que aquests dilemes porten a revisar supòsits ocults, aclarir la intenció real i actualitzar les regles. La resposta humana entra en un bucle automàtic d'optimització del prompt, de manera que els límits de classificació del model es mouen alhora que la definició.

Un estudi amb persones, no amb benchmarks

Segons Google Research, els benchmarks estàtics no capten conceptes subjectius i no hi ha una veritat objectiva amb què mesurar. Per això l'equip va fer 18 sessions en directe d'1,5 hores en què els participants van fer servir el sistema i les alternatives en ordre aleatori, per evitar biaixos d'aprenentatge.

Es van triar dos dominis molt subjectius: «menjar sa» i «Pay-to-Play», imatges ganxo d'oci en línia o videojocs que prometen recompenses econòmiques o digitals enganyoses, un cas real de moderació de continguts. Agile Deliberation es va comparar amb tres alternatives, segons Google Research.

Més coherència i menys estrès

Segons Google Research, els qui van passar per la deliberació estructurada van etiquetar amb una coherència significativament més alta i van construir classificadors que van superar totes les alternatives, sobretot en les imatges subjectives més difícils. Els guanys respecte del zero-shot es van repetir en els dos dominis, mentre que la deliberació manual sovint no millorava o fins i tot empitjorava la precisió.

Google Research afirma que l'enginyeria de prompts manual esgotava els participants i els generava ansietat, perquè corregir un error podia espatllar el que ja estava arreglat. Amb Agile Deliberation van declarar menys esforç, estrès i frustració, i tots el van preferir als mètodes manuals.

Queda un límit de fons. Segons Google Research, en aquests conceptes no hi ha una veritat objectiva i estàtica: el mètode busca que el classificador reflecteixi la intenció explícita i matisada de qui el defineix, no una frontera universal.