Altres notícies
Altres notícies
RSI-Anything utilitza prediccions i resultats observats per revisar el seu funcionament. Segons Sangdo Han i Moonsoo Kim, autors d’un altre estudi, limitar la llargada de les respostes pot distorsionar l’avaluació de les instruccions optimitzades.
Rep el resum diari d'IA
Cada matí, l'essencial de la intel·ligència artificial al teu correu, sense fum. Al dia amb la IA.
En subscriure-t'hi acceptes rebre el butlletí d'AI Informator. Pots donar-te de baixa quan vulguis.
En resum
- RSI-Anything sotmet les seves actualitzacions a comprovacions abans de conservar-les.
- Segons Han i Kim, les respostes tallades expliquen els aparents errors de contingut.
- Segons Han i Kim, ampliar l’espai per respondre elimina els errors d’extracció observats en el seu estudi, però persisteix l’incompliment del format exigit.
RSI-Anything revisa les seves prediccions amb els resultats observats
L’equip de RSI-Anything presenta el sistema com una eina que utilitza models predictius per orientar les seves accions i seleccionar dades d’aprenentatge. Després, els resultats observats impulsen canvis en l’estratègia o en el procediment de treball, juntament amb una adaptació del model predictiu quan correspon.
Per conservar aquests canvis, cal comprovar els components i la seva compatibilitat. Segons l’equip de RSI-Anything, obtenir informació externa sobre els resultats és costós i les prediccions poden perdre fiabilitat quan canvia l’estratègia. La proposta descriu, per tant, un procés de revisió condicionat per aquestes comprovacions.
Segons Han i Kim, ampliar l’espai de resposta elimina errors d’extracció en el seu estudi
Un estudi preregistrat examina què passa amb els requisits que no compten per a la puntuació que es vol millorar. Els autors van fixar les hipòtesis i les regles d’avaluació abans de les proves principals. Segons Han i Kim, l’anàlisi posterior va trobar una causa decisiva dels aparents retrocessos: les instruccions optimitzades feien que el model escrivís el seu raonament abans del bloc de dades en el format JSON exigit. El límit de sortida tallava moltes respostes abans que aparegués aquest objecte, i l’avaluació comptabilitzava cada resposta que no es podia extreure com un incompliment de tots els requisits de contingut.
Segons Han i Kim, en ampliar l’espai disponible per respondre van desaparèixer els errors d’extracció observats. Això no vol dir que es respectés el format: continuava apareixent raonament abans de l’objecte demanat. El treball no avala la hipòtesi general que optimitzar una puntuació empitjori el compliment dels altres requisits; la seva conclusió, més limitada, és que pot millorar l’encert alhora que s’incompleix el format, amb un cost que depèn del límit de sortida i que la puntuació no reflecteix.
Conclusió
Les comprovacions decideixen quins canvis conserva el primer sistema. En el segon estudi, segons Han i Kim, el límit de sortida condiciona el cost d’incomplir el format.
Fonts primàries
Rep el resum diari d'IA
Cada matí, l'essencial de la intel·ligència artificial al teu correu, sense fum. Al dia amb la IA.
En subscriure-t'hi acceptes rebre el butlletí d'AI Informator. Pots donar-te de baixa quan vulguis.
Comentaris