Ensenyar a una IA el que creu fals la pot desalinear

Dades falses, però inofensives

Ja se sabia que l'ajust fi (fine-tuning) amb dades nocives d'un àmbit estret pot desalinear un model en general. Però gairebé mai no s'entrena amb dades explícitament nocives, així que no estava clar fins a quin punt aquest risc és realista.

Segons Ariana M. Villegas-Suarez i els seus coautors, el problema apareix fins i tot sense res nociu: entrenar el model amb dades que ell mateix creu falses també pot induir aquesta desalineació àmplia.

Ho van provar en matemàtiques, preguntes de cultura general, cuina i esports, amb Qwen3.6-27B com a model principal. Segons els autors, com més convençut està el model que les respostes d'entrenament són errònies, més desalineat acaba.

Com més fals, més es torça

En matemàtiques, la desalineació creix a mesura que empitjoren les dades, com resumeix la taula, i gairebé no costa capacitat general, segons Ariana M. Villegas-Suarez i els seus coautors.

La clau és dins del model. Després de l'ajust fi, dona les respostes errònies, però les seves probabilitats en preguntes d'opció múltiple continuen preferint les vertaderes. Segons els autors, la desalineació podria néixer d'aquesta incoherència interna.

Com s'explica el fet importa

Per acostar-se a casos reals, com l'edició de coneixement o l'aprenentatge continu, l'equip va canviar un sol fet cada vegada. Segons Ariana M. Villegas-Suarez i els seus coautors, la relació es manté: com més continua creient el model el fet vertader després d'entrenar-se amb el fals, més desalineat queda.

Després van comparar dues maneres d'ensenyar el mateix fet fals. Una ordena al model que l'afirmi i que no reconegui mai que és fals; l'altra el presenta dins d'una història coherent que descriu un món en què és cert. Segons els autors, la segona va desalinear menys en 11 de 12 fets.

Segons els autors, ni els filtres de contingut ni els vectors de persona permeten saber quina de les dues versions desalinea més el model, tot i que totes dues provoquen nivells de desalineació diferents. Un classificador de bossa de paraules sí que separa els dos conjunts de dades, però només per la redacció superficial. Els vectors de persona sí que detecten la falsedat de les dades, però no prediuen quant desalineen.

Qui signa i què falta per provar

Ariana M. Villegas-Suarez, Guido Freire i Sohan Venkatesh estan afiliats a LASR Labs, i Bartosz Cywiński, a la Warsaw University of Technology (Universitat Tecnològica de Varsòvia). L'article agraeix a LASR Labs el còmput, el finançament i el suport organitzatiu.

El treball té límits que els seus autors reconeixen. Segons Ariana M. Villegas-Suarez i els seus coautors, tots els models es van ajustar amb LoRA supervisat i les conclusions s'apliquen a les famílies Qwen i Gemma; en altres famílies de models, la relació entre creences prèvies i desalineació podria ser diferent.