Detector d'"AI slop" amb vibe coding: què funciona i què no

1. El problema del slop i per què detectar vídeo sintètic és més difícil del que sembla

El terme slop (literalment "purrialla": contingut de baixa qualitat produït en massa amb eines generatives) s'ha instal·lat en el vocabulari d'internet perquè descriu una cosa que qualsevol reconeix sense necessitat de definició. Vídeos curts de successos impossibles, invents miraculosos, animals que fan coses que no fan, escenes històriques que no van passar mai. Circulen per xarxes socials, es comparteixen en grups familiars i arriben, amb freqüència creixent, acompanyats de la frase "mira això".

El problema no és únicament estètic. És que la frontera s'ha tornat porosa fins i tot per a persones amb criteri tècnic. És habitual necessitar dos o tres visionats abans que alguna cosa encaixi: una ombra que no correspon, un objecte que canvia de mida entre plans, una física que no quadra. I aquest retard de reconeixement —l'interval entre veure i sospitar— és exactament l'espai on el contingut sintètic es propaga.

D'aquí sorgeix una idea que a molta gent se li ha acudit: un lloc web on enganxar l'URL d'un vídeo d'una xarxa social i obtenir un veredicte. "Això és IA" o "això no ho és". Sona a eina senzilla, gairebé òbvia. La intuïció diu que si els models generatius són capaços de crear aquests vídeos, altres models haurien de ser capaços de reconèixer-los.

Aquesta intuïció és incorrecta, i entendre per què és la primera lliçó de l'exercici. Generar i detectar no són operacions simètriques. Un generador produeix imatges que optimitzen la versemblança estadística; un detector necessita trobar l'empremta d'aquest procés en un fitxer que, quan arriba a les nostres mans, ha estat recomprimit per la plataforma, retallat, reescalat, superposat amb text i possiblement reenregistrat des d'una altra pantalla. Cadascuna d'aquestes transformacions destrueix precisament els senyals subtils que un detector necessitaria.

A això s'hi afegeix una dificultat conceptual que travessa tot el problema: la categoria "generat per IA" no és binària. Un vídeo pot estar íntegrament generat, parcialment retocat, tenir l'àudio sintetitzat i la imatge real, estar recreat amb gràfics per ordinador tradicionals —CGI, computer-generated imagery— sense intervenció de models generatius, o combinar tot l'anterior. Un sistema que retorni un simple sí o no està simplificant un espectre que no admet aquesta simplificació.

2. Pas 1: fer servir el model per validar la viabilitat abans d'escriure una sola línia

El primer moviment del procés no va ser obrir un editor de codi, sinó obrir una conversa amb un model de llenguatge i plantejar-li la pregunta correcta. No "escriu-me aquesta aplicació", sinó "tinc aquesta idea i vull determinar si és viable; ajuda'm a pensar com fer-la realitat". La diferència entre totes dues formulacions és la diferència entre obtenir codi que potser no serveix per a res i obtenir una anàlisi de si el problema té solució.

Aquest pas, que sembla burocràtic, és el més rendible de tot el projecte. Un model de raonament modern, quan se li demana explícitament que avaluï la viabilitat, tendeix a inventariar les aproximacions existents, assenyalar-ne els límits coneguts i proposar una arquitectura temptativa. És, en essència, una revisió bibliogràfica accelerada del problema que un vol resoldre.

Hi ha un matís important en com es condueix aquesta conversa: aportar d'entrada allò que un ja sap. En aquest cas, es va indicar al model que existia SynthID de Google per identificar contingut creat amb les seves pròpies eines, i que els models Gemini eren dels pocs amb capacitat real de comprensió de vídeo, inclosa una versió actualitzada d'aquesta capacitat. Subministrar aquest context evita que el model proposi camins ja descartats i fa que la seva resposta parteixi de l'estat real de les eines disponibles.

El procés de deliberació es va prolongar durant disset minuts de còmput. La conclusió va ser matisada i, vista en retrospectiva, profètica: sí, és tècnicament possible construir una cosa així, però no serà fiable al cent per cent, i cal comunicar aquesta incertesa a qui faci servir l'eina. El que és interessant no és que el model encertés —era la resposta prudent esperable—, sinó que qui construeix rarament interioritza aquest advertiment fins que el pateix.

La lliçó pràctica és directa: quan es planteja una eina pròpia, convé dedicar la primera sessió sencera a interrogar el model sobre viabilitat, límits, precedents i criteris d'èxit, sense escriure codi. Si en aquesta fase apareix la frase "no serà fiable al cent per cent", cal decidir per endavant quin grau d'imprecisió resulta acceptable. Aquest llindar s'hauria de fixar abans de començar, no negociar-se a mig camí quan ja s'hi han invertit hores.

3. Les eines que ja existeixen: SynthID, C2PA i detecció per artefactes

Qualsevol que es plantegi aquest problema ensopegarà amb tres famílies de solucions, i convé entendre que resolen coses diferents i que cap no resol el problema complet.

La primera és el watermarking (marca d'aigua) invisible. SynthID, desenvolupat per Google DeepMind, incrusta en el contingut generat per les eines de Google un senyal imperceptible per a l'ull humà però recuperable mitjançant un detector específic. És una tecnologia sòlida dins del seu àmbit, i aquest àmbit és la seva limitació estructural: només identifica allò que va ser creat amb models de Google que apliquen la marca. Un vídeo generat amb qualsevol altra eina no porta SynthID, i la seva absència no significa absolutament res sobre si el vídeo és real. El detector respon "no trobo la meva marca", que no és el mateix que "això és autèntic".

La segona família són les content credentials (credencials de contingut) de l'estàndard C2PA, una coalició industrial que defineix metadades criptogràficament signades sobre l'origen i l'historial d'edició d'un fitxer. És un enfocament de procedència: en lloc d'intentar endevinar si una cosa és sintètica, es pretén que cada peça porti amb ella un certificat verificable de com va ser creada. El problema a la pràctica és doble. D'una banda, l'adopció és parcial: la major part del contingut que circula no porta credencials. De l'altra, moltes plataformes eliminen les metadades en processar les pujades, de manera que encara que el fitxer original les tingués, la còpia que un analitza ja no les conserva. En les proves del projecte, la comprovació de credencials va retornar sistemàticament el mateix resultat: no es van identificar credencials de contingut. Ni en els vídeos sintètics ni en els reals.

La tercera família és la detecció per artefactes: analitzar el píxel mateix buscant empremtes del procés generatiu. Incoherències temporals, textures anòmales, patrons en el soroll de la imatge, comportaments impossibles de la llum. Aquí hi entren tant els models multimodals de propòsit general com les eines especialitzades de visió per computador entrenades específicament per a aquesta tasca.

I aquí apareix la troballa més contraintuïtiva de tot l'exercici: els models multimodals d'última generació, aquells que sí que són capaços de descriure amb precisió notable el que passa en un vídeo, són dolents detectant que aquest vídeo és sintètic. Entenen l'escena, la narren correctament, identifiquen objectes i accions... i conclouen que no observen indicis clars de generació per IA en material que un espectador humà descarta en qüestió de segons. La comprensió semàntica i la detecció forense són capacitats diferents, i tenir la primera no implica en absolut tenir la segona.

4. La construcció: el primer prototip i el primer fracàs

Amb la viabilitat validada, el projecte va passar a un entorn de codificació agèntica: una eina que rep accés a una carpeta local i escriu, executa i corregeix el codi per si mateixa. L'arrencada va incloure un detall de mètode que mereix atenció: en lloc de reexplicar la idea des de zero, es va passar a l'agent l'enllaç a la conversa de validació prèvia i se li va demanar que la llegís per extreure'n tots els detalls i traçar el pla. Reutilitzar el context ja elaborat, en comptes de reconstruir-lo, estalvia hores i evita que l'especificació es degradi en cada traducció.

Una hora i setze minuts després hi havia una aplicació funcionant. Interfície web, camp per enganxar un URL de les principals xarxes socials, opció de pujar un fitxer, informe de resultats amb nivell de confiança. Tot el bastiment estava dret. El primer avís que alguna cosa anava malament no va ser tècnic sinó de redacció: els textos generats automàticament per a la interfície eren, senzillament, dolents —forçats, amb un registre impostat que no encaixa amb cap públic real—. És un recordatori menor però útil: el copy generat pel model cal revisar-lo sempre abans de publicar-lo.

La prova de foc va arribar amb el primer clip clarament sintètic: una escena físicament impossible que qualsevol persona identifica a l'instant. El veredicte del detector va ser que probablement no era IA, i el va lliurar amb alta confiança. El raonament que va oferir és revelador: va descriure un efecte de partícules rígid i en va atribuir l'origen a efectes visuals tradicionals de CGI en lloc de a generació per IA. És a dir, el sistema va detectar correctament una anomalia visual, però la va classificar en la categoria equivocada.

Aquesta fallada concreta il·lustra un problema de fons. Un detector d'aquest tipus ha de distingir entre tres coses —material real, material generat i material produït amb tècniques digitals convencionals— i la frontera entre les dues últimes és genuïnament borrosa. Molts artefactes que delaten generació per IA s'assemblen a artefactes de composició digital tradicional. Un model que raona sobre l'escena en llenguatge natural pot construir una explicació coherent per a qualsevol de les dues hipòtesis.

L'error més greu, tanmateix, no va ser el veredicte equivocat. Va ser el nivell de confiança alt que l'acompanyava. Un sistema que s'equivoca ocasionalment és tolerable; un sistema que s'equivoca amb seguretat aparent és perillós, perquè trasllada a l'usuari una certesa que no existeix.

5. Auditar el codi propi: quan el model revisa el que un altre model ha escrit

El següent moviment va ser obrir una conversa nova amb un model de raonament diferent i demanar-li que auditès el treball anterior. Aquest patró —fer servir un model per revisar críticament el codi produït per un altre— va resultar ser el més productiu de tot el projecte.

En menys de sis minuts, l'auditoria va retornar un diagnòstic clar: no calia confiar en les etiquetes de confiança alta que emetia l'aplicació. I va explicar per què, amb problemes reproduïbles en la lògica del veredicte. El més greu: l'etiqueta de confiança alta s'assignava automàticament a partir d'un valor numèric retornat pel model d'anàlisi, de manera que qualsevol puntuació per sota d'un cert llindar disparava mecànicament la màxima confiança. L'aplicació, a més, podia sobreescriure una avaluació que l'anàlisi havia marcat com a no concloent i convertir-la en un veredicte ferm.

Traduït a llenguatge no tècnic: la interfície projectava una seguretat que el motor subjacent no havia expressat mai. La incertesa es perdia pel camí, entre la capa que analitzava i la capa que comunicava. És una fallada tan comuna en sistemes construïts amb assistència d'IA que mereix nom propi: la confiança és una propietat del sistema complet, no d'un número aïllat, i qualsevol transformació d'aquest número en una etiqueta llegible és una decisió de disseny amb conseqüències.

A continuació es va llançar una tasca agèntica d'objectiu persistent: implementar les correccions recomanades i seguir iterant i autoavaluant-se fins a aconseguir un funcionament correcte. L'agent va treballar durant més de vuit hores seguides. Va produir quatre documents d'anàlisi, va executar nombroses bateries de proves i, en acabar aquest termini, encara no donava l'objectiu per acomplert.

El resultat quantitatiu d'aquestes proves és la dada més honesta de tot el projecte: de 39 clips generats per IA, el detector en va identificar correctament 23. Sobre 36 clips reals, en va marcar erròniament 2. És a dir, aproximadament un 59 % d'encert en la detecció de material sintètic, amb una taxa baixa de falsos positius (false positives: material autèntic classificat com a sintètic). Un detector que deixa passar quatre de cada deu vídeos generats no és una eina de verificació; és, com a molt, un senyal feble. I el mateix agent ho va reconèixer explícitament als seus registres: encara no era prou fiable per confiar-hi.

Val la pena aturar-se en aquest comportament. El sistema va provar, va mesurar, es va declarar insuficient, va tornar a provar i es va tornar a declarar insuficient, en cicles successius, fins a arribar a una conclusió que no figurava en el pla original: la via correcta no era continuar perfeccionant el detector propi, sinó integrar una eina externa que ja resolgués aquest problema.

6. El gir: delegar en una API especialitzada i descobrir el desacord

La recomanació final del procés d'iteració va ser connectar una API comercial (application programming interface, interfície de programació que permet que un programa faci servir els serveis d'un altre) d'anàlisi de contingut visual amb capacitat específica de detecció de material generat per IA, disponible des de plans de subscripció d'uns 29 dòlars mensuals.

Hi ha una ironia que convé no esquivar: l'objectiu inicial era construir un detector, i la conclusió del mateix sistema va ser pagar per un detector ja existent. Això no invalida l'exercici, però en reordena el valor. El que es construeix en un projecte així rarament és l'algorisme; és l'embolcall: la interfície, la ingesta d'URL de diferents plataformes, l'extracció de fotogrames, l'agregació de senyals i la presentació del resultat. El component forense es compra.

Un detall pràctic del procés: el pla gratuït oferia 2.000 operacions mensuals amb moderació bàsica de contingut i detecció d'IA, però no incloïa processament de vídeo, que era exactament el que el projecte necessitava. És un patró habitual en les capes gratuïtes de les API comercials, i convé verificar-ho abans de dissenyar l'arquitectura al voltant d'un servei.

La integració de la clau d'accés va seguir el procediment estàndard: un fitxer d'environment variables (variables d'entorn), on es desen les credencials fora del codi font perquè no acabin publicades per accident. Preparar-lo va portar uns vint segons de treball del model, i ni tan sols va caldre fer servir la configuració més potent per a una tasca tan mecànica: ajustar el nivell d'esforç del model a la dificultat real de cada tasca és una manera directa d'estalviar temps i cost.

Amb l'API integrada, va aparèixer un problema nou i més interessant que els anteriors: el desacord entre fonts. Davant d'un vídeo sintètic, l'eina especialitzada marcava indicis d'IA en 19 de 23 posicions mostrejades del metratge, mentre que el model multimodal no trobava cap indici clar en el mateix material. L'aplicació, correctament dissenyada per no fabricar certeses, resolia aquest conflicte declarant el resultat no concloent i mostrant la discrepància.

El comportament era tècnicament honest i pràcticament inútil. Un usuari que enganxa un URL i rep "no concloent" no ha obtingut res. Pitjor encara: el mateix veredicte apareixia també amb vídeos evidentment autèntics —una persona parlant a càmera—, amb la qual cosa l'etiqueta no distingia res. Quan un sistema retorna la mateixa resposta per a casos oposats, aquesta resposta no conté informació.

A més va emergir una fallada de la qual convé prendre nota: l'aplicació informava que l'anàlisi especialitzada només admetia clips de menys d'un minut i fins a 50 megabytes. Aquesta restricció no procedia de cap especificació proporcionada per l'usuari, sinó que havia estat introduïda pel mateix codi durant alguna iteració. Els sistemes generats amb assistència d'IA acumulen limitacions autoimposades —llindars, topalls, filtres— que ningú no ha demanat i que després es presenten a l'usuari com si fossin restriccions externes. Revisar periòdicament d'on surt cada límit forma part del manteniment.

La solució final va ser una decisió d'arquitectura, no d'algorisme: establir una jerarquia de fonts en lloc de tractar-les com a iguals. Atès que l'eina especialitzada demostrava ser sensiblement millor en la tasca concreta de detecció, se li va donar prioritat sobre l'anàlisi del model multimodal, i es va elevar el límit de durada dels vídeos processables. Trenta-un minuts de treball després, el sistema va començar a comportar-se de manera útil: els vídeos autèntics retornaven absència d'indicis clars —amb justificacions raonables com ara permanència consistent dels objectes, contacte visual natural i coherència acústica entre veu i ritme—, i els sintètics retornaven indicis detectats, inclosos casos procedents de plataformes diferents.

El sistema resultant funciona, amb una excepció rellevant: assenyala en quins moments del metratge ha trobat indicis, però no explica què ha vist exactament. Marca posicions, no raons. Per a una eina de verificació, aquesta opacitat és una limitació seriosa, perquè impedeix que l'usuari avaluï per si mateix si el senyal és sòlid.

7. El cost ocult: per què el detector no es va poder publicar

L'objectiu declarat des del principi era posar l'eina en línia perquè qualsevol pogués enganxar un URL i consultar-ne el resultat. No es va complir, i el motiu no va ser tècnic sinó econòmic.

Les API d'anàlisi visual facturen per operacions, i una operació no equival a un vídeo. Analitzar un vídeo implica extreure múltiples fotogrames i sotmetre cadascun a inspecció, de manera que una sola consulta pot consumir centenars d'operacions. En les proves del projecte, una única anàlisi va consumir 440 operacions, i el comptador acumulat va superar les 12.000 operacions després de processar amb prou feines mitja dotzena de vídeos, esgotant una fracció substancial de la quota contractada.

Aquest perfil de consum fa inviable un servei obert finançat per una sola persona. Sense control d'accés, límits d'ús per usuari ni un model d'ingressos, n'hi hauria prou amb unes poques desenes de visitants curiosos per esgotar el pressupost mensual. I la impossibilitat de predir per endavant quantes operacions consumirà un vídeo concret —depèn de la seva durada i del mostreig— converteix qualsevol estimació de costos en una conjectura.

L'alternativa que va quedar va ser publicar el codi font perquè qui vulgui el desplegui localment i hi connecti la seva pròpia clau d'API. És una sortida legítima i, de fet, l'habitual en aquesta mena de projectes personals, però canvia completament el públic destinatari: de "qualsevol que rebi un vídeo sospitós" a "qui sàpiga clonar un repositori, configurar variables d'entorn i pagar una subscripció". És a dir, precisament el públic que menys necessita l'eina.

La conclusió transferible és que en qualsevol projecte que depengui d'API de pagament, el model de costos s'ha de modelar en la fase de viabilitat, juntament amb l'arquitectura. No és un detall d'última hora: és una restricció que determina si el producte pot existir en la forma imaginada.

8. Lliçons transferibles per a qui vulgui fer vibe coding de la seva pròpia eina

Més enllà del cas concret, el procés deixa un conjunt de pràctiques que s'apliquen a gairebé qualsevol projecte construït amb assistència intensiva de models de llenguatge.

Primera: separar la fase de viabilitat de la fase de construcció. Dedicar una conversa sencera, sense escriure codi, que el model avaluï si el problema té solució, quines eines existeixen ja i quina precisió es pot esperar. Si la resposta inclou "no serà fiable al cent per cent", definir en aquell moment quin nivell d'error resulta acceptable.

Segona: aportar context propi. Un model a qui s'indica quines tecnologies existeixen i quines ja s'han descartat produeix plans sensiblement millors que un a qui se li llança la idea en abstracte. I reutilitzar el context entre sessions —passant la conversa prèvia a l'agent de codificació en lloc de reexplicar-ho tot— evita que l'especificació es degradi.

Tercera: fer servir un model diferent per auditar el treball d'un altre. La revisió creuada va detectar en minuts fallades de lògica que feia hores que estaven incorporades al sistema. Un model que revisa el seu propi codi tendeix a validar-lo; un que hi arriba sense aquest biaix troba problemes reals.

Quarta: desconfiar de les etiquetes de confiança que genera el mateix sistema. Convé rastrejar d'on surt cada indicador que es mostra a l'usuari i comprovar que cap capa intermèdia no converteix incertesa en certesa. Una confiança alta assignada automàticament per un llindar numèric no és una confiança alta: és una regla de format.

Cinquena: auditar els límits autoimposats. Topalls de mida, durada, format o nombre d'elements que el codi introdueix durant alguna iteració i que després es presenten com a restriccions inevitables. Preguntar explícitament al model d'on procedeix cada restricció és una comprovació barata i molt rendible.

Sisena: ajustar el nivell d'esforç a la tasca. Els modes de raonament prolongat són valuosos per depurar lògica complexa, i desproporcionats per preparar un fitxer de configuració. Execucions de vuit hores que acaben sense complir l'objectiu indiquen que el problema estava mal plantejat, no que calgués més còmput.

Setena: modelar els costos des del principi. Si la solució depèn de serveis de pagament per ús, calcular el consum per operació real abans de dissenyar la interfície. És el que separa un prototip funcional d'un servei que pot existir.

I vuitena, potser la més important: acceptar resultats parcials. El sistema resultant no era el producte obert imaginat, però sí una eina que funciona per al seu autor i que resol el problema original en la seva versió reduïda. Distingir entre l'objectiu ideal i un resultat útil evita abandonar projectes que sí que aporten valor.

9. Què caldria perquè un detector així funcionés de debò

L'obstacle de fons no és d'enginyeria d'aplicació, sinó de l'estat de l'art de la detecció. I admet una descomposició raonablement clara.

Caldria, primer, una adopció generalitzada i resistent dels estàndards de procedència. Que les credencials C2PA viatgessin amb el fitxer a través de totes les plataformes, sobrevisquessin a la recompressió i fossin presents tant en contingut sintètic com autèntic. Amb procedència verificable el problema canvia de naturalesa: es deixa d'endevinar a partir de píxels i es passa a comprovar una signatura. Avui, a la pràctica, aquesta comprovació retorna gairebé sempre "sense credencials", tant per al que és real com per al que és generat.

Caldrien, segon, marques d'aigua interoperables entre proveïdors. SynthID cobreix el que surt de les eines de Google, i fa bé el que fa, però un ecosistema amb múltiples generadors —molts d'ells oberts i modificables— exigeix un mecanisme comú. I tot i així quedaria fora qualsevol generador que decideixi senzillament no marcar la seva sortida, que és precisament l'escenari de qui produeix contingut enganyós expressament.

Caldrien, tercer, models multimodals genuïnament entrenats per a detecció forense i no només per a comprensió d'escenes. L'evidència del cas és contundent en aquest punt: el mateix model que descriu amb precisió el que passa en un vídeo és incapaç d'identificar que aquest vídeo és sintètic. Són capacitats separades i requereixen entrenament específic.

Caldria, quart, explicabilitat. Una eina que marca posicions sospitoses sense dir què hi ha trobat obliga l'usuari a confiar-hi a cegues, la qual cosa reprodueix el problema que pretenia resoldre. Un detector útil hauria de poder assenyalar l'artefacte concret: aquesta ombra, aquesta transició, aquesta incoherència d'escala.

Convé a més incorporar una consideració estructural: hi ha una dinàmica de persecució entre generació i detecció. Cada millora en la capacitat de detectar contingut sintètic es converteix en un senyal d'entrenament per produir contingut menys detectable. És un joc del gat i la rata sense equilibri estable, la qual cosa suggereix que la solució duradora passa més per la procedència verificable —demostrar d'on ve una cosa— que per l'anàlisi forense a posteriori.

Aquest cas alimenta també un argument que circula en el debat sobre l'AGI (artificial general intelligence, intel·ligència artificial general: sistemes tan capaços com qualsevol persona en pràcticament qualsevol tasca). Figures destacades de la indústria, entre elles el conseller delegat de Nvidia, Jensen Huang, han afirmat públicament que l'AGI ja ha arribat, i OpenAI ha sostingut que l'era de l'AGI és aquí. Davant d'aquestes declaracions, l'observació que es desprèn de l'exercici és incòmoda: els models més avançats disponibles públicament fallen en una tasca que la majoria de les persones resolen en segons. Enfrontats a material evidentment sintètic, responen que no ho poden determinar.

És un contraargument acotat i cal presentar-lo com a tal: no demostra res sobre les capacitats de sistemes no publicats, i la detecció forense podria ser un cas atípicament difícil per la dinàmica adversària descrita. Però sí que il·lustra que la distància entre la narrativa i l'experiència pràctica continua sent considerable. Resulta significatiu que l'única peça que va acabar funcionant en aquest projecte no fos un gran model de llenguatge, sinó un sistema de visió per computador especialitzat i entrenat per a una tasca concreta.