Anthropic accelera amb part de les proves ocultes

Una acceleració amb marge de dubte

Segons METR, l'avaluació va disposar d'un accés excepcional a informació interna: recursos de càlcul, resultats de models, anàlisis d'acceleració i entrevistes. Aquest accés va permetre examinar el procés de recerca i desenvolupament, tot i que no es va poder fer pública tota la informació rebuda.

Segons METR, la conclusió general és que les capacitats per a tasques ben definides avancen més de pressa. L'equip considera probable que la major part d'aquesta acceleració provingui de l'ús d'IA en la recerca, però manté una incertesa considerable i reconeix que també hi van intervenir altres factors.

Què diuen les mesures

Segons METR, la mesura de les puntuacions mostra un canvi de ritme. La taula recull l'estimació i el seu interval de confiança; l'informe distingeix aquests resultats de les conclusions generals sobre el risc, que incorporen altres proves i valoracions.

Assistència, restriccions i preguntes obertes

Segons METR, el personal d'Anthropic declara que obté grans millores gràcies a l'ús d'IA, tot i que l'informe adverteix que aquestes respostes són difícils d'interpretar. Les entrevistes apunten principalment a l'assistència durant la recerca, més que no pas a contribucions plenament autònomes. D'altra banda, l'equip avaluador descarta que l'acceleració observada s'expliqui per una acceleració de l'augment dels recursos de càlcul per a l'entrenament.

Segons METR, Anthropic va retirar la majoria de les proves que els avaluadors consideraven més informatives per a les seves conclusions sobre el risc. Van poder publicar les conclusions generals, però moltes proves admetien diverses interpretacions i tots dos equips mantenien dubtes sobre com encaixar-les.

Anthropic sosté que amb aquestes restriccions pretén eliminar informació confidencial que podria accelerar la feina d'altres desenvolupadors d'IA. Segons METR, el resultat obliga el públic a dependre del seu criteri més del que seria desitjable, perquè falten elements per contrastar les conclusions.

Segons METR, l'equip avaluador no va observar proves d'obstacles importants que impedissin continuar millorant les capacitats durant els 12 mesos següents. Tanmateix, la seva valoració d'aquests obstacles va canviar diverses vegades a mesura que rebia més informació i reconeix que té poca confiança en la seva avaluació actual.