Anthropic acelera con parte de las pruebas ocultas

Una aceleración con margen de duda

Según METR, la evaluación contó con acceso excepcional a información interna: recursos de cálculo, resultados de modelos, análisis de aceleración y entrevistas. Ese acceso permitió examinar el proceso de investigación y desarrollo, aunque no toda la información recibida pudo hacerse pública.

Según METR, la conclusión general es que las capacidades para tareas bien definidas avanzan más deprisa. El equipo considera probable que la mayor parte de esa aceleración proceda del uso de IA en investigación, pero mantiene una incertidumbre considerable y reconoce que también intervinieron otros factores.

Qué dicen las mediciones

Según METR, la medición de las puntuaciones muestra un cambio de ritmo. La tabla recoge la estimación y su intervalo de confianza; el informe distingue estos resultados de sus conclusiones generales sobre el riesgo, que incorporan otras pruebas y juicios.

Asistencia, restricciones y preguntas abiertas

Según METR, que recoge declaraciones del personal de Anthropic, su personal obtiene grandes mejoras gracias al uso de IA, aunque el informe advierte de que esas respuestas son difíciles de interpretar. Las entrevistas apuntan principalmente a asistencia durante la investigación, más que a contribuciones plenamente autónomas. Por separado, el equipo evaluador descarta que la aceleración observada se explique por una aceleración del aumento de los recursos de cálculo para entrenamiento.

Según METR, Anthropic retiró la mayoría de las pruebas que los evaluadores consideraban más informativas para sus conclusiones sobre el riesgo. Pudieron publicar las conclusiones generales, pero muchas pruebas admitían varias interpretaciones y ambos equipos mantenían dudas sobre cómo encajarlas.

Anthropic sostiene que con esas restricciones pretende eliminar información confidencial que podría acelerar el trabajo de otros desarrolladores de IA. Según METR, el resultado obliga al público a depender de su criterio más de lo deseable, porque faltan elementos para contrastar las conclusiones.

Según METR, el equipo evaluador no observó pruebas de obstáculos importantes que impidieran seguir mejorando las capacidades durante los siguientes 12 meses. Sin embargo, su valoración de esos obstáculos cambió varias veces al recibir más información y reconoce poca confianza en su evaluación actual.