Goodfire vigila las señales internas de los modelos

Una señal de alerta antes de actuar

Según Goodfire, el sistema funciona en cascada: la sonda actúa como filtro inicial y solo remite los intercambios sospechosos a un modelo juez. Ese segundo examen permite concentrar la revisión en los casos señalados.

Según Baseten, la colaboración asigna tareas distintas a las empresas. Goodfire desarrolla los monitores; Baseten incorpora sus señales al proceso de inferencia y las conecta con los controles de la aplicación. Detectar una señal de riesgo y decidir qué hacer con ella son partes distintas del sistema.

Detectar también tiene un coste para el trabajo legítimo

Goodfire presenta estos resultados como mediciones de su propia evaluación. La detección de sesiones dañinas debe leerse junto con las interrupciones del trabajo legítimo: una sesión benigna cuenta como interrumpida si el monitor la señala para revisión al menos una vez.

La prueba externa tiene límites

FAR.AI, la entidad a la que se encargó intentar vulnerar el sistema, realizó una evaluación preliminar de dos días, según el resumen reproducido por Goodfire. Aplicó una batería estática y no adaptativa de ataques para eludir las protecciones en conversaciones sobre usos cibernéticos ofensivos.

En esa batería dejaron de funcionar los ataques universales, capaces de trasladarse entre distintas interacciones, pero persistieron ataques con éxito en interacciones individuales. El resultado no acredita resistencia absoluta ni demuestra cómo respondería el sistema ante un atacante que ajustase sus intentos a las respuestas del monitor.

Baseten prevé empezar con un grupo de socios

Según Baseten, la empresa prevé introducir las capacidades de Project Beacon durante los próximos meses, comenzando por modelos y comportamientos seleccionados. El lanzamiento comercial arrancará con un pequeño número de socios iniciales: el anuncio describe un despliegue futuro limitado, no disponibilidad general.