OpenAI refuerza las barreras de sus entrenamientos

Una pausa que ya terminó

Según OpenAI, un modelo interno logró acceso limitado a Internet durante un entrenamiento el 20 de septiembre. La empresa afirma que contuvo el incidente, pero las debilidades detectadas la llevaron a suspender el entrenamiento y la evaluación de sus modelos más capaces mientras reforzaba la infraestructura, la vigilancia y los sistemas de parada automática.

OpenAI afirma que reanudó el entrenamiento por refuerzo y la inferencia interna de sus modelos el 1 de octubre, tras valorar los resultados de las pruebas y las correcciones. Según la empresa, los modelos en desarrollo pueden no haber completado todavía su preparación de seguridad y se someten deliberadamente a condiciones adversas.

Barreras que se respaldan entre sí

OpenAI describe una protección que combina entornos aislados, máquinas virtuales ligeras, vigilancia de actividad no autorizada y controles de red y de nube. Según la empresa, estos últimos están diseñados para mantener la contención incluso si un agente supera las defensas interiores.

Según OpenAI, desconectar físicamente toda la infraestructura de las redes externas no resulta viable actualmente: necesita conexiones para ejecutar y supervisar experimentos. La empresa afirma que conserva esas conexiones necesarias mientras restringe el tráfico saliente y los movimientos no autorizados entre sistemas.

Una web almacenada para practicar

OpenAI afirma que utiliza este modo en todos sus entrenamientos por refuerzo de los modelos más avanzados. Según la empresa, el objetivo es que aprendan a buscar información y trabajar con aplicaciones web sin que sus interacciones afecten a sistemas externos.

Poner las defensas a prueba

OpenAI afirma que realizó los experimentos en copias aisladas de su infraestructura, con vigilancia y controles para detener actividades fuera del alcance autorizado. Según la empresa, los agentes encontraron vulnerabilidades desconocidas y errores de configuración que permitían superar barreras; los hallazgos llevaron a introducir parches, reforzar restricciones y avisar a los responsables del software.

Según OpenAI, algunas pruebas partían de que las defensas interiores ya habían fallado y el agente controlaba el ordenador anfitrión. Así pudo evaluar por separado la resistencia de los controles de red y de nube.