Recerca
Goodfire vigila els senyals interns dels models
Goodfire presenta un sistema que examina les activacions internes dels models i envia els intercanvis sospitosos a un altre model perquè els avaluï. Baseten preveu integrar aquests senyals als seus serveis d'inferència durant els pròxims mesos, començant amb un petit grup de socis.
Rep el resum diari d'IA
Cada matí, l'essencial de la intel·ligència artificial al teu correu, sense fum. Al dia amb la IA.
En subscriure-t'hi acceptes rebre el butlletí d'AI Informator. Pots donar-te de baixa quan vulguis.
En resum
- Segons Goodfire, les sondes filtren els intercanvis que necessiten la revisió d'un model jutge.
- Segons Goodfire, la detecció arriba aproximadament al 93 % de les sessions nocives en la seva avaluació.
- Segons Baseten, el desplegament comercial es preveu inicialment amb socis i models seleccionats.
Un senyal d'alerta abans d'actuar
Segons Goodfire, el sistema funciona en cascada: la sonda actua com a filtre inicial i només remet els intercanvis sospitosos a un model jutge. Aquest segon examen permet concentrar la revisió en els casos assenyalats.
Segons Baseten, la col·laboració assigna tasques diferents a les empreses. Goodfire desenvolupa els monitors; Baseten n'incorpora els senyals al procés d'inferència i els connecta amb els controls de l'aplicació. Detectar un senyal de risc i decidir què fer-ne són parts diferents del sistema.
Detectar també té un cost per a la feina legítima
| Mesura | Resultat |
|---|---|
| Sessions nocives detectades | Aproximadament el 93 % |
| Sessions benignes interrompudes | Com a màxim el 5,5 % |
Goodfire presenta aquests resultats com a mesures de la seva pròpia avaluació. La detecció de sessions nocives s'ha d'interpretar juntament amb les interrupcions de la feina legítima: una sessió benigna es considera interrompuda si el monitor l'assenyala per revisar-la almenys una vegada.
La prova externa té límits
FAR.AI, l'entitat a qui es va encarregar intentar vulnerar el sistema, va fer una avaluació preliminar de dos dies, segons el resum reproduït per Goodfire. Va aplicar una bateria estàtica i no adaptativa d'atacs per eludir les proteccions en converses sobre usos cibernètics ofensius.
En aquesta bateria van deixar de funcionar els atacs universals, aplicables a interaccions diferents, però encara hi va haver atacs reeixits en interaccions individuals. El resultat no acredita una resistència absoluta ni demostra com respondria el sistema davant d'un atacant que ajustés els intents a les respostes del monitor.
Baseten preveu començar amb un grup de socis
Segons Baseten, l'empresa preveu introduir les capacitats de Project Beacon durant els pròxims mesos, començant per models i comportaments seleccionats. El llançament comercial començarà amb un petit nombre de socis inicials: l'anunci descriu un desplegament futur limitat, no pas una disponibilitat general.
Conclusió
Segons Goodfire, la proposta combina senyals interns amb una revisió selectiva per detectar comportaments de risc. Els resultats comunicats avalen aquesta via en les proves descrites, però les interrupcions de sessions benignes i els atacs individuals que encara van tenir èxit impedeixen parlar d'una protecció infal·lible.
Fonts primàries
Rep el resum diari d'IA
Cada matí, l'essencial de la intel·ligència artificial al teu correu, sense fum. Al dia amb la IA.
En subscriure-t'hi acceptes rebre el butlletí d'AI Informator. Pots donar-te de baixa quan vulguis.
Comentaris