Otras noticias
Otras noticias
RSI-Anything utiliza predicciones y resultados observados para revisar su funcionamiento. Según Sangdo Han y Moonsoo Kim, autores de otro estudio, limitar la longitud de las respuestas puede distorsionar la evaluación de las instrucciones optimizadas.
Recibe el resumen diario de IA
Cada mañana, lo esencial de la inteligencia artificial en tu correo, sin humo. Al día con la IA.
Al suscribirte aceptas recibir el newsletter de AI Informator. Puedes darte de baja cuando quieras.
En resumen
- RSI-Anything somete sus actualizaciones a comprobaciones antes de conservarlas.
- Según Han y Kim, las respuestas cortadas explican los aparentes fallos de contenido.
- Según Han y Kim, ampliar el espacio para responder elimina los fallos de extracción observados en su estudio, pero persiste el incumplimiento del formato exigido.
RSI-Anything revisa sus predicciones con los resultados observados
El equipo de RSI-Anything presenta RSI-Anything como un sistema que utiliza modelos predictivos para orientar sus acciones y seleccionar datos de aprendizaje. Después, los resultados observados impulsan cambios en la estrategia o en el procedimiento de trabajo, junto con una adaptación del modelo predictivo cuando corresponde.
La conservación de esos cambios pasa por comprobaciones de los componentes y de su compatibilidad. Según el equipo de RSI-Anything, obtener información externa sobre los resultados resulta costoso y las predicciones pueden perder fiabilidad al cambiar la estrategia. La propuesta describe, por tanto, un proceso de revisión condicionado por esas comprobaciones.
Según Han y Kim, ampliar la respuesta elimina fallos de extracción en su estudio
Un estudio preregistrado examina qué ocurre con los requisitos que no cuentan para la puntuación que se intenta mejorar. Sus autores fijaron las hipótesis y las reglas de evaluación antes de las pruebas principales. Según Han y Kim, el análisis posterior encontró una causa decisiva de los aparentes retrocesos: las instrucciones optimizadas hacían que el modelo escribiera su razonamiento antes del bloque de datos en el formato JSON exigido. El límite de salida cortaba muchas respuestas antes de que apareciera ese objeto, y la evaluación contabilizaba cada respuesta imposible de extraer como un incumplimiento de todos los requisitos de contenido.
Según Han y Kim, al ampliar el espacio disponible para responder desaparecieron los fallos de extracción observados. Eso no significa que se respetara el formato: seguía apareciendo razonamiento antes del objeto solicitado. El trabajo no respalda la hipótesis general de que optimizar una puntuación deteriore los demás requisitos; su conclusión más limitada es que puede mejorar el acierto mientras se incumple el formato, con un coste que depende del límite de salida y que la puntuación no refleja.
Conclusión
Las comprobaciones deciden qué cambios conserva el primer sistema. En el segundo estudio, según Han y Kim, el límite de salida condiciona el coste de incumplir el formato.
Fuentes primarias
Recibe el resumen diario de IA
Cada mañana, lo esencial de la inteligencia artificial en tu correo, sin humo. Al día con la IA.
Al suscribirte aceptas recibir el newsletter de AI Informator. Puedes darte de baja cuando quieras.
Comentarios