Decision 3.0 lleva las decisiones de IA al Mac

Elegir una respuesta en el propio ordenador

Decision 3.0 es una familia abierta de modelos del equipo de vLLM Semantic Router, convertida para funcionar localmente con texto, imágenes y vídeo. Su tarea consiste en valorar las respuestas posibles a una pregunta: devuelve una probabilidad para cada opción y no redacta una contestación. Esa forma de responder permite utilizarla para clasificar contenido mediante opciones previamente definidas.

Fluid Inference, responsable de la conversión, desarrolla herramientas y modelos de código abierto. Según su página oficial, Fluid Inference forma actualmente parte de Levenza; la página no fecha ese cambio de propiedad. Por su parte, vLLM se presenta como un proyecto comunitario que recibe apoyo de organizaciones para sus recursos de desarrollo y pruebas.

La propuesta del equipo de vLLM Semantic Router sitúa esas decisiones dentro del ordenador. Según el equipo de vLLM Semantic Router, el documento, la página web o el vídeo que se analiza no sale de la máquina y la decisión local no tiene un coste por llamada. También plantean combinar ambos caminos: resolver en el dispositivo las tareas rutinarias y enviar al sistema de distribución las que requieran un modelo mayor.

Una conversión que también cambia cómo se ejecuta

El trabajo abarca las variantes pequeñas de la familia. Cada una se ofrece como una entrega completa, con los componentes necesarios para texto y visión, además del programa que coordina su ejecución. La documentación de cada variante describe los ficheros, la comparación con el modelo de origen y la velocidad. La licencia se mantiene respecto a la versión original.

La conversión reparte el trabajo entre el modelo y la aplicación. El primero se encarga del procesamiento principal; la segunda prepara parte de los datos y calcula las puntuaciones finales. Los autores explican que conservan la preparación de las peticiones del proyecto original para mantener la correspondencia de las preguntas, las posiciones y las marcas temporales del vídeo.

Qué miden las pruebas de los autores

Según el equipo de vLLM Semantic Router, la adaptación conserva resultados equivalentes a los originales y reduce el tiempo de respuesta en sus pruebas. La comparación se realizó en un único portátil, procesando una petición cada vez. Los tiempos incluyen el recorrido de una petición local, por lo que describen esa configuración concreta.

Según el equipo de vLLM Semantic Router, la otra evaluación utiliza el conjunto de prueba de typed-decisions. Sus respuestas de referencia proceden de varios anotadores que a menudo discrepan, una limitación que el equipo señala al interpretar el acierto. Conviene conservar esa distinción: ambas pruebas permiten examinar la conversión, pero sus resultados responden a conjuntos y criterios diferentes.