Decision 3.0 porta les decisions d'IA al Mac

Triar una resposta al mateix ordinador

Decision 3.0 és una família oberta de models de l'equip de vLLM Semantic Router, adaptada per funcionar localment amb text, imatges i vídeo. La seva tasca consisteix a valorar les respostes possibles a una pregunta: retorna una probabilitat per a cada opció i no redacta cap resposta. Aquesta manera de respondre permet fer-la servir per classificar contingut a partir d'opcions definides prèviament.

Fluid Inference, responsable de la conversió, desenvolupa eines i models de codi obert. Segons el seu web oficial, Fluid Inference forma part actualment de Levenza; el web no indica la data d'aquest canvi de propietat. Per la seva banda, vLLM es presenta com un projecte comunitari que rep suport d'organitzacions per als recursos de desenvolupament i proves.

La proposta de l'equip de vLLM Semantic Router situa aquestes decisions dins de l'ordinador. Segons l'equip de vLLM Semantic Router, el document, la pàgina web o el vídeo que s'analitza no surt de la màquina i la decisió local no té cap cost per crida. També proposen combinar les dues vies: resoldre al dispositiu les tasques rutinàries i enviar al sistema de distribució les que requereixin un model més gran.

Una conversió que també canvia la manera d'executar el model

El treball abasta les variants petites de la família. Cadascuna s'ofereix com un paquet complet, amb els components necessaris per al text i la visió, a més del programa que en coordina l'execució. La documentació de cada variant descriu els fitxers, la comparació amb el model d'origen i la velocitat. Es manté la llicència de la versió original.

La conversió reparteix el treball entre el model i l'aplicació. El primer s'encarrega del processament principal; la segona prepara part de les dades i calcula les puntuacions finals. Els autors expliquen que conserven la preparació de les peticions del projecte original per mantenir la correspondència de les preguntes, les posicions i les marques temporals del vídeo.

Què mesuren les proves dels autors

Segons l'equip de vLLM Semantic Router, l'adaptació conserva resultats equivalents als originals i redueix el temps de resposta en les seves proves. La comparació es va fer en un únic portàtil, processant les peticions d'una en una. Els temps inclouen el recorregut d'una petició local i, per tant, descriuen aquesta configuració concreta.

Segons l'equip de vLLM Semantic Router, l'altra avaluació fa servir el conjunt de prova de typed-decisions. Les respostes de referència provenen de diversos anotadors que sovint discrepen, una limitació que l'equip assenyala a l'hora d'interpretar l'encert. Cal mantenir aquesta distinció: totes dues proves permeten examinar la conversió, però els resultats corresponen a conjunts i criteris diferents.