Codi obert
Nvidia allibera Switchyard, un proxy en Rust que tradueix el trànsit entre les API d'OpenAI i Anthropic
Nvidia ha publicat Switchyard, un proxy i biblioteca escrits en Rust sota llicència Apache-2.0 que descodifica, encamina i tradueix peticions a models de llenguatge entre formats de proveïdors diferents. La promesa és directa: eines com Claude Code o Codex CLI poden apuntar a un servidor local sense modificar ni una sola línia de configuració interna. El projecte es declara pre-alfa i els seus responsables desaconsellen explícitament fer-lo servir en producció.
Rep el resum diari d'IA
Cada matí, l'essencial de la intel·ligència artificial al teu correu, sense fum. Al dia amb la IA.
En subscriure-t'hi acceptes rebre el butlletí d'AI Informator. Pots donar-te de baixa quan vulguis.
En resum
- Switchyard és un proxy i biblioteca en Rust amb llicència Apache-2.0 per a trànsit de LLM (model de llenguatge gran).
- Converteix les peticions a un tipus intern neutral respecte del proveïdor i retorna la resposta en el format que espera el client original.
- Inclou diversos algorismes d'encaminament: passthrough (pas directe), aleatori, classificador basat en LLM i encaminament per etapes.
- Permet dirigir clients pensats per a API comercials cap a backends locals com vLLM, NIM o Ollama, tot i que l'estat del projecte és pre-alfa.
El problema és la incompatibilitat de formats, no la manca de models
L'ecosistema d'eines d'IA s'ha fragmentat al voltant de dos dialectes d'API (interfície de programació d'aplicacions) dominants: el d'OpenAI i el d'Anthropic. Molts clients de línia d'ordres i agents de codi estan cablejats a un dels dos, cosa que complica substituir el model per un altre sense tocar el codi.
Switchyard se situa enmig d'aquesta conversa. Actua com a intermediari que rep la petició en un format, la normalitza a una representació interna independent del proveïdor i la reemet a la destinació escollida, desfent la traducció en el camí de tornada.
L'encaminament admet diverses estratègies, inclosa una decidida per un model
A més del mode passthrough (pas directe), que es limita a reenviar la petició, Switchyard preveu selecció aleatòria entre destinacions, un classificador basat en LLM que decideix a quin model convé enviar cada consulta, i un encaminament per etapes que encadena decisions. Aquesta última família de mecanismes apunta a un patró cada cop més habitual: reservar els models cars per a les peticions difícils i despatxar la resta amb models petits i barats.
L'elecció de Rust com a llenguatge no és casual en una peça d'infraestructura que se situa a la ruta crítica de cada petició. Un proxy d'aquest tipus ha d'afegir la mínima latència possible i sostenir connexions concurrents en streaming sense convertir-se en el coll d'ampolla del sistema.
L'encaix amb la infraestructura local és l'argument més interessant
El cas d'ús que concentra més atenció és poder executar assistents de programació comercials contra servidors d'inferència autoallotjats com vLLM, NIM o Ollama. Per a equips amb restriccions de privacitat, o simplement amb maquinari propi infrautilitzat, aquesta capa de traducció elimina bona part de la fricció.
Convé moderar les expectatives. Els formats d'OpenAI i Anthropic no són equivalents camp a camp: l'ús d'eines, el raonament estès, l'emmagatzematge en memòria cau de prompts (instruccions) i els esdeveniments de streaming difereixen prou perquè qualsevol traducció sigui, a la pràctica, una aproximació amb pèrdues en els casos límit.
L'estat pre-alfa condiciona qualsevol desplegament
Els mateixos responsables del projecte adverteixen que no està a punt per a producció. En programari d'aquesta naturalesa, aquesta etiqueta se sol traduir en API internes inestables, cobertura parcial dels endpoints i comportaments no verificats davant de fallades del backend o talls de connexió durant el streaming.
Publicar-lo sota Apache-2.0 sí que té una lectura estratègica clara: Nvidia es beneficia que desplegar models oberts sobre les seves pròpies GPU sigui el més indolor possible, i un traductor universal de protocols redueix la dependència de les API de tercers.
Conclusió
Switchyard no aporta un model nou ni una tècnica d'entrenament, però ataca un punt de fricció real: el cost de canviar de proveïdor quan les eines estan lligades a un format concret. Si el projecte madura més enllà de l'estat pre-alfa, la capa de traducció entre dialectes d'API podria convertir-se en infraestructura tan invisible i tan assumida com ho són avui els proxy inversos HTTP. Mentrestant, és una peça per experimentar al laboratori, no per posar davant de la facturació de ningú.
Fonts primàries
Rep el resum diari d'IA
Cada matí, l'essencial de la intel·ligència artificial al teu correu, sense fum. Al dia amb la IA.
En subscriure-t'hi acceptes rebre el butlletí d'AI Informator. Pots donar-te de baixa quan vulguis.
Comentarios