Código abierto
NVIDIA libera Switchyard, un proxy en Rust que traduce el tráfico entre las APIs de OpenAI y Anthropic
NVIDIA ha publicado Switchyard, un proxy y biblioteca escritos en Rust bajo licencia Apache-2.0 que decodifica, enruta y traduce peticiones a modelos de lenguaje entre formatos de proveedores distintos. La promesa es directa: herramientas como Claude Code o Codex CLI pueden apuntar a un servidor local sin modificar una sola línea de configuración interna. El proyecto se declara pre-alfa y sus responsables desaconsejan explícitamente usarlo en producción.
En resumen
- Switchyard es un proxy y biblioteca en Rust con licencia Apache-2.0 para tráfico de LLM (modelo de lenguaje grande).
- Convierte las peticiones a un tipo interno neutral respecto al proveedor y devuelve la respuesta en el formato que espera el cliente original.
- Incluye varios algoritmos de enrutado: passthrough (paso directo), aleatorio, clasificador basado en LLM y enrutado por etapas.
- Permite dirigir clientes pensados para APIs comerciales hacia backends locales como vLLM, NIM u Ollama, aunque el estado del proyecto es pre-alfa.
El problema es la incompatibilidad de formatos, no la falta de modelos
El ecosistema de herramientas de IA se ha fragmentado en torno a dos dialectos de API (interfaz de programación de aplicaciones) dominantes: el de OpenAI y el de Anthropic. Muchos clientes de línea de comandos y agentes de código están cableados a uno de los dos, lo que complica sustituir el modelo por otro sin tocar el código.
Switchyard se sitúa en medio de esa conversación. Actúa como intermediario que recibe la petición en un formato, la normaliza a una representación interna independiente del proveedor y la reemite al destino elegido, deshaciendo la traducción en el camino de vuelta.
El enrutado admite varias estrategias, incluida una decidida por un modelo
Además del modo passthrough (paso directo), que se limita a reenviar la petición, Switchyard contempla selección aleatoria entre destinos, un clasificador basado en LLM que decide a qué modelo conviene enviar cada consulta, y un enrutado por etapas que encadena decisiones. Esta última familia de mecanismos apunta a un patrón cada vez más habitual: reservar los modelos caros para las peticiones difíciles y despachar el resto con modelos pequeños y baratos.
La elección de Rust como lenguaje no es casual en una pieza de infraestructura que se coloca en la ruta crítica de cada petición. Un proxy de este tipo debe añadir la mínima latencia posible y sostener conexiones concurrentes en streaming sin convertirse en el cuello de botella del sistema.
El encaje con la infraestructura local es el argumento más interesante
El caso de uso que más atención concentra es poder ejecutar asistentes de programación comerciales contra servidores de inferencia autoalojados como vLLM, NIM u Ollama. Para equipos con restricciones de privacidad, o simplemente con hardware propio infrautilizado, esa capa de traducción elimina buena parte de la fricción.
Conviene moderar las expectativas. Los formatos de OpenAI y Anthropic no son equivalentes campo a campo: el uso de herramientas, el razonamiento extendido, el almacenamiento en caché de prompts (instrucciones) y los eventos de streaming difieren lo suficiente como para que cualquier traducción sea, en la práctica, una aproximación con pérdidas en los casos límite.
El estado pre-alfa condiciona cualquier despliegue
Los propios responsables del proyecto advierten de que no está listo para producción. En software de esta naturaleza, esa etiqueta suele traducirse en APIs internas inestables, cobertura parcial de los endpoints y comportamientos no verificados ante fallos del backend o cortes de conexión durante el streaming.
Publicarlo bajo Apache-2.0 sí tiene una lectura estratégica clara: NVIDIA se beneficia de que desplegar modelos abiertos sobre sus propias GPU sea lo más indoloro posible, y un traductor universal de protocolos reduce la dependencia de las APIs de terceros.
Conclusión
Switchyard no aporta un modelo nuevo ni una técnica de entrenamiento, pero ataca un punto de fricción real: el coste de cambiar de proveedor cuando las herramientas están atadas a un formato concreto. Si el proyecto madura más allá del estado pre-alfa, la capa de traducción entre dialectos de API podría convertirse en infraestructura tan invisible y tan asumida como lo son hoy los proxy inversos HTTP. Mientras tanto, es una pieza para experimentar en laboratorio, no para poner delante de la facturación de nadie.