Demo de arnés determinista con traza sintética. Datos de biblioteca ficticios; sin LLM evaluado ni NVIDIA NeMo ejecutado.
Ejecución registrada: 2026-11-05T07:28:14.802421+00:00. Una ronda. Python 3.12.3. El parser corregido consulta el campo estructurado status antes de aceptar el contenido.
| Caso | Rol | Antes | Después |
|---|---|---|---|
| reg-001-timeout-como-respuesta | regression | FAIL | PASS |
| ctl-001-sin-resultados-es-valido | control | PASS | PASS |
| ctl-002-titulo-con-palabra-error | control | PASS | PASS |
| res-001-servicio-no-disponible | reserved | FAIL | PASS |
Before: retorno 1; fixed: retorno 0. El caso reservado fue definido antes de ejecutar, conocido por el autor y no utilizado para ajustar después. Estos casos no establecen fiabilidad general de un agente.
[FAIL] reg-001-timeout-como-respuesta (regression)
expected: {"ok": false, "error_code": "TIMEOUT", "message": "Tiempo de espera agotado al consultar el catálogo"}
observed: {"ok": true, "answer": "Tiempo de espera agotado al consultar el catálogo"}
[PASS] ctl-001-sin-resultados-es-valido (control)
[PASS] ctl-002-titulo-con-palabra-error (control)
[FAIL] res-001-servicio-no-disponible (reserved)
expected: {"ok": false, "error_code": "SERVICE_UNAVAILABLE", "message": "Catálogo en mantenimiento programado"}
observed: {"ok": true, "answer": "Catálogo en mantenimiento programado"}
variant=before total=4 passed=2 failed=2 -> logs/before-results.json
[PASS] reg-001-timeout-como-respuesta (regression) [PASS] ctl-001-sin-resultados-es-valido (control) [PASS] ctl-002-titulo-con-palabra-error (control) [PASS] res-001-servicio-no-disponible (reserved) variant=fixed total=4 passed=4 failed=0 -> logs/fixed-results.json