Mide si un modelo cabe en tu GPU

Empieza por separar las memorias

Antes de cargar un modelo, separa el archivo en disco de las reservas que aparecen al ejecutarlo. Según Twin Force, el presupuesto distingue buffers del modelo, del contexto y del cómputo. El uso total del dispositivo incluye además el escritorio y otros consumidores, por lo que tampoco equivale al coste exclusivo del programa.

Según Twin Force, el archivo utilizado ocupa 6.180.446.208 bytes. Esa medida describe la descarga; las tablas siguientes mantienen las unidades de las lecturas de memoria, MiB y KiB. No se comparan directamente esas cifras ni se suman buffers para reconstruir el archivo: los mapeos y las copias representan conceptos diferentes.

Fija la configuración antes de medir

Según Twin Force, la prueba empleó Nemotron-3.5-Bolt-E4B-Q4_K_M.gguf con llama.cpp, compilación 11854 y CUDA 12.8, en una RTX 4060 Laptop. Para reproducirla, conserva ese archivo y esa compilación, además de los ajustes de ejecución. La metodología enlazada al final incluye la revisión y la huella del modelo, así como los comandos completos.

Según Twin Force, los arranques fueron independientes y secuenciales, sin calentamiento previo y con el ajuste automático de memoria desactivado. Se mantuvieron el modelo, la petición, la semilla, la precisión de la caché, la atención, los lotes y el número de sesiones. Primero se cambió únicamente el contexto; después, el reparto de capas.

Según Twin Force, cada petición se envió cuando el servidor estuvo listo. La entrada tenía 20 tokens y la respuesta generó 32. Esta carga breve permite observar las reservas y una ejecución concreta, pero no representa una conversación que haya ocupado toda la ventana disponible.

Reservar contexto también ocupa memoria

Lee la tabla por columnas: según Twin Force, el buffer del modelo permaneció estable mientras aumentaban la reserva del contexto y el pico observado del dispositivo. El archivo era el mismo. Por eso, elegir un contexto mayor exige revisar el presupuesto incluso antes de plantearse una conversación larga.

Según Twin Force, los valores del modelo y la caché proceden del resumen del programa, expresado en MiB enteros. El pico procede del muestreo del dispositivo durante la carga y la ejecución. Son lecturas distintas: el muestreo puede dejar escapar picos más breves y también recoge memoria utilizada por otros consumidores.

La memoria del ordenador también cuenta

Según Twin Force, declarar todas las capas trasladables en GPU no significa que todos los tensores estén allí: los registros mantienen buffers del modelo en el equipo. Tampoco identifican qué tensor corresponde a cada buffer. Esa limitación impide asignarles nombres concretos o interpretar su suma como el tamaño de la descarga.

Según Twin Force, reducir las capas en GPU con el mismo contexto trasladó parte del modelo y de la caché al equipo. La tabla permite comprobar el intercambio: disminuye la ocupación gráfica y aumenta la memoria residente del programa. El trabajo que pasa al procesador sigue teniendo un coste; esta prueba no establece una mejora de velocidad ni de calidad.

Haz el presupuesto con tu propia petición

Aplica la secuencia de medición: anota el uso en reposo, arranca el servicio y registra la memoria cuando esté listo. Después ejecuta tu petición y observa el pico durante la carga y la respuesta. Según Twin Force, su método combina el seguimiento del dispositivo con la memoria residente del proceso; conservar ambas lecturas evita ocultar el coste en el equipo.

Si necesitas reducir la reserva gráfica, prueba a recortar el contexto o a trasladar menos capas a la GPU y vuelve a medir. Según Twin Force, esos cambios modificaron el presupuesto en su configuración. Los casos terminaron correctamente: el experimento no documenta un fallo por falta de memoria ni garantiza el resultado en otro equipo.