La diferencia entre throughput y latencia en GPU y su impacto

La diferencia entre throughput y latencia en GPU radica en que la latencia es el tiempo que tarda una sola tarea en completarse (retraso), mientras que el throughput es la cantidad total de tareas procesadas en un intervalo de tiempo determinado (volumen de datos).
El diseño de las unidades de procesamiento gráfico prioriza la capacidad de manejar miles de hilos simultáneamente sobre la velocidad de respuesta de un hilo individual. Esta arquitectura define cómo se comporta el hardware en cargas de trabajo masivas.
{inAds}
Mecánica de la latencia en la arquitectura GPU
La latencia es el intervalo temporal entre la solicitud de una operación y la obtención del resultado. En una GPU, este valor se mide habitualmente en milisegundos (ms). Existen diversos tipos de latencia que afectan el rendimiento global: la latencia de memoria, la latencia de ejecución y la latencia de transferencia a través del bus PCI Express.
Cuando un núcleo de ejecución solicita un dato almacenado en la VRAM, el procesador no puede continuar con esa tarea específica hasta que el dato llegue. Este tiempo de espera es la latencia de memoria. A diferencia de una CPU, que utiliza cachés enormes para reducir este retraso, la GPU acepta que la latencia sea alta.
La estrategia de la GPU no es reducir el tiempo de espera de una tarea, sino ocultarlo. Mientras un grupo de hilos espera los datos de la memoria, el planificador de la GPU cambia instantáneamente a otro grupo de hilos que ya tiene los datos listos para procesar.
El concepto de throughput y el procesamiento masivo
El throughput, o tasa de transferencia, define cuántas operaciones por segundo puede ejecutar el hardware. Se mide en unidades como TFLOPS (Teraflops) o GB/s (Gigabytes por segundo). Es la medida del "ancho de banda" real de procesamiento.
Las GPU están diseñadas como procesadores de flujo. Poseen miles de núcleos pequeños y especializados que ejecutan la misma instrucción sobre múltiples datos, un modelo conocido como SIMT (Single Instruction, Multiple Threads). Esto permite que, aunque cada hilo individual sea lento (alta latencia), la suma de todos los hilos terminando sus tareas sea masiva.
| Métrica | Latencia | Throughput |
|---|---|---|
| Definición | Tiempo de respuesta de una tarea | Volumen de tareas completadas |
| Unidad de medida | Milisegundos (ms) | Operaciones/segundo o GB/s |
| Objetivo técnico | Minimizar el retraso | Maximizar la densidad de datos |
| Analogía | Velocidad de un solo coche | Capacidad de una autopista |
Interdependencia entre volumen de datos y tiempo de respuesta
El throughput y la latencia no son independientes; están vinculados por la capacidad de saturación del hardware. Si una GPU tiene un throughput muy alto pero la latencia de memoria es excesiva y no hay suficientes hilos para ocultarla, el hardware sufrirá periodos de inactividad.
Para optimizar el throughput, los desarrolladores utilizan técnicas de multithreading agresivo. Si la latencia de acceso a la memoria es de 400 ciclos de reloj, la GPU necesita tener suficientes tareas pendientes para llenar esos 400 ciclos con trabajo útil. Si el flujo de datos es insuficiente, el throughput cae porque los núcleos quedan ociosos esperando la respuesta de la memoria.
Este equilibrio es crítico en el entrenamiento de modelos de Deep Learning, donde el tamaño del lote (batch size) afecta directamente ambos valores. Un batch size grande aumenta el throughput al saturar la GPU, pero puede incrementar la latencia de respuesta de cada muestra individual.
GPU frente a CPU: enfoques opuestos de procesamiento
La alternativa directa al modelo de throughput de la GPU es el modelo de baja latencia de la CPU. Mientras la GPU busca procesar miles de tareas simples, la CPU busca procesar una sola tarea compleja lo más rápido posible.
La CPU utiliza una arquitectura compleja con predicción de saltos y niveles de caché L1, L2 y L3 muy agresivos. Esto reduce la latencia al mínimo, permitiendo que una sola secuencia de instrucciones avance sin interrupciones. En cambio, la GPU sacrifica estas optimizaciones para dedicar más espacio al silicio para núcleos de cálculo.
En una CPU, un aumento en la latencia de memoria degrada el rendimiento inmediatamente porque hay pocos hilos disponibles para sustituir al que está bloqueado. En la GPU, el sistema puede tolerar latencias mucho más altas siempre que el volumen de trabajo sea lo suficientemente grande para mantener los núcleos ocupados.
Factores que degradan el rendimiento del flujo de datos
Existen cuellos de botella que afectan la relación entre latencia y throughput. El primero es el ancho de banda de memoria, que limita la cantidad de datos que pueden viajar hacia los núcleos. Si el throughput deseado supera la capacidad de la memoria, la latencia efectiva aumenta debido a las colas de espera.
Otro factor es la divergencia de hilos. Cuando los hilos de un mismo grupo (warp o wavefront) deben ejecutar instrucciones diferentes, la GPU debe serializar las operaciones. Esto reduce drásticamente el throughput, ya que los núcleos que no están ejecutando la instrucción actual quedan inactivos, aumentando la latencia total del proceso.
Finalmente, la latencia de comunicación entre la CPU y la GPU es un punto crítico. El uso de tecnologías como NVLink busca reducir este retraso para que el throughput de la GPU no se vea limitado por la velocidad de envío de datos desde el procesador central.
Dudas comunes sobre el rendimiento gráfico
¿Qué es throughput y latencia?
La latencia es la medida del tiempo que transcurre desde que se inicia una solicitud hasta que se recibe la respuesta, mientras que el throughput es la cantidad de datos o tareas que un sistema puede procesar en un tiempo determinado.
¿Qué es la latencia de la GPU?
Es el retraso temporal que ocurre durante el procesamiento de un frame o una tarea, incluyendo el tiempo de acceso a la VRAM, el tiempo de cálculo en los núcleos y el tiempo de salida hacia el monitor.
¿El rendimiento y la latencia son lo mismo?
No, el rendimiento suele referirse al throughput o a la capacidad total de trabajo, mientras que la latencia se refiere específicamente a la velocidad de respuesta de una sola unidad de trabajo.