noun
La latencia de inferencia es el retraso entre el envío de una entrada (como un texto o una solicitud de imagen) a un modelo de IA y la obtención de la salida. Es un factor clave en aplicaciones en tiempo real, como asistentes virtuales o generadores de imágenes.
Este retraso depende de la complejidad del modelo, el hardware (GPU, TPU) y la velocidad de la red. Por ejemplo, un modelo de lenguaje grande puede tardar entre 50 y 500 milisegundos en responder, mientras que modelos más simples pueden ser casi instantáneos.
Para los desarrolladores, una alta latencia puede frustrar a los usuarios, mientras que una baja latencia mejora la interacción. Optimizarla a menudo implica compromisos, como usar modelos más pequeños o aceleración en la nube, lo que puede aumentar los costos.
Por ejemplo, un asistente de atención al cliente debe mantener una latencia inferior a 200ms para evitar que los usuarios abandonen la conversación.
Un usuario escribe una pregunta en un chatbot y espera 300ms antes de recibir la respuesta.