Latencia de inferencia

noun

La latencia de inferencia es el retraso entre el envío de una entrada (como un texto o una solicitud de imagen) a un modelo de IA y la obtención de la salida. Es un factor clave en aplicaciones en tiempo real, como asistentes virtuales o generadores de imágenes.

Este retraso depende de la complejidad del modelo, el hardware (GPU, TPU) y la velocidad de la red. Por ejemplo, un modelo de lenguaje grande puede tardar entre 50 y 500 milisegundos en responder, mientras que modelos más simples pueden ser casi instantáneos.

Para los desarrolladores, una alta latencia puede frustrar a los usuarios, mientras que una baja latencia mejora la interacción. Optimizarla a menudo implica compromisos, como usar modelos más pequeños o aceleración en la nube, lo que puede aumentar los costos.

Por ejemplo, un asistente de atención al cliente debe mantener una latencia inferior a 200ms para evitar que los usuarios abandonen la conversación.

Un usuario escribe una pregunta en un chatbot y espera 300ms antes de recibir la respuesta.

Découvrez nos autres services

ElpisIA, c’est tout un univers — explorez nos autres services.