noun
El tiempo de inferencia es el retraso entre el momento en que un modelo de IA recibe una entrada (como un texto o imagen) y cuando produce un resultado (texto generado, imagen, etc.).
Depende de factores como el tamaño del modelo, el hardware (por ejemplo, GPUs) y las técnicas de optimización. Modelos más grandes o tareas complejas suelen requerir más tiempo de inferencia, mientras que modelos más pequeños o soluciones en la nube pueden acelerarlo.
Para los usuarios, un tiempo de inferencia largo significa esperar más, lo que puede afectar aplicaciones en tiempo real. Para los desarrolladores, reducirlo es clave para mejorar la experiencia del usuario, especialmente en chatbots o generación de imágenes. Por ejemplo, un generador de arte avanzado puede tardar 2-5 segundos por imagen, mientras que un modelo optimizado puede hacerlo en menos de un segundo.
Un usuario espera 3 segundos a que el chatbot genere una respuesta.
En otros idiomas
Véase también: Latency