noun
La latence d’inférence est le délai entre l’envoi d’une requête (comme une question ou une demande d’image) à un modèle d’IA et la réception de la réponse. Elle influence directement la fluidité des applications grand public, comme les assistants vocaux ou les générateurs d’images.
Ce délai varie selon la taille du modèle, la puissance du matériel (GPU, TPU) et la qualité de la connexion. Par exemple, un grand modèle de langage peut prendre 50 à 500 millisecondes pour répondre, tandis qu’un modèle léger peut être quasi instantané.
Pour les développeurs, une latence élevée peut nuire à l’expérience utilisateur, tandis qu’une latence faible améliore l’adoption. Réduire ce délai peut nécessiter des compromis, comme utiliser des modèles simplifiés ou des serveurs cloud, ce qui peut augmenter les coûts.
Par exemple, un assistant virtuel dans une application bancaire doit répondre en moins de 200ms pour éviter que les utilisateurs ne quittent la conversation.
Un utilisateur envoie une demande à un chatbot et attend 300ms avant de voir la réponse s'afficher.