Inférence

noun

L’inférence est l’action d’utiliser un modèle d’IA entraîné pour générer des sorties (texte, images, etc.) à partir de nouvelles données, sans réentraînement. Contrairement à l’entraînement, qui modifie le modèle, l’inférence exploite le modèle existant pour fournir des résultats en temps réel ou par lots.

Elle fonctionne en introduisant des données d’entrée (comme une requête textuelle) dans un modèle pré-entraîné, qui les traite via ses réseaux neuronaux pour produire une réponse. La rapidité et la précision dépendent de l’architecture du modèle, du matériel (comme les GPU) et des techniques d’optimisation comme la quantification.

Pour les utilisateurs, l’inférence automatise la création de contenu, accélère l’analyse et réduit les tâches manuelles. Cependant, elle implique des coûts (comme les frais de calcul cloud) et des limites (comme la latence). Par exemple, un modèle comme Mistral’s Mixtral 8x7B peut effectuer une inférence sur un GPU NVIDIA A100, traitant environ 100 tokens par seconde pour un coût d’environ 0,50 € par million de tokens.

Quand un assistant vocal résume un article de presse, il effectue une inférence pour générer le résumé.

Dans les autres langues

Voir aussi : Neural network · Token

Découvrez nos autres services

ElpisIA, c’est tout un univers — explorez nos autres services.