noun
Le coût d’inférence désigne les ressources informatiques requises pour traiter une entrée dans un modèle d’IA et produire une sortie, comme du texte, une image ou une décision. Contrairement au coût d’entraînement (où le modèle apprend à partir des données), le coût d’inférence intervient à chaque utilisation du modèle pour une prédiction ou une génération.
Ce coût dépend de la taille, de la complexité du modèle et du matériel utilisé. Les modèles plus volumineux (comme ceux avec des milliards de paramètres) consomment davantage de puissance de calcul, ce qui augmente le coût par utilisation. Les fournisseurs cloud facturent généralement par inférence, souvent mesurée en tokens (pour le texte) ou en secondes (pour la génération d’images).
Pour les développeurs et les entreprises, ces coûts peuvent limiter l’utilisation des outils d’IA. Par exemple, un chatbot alimenté par un grand modèle de langage peut coûter 0,002 $ pour 1 000 tokens. Si le chatbot traite 10 000 requêtes par jour, cela représente 20 $ par jour—des dépenses à intégrer dans la tarification ou la scalabilité.
Une startup utilisant un générateur d'images IA pourrait prévoir un budget de 500 € par mois, mais si chaque image coûte 0,01 € à produire, elle ne pourra générer que 50 000 images avant de dépasser son plafond.
Dans les autres langues
Voir aussi : Token