noun
El costo de inferencia se refiere a los recursos informáticos necesarios para procesar una entrada en un modelo de IA y producir una salida, como texto, una imagen o una decisión. A diferencia del costo de entrenamiento (donde el modelo aprende de los datos), el costo de inferencia ocurre cada vez que el modelo se usa para hacer una predicción o generar contenido.
Este costo depende del tamaño, la complejidad del modelo y el hardware utilizado. Los modelos más grandes (como los que tienen miles de millones de parámetros) requieren más potencia de procesamiento, lo que aumenta el costo por uso. Los proveedores de cloud suelen cobrar por inferencia, generalmente medida en tokens (para texto) o segundos (para generación de imágenes).
Para desarrolladores y empresas, estos costos pueden limitar el uso de herramientas de IA. Por ejemplo, un chatbot impulsado por un gran modelo de lenguaje podría costar 0,002 $ por 1.000 tokens. Si el chatbot maneja 10.000 consultas diarias, eso equivale a 20 $ al día—gastos que deben incluirse en la tarificación o escalabilidad.
Una startup que usa un generador de imágenes IA podría presupuestar 500 € al mes, pero si cada imagen cuesta 0,01 € en producción, solo podría generar 50.000 imágenes antes de superar su límite.
En otros idiomas
Véase también: Token