noun
El servicio de modelo es la implementación de un modelo de IA entrenado, como un generador de lenguaje o imágenes, para que los usuarios puedan interactuar con él. Esto incluye alojarlo en servidores, optimizarlo para velocidad y gestionar múltiples solicitudes.
Funciona enviando las entradas del usuario (como prompts) al modelo, procesándolas y devolviendo resultados. Plataformas en la nube como AWS o Google Cloud suelen encargarse de esto, aunque algunos modelos más pequeños pueden ejecutarse localmente por privacidad o ahorro de costos.
Para los desarrolladores, esto cambia los flujos de trabajo al exigir gestión de infraestructura, seguimiento de costos y, a veces, compromisos entre velocidad y calidad. Por ejemplo, una empresa que usa un modelo a $0.0001 por solicitud para soporte al cliente podría gastar $100 al día con 1 millón de solicitudes, obligando a ajustes presupuestarios.
Una startup pone en servicio su modelo de generación de imágenes en una plataforma en la nube, permitiendo a los usuarios crear arte personalizado por $0.50 por imagen.
En otros idiomas
Véase también: Inférence