noun
La supervisión del alineamiento de modelos de IA es el proceso de garantizar que los modelos de inteligencia artificial, especialmente los modelos de lenguaje, sigan su diseño previsto y no produzcan contenidos dañinos, engañosos o sesgados. Implica rastrear las salidas del modelo, detectar desviaciones y ajustar los parámetros de entrenamiento o implementación para mantener el alineamiento con los objetivos éticos y funcionales.
Esta práctica suele utilizar una combinación de verificaciones automatizadas, revisiones humanas y análisis estadísticos. Por ejemplo, un modelo podría ser supervisado para evitar que genere lenguaje ofensivo o inexactitudes factuales. Si se detectan desviaciones, el modelo puede ser ajustado o restringido en ciertos casos de uso.
Para los desarrolladores y las empresas, esta supervisión es crucial para evitar daños a la reputación, riesgos legales y insatisfacción del usuario. Por ejemplo, un chatbot entrenado para dar consejos médicos podría ser supervisado para asegurarse de que no proporcione información peligrosa o engañosa, como recomendar tratamientos no probados. Esto implica generalmente un filtrado en tiempo real y auditorías periódicas, lo que puede aumentar los costos, pero es necesario para la seguridad y el cumplimiento.
Una empresa que supervisa su generador de imágenes IA podría bloquear las salidas que violan derechos de autor o contienen contenido explícito.
En otros idiomas
Véase también: AI safety · model fine-tuning · Ethical AI