noun
El monitoreo de alineación de modelos de IA es el proceso de garantizar que los sistemas de inteligencia artificial sigan sus objetivos previstos, evitando comportamientos dañinos o impredecibles. Se basa en pruebas automatizadas, supervisión humana y retroalimentación del mundo real.
Por ejemplo, un modelo de generación de imágenes podría ser monitoreado para evitar la producción de contenido inapropiado, mientras que un asistente de voz podría ser limitado para no dar consejos médicos sin autorización.
Para los desarrolladores, esto significa pasos adicionales en las pruebas y el despliegue, lo que puede retrasar los lanzamientos pero reduce riesgos. Empresas como DeepMind o NVIDIA usan estos sistemas para evitar que los modelos generen respuestas perjudiciales, incluso si eso significa limitar ciertas capacidades. Si un modelo produce respuestas falsas en el 2% de los casos, el monitoreo lo detecta y corrige.
Un modelo de chatbot bloquea automáticamente las preguntas sobre diagnósticos médicos, redirigiendo a un profesional.
Véase también: AI safety · prompt engineering