noun
La verificación de alineación de modelos de IA asegura que un sistema de IA produzca resultados acordes a su propósito y a las directrices éticas. Esto implica pruebas para detectar sesgos, comportamientos inesperados o riesgos de uso inadecuado.
Incluye pruebas automatizadas, revisiones humanas y simulaciones de escenarios extremos. Por ejemplo, un asistente virtual podría ser verificado para evitar dar consejos peligrosos o engañosos.
Para los desarrolladores, este paso es clave para evitar multas, daños reputacionales o consecuencias no deseadas. Un modelo mal alineado podría costar millones en demandas, como ha ocurrido con algunos sistemas de IA que difundieron información falsa.
Antes de lanzar un chatbot de viajes, el equipo verificó que no recomendara destinos peligrosos o actividades ilegales, como cruzar fronteras sin pasaporte.
En otros idiomas
Véase también: AI safety · Ethical AI · Bias mitigation