noun
Las normas de alineación de modelos de IA son directrices o regulaciones diseñadas para garantizar que los sistemas de inteligencia artificial, especialmente los modelos de lenguaje, generadores de imágenes y agentes de IA, operen de acuerdo con los valores humanos, la seguridad y los principios éticos.
Estas normas suelen incluir marcos de prueba, técnicas para reducir sesgos y requisitos de transparencia. Por ejemplo, un modelo puede tener que superar evaluaciones de seguridad antes de su implementación para evitar la generación de contenido dañino o engañoso. Algunas normas también exigen divulgaciones sobre los datos de entrenamiento o las limitaciones del modelo.
Para los desarrolladores, estas normas imponen obligaciones como auditorías regulares y verificaciones de cumplimiento, lo que puede aumentar los costos pero reducir los riesgos legales y de reputación. Para los usuarios, proporcionan garantías de que las herramientas de IA son menos propensas a producir resultados peligrosos o sesgados. Un ejemplo real es el Reglamento de la UE sobre IA, que clasifica ciertas aplicaciones como de alto riesgo y exige controles estrictos de alineación.
Una empresa que desarrolla un chatbot debe seguir las normas de alineación para evitar que dé consejos médicos incorrectos.
En otros idiomas
Véase también: AI safety · Bias mitigation