noun
Los objetivos de alineación de modelos de IA son las reglas y directrices que aseguran que los sistemas de IA, como los asistentes de conversación o los generadores de imágenes, se comporten de acuerdo con los valores e intenciones humanas. Evitan salidas dañinas, como la desinformación o el contenido ofensivo.
Estos objetivos suelen ser establecidos por los desarrolladores mediante técnicas como el aprendizaje por refuerzo con retroalimentación humana (RLHF), donde los evaluadores humanos califican las respuestas de la IA para entrenar el modelo. Por ejemplo, un modelo podría ajustarse para evitar dar consejos médicos erróneos penalizando las respuestas que contradigan fuentes verificadas.
Para los usuarios, la alineación significa que las herramientas de IA son más confiables y dignas de confianza. Sin embargo, una alineación demasiado estricta puede limitar la creatividad o la utilidad—for instance, un modelo podría negarse a generar contenido satírico si es demasiado similar a un discurso dañino. Equilibrar seguridad y utilidad sigue siendo un desafío.
Ejemplo: Un modelo de lenguaje entrenado con objetivos de alineación podría rechazar una solicitud para escribir un artículo de noticias falsas, incluso si el usuario insiste, porque está programado para priorizar la precisión factual.
Un usuario le pide a una IA que genere una noticia falsa, pero el modelo se niega debido a los objetivos de alineación.
En otros idiomas
Véase también: reinforcement learning · AI safety · model fine-tuning