noun
Los métodos de alineación de modelos de IA son técnicas diseñadas para asegurar que los sistemas de inteligencia artificial, especialmente los modelos de lenguaje grandes, sigan las intenciones humanas y las pautas éticas. Evitan que la IA genere respuestas dañinas, sesgadas o absurdas.
Estos métodos incluyen el ajuste fino con conjuntos de datos seleccionados, el aprendizaje por refuerzo con retroalimentación humana (RLHF) y filtros de seguridad. Por ejemplo, el RLHF implica entrenar un modelo de IA recompensándolo por respuestas correctas y penalizándolo por errores, a menudo con feedback de evaluadores humanos.
Para los desarrolladores, estos métodos añaden complejidad y costo, pero son esenciales para desplegar IA segura y confiable. Un modelo bien alineado, como GPT-4, suele costar un 10-20 % más en entrenamiento, pero reduce las salidas dañinas en un 90 % en comparación con versiones no alineadas.
Un chatbot entrenado con métodos de alineación se niega a generar noticias falsas o bromas ofensivas, incluso si se le pide directamente.
En otros idiomas
Véase también: reinforcement learning · fine-tuning · AI safety