Protocolos de alineación de modelos de IA (AI model alignment protocols)

noun

Los protocolos de alineación de modelos de IA son directrices y medidas técnicas para garantizar que los sistemas de IA, especialmente los modelos de lenguaje, sigan las intenciones humanas y eviten comportamientos peligrosos.

Incluyen técnicas de entrenamiento, filtros de seguridad y supervisión humana. Por ejemplo, el aprendizaje por refuerzo con retroalimentación humana (RLHF) usa evaluaciones humanas para ajustar las respuestas del modelo.

Para los desarrolladores, estos protocolos exigen pruebas más estrictas, lo que puede retrasar el lanzamiento pero reduce riesgos. Para los usuarios, significan interacciones más seguras. Por ejemplo, los sistemas de moderación de OpenAI bloquean típicamente el 10 % de las solicitudes peligrosas.

Un chatbot con protocolos de alineación se niega a dar instrucciones para actividades ilegales, incluso si el usuario lo pide.

Véase también: AI safety · reinforcement learning

Découvrez nos autres services

ElpisIA, c’est tout un univers — explorez nos autres services.