aprendizaje por refuerzo con retroalimentación humana (RLHF)

abbreviation RLHF

reinforcement learning from human feedback

El aprendizaje por refuerzo con retroalimentación humana (RLHF) es una técnica que ajusta modelos de IA, como chatbots o generadores de imágenes, integrando evaluaciones humanas. En lugar de depender solo de datos preexistentes, el RLHF utiliza la retroalimentación de los usuarios para mejorar el rendimiento.

Funciona haciendo que evaluadores humanos califiquen o clasifiquen las respuestas de la IA, y luego el sistema ajusta su comportamiento en función de esas calificaciones. Por ejemplo, si un chatbot genera una respuesta dañina o fuera de tema, la retroalimentación humana ayuda a evitar errores similares en el futuro. Este método es especialmente útil para alinear la IA con los valores y preferencias humanas.

Para los desarrolladores, el RLHF cambia la forma en que se entrenan los modelos de IA, haciéndolos más adaptables al uso real. Sin embargo, también introduce costos, ya que los evaluadores humanos deben analizar grandes volúmenes de respuestas. Por ejemplo, OpenAI habría invertido millones de dólares en retroalimentación humana para refinar sus modelos GPT. Aunque el RLHF mejora la seguridad y utilidad, requiere supervisión humana continua, lo que puede ser costoso y consumir tiempo.

Cuando un usuario marca una respuesta de un chatbot como inapropiada, el RLHF ajusta el modelo para reducir errores similares en interacciones futuras.

Véase también: fine-tuning · Supervised learning

Découvrez nos autres services

ElpisIA, c’est tout un univers — explorez nos autres services.