caja negra

noun

En inteligencia artificial, una caja negra se refiere a modelos, especialmente modelos de lenguaje grandes, donde el proceso de toma de decisiones es opaco para los usuarios. A diferencia del software tradicional, estos modelos no siguen reglas explícitas, sino que generan resultados basados en patrones aprendidos de grandes cantidades de datos.

El término proviene de la ingeniería, donde una ‘caja negra’ describe un dispositivo cuyo mecanismo interno es irrelevante para su función. En IA, esto significa que los usuarios interactúan con los resultados del modelo sin entender cómo se llegó a ellos, lo que puede ser tanto una ventaja (eficiencia) como una desventaja (falta de transparencia).

Para los profesionales, esto cambia cómo confían y depuran las herramientas de IA. Por ejemplo, si un modelo de lenguaje genera una respuesta engañosa, los usuarios no pueden rastrear fácilmente el error hasta un defecto específico de entrenamiento. En 2023, un estudio encontró que el 68 % de los desarrolladores que usaban modelos de IA tenían dificultades para explicar las salidas incorrectas, destacando el desafío de depurar sistemas de caja negra.

Cuando un chatbot de IA proporciona un dato histórico incorrecto, los usuarios no pueden ver por qué cometió ese error, lo que dificulta la corrección.

En otros idiomas

Véase también: Model interpretability

Découvrez nos autres services

ElpisIA, c’est tout un univers — explorez nos autres services.