Inyección de indicaciones

noun

La inyección de indicaciones es una vulnerabilidad de seguridad en la que los atacantes manipulan modelos de IA insertando entradas maliciosas en los prompts, haciendo que el sistema actúe de manera impredecible o revele datos confidenciales.

Funciona explotando cómo la IA interpreta las instrucciones—si un usuario o atacante añade comandos ocultos, la IA puede seguirlos en lugar de la tarea prevista. Por ejemplo, un hacker podría diseñar un prompt que haga que un asistente virtual filtre información privada.

Para los desarrolladores, esto significa que se necesitan más controles de seguridad, como la validación de entradas y el aislamiento de procesos. Los usuarios deben evitar compartir datos sensibles con herramientas de IA a menos que confíen en el sistema. Un caso real mostró cómo un chatbot fue engañado para revelar detalles personales de un usuario mediante un mensaje ingeniosamente diseñado.

Un hacker añade un comando oculto en un prompt de chatbot para hacer que revele la dirección de correo electrónico de un usuario.

Découvrez nos autres services

ElpisIA, c’est tout un univers — explorez nos autres services.