envenenamiento de modelo de IA (AI model poisoning)

noun

El envenenamiento de modelo de IA es un ataque que corrompe un sistema de IA introduciendo datos engañosos o malintencionados. Puede ocurrir durante el entrenamiento (envenenamiento de datos) o después del despliegue (ataques adversos). El objetivo es hacer que la IA produzca resultados erróneos, sesgados o perjudiciales.

El ataque aprovecha la dependencia de la IA de grandes conjuntos de datos. Por ejemplo, si un generador de imágenes se entrena con fotos de gatos etiquetadas como ‘perros,’ podría mal clasificar gatos reales más tarde. Del mismo modo, un chatbot alimentado con hechos históricos falsos podría difundir desinformación.

Para los desarrolladores, esto significa que se necesitan más controles de seguridad. Las empresas suelen usar validación de datos, detección de anomalías y pruebas adversas para proteger sus modelos. Un caso real mostró que una IA de coche autónomo malinterpretó señales de ‘stop’ alteradas con pequeños adhesivos, demostrando cómo cambios sutiles pueden causar fallos graves.

Un hacker introduce reseñas falsas de productos en una IA de recomendación, haciendo que promocione artículos de baja calidad.

Découvrez nos autres services

ElpisIA, c’est tout un univers — explorez nos autres services.