noun
Un mecanismo de atención es un componente en modelos de IA, especialmente en modelos de lenguaje grandes, que permite al sistema evaluar la importancia de diferentes entradas al generar una respuesta. Imitando cómo los humanos se enfocan en la información relevante mientras ignoran las distracciones.
Funciona asignando puntuaciones a diferentes partes de los datos de entrada, determinando qué elementos son más relevantes para la tarea. Por ejemplo, en una tarea de traducción, podría priorizar ciertas palabras en una oración sobre otras para producir una traducción más precisa.
Para los usuarios, esto significa que la IA puede manejar tareas más complejas, como resumir documentos largos o responder preguntas matizadas, con mayor precisión. Sin embargo, también requiere más potencia de cálculo, lo que puede aumentar los costos. Un ejemplo real es Google BERT, que usa atención para entender el contexto en las consultas de búsqueda, mejorando los resultados en un 10 % en algunos casos.
Cuando se le pide a una IA que resuma un informe de 500 páginas, el mecanismo de atención le ayuda a centrarse en las secciones clave en lugar de leer todo por igual.