noun
La ventana de contexto es la parte del texto o conversación previa que un modelo de lenguaje puede usar para producir su siguiente salida. Funciona como la memoria a corto plazo del modelo, determinando cuánta información pasada puede utilizar para mantener la coherencia, responder preguntas de seguimiento o seguir instrucciones complejas.
La mayoría de los modelos de consumo, como los de los chatbots o generadores de imágenes, tienen una ventana de contexto fija (por ejemplo, 4,096 tokens, aproximadamente 3,000 palabras). Si la interacción supera ese límite, el modelo puede olvidar detalles anteriores, lo que lleva a errores o respuestas irrelevantes. Algunos modelos avanzados ajustan dinámicamente la ventana, pero esto aumenta el costo computacional.
Para los usuarios, esto significa mantener las interacciones concisas o resumir los puntos clave para mantenerse dentro del límite. Para los desarrolladores, implica optimizar los prompts y gestionar el uso de la memoria. Por ejemplo, pedirle a una IA que resuma un documento de 10,000 palabras requeriría dividirlo en partes, ya que el modelo podría perder el hilo de las secciones anteriores si el texto supera su ventana.
Si le pides a una IA que analice un informe de 5,000 palabras, puede que solo procese las 3,000 últimas si su ventana de contexto es de 4,096 tokens.
En otros idiomas
Véase también: Token · Attention mechanism