noun
La tokenización convierte el texto en tokens, unidades más pequeñas como palabras, partes de palabras o caracteres. Los modelos de IA, especialmente los grandes modelos de lenguaje, procesan el texto como secuencias de tokens en lugar de texto bruto.
La mayoría de los sistemas de tokenización dividen el texto en subunidades (por ejemplo, ‘correr’ → ‘corr’, ‘##er’) para manejar palabras raras o desconocidas. Por ejemplo, el modelo GPT-4 usa un tokenizador que divide típicamente las palabras en 1.5 tokens por palabra, lo que significa que una entrada de 50 palabras podría convertirse en 75 tokens.
La tokenización afecta cómo los modelos de IA manejan las entradas y salidas. Limita la longitud del texto que un modelo puede procesar de una vez (por ejemplo, 4,096 tokens para GPT-4), lo que puede requerir truncar o resumir textos largos. También impacta en los costos, ya que algunos servicios de IA cobran por token utilizado.
Cuando le pides a una IA que resuma un artículo de 1,000 palabras, el sistema primero tokeniza el texto, lo que podría resultar en 1,500 tokens, y luego lo procesa en fragmentos para no exceder el límite de tokens del modelo.
En otros idiomas
Véase también: prompt engineering