Hiperparámetro

noun

Un hiperparámetro es un valor de configuración que define cómo se entrena un modelo de aprendizaje automático, como la tasa de aprendizaje o el tamaño del lote. A diferencia de los parámetros normales (por ejemplo, los pesos en una red neuronal), los hiperparámetros se establecen antes del entrenamiento y no se aprenden de los datos.

Provienen de experimentación, reglas empíricas o técnicas de optimización como la búsqueda en cuadrícula. Por ejemplo, en un modelo de lenguaje, la tasa de aprendizaje determina cuánto ajusta el modelo sus pesos después de cada paso de entrenamiento. Demasiado alta, puede hacer que el entrenamiento diverja; demasiado baja, lo ralentiza.

Para los desarrolladores, los hiperparámetros son cruciales porque impactan directamente el rendimiento del modelo. Una mala elección (por ejemplo, 0.1 en lugar de 0.001) puede hacer que el entrenamiento falle, mientras que valores óptimos (como 0.0001 para algunos modelos profundos) aceleran la convergencia. También influyen en los costos computacionales: lotes más grandes entrenan más rápido pero requieren más memoria.

Al ajustar un modelo de generación de texto, reducir la tasa de aprendizaje de 0.001 a 0.0001 disminuyó el sobreajuste en un 15%.

En otros idiomas

Véase también: Model training

Découvrez nos autres services

ElpisIA, c’est tout un univers — explorez nos autres services.