noun
La poda de modelo es un proceso que reduce el tamaño de un modelo de IA al eliminar neuronas, pesos o capas menos importantes, mejorando su eficiencia sin afectar demasiado su rendimiento.
Funciona analizando qué partes del modelo contribuyen menos a las predicciones y eliminándolas, a menudo mediante técnicas como la poda basada en magnitud o la poda estructurada. Esto reduce el tamaño del modelo, acelera la inferencia y disminuye los costos computacionales.
Para los desarrolladores, la poda permite desplegar modelos en hardware más económico o dispositivos móviles, pero puede requerir un reentrenamiento para mantener la precisión. Por ejemplo, un gran modelo de lenguaje como LLaMA-2 (70 mil millones de parámetros) puede ser podado a 30 mil millones, reduciendo el tiempo de inferencia en un 40 % con una pérdida de precisión del 2 %.
Una empresa usa la poda de modelo para reducir el tamaño de un chatbot, permitiendo que funcione en un smartphone en lugar de en un servidor en la nube.
En otros idiomas
Véase también: Neural network · Inférence