Funciones de pérdida en Machine Learning: cómo elegir la adecuada

Por qué importan las funciones de pérdida

La función de pérdida convierte las predicciones de un modelo en una señal numérica que el optimizador usa para mejorar. No todas las pérdidas se comportan igual: unas amplifican errores grandes, otras son robustas frente a ruido, y la elección afecta la convergencia, la estabilidad y el comportamiento frente a outliers. Además, bibliotecas modernas aplican modos de reducción como mean, sum o none, que también influyen en la optimización.

Para equipos y tomadores de decisión en América Latina, entender estas diferencias es clave al diseñar modelos para finanzas, demanda, salud o manufactura, donde el tipo de error que más importa varía según la aplicación.

Fundamentos matemáticos esenciales

En aprendizaje supervisado el objetivo típico es minimizar el riesgo empírico, es decir el promedio de la pérdida por ejemplo, opcionalmente con ponderaciones por muestra y términos de regularización. Muchas implementaciones calculan la pérdida por ejemplo y luego aplican una reducción (media, suma o sin reducción).

Al analizar una pérdida conviene identificar respecto de qué variable se hace el análisis: muchas funciones son convexas en la predicción o en el logit para una etiqueta fija, aunque el objetivo final sea no convexo en los parámetros de una red neuronal. Propiedades importantes a considerar:

• Convexidad o no convexidad
• Diferenciabilidad y estabilidad del gradiente
• Robustez frente a outliers
• Sensibilidad a la escala de la variable objetivo

Precauciones comunes: confundir logits con probabilidades y usar un modo de reducción que no coincide con la definición matemática deseada puede producir resultados inesperados.

Pérdidas para regresión: opciones y cuándo usarlas

MSE (Mean Squared Error)

• Definición: promedio de los cuadrados de las diferencias entre predicción y objetivo.
• Ventajas: penaliza fuertemente errores grandes, es diferenciable y fácil de optimizar.
• Desventajas: sensible a outliers; una observación extrema puede dominar el entrenamiento.

MAE (Mean Absolute Error)

• Definición: promedio de los valores absolutos de los errores.
• Ventajas: penaliza linealmente, más robusta frente a valores atípicos.
• Desventajas: no es diferenciable en el punto de residual cero, lo que se aborda con subgradientes.

Huber Loss

• Idea: combina MSE y MAE. Para errores pequeños actúa como MSE (cuadrático) y para errores grandes como MAE (lineal), con un umbral controlable.
• Uso: buena cuando la mayoría de los datos son limpios pero existen algunos outliers.

Smooth L1

• Relacionada con Huber y muy usada en deep learning, por ejemplo en detección de objetos. Transiciona de penalización cuadrática a absoluta y es diferenciable en todos los puntos.

Log-Cosh

• Una alternativa suave a MAE. Cerca de cero se comporta como MSE y para residuos grandes crece casi linealmente, ofreciendo balance entre optimización suave y robustez.

Quantile Loss (pinball)

• Propósito: estimar cuantiles condicionales en lugar de la media. Penaliza asimétricamente sobreestimaciones y subestimaciones según el nivel de cuantile elegido, útil para pronósticos y estimación de incertidumbre.

MAPE y MSLE

• MAPE mide error porcentual medio; es útil cuando el error relativo importa, pero se vuelve inestable si los valores reales están cerca de cero.
• MSLE penaliza diferencias en la escala logarítmica; es útil cuando interesa capturar errores relativos y reducir el peso de grandes valores absolutos.

Otras familias: clasificación, desequilibrio y tareas estructuradas

Clasificación y pérdidas probabilísticas

• Para tareas de clasificación probabilística la entropía cruzada es la elección estándar porque castiga fuertemente predicciones con alta confianza y etiqueta incorrecta. En SVM y otros métodos aparecen pérdidas como hinge.

Pérdidas para clases desequilibradas

• Cuando una clase domina el conjunto, técnicas como ponderación de clases o pérdidas focales ayudan a que el entrenamiento no ignore las clases minoritarias.

Segmentación y detección

• En problemas de segmentación o detección de objetos se usan funciones que capturan solapamiento entre máscaras, como el coeficiente Dice o IoU, a menudo combinadas con pérdidas pixel-wise para estabilizar el aprendizaje.

Aprendizaje de representaciones

• Para contrastar anclas y ejemplos positivos/negativos existen pérdidas contrastivas y de tipo triplet que incentivan estructuras útiles en el espacio latente para tareas de búsqueda, clustering o transferencia.

Guía práctica para elegir la función de pérdida

• Defina primero qué error es más costoso en su negocio. En un crédito puede ser peor un falso negativo; en una demanda pronosticada, un error alto puntual puede ser inaceptable.
• Si sus datos tienen outliers, prefiera MAE, Huber o Smooth L1 frente a MSE.
• Para predicción probabilística o clasificación multi clase, usar entropía cruzada es un punto de partida estándar.
• En conjuntos muy desbalanceados combine ponderación de clases, muestreo y pérdidas focales.
• Preste atención a la escala de la variable objetivo: normalizar o estandarizar evita que la función de pérdida se domine por magnitudes grandes.
• Valide usando la métrica que importa en producción, no solo la pérdida de entrenamiento.

Consideraciones prácticas en contextos latinoamericanos

• Datos escasos y calidad variable: las pérdidas robustas y la validación rigurosa son críticas cuando los registros faltantes o mediciones ruidosas son frecuentes.
• Imbalance por diseño: en sectores como fraudes o detección de fallas, las clases minoritarias son las más relevantes; planifique estrategias de pérdida y evaluación desde el inicio.
• Regulación y equidad: al seleccionar pérdidas y métricas, considere implicaciones regulatorias y de sesgo, especialmente en modelos que afectan decisiones sociales o financieras.

Conclusión

La elección de la función de pérdida no es un detalle menor: modela explícitamente qué tipo de error se castiga y cómo se distribuye la señal de aprendizaje. Conocer las propiedades de las pérdidas y combinarlas con estrategias de preprocesamiento, balanceo y evaluación alineada al negocio permite construir modelos más robustos y con mejores resultados en producción.

Preguntas frecuentes rápidas

• Debo cambiar la pérdida si mi métrica de negocio es diferente a la pérdida de optimización? Sí, muchas veces conviene optimizar una pérdida proxy estable y validar con la métrica final; en casos críticos ajustar la pérdida para alinearla con la métrica de negocio mejora resultados.
• Qué rol juega la reducción (mean, sum, none)? Afecta la escala de los gradientes y, por tanto, la dinámica del optimizador; elegirla coherente con el problema y con el esquema de ponderación es importante.

Esta guía busca orientar la selección de pérdidas en proyectos reales de Machine Learning. La decisión final depende siempre del contexto, la calidad de los datos y la métrica que representa el valor para el negocio.