Machine Learning 6 min lectura

Por qué los Transformers usan GELU y cómo funciona esta activación

GELU (Gaussian Error Linear Unit) es una función de activación que escala las entradas de forma suave en lugar de cortar valores negativos como ReLU. Su comportamiento probabilístico y su suavidad la hicieron popular en arquitecturas Transformer como BERT.

Por Redaccion TD
Por qué los Transformers usan GELU y cómo funciona esta activación

Introducción

En el diseño de redes neuronales la elección de la función de activación influye directamente en cómo aprenden los modelos. Mientras ReLU (Rectified Linear Unit) popularizó arquitecturas profundas por su simplicidad y eficiencia, GELU (Gaussian Error Linear Unit) ganó terreno en modelos Transformer como BERT. ¿Por qué un cambio aparentemente pequeño en la función de activación puede afectar el aprendizaje? En este artículo desglosamos qué es GELU, cómo se diferencia de ReLU, por qué aparece frecuentemente en Transformers y qué considerar si lo usan en proyectos en América Latina.

¿Qué es GELU?

GELU significa Gaussian Error Linear Unit y fue propuesta en 2016 por Dan Hendrycks y Kevin Gimpel. A diferencia de activaciones que aplican umbrales rígidos, GELU aplica un escalado continuo y dependiente del valor de entrada. La intuición detrás de GELU es simple: los valores fuertemente positivos deben pasar casi sin cambio, los valores cercanos a cero deben reducirse parcialmente y los valores fuertemente negativos deben empujarse hacia cero, conservando cierta continuidad.

Matemáticamente, la versión exacta se expresa como:

GELU(x) = x * Φ(x)

donde Φ(x) es la función de distribución acumulada (CDF) de la distribución normal estándar. Mediante la función de error (erf) se puede reescribir de forma equivalente:

GELU(x) = x * 0.5 * (1 + erf(x / sqrt(2)))

Así, la activación combina la entrada con una ‘puerta’ suave basada en la probabilidad asociada a la normal estándar.

Comparación práctica: GELU vs ReLU

ReLU se define como max(0, x). Es simple, barato de calcular y elimina por completo las entradas negativas. Esto resulta en sparsity (celdas con salida cero) y eficiencia computacional. Sin embargo, también impone un corte brusco en cero.

GELU, en cambio, no toma una decisión binaria: aplica una escala entre 0 y 1 según la CDF gaussiana. Por ejemplo, una entrada de 1 se multiplica por aproximadamente 0.84 (Φ(1) ≈ 0.8413), mientras que una entrada de -1 se multiplica por ~0.1587, produciendo un valor negativo reducido en magnitud. Esta suavidad puede ayudar a las redes a modelar relaciones complejas sin introducir discontinuidades en la derivada.

Diferencias clave:

  • Tratamiento de negativos: ReLU los anula; GELU los atenúa suavemente.
  • Suavidad: ReLU no es diferenciable en cero; GELU es suave y diferenciable.
  • Costo computacional: ReLU es extremadamente barato; GELU requiere evaluación de la CDF normal o aproximaciones.
  • Uso habitual: ReLU sigue siendo estándar en CNN y redes ligeras; GELU es frecuente en FFN dentro de Transformers.

¿Por qué los Transformers usan GELU?

Los Transformers combinan atención, normalización y capas feed-forward (FFN). Dentro de la FFN, la activación introduce la no linealidad que permite al modelo aprender funciones complejas. En arquitecturas como BERT, la combinación de proyección lineal, activación y posterior proyección lineal es un patrón constante.

GELU aporta una transición suave que, en experimentos reportados por sus autores y en configuraciones como la de Hugging Face para BERT, mostró mejoras frente a activaciones tradicionales en tareas de NLP y otras áreas. Esa suavidad y la naturaleza probabilística implícita de la CDF parecen favorecer la optimización en redes profundas con activaciones distribuidas y normalización por capas.

No obstante, GELU no es la única opción: variantes como SiLU o gates más complejos (p. ej. SwiGLU) existen y son seleccionadas según la arquitectura y objetivos de entrenamiento.

Aproximaciones prácticas para ahorrar cómputo

La forma exacta de GELU usa funciones estadísticas que pueden ser más costosas que operaciones elementales. Una aproximación común y precisa utiliza la tangente hiperbólica:

GELU(x) ≈ 0.5 * x * (1 + tanh( sqrt(2/pi) * (x + 0.044715 * x^3) ))

Esta expresión es más eficiente en hardware que no tiene implementaciones rápidas de la función de error y suele producir resultados casi idénticos en práctica.

Implementación sencilla en Python

A continuación, dos implementaciones mínimas (no optimizadas) para comparar comportamiento:

import numpy as np
from math import erf, sqrt

# GELU exacta
def gelu_exact(x):
    return x * 0.5 * (1 + erf(x / sqrt(2)))

# Aproximación por tanh
def gelu_approx(x):
    return 0.5 * x * (1 + np.tanh(np.sqrt(2/np.pi) * (x + 0.044715 * x**3)))

# ReLU
def relu(x):
    return np.maximum(0, x)

Estas funciones permiten comparar salidas y derivadas numéricas en un entorno experimental. Para producción, es recomendable usar las implementaciones optimizadas de frameworks como TensorFlow o PyTorch, que ya incorporan versiones eficientes.

Ventajas y limitaciones de GELU

Ventajas:

  • Transformación suave que puede facilitar la convergencia en redes profundas.
  • Conserva información negativa de forma atenuada, lo que puede ayudar en representaciones ricas.

Limitaciones:

  • Mayor costo computacional respecto a ReLU en su forma exacta.
  • No garantiza mejoras en todos los casos: la arquitectura, los datos y el hardware determinan el efecto final.

Recomendaciones para equipos en América Latina

Si su proyecto usa Transformers preentrenados (p. ej. BERT) o está desarrollando modelos de lenguaje, lo más probable es que encuentren GELU ya integrado en los checkpoints y arquitecturas disponibles. Para entrenamientos desde cero o diseños especializados, consideren:

  • Evaluar la aproximación por tanh si el costo computacional es una restricción. Esto ayuda a reducir tiempo de entrenamiento sin sacrificar precisión notable.
  • Probar alternativas como SiLU o variantes gated en tareas específicas; en algunos contextos pueden superar a GELU.
  • Tener en cuenta el balance entre presupuesto de cómputo y ganancias de rendimiento: en entornos con recursos limitados (nube o GPU compartida), la simplicidad de ReLU puede ser atractiva.

Conclusión

GELU introduce un criterio más suave y probabilístico para permitir el paso de información en una neurona. Esa pequeña diferencia matemática —usar la CDF de la gaussiana como factor de escala— ha demostrado ser útil en Transformers y otros modelos, aunque no es una panacea para todos los problemas. Para equipos en América Latina, la decisión entre ReLU, GELU u otras activaciones debería considerar la arquitectura, la disponibilidad de infraestructura y pruebas empíricas en su dominio específico.

Preguntas frecuentes breves

  • ¿GELU es siempre mejor que ReLU? No; depende de la arquitectura y la tarea. En Transformers suele rendir bien, pero no garantiza mejoras universales.
  • ¿Debo implementar la forma exacta de GELU? Para producción, utilicen las implementaciones optimizadas del framework. Para entornos con restricciones, la aproximación por tanh es una buena alternativa.

Fuente original: Analytics Vidhya