Machine Learning 6 min lectura
Por qué los Transformers usan GELU y cómo funciona esta activación
GELU (Gaussian Error Linear Unit) es una función de activación que escala las entradas de forma suave en lugar de cortar valores negativos como ReLU. Su comportamiento probabilístico y su suavidad la hicieron popular en arquitecturas Transformer como BERT.