Falcon-Emirati: un LLM que aprende dialecto, cultura y matices

Por qué un modelo especializado en Emirati importa

El árabe no es una sola lengua homogénea: conviven el Árabe Moderno Estándar (MSA) y múltiples dialectos hablados con gramáticas, vocabulario y referencias culturales propias. En Emiratos Árabes Unidos, la comunicación cotidiana, el humor y la narrativa se expresan en árabe emiratí, un dialecto del Golfo con ritmos y expresiones que no sobreviven a una traducción literal desde MSA. Falcon-Emirati-7B nace para cerrar esa brecha: entender y generar Emirati como lo haría un hablante nativo, incluyendo proverbios, referencias poéticas y matices culturales.

Fundamento tecnológico: basado en Falcon-H1-Arabic

Falcon-Emirati-7B no fue creado desde cero. Se construyó sobre Falcon-H1-Arabic, la familia de modelos que introdujo una arquitectura híbrida (State Space Models —Mamba— y atención Transformer corriendo en paralelo dentro de cada bloque, con sus salidas fusionadas antes de la proyección). Esa combinación entrega eficiencia lineal en secuencias largas gracias a Mamba, y mantiene la precisión de la atención en dependencias de largo alcance —algo relevante para una lengua morfológicamente rica como el árabe.

La familia Falcon-H1-Ababic incluye variantes de 3B, 7B y 34B parámetros, con ventanas de contexto que llegan hasta 128K y 256K tokens, y fue preentrenada con una mezcla amplia de MSA y dialectos (Golfo, levantino, egipcio, magrebí) junto con inglés y datos multilingües. Ese punto de partida le dio a Falcon-Emirati-7B una comprensión general del árabe y una capacidad preexistente para manejar contexto extenso.

Por qué elegir la variante de 7B

El equipo seleccionó la versión de 7B para la adaptación dialectal: ofrece suficiente capacidad para modelar los matices del dialecto y del contexto cultural, pero mantiene costes de entrenamiento e inferencia manejables para un modelo de chat dialectal. La variante de 34B probablemente podría mejorar calidad, pero con un costo que no se justifica para un caso de uso tan focalizado; la de 3B, en cambio, no ofrecía el margen necesario para capturar profundidad lingüística y cultural.

Los desafíos de adaptar un LLM a un dialecto

Adaptar un modelo general de árabe a un dialecto regional no es una tarea menor. Entre las dificultades principales están:

• Escasez de texto escrito en el dialecto: Emirati es mayoritariamente hablado y aparece poco en escritura natural en la web, a diferencia de MSA u otros dialectos más documentados.
• Significados no literales: refranes, poesía nabati y dichos se sostienen en contexto cultural compartido; una traducción palabra por palabra pierde gran parte del sentido.
• Falta de recetas establecidas: no existe un consenso claro sobre cuánta data dialectal es suficiente, cómo mezclarla con MSA, o en qué etapa del entrenamiento (continual pretraining, SFT, optimización por preferencia) debe introducirse para que el modelo internalice el dialecto sin perder robustez.

Esos factores obligaron al equipo a iterar intensamente: pruebas, errores y comparaciones con juicios humanos y métricas para identificar qué cambios realmente mejoraban la comprensión y la generación en Emirati.

Estrategia de datos: tres fuentes complementarias

Para construir la base de conocimiento dialectal diseñaron una canalización de datos específica con tres componentes principales:

1. Contenido web auténtico en dialecto emiratí Se recolectaron y curaron textos de sitios y foros locales escritos nativamente en Emirati, evitando traducciones o transliteraciones desde MSA. Esta data actúa como la “verdad en terreno” sobre cómo los hablantes reales emplean frases cotidianas, expresiones coloquiales y alternancia entre MSA y dialecto.

2. Material en MSA sobre cultura e identidad emiratí Se incluyeron textos en MSA que tratan sobre historia, costumbres, valores y percepciones sociales de Emiratos. Aunque no enseñan a escribir en dialecto, aportan contexto semántico y cultural esencial: qué temas emergen, qué referencias históricas o sociales son relevantes y cómo se entiende la identidad local.

3. Datos sintéticos guiados por glosarios y reglas de estilo La cantidad de contenido dialectal auténtico no alcanzaba para cubrir todos los tópicos que un modelo de chat debe manejar. Por eso se generó data sintética, pero con restricciones: el generador se guió mediante glosarios, diccionarios y reglas estilísticas diseñadas para Emirati. Esas limitaciones evitaron salidas demasiado “gulf-ish” o genéricas y acercaron la generación sintética a formas que un hablante nativo percibe como auténticas.

Método de adaptación: experimentar para encontrar la receta

Dado que no hay un procedimiento estandarizado para pasar de MSA a un dialecto específico, el equipo realizó ablations y pruebas variadas: cuánto dialecto inyectar, en qué etapa de entrenamiento hacerlo, cómo balancear datos reales y sintéticos y cómo evitar el sobreajuste a patrones artificiales. Usaron tanto evaluaciones automatizadas como juicios humanos para determinar qué combinaciones mejoraban la fidelidad dialectal sin sacrificar coherencia o contenido factual.

También evaluaron distintas etapas de entrenamiento —desde continuar el preentrenamiento hasta fine-tuning supervisado (SFT) y ajustes mediante optimización por preferencia— para identificar dónde el dialecto se incorporaba con mayor eficacia.

Qué significa esto para empresas y proyectos en América Latina

Aunque Falcon-Emirati-7B se centra en un dialecto específico del Golfo, el enfoque tiene lecciones claras para equipos latinoamericanos que trabajan con idiomas y variedades regionales:

• La localización va más allá de traducir: para idiomas con fuertes variaciones regionales, hay que modelar cultura, referencias y usos hablados.
• Datos auténticos y curados importan: recolectar contenido nativo y diseñar glosarios o reglas de estilo ayuda a evitar que los modelos generen lenguaje “plano” o poco natural.
• Modelos base híbridos y variantes medianas (como 7B) pueden ofrecer un buen equilibrio costo-calidad para casos de uso empresariales como soporte al cliente, asistentes conversacionales y generación localizada.

Organizaciones latinoamericanas que ofrezcan servicios a comunidades árabes o que trabajen con mercados del Golfo pueden aprovechar modelos adaptados dialectalmente para mejorar atención, marketing y comprensión cultural sin incurrir en los costos de modelos extremadamente grandes.

Conclusión

Falcon-Emirati-7B es una muestra de cómo la adaptación cuidadosa, basada en datos auténticos, contexto cultural en MSA y generación sintética controlada, puede transformar un modelo general en un especialista dialectal. El camino no es automático: requiere experimentación, criterio humano y una estrategia de datos que respete el uso real de la lengua. Para la región latinoamericana, el desarrollo confirma una lección clave: la IA conversacional gana mucho cuando incorpora la diversidad lingüística y cultural del mundo real.