Nemotron 3.5 Transcribe y Granary v2: transcripción multilingüe adaptable y controlable por prompt

Nemotron 3.5 Transcribe reúne transcripción, atribución de hablantes, traducción y Q&A de audio en un solo modelo abierto. Granary v2 y recetas de fine-tuning permiten adaptar reconocimiento a vocabulario y acentos.

Por Redaccion TD
Nemotron 3.5 Transcribe y Granary v2: transcripción multilingüe adaptable y controlable por prompt

Resumen

NVIDIA presentó Nemotron 3.5 Transcribe, un modelo de peso abierto que unifica transcripción multilingüe, atribución de hablantes (diarización), traducción y preguntas y respuestas sobre audio. Junto con Granary v2, una canalización de datos reutilizable, y las herramientas de fine-tuning de NeMo Speech, ofrecen un flujo completo para llevar audio a texto útil y adaptable. El modelo ya está disponible en Hugging Face y ModelScope.

Capacidades clave

  • Transcribe hasta 40 idiomas y traduce 31 de ellos hacia o desde inglés.
  • Atribuye hablantes en 13 idiomas, maneja grabaciones de hasta una hora y etiqueta hasta ocho hablantes.
  • Soporta marcas de tiempo a nivel de palabra, lo que facilita la búsqueda y la sincronización con video o replays.
  • Integra funciones de audio question answering, aunque ese entrenamiento específico se realizó en inglés.
  • Es promptable: los desarrolladores pueden guiar la salida con lenguaje natural para obtener transcripciones, traducciones, etiquetas de hablante o resúmenes de decisiones.

Resultados en benchmarks

Nemotron 3.5 Transcribe destaca entre modelos de peso abierto en varios lideratos públicos:

  • Hugging Face Open ASR Leaderboard: lidera en la pista de inglés entre modelos de peso abierto con un WER promedio de 5.33%. En la pista multilingüe registra 4.62% WER en siete idiomas, y en long-form alcanza 10.98% WER.
  • Artificial Analysis Speech-to-Text Leaderboard: empata en primer lugar entre modelos de peso abierto con 2.8% AA-WER, logrando ese desempeño con aproximadamente 4B de parámetros activos frente a 24B del modelo con el que empata. En el subconjunto AA-AgentTalk consigue 1.8% WER, por debajo del 2.3% del siguiente mejor modelo abierto.
  • Atribución de hablantes: obtiene las mejores tasas en el leaderboard de diarización de David AI y encabeza la comparación de VoiceArena entre 14 sistemas. En la pista combinada de David AI (transcripción y diarización) figura primero entre modelos abiertos y segundo en el total.

Estos resultados se apoyan en una arquitectura que combina un codificador de voz con un lenguaje híbrido Mamba–Transformer con mezcla de expertos, de modo que solo una fracción de parámetros queda activa por token, optimizando la relación entre precisión y recursos computacionales.

Control por prompt y ajustes de salida

Una ventaja práctica es la capacidad de cambiar la salida usando instrucciones en lenguaje natural. Ejemplos de uso:

  • “Transcribe esta reunión y etiqueta cada hablante.”
  • “Traduce este audio al inglés.”
  • “Resume las decisiones tomadas en la reunión.”

Para dominios especializados, es posible orientar al modelo con vocabulario esperado sin pasar inmediatamente a fine-tuning. Por ejemplo, en contextos médicos se puede indicar términos posibles y pedir que se usen solo cuando aparezcan claramente en el audio, solicitando además ortografía médica estándar y formato numérico convencional.

El modelo card incluye presets recomendados, guía completa de prompts y una matriz por tarea y idioma que aclara qué idiomas están soportados para cada función. También advierte que, como con cualquier modelo de voz, es recomendable verificar aleatoriamente nombres propios, cambios de hablante y respuestas frente a la grabación original.

Granary v2 y fine-tuning reproducible

Granary v2 ofrece un conjunto multilingüe de datos y una canalización de curación reutilizable disponible en Hugging Face y ModelScope. Junto con las recetas de NeMo Speech, esto permite llevar el control de nivel prompt al entrenamiento: los equipos pueden definir la forma escrita deseada del texto y adaptar el modelo al tipo de habla de sus aplicaciones.

Un estudio de caso médico mostró que el fine-tuning con estos recursos redujo el error de palabra (WER) en hablantes no vistos en 45.8% en comparación con el mejor preset por prompt. Esto ilustra el impacto de adaptar con datos representativos del dominio y los acentos relevantes.

Implementación, privacidad y despliegue en la región

NVIDIA anuncia versiones cuantizadas próximamente para ejecución local, lo que permitirá correr modelos en hardware como RTX Spark, DGX Spark y Jetson AGX Thor, o escalar en GPUs de data center Blackwell. Para equipos en América Latina esto es relevante por varias razones:

  • Cumplimiento y privacidad: ejecutar localmente o en infraestructuras controladas facilita responder a requisitos regulatorios y políticas internas de datos, especialmente en sectores sensibles como salud y legal.
  • Latencia y conectividad: el despliegue local o en edge reduce dependencias de conectividad constante, útil en regiones con condiciones de red variables.
  • Costos y escalado: la posibilidad de cuantizar y aprovechar parámetros activos limita el consumo de recursos, lo que ayuda en implementaciones con presupuestos ajustados.

Casos de uso prácticos para Latinoamérica

  • Telemedicina: transcripciones con ortografía médica estandarizada y la opción de adaptar vocabulario para términos locales o marcas farmacéuticas.
  • Educación remota: clases grabadas con marcas temporales por palabra para facilitar replays y estudio, como lo demostró Agora en una demo de aula.
  • Centros de contacto multilingües: transcribir llamadas, etiquetar hablantes y traducir conversaciones entre clientes y agentes.
  • Reuniones multinacionales: manejar llamadas con participantes en distintos idiomas y registrar decisiones o acciones con prompts específicos.
  • Documentación legal y cumplimiento: generar actas con identificación de hablantes y evidencias temporales, siempre verificando la fidelidad frente al audio original.

Recomendaciones para equipos que quieran adoptar Nemotron 3.5

  1. Prueben primero con prompts y presets para evaluar si la salida cumple sus necesidades antes de invertir en fine-tuning.
  2. Si su dominio tiene jerga, nombres propios o acentos locales importantes, preparen conjuntos de datos representativos y usen las recetas de Granary v2 y NeMo para ajustar el modelo.
  3. Verifiquen la diarización en segmentos con solapamiento de voz, ya que las interacciones rápidas o hablantes que se interrumpen son retos habituales.
  4. Aprovechen las marcas de tiempo a nivel de palabra para integraciones con video, búsqueda y análisis de interacción.
  5. Si la privacidad es una prioridad, planifiquen despliegues locales con versiones cuantizadas cuando estén disponibles.

Conclusión

Nemotron 3.5 Transcribe, junto a Granary v2 y las herramientas de fine-tuning, ofrece una propuesta sólida para convertir audio a texto con alto control y posibilidades de adaptación. Para organizaciones en América Latina representa una oportunidad de usar un modelo abierto con buenas métricas públicas, capacidad de ajuste por dominio y opciones de despliegue que pueden alinearse con requisitos locales de privacidad y operativos. Como siempre, las mejores implementaciones combinan prompts bien diseñados, datos representativos y validación humana puntual sobre resultados críticos.

Fuente original: Hugging Face Blog