Nemotron-Personas-Finance-Japan: un dataset sintético para IA financiera basada en estadísticas oficiales
Elith y NVIDIA publicaron Nemotron-Personas-Finance-Japan, un conjunto sintético de 9 millones de personas diseñado para entrenar y evaluar IA financiera sin usar datos reales. Está alineado con estadísticas oficiales japonesas y disponible para uso comercial.
Introducción
La adopción de inteligencia artificial en el sector financiero choca con un obstáculo recurrente: la falta de datos reales accesibles por restricciones de privacidad, cumplimiento y riesgos regulatorios. Para avanzar en agentes conversacionales, simulaciones de clientes y evaluación de modelos, es imprescindible contar con datos que reflejen la complejidad demográfica y económica de la población sin exponer información personal.
En ese contexto, Elith y NVIDIA lanzaron Nemotron-Personas-Finance-Japan, una extensión de dominio financiero del dataset abierto Nemotron-Personas-Japan. El recurso busca ofrecer una alternativa sintética y estadísticamente fundada que permita desarrollar y evaluar soluciones de IA en finanzas, sin recurrir a registros de clientes reales.
Qué contiene el dataset
Nemotron-Personas-Finance-Japan es, según sus creadores, el primer dataset abierto de personas a escala de millones que combina estadísticas oficiales de Japón con datos sobre finanzas domésticas y alfabetización financiera. Sus características principales incluyen:
- 9 millones de personas sintéticas en total (1 millón de registros base multiplicados en 9 tipos de persona distintos), redactadas en japonés natural.
- 50 campos por registro: 9 campos de persona, 11 atributos de persona y 30 campos contextuales basados en estadísticas demográficas y laborales oficiales.
- Aproximadamente 1.5 mil millones de tokens en total, de los cuales ~750 millones corresponden a tokens de las personas.
- Cerca de 950.000 nombres únicos y más de 1.600 categorías de ocupación que reflejan la diversidad laboral en Japón.
- Cobertura amplia en ejes demográficos, regionales, distribución de activos y rasgos de personalidad.
- Tipos de persona que incluyen ocupaciones, deportes, artes, viajes, cocina y, específicamente, perfiles financieros y comportamientos relacionados con el dinero.
- Atributos en lenguaje natural: formación, habilidades, metas profesionales, hobbies, antecedentes familiares y financieros, actitudes hacia el dinero y planificación financiera.
- Licencia CC BY 4.0, lo que permite uso comercial y no comercial con atribución.
Además, la colección está diseñada para integrarse con NeMo User Sim, el framework de simulación de usuarios de NVIDIA, facilitando la ejecución de simulaciones coherentes con distribuciones del mundo real.
Cómo se construyó
La generación del dataset se apoyó en una arquitectura de IA compuesta y en herramientas de generación sintética:
- NeMo Data Designer: sistema empresarial de generación de datos sintéticos que soporta plantillas Jinja complejas, validación Pydantic, salidas estructuradas, reintentos automáticos y múltiples backends de generación.
- NeMo SDG-PGMs: un marco de modelos gráficos probabilísticos para generar datos con fundamento estadístico.
- gemma-4-31B-it: modelo utilizado para la generación de texto en japonés.
La combinación de estas herramientas permitió construir un pipeline capaz de reproducir distribuciones oficiales (demografía, empleo, educación) y de introducir mayor granularidad donde las estadísticas públicas agrupan datos de forma amplia.
Se añadieron elementos para representar etapas de vida como estudiantes, jubilados o periodos de desempleo; categorías ocupacionales ampliadas (empresarios, profesiones especializadas); y contexto financiero a nivel de hogar: activos reales, ingresos, propensión al gasto, uso de internet y alfabetización financiera.
Privacidad y diseño “private by design”
Todos los registros son completamente sintéticos: no representan a individuos reales. Los patrones demográficos y financieros se modelan a partir de estadísticas oficiales y encuestas públicas, y los nombres siguen patrones de nomenclatura japoneses, pero las personas resultantes se generan desde distribuciones y no a partir de datos personales de individuos.
Este enfoque reduce significativamente el riesgo de privacidad y facilita la experimentación y evaluación de IA financiera sin traspasar barreras regulatorias que suelen limitar el uso de datos reales.
Colaboración con la industria
El dataset se diseñó incorporando retroalimentación de instituciones financieras y asociaciones japonesas relevantes: Sompo Japan, Tokio Marine Holdings, Bank of Fukuoka, Mizuho Financial Group, Meiji Yasuda Life Insurance y la Financial Data Utilization Association (FDUA). Esa participación busca asegurar que los perfiles y campos sean útiles para casos de uso reales en banca y seguros.
Casos de uso prácticos
Nemotron-Personas-Finance-Japan está orientado a equipos que desarrollan IA financiera en Japón, pero sus aplicaciones son amplias:
- Entrenamiento y evaluación de agentes conversacionales en servicios al cliente.
- Simulación de usuarios para probar flujos de venta, onboarding y campañas de marketing.
- Pruebas de robustez y ejercicios de “red-team” para detectar fallos en modelos de atención al cliente.
- Evaluación de modelos de recomendación financiera y segmentación de clientes sin exponer datos reales.
La riqueza de campos y la escala del dataset permiten crear simulaciones más realistas que las que ofrecen conjuntos de datos más pequeños o genéricos.
Relevancia para América Latina
Aunque el dataset se construyó con estadísticas japonesas, el lanzamiento es relevante para equipos latinoamericanos por varias razones:
- Metodología replicable: el uso de modelos gráficos probabilísticos y pipelines de generación sintética muestra un camino técnico que equipos locales pueden adoptar para crear datasets sintéticos alineados a sus propias estadísticas nacionales.
- Buenas prácticas de privacidad: el enfoque “private by design” y el uso de licencias abiertas ofrecen un marco legal y técnico aplicable en mercados con regulaciones de datos estrictas.
- Integración con simuladores: la idea de combinar personas sintéticas con frameworks de simulación (como NeMo User Sim) es directamente exportable para pruebas de producto y evaluación de IA en servicios financieros latinoamericanos.
Sin embargo, para aplicaciones en la región será necesario generar datasets equivalentes a partir de fuentes locales para reflejar correctamente demografía, cultura financiera, patrones de empleo y nomenclatura de nombres.
Limitaciones y consideraciones
- Contexto local: al ser un dataset basado en Japón, no es apropiado para entrenar modelos destinados a usuarios latinoamericanos sin una adaptación estadística y cultural significativa.
- Calidad lingüística: los textos están en japonés natural; para otros idiomas se requeriría un proceso de generación propio.
- No sustituye datos reales en todas las tareas: aunque útil para desarrollo y prueba, la validación final en producción puede requerir datos reales o pilotos controlados, según requisitos regulatorios.
Conclusión
Nemotron-Personas-Finance-Japan constituye un avance importante en la disponibilidad de datasets sintéticos a gran escala para el ámbito financiero. Al combinar estadísticas oficiales con modelado probabilístico y generación de lenguaje, ofrece una base sólida para construir y evaluar soluciones de IA sin exponer datos personales.
Para equipos y tomadores de decisión en América Latina, el valor principal está en la metodología y las lecciones sobre privacidad, licencia abierta e integración con simuladores: elementos que pueden inspirar proyectos locales de datos sintéticos alineados con marcos regulatorios y necesidades del mercado.
El dataset está disponible bajo la licencia CC BY 4.0, lo que permite su uso comercial con la condición de atribución, y puede consultarse e integrarse en pipelines de desarrollo para acelerar pruebas y prototipos en el ámbito financiero.
Fuente original: Hugging Face Blog