MonsterHouse: una casa interactiva con Nemotron de NVIDIA para Halloween
MonsterHouse convierte una puerta de garage en una casa gruñona que escucha, responde y mueve una boca animada. El proyecto integra Nemotron Voice Agent, ASR, Bolt E4B, Magpie TTS y Audio2Face-3D en una sola estación.
Introducción
Para Halloween quise transformar la típica decoración en una experiencia interactiva: una casa con personalidad, malhumorada pero con un punto débil para la cortesía. El resultado fue MonsterHouse, una instalación que escucha a los visitantes, responde con la voz de un viejo barco pirata y mueve una boca de madera animada. Todo el sistema corre en una sola estación de trabajo y se apoya en modelos y herramientas abiertas de NVIDIA: Nemotron Voice Agent, Nemotron ASR, Bolt E4B 4GB, Magpie TTS Zeroshot y Audio2Face-3D.
Aunque el proyecto se diseñó para una noche de Halloween, la combinación de reconocimiento de voz, modelos conversacionales, síntesis y animación facial tiene aplicaciones claras para activaciones de marca, eventos y experiencias inmersivas en la región. Más adelante comento consideraciones prácticas para implementación local y adaptación al español.
Arquitectura y componentes principales
MonsterHouse se organiza en módulos que cubren escuchar, pensar, hablar, animar y ver:
- Escuchar: Nemotron 3 ASR convierte el habla de los visitantes a texto (el ejemplo usa [nemotron-speech-streaming-en-0.6b.q8_0.gguf]).
- Pensar: Nemotron 3.5 Bolt E4B 4GB, un modelo pequeño optimizado para agentes conversacionales, genera las respuestas en vivo. Se empleó la versión cuantizada en 4 bits (“4GB”) por su bajo consumo de memoria; el checkpoint BF16 también estuvo disponible para comparación.
- Personalidad: Un adaptador LoRA entrenado con ejemplos específicos da al agente el tono gruñón y la historia de pirata.
- Hablar: NVIDIA Magpie TTS Zeroshot sintetiza la voz en tiempo real a partir de una referencia corta del personaje.
- Animar: Audio2Face-3D transforma el audio limpio en animación de boca dentro de Unreal Engine 5, sincronizando la mímica con el habla.
- Ver: Nemotron 3 Nano Omni describe disfraces, mientras que YOLO y ByteTrack cuentan y hacen seguimiento de visitantes.
- Orquestación: Nemotron Voice Agent coordina todos los componentes y permite ejecutar el sistema localmente en una sola estación.
La estación de prueba contó con una NVIDIA RTX PRO 6000 Blackwell Max-Q y una NVIDIA RTX PRO 4000 Blackwell para manejar la carga conjunta de inferencia y renderizado.
Diseño físico y creatividad
La idea visual nació en la puerta del garaje: tablas de madera que se abren como labios dentados y, detrás, efectos de fuego que iluminan el camino. La estética buscó que la casa pareciera vieja, expresiva y con un notable disgusto por la presencia de visitantes, sin llegar al terror extremo.
Construir el rig de animación fue uno de los trabajos más demandantes. El personaje se modeló en Autodesk Maya y se exportó a Unreal Engine, donde se añadieron efectos de fuego y postproducción. Al no tener ojos ni cejas, la boca y la iluminación asumieron la mayor parte de la expresividad, un enfoque eficiente para una instalación física con recursos limitados.
Voz, personalidad y flujo de interacción
La experiencia está pensada como una interacción guiada: la casa inicia desestimando a los visitantes con frases como “Estoy ocupado refunfuñando, ¡molesten a los vecinos!”. Si los visitantes insisten, la persistencia y la cortesía cambian la respuesta. Un “por favor” puede abrir paso inmediato y un “gracias” suele ganarse una despedida más amable.
Para lograr coherencia y memoria entre turnos, el sistema no se limita a un único prompt tipo “sé gruñón”. Se entrenaron adaptadores LoRA sobre un conjunto de más de 5,000 conversaciones multi-turno revisadas, lo que permitió afinar tono, continuidad y el estado de la interacción (por ejemplo, si la casa ya había cedido en esa visita). El modelo Bolt E4B funge como el motor de diálogo principal por su tamaño y eficiencia, apropiado para despliegues locales con presupuesto de cómputo.
Como resultado de las pruebas, la casa mantiene una resistencia dramática: cede eventualmente, pero sin convertirse en un anfitrión servil. Ese equilibrio es clave para que la interacción sea divertida y no repetitiva.
Operación y atajos prácticos
El Nemotron Voice Agent facilita iterar sobre la experiencia sin depender de servicios en la nube: todo puede ejecutarse localmente, lo que simplifica la operación «off-grid» y la privacidad. Algunos atajos implementados fueron:
- Texto preescrito (authored text): omite la generación de diálogo en tiempo real cuando se desea reproducir una respuesta fija.
- Audio guardado (saved audio): evita la síntesis en vivo cuando se prefieren clips preproducidos.
Estos atajos permiten balancear calidad, latencia y presupuesto de cómputo según la escala del evento.
Observaciones para implementadores en América Latina
- Localización: el proyecto de referencia usa modelos y muestras en inglés. Para audiencias hispanohablantes de la región, conviene evaluar o adaptar modelos ASR y TTS para español latino, o añadir etapas de preprocesamiento y prompts en español.
- Privacidad y operación local: la capacidad de correr todo en una sola estación es una ventaja para eventos temporales o espacios con conectividad limitada. Mantener los datos en sitio simplifica el cumplimiento de normativas locales y las expectativas de privacidad.
- Escalabilidad y presupuesto: elegir modelos más compactos como Bolt E4B 4GB y usar cuantización reduce requisitos de hardware; aun así, se necesita una GPU potente para audio, inferencia y render en tiempo real.
- Casos de uso: además de atracciones de Halloween, esta combinación de tecnologías es aplicable a activaciones comerciales, museos interactivos, ferias y experiencias educativas.
Conclusión
MonsterHouse muestra cómo herramientas abiertas y optimizadas pueden alimentar experiencias físicas ricas: desde reconocer voces, generar respuestas coherentes y darles vida con síntesis y animación facial, hasta orquestarlo todo en una estación local. Para equipos en América Latina interesados en experiencias interactivas, el ejemplo ilustra un camino práctico: diseñar la personalidad, ajustar el flujo conversacional, evaluar trade-offs de modelos y hardware, y priorizar la localización del lenguaje. Con una combinación acertada de software y creatividad, una puerta oxidada puede convertirse en un personaje memorable que haga sonreír —o gruñir— a sus visitantes.
Fuente original: Hugging Face Blog