Cómo escalar IA con 8 a 20x más eficiencia energética

Por qué importa medir el costo por consulta

A medida que la inteligencia artificial (IA) se incorpora a servicios cotidianos y procesos de negocio, los líderes se preguntan: ¿puede la IA escalar de forma sostenible? Para quienes toman decisiones en empresas y gobiernos, conocer el consumo de energía y agua por cada consulta de usuario es crucial para planear adopciones responsables y entender el impacto local de los centros de datos.

Un estudio reciente realizado por Microsoft AI for Good Lab, Microsoft Sustainability y Azure, publicado en la revista Joule (Oviedo et al., 2026), aporta mediciones detalladas del consumo por consulta —el llamado “inference” o inferencia— y estima cómo la escala y las mejoras técnicas reducen ese costo.

¿Qué es una consulta y cómo se mide su consumo?

Cuando una persona envía una solicitud de texto a un modelo de lenguaje grande (LLM), el sistema lee el texto y genera una respuesta token por token. Un “token” equivale aproximadamente a tres cuartos de una palabra. Ese proceso de inferencia se ejecuta en hardware especializado dentro de centros de datos y su consumo depende de: cuántos tokens se procesan, la velocidad del hardware, el tamaño del modelo y la eficiencia de la infraestructura completa.

El estudio se enfoca en escenarios de producción a gran escala —es decir, cómo se comportan estos sistemas cuando sirven miles de millones de consultas—, en lugar de mediciones aisladas de laboratorio.

Hallazgos clave: mucho menos energía y agua por consulta de lo esperado

El resultado principal es que una consulta típica servida por algunos de los LLM más grandes y capaces usa entre 0.16 y 0.60 watt-horas (Wh) de electricidad, según la longitud de la interacción, el modelo y las características del centro de datos. Para ponerlo en perspectiva:

• Equivale a la electricidad que consume una PC (~40 W) funcionando entre 15 y 60 segundos.
• O comparable a un microondas doméstico (1000 W) funcionando entre 0.6 y 2 segundos.

Estas cifras representan entre 4 y 20 veces menos energía por consulta que mediciones anteriores difundidas en literatura y medios. La principal razón es que informes previos no consideraron las eficiencias que aparecen cuando los sistemas funcionan a escala masiva.

En cuanto al agua de enfriamiento, bajo supuestos conservadores para modelos de producción, una consulta típica utiliza entre 0.0 y 0.067 mililitros (mL) de agua, con una mediana equivalente a cerca de una centésima de cucharadita o menos que una sola gota. Además, a medida que los diseños de centros de datos evolucionan —incluida la implementación de diseños que no requieren agua para enfriamiento— este consumo tiende a disminuir.

Por qué los sistemas grandes son más eficientes

La eficiencia a escala funciona de forma similar a una aerolínea grande frente a una regional: una operación con más volumen puede optimizar mejor sus recursos. Cuando miles de millones de consultas son atendidas por un hyperscaler como Azure, se pueden procesar muchas solicitudes simultáneamente, aplicar múltiples técnicas de optimización en distintos niveles (modelo, serving y hardware) y tomar decisiones globales que reducen el consumo por usuario sin sacrificar la calidad.

El estudio muestra que al alcanzar mil millones de consultas diarias (considerando consultas conversacionales típicas con unas centenas de tokens), el consumo de energía en un escenario base es aproximadamente 0.7 gigavatios-hora (GWh). Al aplicar mejoras de eficiencia detectables y aplicables, esa cifra cae a alrededor de 0.3 GWh, es decir, más de la mitad.

Incluso en un escenario mixto donde el 10% de las consultas son tareas largas y complejas (con medianas cercanas a 5.000 tokens, por ejemplo para generación de código o razonamiento multi‑paso), las mejoras conservadoras siguen reduciendo el consumo total a más de la mitad respecto al punto de partida.

Palancas de mejora: dónde se logran las mayores ganancias

Microsoft identifica tres grandes categorías de mejoras que impulsan estas economías de escala:

• Modelos optimizados y elegir el modelo correcto para la tarea. Modelos diseñados para ser eficientes, como Fara‑7B y la familia Phi, pueden igualar el desempeño de modelos mucho más grandes con fracciones del costo energético y económico. Además, el enrutamiento inteligente —por ejemplo, el Model Router en Azure AI Foundry— dirige consultas simples a modelos livianos y reserva los modelos grandes para tareas complejas. Según las suposiciones del estudio, estas mejoras en modelado pueden lograr reducciones de 5 a 10 veces en energía en el corto plazo.

• Serving más inteligente. La orquestación de consultas dentro del centro de datos también es crítica: técnicas como el serving desagregado (disaggregated serving) o mecanismos que adaptan la forma en que se sirven las solicitudes permiten aprovechar mejor el hardware y maximizar el rendimiento por vatio consumido.

• Mejora del hardware y del diseño de centros de datos. Inversiones en servidores más eficientes, aceleradores especializados y diseños de centros de datos que minimizan pérdidas físicas y de refrigeración completan el conjunto de palancas.

Estas acciones requieren investigación, desarrollo y despliegue deliberado: la eficiencia no surge por sí sola.

Relevancia para América Latina

Para la región latinoamericana, estos hallazgos son relevantes en varios frentes. Muchos países y comunidades se enfrentan a restricciones hídricas y a una red eléctrica con limitaciones de capacidad; además, hay interés público y regulatorio en minimizar el impacto ambiental de las infraestructuras digitales. Saber que la IA a escala puede ser significativamente más eficiente contribuye a:

• Informar decisiones de adopción tecnológica en empresas y gobiernos, basadas en métricas por usuario en lugar de estimaciones globales.
• Apoyar la planificación de centros de datos en zonas con disponibilidad limitada de agua, donde diseños sin uso de agua son especialmente valiosos.
• Facilitar diálogos con comunidades locales sobre los beneficios y mitigaciones al desplegar infraestructura de IA.

Recomendaciones para tomadores de decisión

Si su organización evalúa integrar servicios de IA a gran escala, considere:

• Solicitar métricas por consulta (energía y agua) de los proveedores de servicios para comparar alternativas.
• Priorizar soluciones que incluyan modelos optimizados y rutas inteligentes para reducir costos energéticos y financieros.
• Valorar ubicaciones y proveedores que apliquen diseños de centros de datos con bajo consumo de agua o sin uso de agua.
• Incluir eficiencia operativa y gobernanza ambiental como criterios en contratos y acuerdos de servicio.

Conclusión

El estudio de Microsoft publicado en Joule aporta evidencia de que la IA puede escalar de manera más sostenible de lo que se había pensado: gracias a economías de escala, modelos optimizados y mejoras en serving y hardware, el consumo por consulta es bajo y puede reducirse aún más. Para América Latina, donde los límites de infraestructura y el cuidado del agua son prioridades, estas conclusiones ofrecen una base sólida para adoptar IA responsablemente y negociar soluciones que minimicen impacto ambiental.

Fuente: Microsoft AI for Good Lab, Microsoft Sustainability y Azure; Oviedo et al., Joule (2026).