PULSO AI · Nueva plataforma impulsada por TD
La inferencia de modelos de lenguaje (LLM) combina dos tareas en la GPU: procesar el prompt y generar tokens uno por uno. Entender esas etapas, sus cuellos de botella y estrategias de optimización es clave para aplicaciones rápidas y económicas.
Presentamos un patrón operacional: el LLM genera varias respuestas y JEV —un verificador rápido— revisa si cada una está respaldada por la fuente. Las respuestas no validadas se bloquean o se escalan a un modelo mayor o a una persona.
El batching agrupa solicitudes para mejorar la utilización de GPUs en inferencia de LLMs. Aquí explicamos las diferencias entre batching estático, dinámico y continuo, y cuándo conviene cada uno.
Los equipos que evalúan respuestas de IA enfrentan trade-offs entre precisión, velocidad y costo. Jev, un modelo compacto de TypeSafe, ofrece juicios rápidos y probabilidades listas para usar; los LLMs escriben explicaciones extensas pero son más caros y lentos. Este artículo resume hallazgos de un estudio de CMU y ofrece una guía práctica para decidir cuál usar en distintos escenarios.
Una colección de proyectos listos para implementar, desde un motor de búsqueda con respaldo de fuentes hasta estudios de generación musical y vídeo. Ideal para profesionales y equipos en América Latina que buscan mostrar habilidades prácticas en IA generativa.
TypeSafe AI presentó Jev, un modelo que procesa texto y devuelve números flotantes como respuestas —probabilidades, elecciones o puntuaciones— en vez de texto. Es barato y rápido, ideal para tareas de clasificación, pero refuerza la necesidad de evalúos rigurosos por riesgos de caja negra y sesgos.
Frenar la investigación en IA suele plantearse como respuesta a riesgos, pero el verdadero debate debería centrarse en hacia dónde orientamos esa tecnología. Una alternativa prometedora es priorizar arquitecturas especializadas, eficientes y coordinadas que permitan soluciones más útiles, controlables y accesibles.
Amazon SageMaker ahora puede enrutar solicitudes que comparten el mismo inicio (prefijo) al mismo nodo, permitiendo que las cachés KV se mantengan calientes. Esto reduce significativamente el tiempo hasta el primer token (TTFT) en aplicaciones con prompts compartidos, como chatbots de soporte.
Las aplicaciones basadas en LLM pueden incluir miles o millones de tokens, lo que hace crítico evitar reprocesos innecesarios. Este artículo explica cuatro tipos de cache —KV, prefix, prompt y semantic— y cómo se complementan para acelerar la inferencia.
Un procedimiento ligero de fine-tuning con Group Relative Policy Optimization (GRPO) puede aumentar la validación de salidas estructuradas de 22.6% a 29.7% en IFStruct. Este artículo resume la receta práctica, los requisitos y su relevancia para proyectos en Latinoamérica.
Los nombres de modelos LLM parecen jerigonza técnica, pero cada parte aporta información útil: tamaño, tipo, precisión, cuantización y formato. Esta guía explica cómo leer esos nombres para tomar decisiones informadas al desplegar modelos localmente.
Granite 4.2 es la familia de modelos de razonamiento densa y decoder-only de Hugging Face, disponible en 3B, 8B y 30B parámetros. Su entrenamiento combina pre-entrenamiento desde cero, fine-tuning supervisado con cadenas de pensamiento y una etapa final de aprendizaje por refuerzo con capacidad agentica.
La versión 0.32 de LLM introduce trazas de razonamiento visibles, herramientas ejecutadas en servidor, un sistema de logs content-addressable y mejoras en la API Python para streaming de eventos. Estas novedades facilitan integraciones, debugging y la construcción de agentes capaces de combinar herramientas.
Los modelos de lenguaje suelen recibir mucho contexto redundante que aumenta tokens, costos y tiempo de respuesta. La compresión de prompts busca conservar lo esencial —instrucciones y evidencia— para optimizar rendimiento sin degradar resultados.
DSpark aplica una versión semi-autoregresiva de la decodificación especulativa que acelera la generación de LLMs en producción. DeepSpec, el repo abierto, permite entrenar y evaluar modelos draft para reproducir estos resultados.
La startup francesa ZML ha presentado LLMD, un servidor de inferencia diseñado para ejecutar grandes modelos de lenguaje en una variedad de chips comerciales y emergentes. La propuesta: maximizar el rendimiento de inferencia, reducir costos energéticos y ofrecer alternativas frente al dominio de proveedores tradicionales.
Los Large Action Models (LAMs) y los agentic LLMs ofrecen caminos distintos para que la IA realice acciones. Este artículo explica sus diferencias, ventajas y cuándo conviene uno u otro, con enfoque práctico para empresas en Latinoamérica.
Simon Willison publicó una primera versión alfa del llm-coding-agent, un agente de codificación construido sobre su framework de agentes LLM. El proyecto automatiza tareas como leer y editar archivos, ejecutar comandos y buscar código, y ya se puede instalar desde PyPI en una versión preliminar.
Investigadores del MIT desarrollaron Masked IRL, un método que usa modelos de lenguaje para aclarar instrucciones y enseñar robots con muchos menos datos. En simulaciones y con un brazo robótico real, el sistema evitó obstáculos y respetó preferencias del usuario que no estaban explicitadas.
Con Hugging Face Jobs pueden lanzar un endpoint privado compatible con la API de OpenAI usando vLLM en una sola línea de comando. Esta guía explica requisitos, comandos, cómo consultar el modelo y buenas prácticas para pruebas y evaluación.
Construir agentes suele ser mayormente trabajo de infraestructura: clientes de modelo, herramientas, estado y guardrails. CUGA (pip install cuga) captura esa 'plomería' para que su equipo se concentre en la lógica de negocio y el prompt. Viene con ejemplos listos y permite correr agentes gobernados y soberanos sin reescribir código.
olmo-eval es un workbench pensado para el día a día del desarrollo de modelos de lenguaje. Permite agregar, ejecutar y comparar benchmarks entre checkpoints con opciones ligeras o en contenedores aislados y métricas que ayudan a distinguir mejoras reales del ruido.
Desplegar LLMs en producción requiere observar tanto la infraestructura (GPU, CPU, latencia) como la calidad del output (precisión, seguridad, deriva). Este artículo explica una arquitectura basada en SageMaker AI, CloudWatch y Managed Grafana para obtener una visión integral.
La nueva función de resultados generativos de Google ha mostrado errores básicos: cuenta letras mal y genera palabras mal escritas. Estas fallas no son bugs menores, sino reflejo de cómo los modelos de lenguaje procesan texto.
Assisted NLU en Amazon Lex aprovecha LLMs para manejar variaciones del lenguaje humano y mejorar la precisión de intents y slots sin configurar manualmente todas las expresiones. En este artículo explicamos modos de operación, buenas prácticas para descripciones y slots, y cómo validar la implementación.
En 2026 la investigación en modelos de lenguaje se aleja de la sola escala y apunta a seguridad, control y uso como agentes. Aquí están las 10 publicaciones más relevantes que todo investigador y tomador de decisiones debería conocer.
Mantener la agilidad de modelos es clave para aprovechar mejoras en LLMs sin interrumpir operaciones. Este artículo presenta un marco sistemático para migraciones y upgrades, con pasos prácticos, herramientas y criterios para decidir entre modelos.
PwC desarrolló AIDA sobre AWS para convertir contratos no estructurados en datos accionables mediante reglas, plantillas y modelos de lenguaje. La solución acelera la búsqueda de cláusulas, permite consultas en lenguaje natural con citas y facilita integraciones con sistemas de gestión documental.
Amazon Bedrock facilita incorporar conocimiento propio en modelos Amazon Nova mediante fine-tuning supervisado, por refuerzo y distillation. Esto reduce latencia, costos por token y mejora la precisión en tareas específicas.
La propuesta de Andrej Karpathy sugiere procesar documentos al ingresarlos para crear una wiki persistente y enlazada por IA. Esto evita la reinvención constante de respuestas y facilita la gestión del conocimiento personal y organizacional.
Investigadores del MIT crearon SEED-SET, un marco que combina métricas objetivas y valores humanos para detectar escenarios éticamente problemáticos en sistemas autónomos. El enfoque usa un LLM como proxy para evaluaciones subjetivas y selecciona pruebas representativas para análisis más profundos.
AWS integró SageMaker Unified Studio con buckets generales de S3 para facilitar el uso de datos no estructurados en ML. En este artículo explicamos cómo aprovechar esa integración para afinar Llama 3.2 11B Vision Instruct en una tarea de Visual Question Answering usando el dataset DocVQA.
Mellea 0.4.0 amplía la librería open-source para programas generativos con integración nativa a las nuevas Granite Libraries. Estas adaptaciones especializadas permiten construir pipelines RAG y bucles instruct-validate-repair más confiables y observables.
Speculative Decoding acelera la inferencia de LLMs al usar un modelo 'borrador' que genera tokens anticipados y un modelo objetivo que verifica en paralelo. SPEED-Bench unifica la evaluación de esta técnica con dos conjuntos de datos y un marco de medición integrado con motores de inferencia de grado productivo.
Los subagentes permiten delegar tareas específicas a copias frescas del agente principal para evitar agotar su ventana de contexto. Son útiles para explorar repositorios, ejecutar pruebas o revisar código en paralelo.
Claude representa uno de los avances más significativos en modelos de lenguaje de gran escala. Analizamos su arquitectura, sus capacidades y por qué está cambiando la forma en que las empresas adoptan la IA.
El prompt engineering es una habilidad que separa a los usuarios basicos de los usuarios avanzados de IA. Estas tecnicas cambian los resultados de manera dramatica.
El fine-tuning puede transformar un modelo generalista en un experto de dominio. Esta guia explica cuando tiene sentido esta inversion y como ejecutarla correctamente.
