PULSO AI · Nueva plataforma impulsada por TD
ThinkingBox evalúa agentes comparando el estado final de la base de datos con el resultado esperado y usa esa verificación como señal de recompensa para afinamiento por RL. Con 50 pasos de GRPO sobre Qwen3.8-27B aumentaron la tasa de intentos exitosos y la consistencia en tareas críticas.
Los equipos que evalúan respuestas de IA enfrentan trade-offs entre precisión, velocidad y costo. Jev, un modelo compacto de TypeSafe, ofrece juicios rápidos y probabilidades listas para usar; los LLMs escriben explicaciones extensas pero son más caros y lentos. Este artículo resume hallazgos de un estudio de CMU y ofrece una guía práctica para decidir cuál usar en distintos escenarios.
ThinkingBox, desarrollado por Microsoft y disponible en Hugging Face, cambia la métrica: no basta con llamadas a herramientas correctas o respuestas plausibles; lo que importa es el estado que el agente deja en el backend. El benchmark ejecuta 507 flujos de trabajo 20 veces y revela fallas frecuentes en efectos y consistencia.
Tavus afirma que su modelo Griffin-Lite logró que casi la mitad de un grupo creyera hablar con una persona real en videollamadas de un minuto. La prueba y la arquitectura full‑duplex abren debate sobre protocolos, métricas y riesgos para empresas y usuarios.
Hugging Face presentó el Open TTS Leaderboard para evaluar modelos de text‑to‑speech con métricas objetivas (WER/CER, latencia y similitud de voz). Busca complementar las arenas de preferencia humana y facilitar comparaciones escalables entre modelos open‑source y comerciales.
BenchMIRT aplica una versión multidimensional de Item Response Theory para auditar benchmarks de modelos de lenguaje a nivel de cada pregunta. Revela que puntajes agregados pueden ocultar señales distintas como seguridad y razonamiento.
En 2026 la investigación en Agentic AI avanzó desde demostrar capacidades aisladas hacia evaluar si los agentes completan flujos de trabajo reales, sobreviven en la web y aprenden a mejorar sus procesos. Estos cinco artículos muestran ese cambio y sus implicaciones prácticas.
Los puntajes públicos en reconocimiento de voz pueden exagerar la capacidad real de los modelos. Un estudio reciente detectó que varios sistemas reproducen transcripciones de benchmark incluso cuando contradicen el audio.
TutorMoments presenta un marco basado en transcripciones reales para medir si los LLMs eligen correctamente entre facilitar una tarea o empujar al estudiante a razonar. Los resultados iniciales muestran que los modelos tienden a sobre-ayudar y que hay brecha frente a tutores humanos.
Opus 5 llega como la nueva versión 'workhorse' de Anthropic, con ventana de contexto de 1M de tokens, verificación interna por defecto y un escalonador de esfuerzo. En este artículo desglosamos qué cambió, cómo encaja en la familia Claude y qué deben evaluar equipos y empresas en Latinoamérica.
Los sistemas RAG combinan recuperación y generación, lo que exige métricas y marcos de evaluación propios. Aquí comparamos RAGAS, TruLens y DeepEval, y damos pautas prácticas para equipos latinoamericanos.
olmo-eval es un workbench pensado para el día a día del desarrollo de modelos de lenguaje. Permite agregar, ejecutar y comparar benchmarks entre checkpoints con opciones ligeras o en contenedores aislados y métricas que ayudan a distinguir mejoras reales del ruido.
Hoy hay decenas de modelos de lenguaje y visión disponibles, pero elegir el 'mejor' ya no tiene sentido: lo importante es elegir el que mejor resuelva sus necesidades concretas. Esta guía explica por qué los benchmarks pueden engañar y propone un marco práctico de evaluación.
Un informe académico que evaluó modelos como GPT-5.4, Claude Opus 4.6 y Gemini 3 Flash concluye que la IA comete errores sistemáticos al calificar ensayos universitarios. Aunque puede ayudar con tareas administrativas, no es confiable para reemplazar la evaluación humana.
Investigaciones en Estados Unidos detectan un aumento sustancial de sobresalientes desde la llegada de ChatGPT, especialmente en materias con tareas escritas o de programación. El fenómeno plantea dilemas sobre integridad académica, evaluación y desigualdad en el acceso a la IA.
Campbell Brown, exjefa de noticias de Meta, fundó Forum AI para medir y mejorar la conducta de los grandes modelos en temas complejos como geopolítica, salud mental y selección de personal. Su enfoque combina expertos humanos y 'jueces' de IA para llevar a escala evaluaciones más precisas.
Para proteger la validez del benchmark, Hugging Face añade conjuntos de datos privados de Appen y DataoceanAI al Open ASR Leaderboard. Mantenerlos cerrados reduce riesgos de sobreoptimización y ayuda a medir robustez en distintos acentos y estilos.
La evaluación de modelos ya no es un trámite barato: proyectos recientes muestran gastos de decenas de miles de dólares y variaciones de costo de varios órdenes de magnitud. Para equipos en América Latina, esto redefine prioridades de inversión y diseño de pruebas.
La inteligencia artificial generativa no creó un problema nuevo en las aulas; dejó al descubierto fallas antiguas: evaluaciones que premian productos sobre comprensión. Las universidades deben reenfocar su propósito y enseñar juicio, no solo técnicas.
Los agentes basados en modelos de lenguaje pueden comportarse de forma impredecible en producción. Amazon Bedrock AgentCore Evaluations ofrece una solución gestionada para evaluar comportamiento end-to-end y cerrar la brecha entre pruebas y experiencia real.
EVA es un nuevo marco que evalúa conversaciones habladas completas entre un usuario simulado y un agente de voz, con dos puntajes principales: EVA-A (Precisión) y EVA-X (Experiencia). El proyecto se lanzó con un conjunto inicial de 50 escenarios del sector aéreo y benchmarks para 20 sistemas.
