Los Vision Language Models (VLM) actuales combinan visión y lenguaje para interpretar imágenes, documentos y videos, y responder en lenguaje natural. Modelos como GPT‑4o, Gemini, Claude Vision y Qwen‑VL acercan la IA multimodal a aplicaciones reales en empresas, educación y salud.
Investigadores del MIT y del MIT-IBM Lab crearon ChartNet, un recurso masivo que enseña a modelos vision-language a interpretar gráficos. El conjunto incluye imágenes, código generador, tablas y preguntas para entrenar razonamiento multimodal.
Tomofun, creadora de la cámara Furbo, migró sus cargas de inferencia de modelos vision-language desde instancias GPU hacia EC2 Inf2 con AWS Inferentia2. La estrategia combinó compilación modular con el Neuron SDK y un diseño que permite alternar entre GPU e Inferentia2 sin cambiar la API.
Los modelos multimodales generales rinden bien en tareas diversas, pero no siempre son óptimos para casos específicos como la recuperación de páginas de documentos. Aquí explico cómo entrenar y afinar modelos multimodales en Sentence Transformers y muestro un ejemplo práctico con mejoras claras en VDR.
Sentence Transformers v5.4 añade soporte multimodal: texto, imágenes, audio y video comparten un mismo espacio de embeddings. En este artículo explico cómo instalar, cargar modelos, calcular similitudes cruzadas y usar rerankers multimodales con ejemplos y consideraciones prácticas para equipos en Latinoamérica.