¡Hola Devs! Los VLM por fin caben en el bolsillo

Durante los últimos dos años, "modelo visión-lenguaje" significaba una cosa: un monstruo de 30B+ detrás de una API. Bueno para demos, inútil para una app offline, un kiosco o un dispositivo de campo con conectividad irregular. LFM2.5-VL-3B de Liquid AI rompe esa suposición: es un modelo de 3.1B que cabe en unos 3 GB de memoria, decodifica 228 tok/s en un M5 Max, 116 tok/s en un Ryzen AI Max+ 395 y todavía aguanta 20 tok/s en un Galaxy S26 Ultra. Eso no es un juguete; es un modelo que puedes mandar dentro de una app móvil.

Las cuatro capacidades que de verdad cambiaron respecto a la generación anterior:

  • Entendimiento de pantalla/UI — lee lo que hay en la pantalla, no solo fotos de documentos.
  • Grounding — consultas en lenguaje natural como "el botón rojo arriba a la derecha" ahora se mapean a bounding boxes reales.
  • Múltiples imágenes — razona sobre un conjunto de imágenes, no solo un frame.
  • Function calling — tool use fuerte tanto en texto puro como en texto+visión.

Si vienes del lado de agentes, el mismo instinto de diseño (contexto por encima del tamaño bruto del modelo) aparece en los patrones de agentes de producción de ADK Go 1.0 — vale la pena leerlos junto con esto.

Fuente: notas de lanzamiento de Liquid AI

Vision-language AI model processing images and documents on edge hardware Coding Session Visual

Vamos a darle: cargar y correr el modelo

Primero instala la stack actual de transformers (el modelo pide transformers>=5.10.1):

pip install -q torch torchvision accelerate "transformers>=5.10.1"

Ahora carga el modelo y corre un caption simple:

import torch
from transformers.image_utils import load_image
from transformers import AutoModelForImageTextToText, AutoProcessor
from IPython.display import display

MODEL_ID = "LiquidAI/LFM2.5-VL-3B"

processor = AutoProcessor.from_pretrained(MODEL_ID)
model = AutoModelForImageTextToText.from_pretrained(
    MODEL_ID,
    device_map="auto",
    dtype="bfloat16",
)

img_url = "https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/coco_sample.png"
input_image = load_image(img_url)
display(input_image)

messages = [
    {
        "role": "user",
        "content": [
            {"type": "image", "image": input_image},
            {"type": "text", "text": "Describe this image in two concise sentences."},
        ],
    }
]

# aplica el chat template y prepara los tensores
inputs = processor.apply_chat_template(
    messages,
    add_generation_prompt=True,
    tokenize=True,
    return_dict=True,
    return_tensors="pt",
).to(model.device)

with torch.inference_mode():
    outputs = model.generate(
        **inputs,
        do_sample=True,
        temperature=0.2,
        top_k=50,
        repetition_penalty=1.0,
        max_new_tokens=256,
    )

# decodifica solo los tokens nuevos
output = processor.batch_decode(
    outputs[:, inputs["input_ids"].shape[1]:], skip_special_tokens=True
)[0]
print(output)

Salida esperada en la imagen de ejemplo:

Two cats are sleeping on a pink couch with two remote controls.

Esa es la base. Para grounding, OCR, múltiples imágenes y tool calling, el patrón es el mismo: cambias el array content y el prompt, el resto queda igual.

Smartphone running LFM2.5-VL-3B on-device for screen understanding and grounding Algorithm Concept Visual

Benchmarks y lo que no te cuentan

Liquid AI comparó LFM2.5-VL-3B contra modelos de su misma clase. Los puntos fuertes están en tareas de imagen del mundo real, entendimiento de pantalla y grounding — justo lo que importa para apps on-device.

ÁreaBenchmarkLFM2.5-VL-3BLFM2-VL-3BQwen3.5-2BInternVL 3.5 2B
GeneralMMStar63.357.755.157.7
DocumentoDocVQA91.189.892.688.4
GroundingRefCOCO-avg87.957.178.582.9
GUIScreenSpot-v2 Desktop78.76.063.879.9
GUIScreenSpot-v2 Mobile81.27.669.786.2
Multi-imagenBLINK61.550.248.652.0
Tool useToolSandbox59.526.447.7N/A

Los peros que tienes que saber antes de mandarlo a producción:

  • No es un modelo de razonamiento. Responde directo, por diseño. Si tu tarea necesita chain-of-thought en matemáticas o deducción larga de varios pasos, no es la herramienta correcta.
  • Matemáticas y STEM son el punto débil. MathVista ~68.5 y MMMU-Pro ~30.5 sirven para Q&A visual del día a día, no para workflows científicos serios.
  • La clase 4B todavía gana en precisión bruta. InternVL 3.5 4B y Qwen3.5-4B lo superan en el promedio general. Estás cambiando algunos puntos de precisión por un footprint 3x menor.
  • El throughput es solo un eje. 11K tok/s en un H100 con alta concurrencia está excelente, pero si tu workload es single-request, la métrica que importa es latencia — mide las dos.

Para quienes están diseñando la capa de contexto de un agente, la misma disciplina de elegir el modelo correcto para el trabajo aparece en el context engineering para agentes de código en background de Spotify.

Server rack with H100 GPUs serving 11K tokens per second for LFM2.5-VL-3B inference Dev Environment Setup

Próximos pasos

Si estás construyendo cualquier cosa que toque una pantalla — herramienta de accesibilidad, asistente de screenshot on-device, bot de QA móvil, escáner de documentos para trabajo de campo — LFM2.5-VL-3B es el primer modelo abierto de la clase 3B que pasa el listón para shippear. El camino es directo:

  1. Empieza por la demo WebGPU en el navegador. Sin setup, sin GPU. Si hace lo que necesitas en tus imágenes de muestra, ya tienes un candidato.
  2. Haz fine-tune en tu dominio con los tutoriales oficiales — el modelo es lo suficientemente pequeño para una GPU de consumidor.
  3. Benchmark con tus datos, no con el leaderboard. ScreenSpot-v2 es proxy; los screenshots de tu app son la verdad.

Para ir más a fondo:

  • Function calling / integración con agentes: prueba los caminos de tool use antes de commitear.
  • Razonamiento multi-imagen: el mayor salto respecto a la generación anterior (BLINK 50.2 → 61.5) — vale explorarlo para entender flujos de UI.
  • Cuantización: el modelo ya cabe en ~3 GB en bf16; cuantización int4 abre la puerta a celulares más viejos y microcontroladores.

Lectura complementaria: el model card oficial de LFM2.5-VL-3B tiene las tablas completas de benchmark, el pipeline de entrenamiento y los links a los tutoriales de fine-tuning.

Este contenido fue redactado con la asistencia de herramientas de IA, basándose en fuentes confiables, y fue revisado por nuestro equipo editorial antes de su publicación. No reemplaza el asesoramiento de un profesional especializado.