왜 3B짜리 VLM이 다시 화제인가

클라우드 추론 비용이 부담스러워지면서, "작지만 실무에 쓸 수 있는" 비전-언어 모델(VLM) 수요가 빠르게 늘고 있어요. 문제는 기존 소형 모델들이 화면 UI를 읽거나 객체 위치를 짚어내는 작업에서 성능이 급격히 무너졌다는 점입니다. 특히 GUI 자동화나 문서 OCR 파이프라인에서 소형 모델은 사실상 선택지가 아니었죠.

Liquid AI가 공개한 LFM2.5-VL-3B는 이 지점을 정면으로 겨냥합니다. 파라미터는 3.1B인데, 벤치마크 평균 69.4점으로 4.7B급 모델들과 어깨를 나란히 하고, 무엇보다 약 3GB 메모리로 스마트폰에서 돌아갑니다. 이 글에서는 스펙 나열이 아니라, 실무에서 어디에 쓸 수 있고 어디서 조심해야 하는지 중심으로 정리해볼게요.

근거자료: Liquid AI 공식 블로그 (Hugging Face)

Vision-language model processing document and screen images for on-device AI inference Algorithm Concept Visual

이전 버전 대비 달라진 4가지

LFM2-VL-3B 대비 개선점은 명확합니다. 숫자로 보면 더 와닿아요.

  • 화면/UI 이해: ScreenSpot-v2 Desktop이 6.0 → 78.7로 폭등했습니다. 이전 버전은 사실상 GUI 태스크에서 쓸 수 없는 수준이었는데, 이번에 실사용 가능한 구간으로 진입했어요.
  • 그라운딩: RefCOCO 평균이 57.1 → 87.9. 자연어 질의로 객체를 짚어내는 능력이 4B급 모델(InternVL 3.5 4B, 88.8)에 근접합니다.
  • 멀티 이미지 추론: MuirBench가 34.9 → 58.3, BLINK가 50.2 → 61.5. 여러 장을 비교하는 태스크에서 체급이 달라졌어요.
  • 함수 호출: ToolSandbox 26.4 → 59.5. 텍스트 전용/비전 혼합 상황 모두에서 툴 호출 능력이 급상승했습니다.

아키텍처 요약

SigLIP2 400M NaFlex 비전 인코더에 LFM2.5-2.6B 텍스트 백본을 붙인 구조입니다. 약 34T 토큰으로 사전학습했고, 비전 데이터는 이전 대비 4배로 늘렸어요. 라틴 문자 외 스크립트를 지원하려고 토크나이저를 재학습 대신 128K로 확장한 점도 눈에 띕니다. 포스트트레이닝은 SFT(대형 교사 모델 증류 + Antidoom) → 다중 보상 RL 2단계로 진행됩니다.

벤치마크 하이라이트 (동급 비교)

태스크벤치마크LFM2.5-VL-3Bgemma-4-E2BQwen3.5-4BInternVL 3.5 4B
GUI (Desktop)ScreenSpot-v278.728.176.382.0
그라운딩RefCOCO-avg87.967.386.688.8
문서DocVQA91.185.794.891.8
멀티 이미지MuirBench58.332.962.053.5
툴 호출ToolSandbox59.556.565.0N/A
평균-69.452.070.169.4

표만 보면 Qwen3.5-4B가 평균에서 살짝 앞서지만, 파라미터가 4.7B라는 점을 감안해야 합니다. 메모리 3GB, 스마트폰 20 tokens/s라는 제약 조건 안에서 이 정도면 판이 바뀐 거죠.

바로 실행하는 코드

transformers>=5.10.1 기준입니다. 의존성 설치 후 아래 코드를 그대로 돌리면 됩니다.

# 필요 패키지 설치
%pip install -q torch torchvision accelerate "transformers>=5.10.1"

import torch
from transformers.image_utils import load_image
from transformers import AutoModelForImageTextToText, AutoProcessor

MODEL_ID = "LiquidAI/LFM2.5-VL-3B"

# 프로세서와 모델 로드 (자동 디바이스 배치, bfloat16)
processor = AutoProcessor.from_pretrained(MODEL_ID)
model = AutoModelForImageTextToText.from_pretrained(
    MODEL_ID,
    device_map="auto",
    dtype="bfloat16",
)

# 예제 이미지 로드
img_url = "https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/coco_sample.png"
input_image = load_image(img_url)

messages = [
    {
        "role": "user",
        "content": [
            {"type": "image", "image": input_image},
            {"type": "text", "text": "이 이미지를 두 문장으로 간결하게 설명해줘."},
        ],
    }
]

# 채팅 템플릿 적용 후 텐서 변환
inputs = processor.apply_chat_template(
    messages,
    add_generation_prompt=True,
    tokenize=True,
    return_dict=True,
    return_tensors="pt",
).to(model.device)

# 추론 (샘플링 기반, 짧은 응답 유도)
with torch.inference_mode():
    outputs = model.generate(
        **inputs,
        do_sample=True,
        temperature=0.2,
        top_k=50,
        repetition_penalty=1.0,
        max_new_tokens=256,
    )

# 새로 생성된 토큰만 디코딩
output = processor.batch_decode(
    outputs[:, inputs["input_ids"].shape[1]:],
    skip_special_tokens=True,
)[0]
print(output)

포인트는 dtype="bfloat16"과 device_map="auto"입니다. GPU가 없어도 CPU에서 돌아가고, 있으면 알아서 올라가요. 멀티 이미지 입력, OCR, 툴 콜링 예제는 공식 문서에 더 있습니다.

Smartphone running a 3B parameter vision-language model locally at 20 tokens per second

성능 숫자 뒤에 숨은 주의사항

벤치마크가 좋다고 무조건 실무에 넣으면 안 됩니다. 몇 가지 짚고 갈게요.

1. 추론(reasoning) 모드가 아니다

이 모델은 **직답형(direct answer)**입니다. 체인 오브 소트로 곱씹는 모델이 아니라서 응답이 빠른 대신, 복잡한 시각적 수학 문제에서는 약합니다. 실제로 MathVista mini가 68.5로 준수하지만 MMMU-Pro는 30.5로 낮아요. "빠른 판단"이 필요한 곳에 쓰고, "깊은 추론"이 필요한 곳에는 큰 모델을 붙이세요.

2. 한국어/비라틴 스크립트는 여전히 검증 필요

토크나이저를 128K로 확장해 멀티링구얼 대응을 강화했지만, MMMB 83.0, Multilingual MMBench 79.5 수준입니다. 영어 대비 한국어 OCR 성능은 별도로 자체 평가를 돌려보시길 권합니다. 특히 한글 문서 OCR은 반드시 샘플 100장 이상으로 실측하세요.

3. 양자화 시 그라운딩 성능 저하 가능성

3GB는 bfloat16 기준입니다. 실기기 배포를 위해 4bit 양자화를 적용하면 그라운딩 좌표 정밀도가 떨어질 수 있어요. RefCOCO 계열 태스크를 실제로 돌려보고 판단해야 합니다.

4. 라이선스 확인

Liquid AI 모델은 상용 이용 조건이 별도로 명시됩니다. 서비스에 넣기 전에 Hugging Face 모델 카드의 라이선스 조항을 반드시 확인하세요.

GUI 자동화 파이프라인을 설계하고 있다면, 넷플릭스가 직접 공개한 실시간 서비스 맵 MSA 의존성 지옥에서 탈출한 방법 같은 아키텍처 사례도 함께 보면 시스템 설계 감이 잡힐 거예요.

GPU server benchmarking throughput of small vision-language models under high concurrency Software Concept Art

한국 개발 생태계에서의 적용 맥락

국내에서는 이 모델이 특히 온디바이스 GUI 에이전트와 문서 자동화 쪽에서 실용성이 있습니다.

  • 금융/공공 SI: 망분리 환경에서 외부 API 없이 화면을 읽고 조작해야 하는 요구가 많습니다. 3GB 모델은 사내 노트북에서도 돌아가요.
  • 리테일 키오스크: 네트워크 불안정한 매장에서 로컬 추론으로 UI 상태를 판단하는 용도.
  • 모바일 앱: Galaxy S26 Ultra에서 20 tokens/s면 실시간 인터랙션이 가능한 수준입니다. 다만 발열/배터리 소모는 별도 측정이 필요해요.

주의할 점은, 국내 SI 환경에서는 모델 교체 주기와 유지보수 계약이 중요합니다. 오픈 웨이트라 커스터마이징은 쉽지만, 파인튜닝 결과의 재현성 관리를 위해 데이터셋과 하이퍼파라미터를 반드시 버전 관리하세요.

다음 단계 학습 방향

  1. 파인튜닝 실습: 공식 튜토리얼로 LoRA 파인튜닝을 돌려보고, 자사 문서셋에 맞춰보세요.
  2. 추론 최적화: llama.cpp, MLX, vLLM, SGLang, ONNX 모두 day-one 지원입니다. 배포 타깃에 맞춰 벤치마크하세요.
  3. 에이전트 통합: 함수 호출 성능이 좋아졌으니, 툴 콜링 기반 GUI 에이전트 프로토타입을 만들어볼 만합니다.

터미널에서 코딩 에이전트를 쓰고 있다면, "터미널 코딩의 판을 바꾸다 Gemini 3 Flash, 이제 CLI에서 사용 가능" 글도 참고하면 로컬 모델과 클라우드 모델의 역할 분담이 그려질 거예요.

마무리

LFM2.5-VL-3B는 "작은 모델은 못한다"는 통념을 GUI와 그라운딩 영역에서 깨는 모델입니다. 다만 만능은 아니고, 빠른 판단과 로컬 실행이라는 제약 안에서 최고 효율을 내는 포지셔닝이에요. 실무 도입 전에는 반드시 자사 데이터로 실측하시고, 라이선스와 양자화 영향을 확인하세요.

본 콘텐츠는 신뢰할 수 있는 출처를 바탕으로 AI 도구를 활용하여 초안이 작성되었으며, 편집자의 검토를 거쳐 발행되었습니다. 전문가의 조언을 대체하지 않습니다.