小型VLMが再び注目される理由

クラウド推論コストの上昇に伴い、「小さくても実務で使える」視覚言語モデル(VLM)の需要が急速に高まっています。しかし従来の小型モデルは、画面UIの読み取りやオブジェクトの位置指定といったタスクで性能が大きく崩れる傾向がありました。特にGUI自動化や文書OCRのパイプラインでは、小型モデルは現実的な選択肢になりにくかったのが実情です。

Liquid AIが公開した LFM2.5-VL-3B は、この課題に正面から取り組んだモデルです。パラメータ数は3.1Bながらベンチマーク平均69.4を記録し、4.7Bクラスと肩を並べます。さらに 約3GBのメモリ でスマートフォン上での動作が可能です。本記事ではスペックの羅列ではなく、実務での適用箇所と注意点を中心に整理します。

根拠資料: Liquid AI 公式ブログ (Hugging Face)

Vision-language model processing document and screen images for on-device AI inference Coding Session Visual

前バージョンからの4つの改善点

LFM2-VL-3Bからの改善は数値で見ると明確です。

  • 画面/UI理解: ScreenSpot-v2 Desktopが6.0 → 78.7へ大幅向上。前バージョンはGUIタスクでは事実上使えない水準でしたが、今回で実用域に到達しました。
  • グラウンディング: RefCOCO平均が57.1 → 87.9。自然言語クエリでオブジェクトを指定する能力が4Bクラス(InternVL 3.5 4B: 88.8)に迫ります。
  • マルチ画像推論: MuirBenchが34.9 → 58.3、BLINKが50.2 → 61.5。複数枚を比較するタスクで明確に性能が向上しました。
  • 関数呼び出し: ToolSandboxが26.4 → 59.5。テキストのみ・視覚混在の双方でツール呼び出し能力が急上昇しています。

アーキテクチャ概要

SigLIP2 400M NaFlexビジョンエンコーダに、LFM2.5-2.6Bテキストバックボーンを組み合わせた構成です。約34Tトークンで事前学習し、視覚データは従来比4倍に増やしています。ラテン文字以外のスクリプト対応のため、トークナイザを再学習ではなく 128Kへ拡張 した点も注目です。ポストトレーニングはSFT(大規模教師モデルからの蒸留 + Antidoom)→ マルチ報酬RLの2段階で実施されています。

ベンチマークハイライト(同サイズ比較)

タスクベンチマークLFM2.5-VL-3Bgemma-4-E2BQwen3.5-4BInternVL 3.5 4B
GUI (Desktop)ScreenSpot-v278.728.176.382.0
グラウンディングRefCOCO-avg87.967.386.688.8
文書DocVQA91.185.794.891.8
マルチ画像MuirBench58.332.962.053.5
ツール呼び出しToolSandbox59.556.565.0N/A
平均-69.452.070.169.4

表だけを見るとQwen3.5-4Bが平均でわずかに上回りますが、パラメータ数が4.7Bである点を考慮する必要があります。メモリ3GB、スマートフォンで20 tokens/s という制約下でこの数値は大きな意味を持ちます。

すぐに実行できるコード

transformers>=5.10.1 が前提です。依存関係をインストール後、以下のコードをそのまま実行できます。

# 必要パッケージのインストール
%pip install -q torch torchvision accelerate "transformers>=5.10.1"

import torch
from transformers.image_utils import load_image
from transformers import AutoModelForImageTextToText, AutoProcessor

MODEL_ID = "LiquidAI/LFM2.5-VL-3B"

# プロセッサとモデルをロード(デバイス自動配置、bfloat16)
processor = AutoProcessor.from_pretrained(MODEL_ID)
model = AutoModelForImageTextToText.from_pretrained(
    MODEL_ID,
    device_map="auto",
    dtype="bfloat16",
)

# サンプル画像の読み込み
img_url = "https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/coco_sample.png"
input_image = load_image(img_url)

messages = [
    {
        "role": "user",
        "content": [
            {"type": "image", "image": input_image},
            {"type": "text", "text": "この画像を2文で簡潔に説明してください。"},
        ],
    }
]

# チャットテンプレート適用後にテンソル化
inputs = processor.apply_chat_template(
    messages,
    add_generation_prompt=True,
    tokenize=True,
    return_dict=True,
    return_tensors="pt",
).to(model.device)

# 推論(サンプリング、短い応答を誘導)
with torch.inference_mode():
    outputs = model.generate(
        **inputs,
        do_sample=True,
        temperature=0.2,
        top_k=50,
        repetition_penalty=1.0,
        max_new_tokens=256,
    )

# 新規生成トークンのみデコード
output = processor.batch_decode(
    outputs[:, inputs["input_ids"].shape[1]:],
    skip_special_tokens=True,
)[0]
print(output)

ポイントは dtype="bfloat16" と device_map="auto" です。GPUがなくてもCPUで動作し、GPUがあれば自動で配置されます。マルチ画像入力、OCR、ツール呼び出しの例は公式ドキュメントに掲載されています。

Smartphone running a 3B parameter vision-language model locally at 20 tokens per second Software Concept Art

数値の裏にある注意点

ベンチマークが良くても、そのまま実務に投入すべきではありません。いくつか確認しておきます。

1. 推論(reasoning)モードではない

本モデルは 直接回答型(direct answer) です。チェーンオブソートで熟考するモデルではないため応答は高速ですが、複雑な視覚的数学問題は苦手です。実際、MathVista miniは68.5と健闘していますが、MMMU-Proは30.5と低めです。「高速な判断」が必要な箇所に使い、「深い推論」が必要な箇所には大きなモデルを併用してください。

2. 日本語・非ラテン文字は依然として検証が必要

トークナイザを128Kに拡張して多言語対応を強化していますが、MMMB 83.0、Multilingual MMBench 79.5という水準です。英語と比較して日本語OCR性能は別途、自前で評価することを推奨します。特に 日本語文書OCR は100枚以上のサンプルで実測してください。

3. 量子化によるグラウンディング性能低下の可能性

3GBはbfloat16基準の値です。実機配備のために4bit量子化を適用すると、グラウンディング座標の精度が落ちる可能性があります。RefCOCO系タスクを実際に実行して判断すべきです。

4. ライセンスの確認

Liquid AIのモデルは商用利用条件が別途明記されています。サービス組み込み前にHugging Faceのモデルカードでライセンス条項を必ず確認してください。

GUI自動化パイプラインを設計している場合は、Netflixが公開したリアルタイムサービス構成図 MSA依存地獄から脱出した方法 のようなアーキテクチャ事例も併せて参照すると、システム設計の勘所が掴めます。

GPU server benchmarking throughput of small vision-language models under high concurrency Programming Illustration

日本開発エコシステムにおける適用文脈

日本では、本モデルは特に オンデバイスGUIエージェント と 文書自動化 の領域で実用性があります。

  • 金融・公共系SI: ネットワーク分離環境で外部APIを使わずに画面を読み取り操作する要件は少なくありません。3GBモデルは社内ノートPCでも動作します。
  • リテールKIOSK: ネットワークが不安定な店舗でローカル推論によりUI状態を判定する用途。
  • モバイルアプリ: Galaxy S26 Ultraで20 tokens/sならリアルタイムインタラクションが可能な水準です。ただし発熱・バッテリー消費は別途計測が必要です。

注意点として、日本のSI環境では モデル更新サイクルと保守契約 が重要になります。オープンウェイトのためカスタマイズは容易ですが、ファインチューニング結果の再現性管理のため、データセットとハイパーパラメータを必ずバージョン管理してください。

次の学習ステップ

  1. ファインチューニング実習: 公式チュートリアルでLoRAファインチューニングを試し、自社文書セットに適用してください。
  2. 推論最適化: llama.cpp、MLX、vLLM、SGLang、ONNXすべてday-one対応です。配備ターゲットに合わせてベンチマークしてください。
  3. エージェント統合: 関数呼び出し性能が向上したため、ツール呼び出しベースのGUIエージェントのプロトタイプを作る価値があります。

ターミナルでコーディングエージェントを使っている場合は、"ターミナルコーディングの常識を変える Gemini 3 Flash、CLIで利用可能に" も参考にすると、ローカルモデルとクラウドモデルの役割分担がイメージできるはずです。

まとめ

LFM2.5-VL-3Bは「小型モデルは使えない」という通念を、GUIとグラウンディングの領域で覆すモデルです。ただし万能ではなく、高速判断とローカル実行という制約下で最大効率を発揮するポジショニングです。実務導入前には必ず自社データで実測し、ライセンスと量子化の影響を確認してください。

本コンテンツは、信頼性の高い情報源をもとにAIツールを活用して作成され、編集者によるレビューを経て公開されています。専門家によるアドバイスの代替となるものではありません。