なぜGPUメモリ帯域幅が重要なのか
LLMや大規模推論モデルを扱う開発者であれば、GPUの演算能力よりもデータ転送速度がボトルネックになるケースが圧倒的に多いことを実感されているでしょう。モデルのロード、勾配の同期、パラメータ更新のすべてがメモリ帯域幅に依存します。
NVIDIAが公式提供する NVbandwidth は、CUDAベースのメモリコピーパターンごとに帯域幅とレイテンシを測定できるツールです。Copy Engine（CE）方式とStreaming Multiprocessor（SM）カーネルコピー方式の両方をサポートし、単一GPUはもちろん、NVLinkで接続されたマルチGPU、さらにはMNNVL（Multi-Node NVLink）環境までカバーします。
本記事はCUDA開発者、MLインフラエンジニア、システムアーキテクトを対象としています。（根拠資料：NVIDIA公式ブログ）
NVbandwidthのインストールと基本使用法
システム要件
- CUDA Toolkit 11.x以上（マルチノードは12.3+）
- C++17互換コンパイラ（GCC 7.x+）
- CMake 3.20+
- Boost program_optionsライブラリ
ビルド手順
git clone https://github.com/NVIDIA/nvbandwidth.git
cd nvbandwidth
mkdir build && cd build
cmake .. -DCMAKE_BUILD_TYPE=Release
make -j$(nproc)
基本ベンチマーク実行
# 全テスト実行（Host↔Device, Device↔Device など）
./nvbandwidth
# 特定テストのみ：Device→Device読み取り（Copy Engine, 1GiB, 10回繰り返し, JSON出力）
./nvbandwidth -t device_to_device_memcpy_read_ce -b 1024 -i 10 -j
出力例（Host→Device）
Running host_to_device_memcpy_ce.
memcpy CE CPU(row) -> GPU(column) bandwidth (GB/s)
0 1
0 55.63 55.64
SUM host_to_device_memcpy_ce 111.27
COEFFICIENT_OF_VARIATION 0.00
結果はシステム構成（GPUモデル、インタコネクト世代、クロック状態）によって大きく変動します。絶対値よりも相対比較や回帰テストに活用するのが実践的です。
実務で役立つ3つのユースケース
1. ハードウェア検証（Validation）
新規GPU導入後やドライバアップグレード後にNVbandwidthを実行し、期待通りの帯域幅が出ているか確認しましょう。PCIeリンクが半分の速度で動作しているケースは意外と多いです。
2. 性能回帰テスト（Regression Testing）
CUDAライブラリの更新やカーネル変更の前後で同じベンチマークを実行し、帯域幅の変化を検出します。「最適化」がかえってメモリアクセスパターンを悪化させるケースを早期に発見できます。
3. マルチノードクラスタ診断
MNNVL環境ではMPIとIMEX（Internode Memory Exchange）サービスの設定が必須です。
# IMEXサービスの起動
sudo systemctl start nvidia-imex.service
# ノード間ベンチマーク（8GPU、4ノード）
mpirun --allow-run-as-root --map-by ppr:4:node -np 8 \
./nvbandwidth -p multinode
注意点
- NVbandwidthは現在のシステム実測値を報告します。同じGPUでもボード設計、冷却、電力制限により結果が異なります。
- 単一の数値にこだわらず、複数のパターン（H2D, D2D, 双方向）を総合的に分析してください。
- マルチノードモードは活発に開発が進んでおり、ドキュメントが完全ではない部分もあります。最新のREADMEを必ず確認しましょう。
まとめ：測定なくして最適化なし
GPUメモリ帯域幅はLLM時代においてますます重要なボトルネックになっています。NVbandwidthはNVIDIAが公式に推奨する測定ツールであり、一度インストールすればシステムのメモリ転送特性を詳細に把握できます。
次のステップとしては、NVbandwidthで得たデータを基にCUDAカーネルのメモリアクセスパターンを改善したり、NCCLとの連携を通じて分散学習パイプラインをチューニングすることをお勧めします。