はじめに：エージェントが増えるほど請求書が怖くなる理由
AIエージェントがパイロット段階を超えて全社システムへ拡大すると、ITリーダーの問いは自然に変わります。「このエージェントをセキュリティやコンプライアンスの観点でどう管理するか」から、「このエージェントが使うコストをどう統制し、正当化するか」へと。
問題は、従来のコスト管理ツールが**請求データ（billing data）**を基に動作する点です。請求書は消費が終わった後に届きます。一方、エージェントはリクエストパスの中でリアルタイムに動きます。リトライループに陥ったエージェントは、次の予算評価を待ってくれません。
そこで本記事では、Microsoft FoundryとAzure API ManagementのAI Gatewayを中心に、①消費を可視化し ②リクエストパスで制限をかけ ③ROIで価値を証明するという3段階のガバナンス体制を整理します。予算アラートが「煙感知器」なら、エージェントには「サーキットブレーカー」も必要だという視点が核心です。根拠資料はMicrosoft Azure公式ブログで確認できます。
ステップ1：消費を「発生地点」で可視化する
コストが一つの塊の数字として届くと管理は不可能になります。1つのデプロイが複数のエージェントを提供し、1つのエージェントが複数のモデルとツールを呼び出し、1つの結果を生むのに何十回ものターンが必要だからです。請求書に印字された瞬間、ビジネスコンテキストは既に失われています。
Foundryのコスト可視化機能
| 機能 | 説明 | 活用ポイント |
|---|---|---|
| プロジェクト別推定コスト | プロジェクト単位の推定コスト照会 | 運用意思決定の支援 |
| エージェント別コスト/トークン使用量 | 個別エージェント単位の追跡 | 非効率エージェントの特定 |
| モデル別コスト監視 | モデル単位のコスト追跡 | モデルルーティング最適化 |
| プロジェクトタグによる帰属 | 全Foundryプロジェクトにプロジェクトタグを自動付与 | FinOpsチームのCost Analysisフィルタリング |
FinOpsチームはCost Analysisでプロジェクトタグによりフィルタリングし、コストをビジネスユニット・チーム・ワークロード別に配分できます（現在、Azure OpenAIを含むMicrosoft販売モデルに対してプレビュー中）。
ゲートウェイレベルのシグナル
- AI Gateway（Azure API Management）: API・製品・ユーザー・サブスクリプション・ゲートウェイ・バックエンド単位でトークンメトリクスを出力
- Foundry Tracing: ツール使用、リトライ、レイテンシ、トークン消費、コストをエージェント実行単位でキャプチャ
- Monitoring: 本番トレンドと異常兆候の検知
- Evaluations: 品質・安全性・根拠性・タスク完了率の測定
特にEvaluationsを継続的に実行すると、「常に最大のモデル」をデフォルトにする代わりに、より小さなモデルが品質基準を依然として満たすかを証拠ベースで判断できます。安全性評価者はプロンプトインジェクション、機密データ漏洩、有害コンテンツを本番前に検出します。
これらのシグナルを総合すると、コスト上昇が顧客需要の増加 / エージェントの非効率 / 品質回帰 / アーキテクチャ問題のどこから来るのかを区別できます。
ステップ2：レイヤー別に消費制限を設定する
可視化が「お金がどこへ行ったか」を教えるなら、制限は「出し続けてよいか」を決めます。3つのレイヤーが異なる範囲と速度で動作します。
レイヤー1：Foundryで直接強制
AI Gatewayが設定されている場合、Foundry Control Planeはプロジェクトスコープでモデルデプロイに対し毎分トークン（TPM）レート制限と総トークンクォータを強制します。
- レート制限超過時 →
429 Too Many Requests - トークンクォータ枯渇時 →
403 Forbidden
コストアラートと異なり、リクエストパス内で執行されます。1つのプロジェクトが共有容量を独占する前に隔離でき、時間/日/週/月/年単位でクォータ期間を設定できます。
レイヤー2：モデル・プロバイダー横断ポリシー
プロジェクトやモデルプロバイダーをまたぐ制御が必要な場合はllm-token-limitポリシーを使用します。キー単位でレート制限、累積クォータ、または両方を適用でき、キーはサブスクリプション・アプリケーション・チーム・顧客・ワークロードIDなどビジネス境界を表現します。
AI GatewayはOpenAI互換API、Anthropic Messages API、MCPサーバー、エージェント間APIに同一のガバナンスモデルを適用します。バックエンドロードバランシングでプロビジョニング容量を優先使用し従量課金へ溢れさせ、サーキットブレーカーで失敗/スロットルされたバックエンドへのリクエストを一時停止できます。
⚠️ 注意: 分散環境の制限は完璧ではありません。カウンターはゲートウェイごとに独立して維持され、同時リクエストはレスポンスが返ってからでないと最終トークン消費が確定しないため、一時的な超過（overage）が発生し得ます。目標は「無制限消費」を「予測可能な運用境界」に変えることであり、ゼロに近づけることではありません。
レイヤー3：財務予算で責任とエスカレーション
Microsoft Cost Managementの予算はトークン制限と目的が異なります。実価格・クレジット・購入コミットメントを含むAzure請求データを使い、財務/ITに権威ある支出・予測ビューを提供します。予算しきい値を設定しオーナーへ通知し、Azure Monitorアクショングループと接続してチケット作成・運用チーム通知・Logic App/ランブック実行などのワークフローをトリガーできます。コスト異常検知も過去パターンからの逸脱を警告します。
核心的な区別: トークン制限はリクエストパスで「即時」に作用し、財務予算は消費後の請求データに反応する「責任/エスカレーション」ツールです。両方が必要です。現在、2つのレイヤーは単位が異なります（トークン vs ドル）。モデル・オファー別にトークン価格が異なるため、トークンクォータは固定のドル金額に換算されません。Microsoftはドル建て予算、より細かい帰属、ポリシー駆動制御をエージェント実行地点に近づける機能を開発中です。
ステップ3：エージェントが生んだ価値を測定する（ROI）
消費に上限を設けるだけではガバナンス問題の半分しか解決しません。より重要な問いは**「このエージェントは投資に見合うビジネス価値を生んでいるか？」**です。最も安いエージェントが最良の投資とは限りません。コストが高くてもはるかに多くのケースを解決するエージェントは追加容量に値し、タスクをほとんど完了できない安価なエージェントはそうではありません。
FoundryのROI機能（プライベートプレビュー）はエージェントコストをビジネス成果と結びつけます。チームが追跡したい成果（タスク成功、顧客満足度、ケースデフレクションなど）を定義し、各成果にビジネス価値を付与し、成功の測定方法を定義すると、Foundryが次を計算します：
- Value generated: 成功したビジネス成果に帰属する総価値
- Total cost: その成果を達成するまでにかかったモデル・ツールコスト
- Net value: コスト差し引き後に残る価値
- ROI: 投資に対する収益率
ダッシュボードは日次トレンドを表示し、モデルコストとツールコストを分離します。チームは会話あたり平均価値、合格率、改善率でエージェントバージョンを比較できます。これにより最適化判断を「新バージョンはトークンを less 使う」ではなく**「新バージョンはより多くの純価値を生む」**として正当化できます。
ROIは可観測性データと接続されているため、チームは最も低いROIの会話とトレースを直接調べ、過大なモデル、反復的なツール呼び出し、意味のある結果なしにトークンだけを消費するワークフローを発見できます。低ROIトレースは、ルーティングを変えるべきリクエスト、削除すべきコンテキスト、最適化すべきエージェント設定を指し示します。
実務適用のためのチェックリスト
- 可視化から: どのエージェント・チームが使用量を主導しているか識別し、プロジェクトタグで帰属を確保しましょう。
- リクエストパス制限: TPMレート制限とトークンクォータで予期せぬ消費を封じ込めましょう。
- 財務予算の併用: Cost Management予算とアラートでオーナー責任とエスカレーション体制を整えましょう。
- ROI接続: コストをビジネス成果と結びつけ、最適化・拡張・廃止判断の根拠を作りましょう。
次のステップ学習方向
- モデルルーティング最適化: 小さなモデルで品質基準を満たすかEvaluationsで継続検証
- コンテキストエンジニアリング: 不要なコンテキスト削除でトークン消費を削減
- エンタープライズガバナンス: Microsoft Agent 365でテナント全体のエージェントインベントリ・セキュリティ・ライフサイクル管理
あわせて読みたい記事
エージェント最適化は、すべてのリクエストコストをゼロにすることではありません。他の真剣な投資に適用するのと同じ規律でエージェントを運用することであり、Foundryは設計段階から効率的で、拡張過程で統制され、生み出した価値に責任を持つエージェントを作れるよう支援します。