AIの自動モデル選択でいくら安くなる？Cloudflareのベータを同じ仕事で比較

Cloudflareは9月30日、AI GatewayのAuto Routerを公開ベータとして発表しました。cloudflare/autoを使うリクエストは、タスクへの適性と費用に応じて対象モデルへ割り当てられます。Cloudflareはベータ中のルーターを無料とし、社内利用での節約も報告していますが、ほかの企業の節約を示すものではありません。公式発表

AIリクエストを繰り返し使う小さなチームなら、現在の固定モデルとルーティングで同じ仕事を比較してみましょう。定型の分類、難しい例外、長い会話を含めます。

現行資料はChat CompletionsとResponsesに対応し、WebSocketsはまだ非対応です。session affinityを設定するか、自動設定する対応クライアントを使うと、同じターン内でモデルを維持してプロンプトキャッシュを再利用できます。設定がなければ、リクエストが異なるモデルに割り当てられる可能性があります。公式技術資料

合格した成果1件あたりのプロバイダー総費用、再試行、修正回数を記録してください。安い回答でも何度も修正が必要なら利点は小さくなります。顧客資料を送る前に、利用される対象プロバイダーも確認しましょう。

自動化の費用ガイドで仕事全体を比べれば、ルーターのベータ料金だけを請求総額と取り違えずに評価できます。