Novitaが最近LLMの価格設定を更新しました。プラットフォームを通じて本番環境での推論を実行しているチームにとって、この一文は現在の支出を即座に監査すべき合図となるでしょう。APIのレート変更は、都合の良いタイミングで訪れることはめったにありません。しかも、複数のモデルティアにわたって変更が適用される場合、月間のコストへの影響は予想以上に大きくなる可能性があります。

なぜ推論の価格設定に注意を払うべきなのか

ほとんどの最新のAIアプリケーションは、自前で管理するGPUクラスター上で構築されているわけではありません。開発者がNovitaのような推論プロバイダーにリクエストをルーティングするのは、自前で行うとなるとハードウェアの確保、vLLMやTGIのデプロイ管理、トラフィック急増時のコールドスタートへの対応が必要になるからです。その利便性には価値がありますが、それは従量制です。生成されるトークンごとに料金が加算され、ユーザーセッション、バックグラウンドジョブ、内部ツールを通じて累積していきます。

プロバイダーが価格を調整すると、その影響はスタック全体に波及します。1日に1万件のカスタマー会話を処理するチャットボットは、1週間で4,000万個の入力トークンと1,200万個の出力トークンを消費するかもしれません。100万トークンあたりの単価が数ドル変わるだけで、月間の差額はすぐに無視できないものになります。ブートストラップ型の製品や、薄利で運営しているチームにとって、その差額は収益性を損なう可能性があります。ブラウザ拡張機能として動作するコーディングアシスタント、夜間に処理を行うバッチ要約パイプライン、あるいはページを読み込むたびにモデルに問い合わせる内部検索ツールなどは、すべて同じ脆弱性を抱えています。それらのユニットエコノミクスは、次のトークンの正確な価格に依存しているのです。

Novitaで何が変わったのか

Novitaは、カタログ内の異なるモデルに影響を与える新しいコスト体系を導入しました。同社は、一律のパーセンテージによる値上げや値下げを行ったわけではありません。代わりに、調整内容はモデルごとに異なっており、これは、どのエンドポイントを叩いているかによって請求額が変わることを意味します。

アプリケーションのすべてのトラフィックを単一の大規模言語モデルにルーティングしている場合、計算は単純です。旧レートと新レートを比較して、コスト増または節約額を予測するだけです。しかし、ほとんどの本番環境のセットアップはもっと複雑です。チームは、単純なクエリを軽量なモデルに送り、複雑な推論タスクには重量級のモデルを割り当てるようなルーティングロジックを維持していることがよくあります。また、レイテンシと品質を比較するために、複数のモデルでA/Bテストを実施しているチームもあります。そのようなシナリオでは、1つか2つのモデルの価格変動だけで、コスト構造全体が歪んでしまう可能性があります。

具体的なトークン単価およびリクエスト単価の数値は、NarevbotがDev.toで公開した詳細な内訳に記載されています。正確な料金表はこちらで確認できます： https://dev.to/narevbot/changes-to-llm-pricing-novita-3plc

記憶や、ドキュメントの奥深くに埋もれた古いスクリーンショットに頼らないでください。次四半期の計画を立てる前に、そのソースから直接最新の数値を抽出してください。

リスクの把握（監査）方法

推測ではなく、データから始めてください。Novitaのダッシュボードにログインし、過去2〜3ヶ月間の使用履歴をエクスポートします。そのデータをモデル別、および操作タイプ別にセグメント化してください。どのエンドポイントが予算の大部分を消費しているか、どのエンドポイントがリクエストあたりのトークンを最も多く生成しているかを知る必要があります。

以下のパターンを確認してください：

  • 集中リスク。 もし支出の70%が1つのモデルに集中しており、そのモデルの価格が上がったのであれば、対応の緊急性は明らかです。支出が8つのモデルに分散しており、そのうち3つの価格が変動した場合は、計算に時間はかかりますが、リスクは依然として実在します。
  • トークンの肥大化。 プロンプトに不要なコンテキストが含まれて膨らんでいないか確認してください。長いシステムプロンプト、繰り返されるfew-shotの例、冗長なXML形式などはすべて入力コストを増大させます。価格改定は、無駄を削ぎ落とす絶好の機会です。
  • 出力の非効率性。 アプリケーションが長い回答を要求しているにもかかわらず、最初の数文しか使用していない場合、破棄されるトークンに対しても料金を支払っていることになります。max_tokenの制限やストップシーケンスを調整してください。
  • アイドル状態のバックグラウンドジョブ。 レポートの生成やドキュメントの埋め込みを行うスケジュール済みタスクが、必要以上に頻繁に実行されている可能性があります。cronスケジュールとバッチサイズを確認してください。