Jevは速くて安いのに、RAGチャットボットのAPI費用が下がらなかった理由｜86問の実測と損益分岐

当社のAIチャットボットでは、AIのAPI利用料を月額に含めています。月3,000回までは当社が負担する仕組みです。お客様にAPIキーをご用意いただく必要がない点は売りになるものの、1回あたりの費用がそのまま当社の原価になります。

その原価を抑えるために、判定モデルのJevを再び試しました。Jevは処理が速く、単価も安いモデルです。ただ、RAGチャットボットのAPI費用は1回1.11円が0.97円になるにとどまりました。86問を使った計測の内訳と、Jevで得になる条件を紹介します。

Jevは速くて安い。ただし文章を書くモデルではない

TypeSafe AIが提供するJevは、判定のためのモデルです。文章と質問を渡すと、「はい・いいえ」の確率や、どの選択肢に当てはまるかを返します。回答文を作ることはできません。

以下は、2026年11月13日に公式ドキュメントで確認した内容と、今回測った値です。

当社で回答の生成に使っているモデルの料金は、入力100万トークンあたり0.75ドル。Jevの単価は、その約18分の1です。応答時間も、10月に計測した0.26秒とほぼ変わりませんでした。9月と10月の計測については、JevをRAGチャットボットに組み込んで実測した記事で紹介しています。

RAGチャットボットにJevを足して、86問でAPI費用を測った

RAGチャットボットでは、質問に近いページを検索し、その本文をAIに渡して回答を書かせます。回答を書けないJevを使う場面は、生成の手前です。今回は次の2つを判定させました。

• 検索した5ページそれぞれに、質問に答える情報が書かれているか
• 5ページ全体を見て、質問への答えが書かれているか

答えがなければ生成を呼ばず、定型文で断ります。また、関係の薄いページはAIに渡す前に取り除きます。どちらの処理でも生成モデルに渡す文章が減るため、費用は下がるはずです。

検証には、当社が運営する2つのサイトに対する質問86問を使いました。サイトに載っていない質問や、無関係な依頼も含めています。回答を元のページと照合し、0〜2点で採点しました。採点に使ったのは、回答を生成するものより上位の生成モデルです。

費用にはJevの利用料も含め、1ドル150円として計算しています。

精度を維持できたのは2行目の方式で、費用の削減幅は13%でした。3行目では28%下がる一方、0点の回答が5問に増えています。2つのページを突き合わせて比較する質問で、数値や対象を取り違えたためです。お客様のサイトに置くチャットで、この方式は選べません。

月3,000回として計算すると、2行目の方式で生まれる差は月420円ほど。正直なところ、いまいちでした。

Jevを加えてもAPI費用が下がらなかった理由

理由は3つです。

1つ目は、Jevが生成モデルの代わりにはならないことです。回答を文章で返す以上、生成モデルの呼び出しは残り、そこへJevの費用が加わります。5ページの全文を読ませた場合は平均18,799トークンとなり、1回0.117円かかりました。渡す本文を削ればJevの費用は抑えられます。ただし9月の検証では、本文を削ると正解が16問中14問から8問に減っています。

2つ目は、答えのない質問で生成を止めても、元が取れる程度だったことです。Jevが生成を止めたのは86問中11問でした。節約できた生成の費用を86問で割ると、1回あたり約0.12円。Jevにかかる0.117円とほぼ同じです。計算上は、答えのない質問が全体の10.5%を超えると得になります。

3つ目は、AIに渡す文章をすでに絞っていたことです。全文を渡すのは上位2ページだけとし、残りは質問に関係する部分を抜粋しています。この変更によって1回1.77円が1.11円になり、点数は変わりませんでした。Jevで外せるページは、すでに抜粋にしてある部分です。

日本語でもJevの判定は正確だった

費用面はともかく、判定そのものは頼れる結果でした。「答えが書かれているか」の確率を見ると、サイトに載っていない質問や無関係な依頼では0.02〜0.17。対象が明確で答えのある質問では0.41以上でした。0.3を境に生成を止めたところ、停止によって点が下がった質問は1問もありませんでした。

一方、「おすすめの街を教えて」のように漠然とした質問は0.2台となり、生成が止まります。こうした質問には聞き返すのが正しいため、その判定を先に通す必要があります。聞き返しの作り方は、AIチャットボットが答えられない質問にどう振る舞うべきかで説明しています。

使い方によっては、うまくいかない例もありました。聞き返しの判定に使えるかを確かめるため、「質問文に、何について知りたいかが書かれているか」をJevに判定させました。しかし、「運営者は誰ですか？」が0.44、「家賃は？」が0.58と、値が境目の近くに集まります。この使い方は採用できませんでした。

RAGチャットボットのAPI費用はどの順番で下げるか

今回の結果を踏まえ、当社では次の順に考えることにしました。

1. AIに渡す文章を絞る。当社ではこれにより37%下がりました
2. 同じ質問に対する回答を保存し、使い回す
3. それでも答えのない質問が1割を超える場合は、Jevで生成を止める

Jevに向いていると考えるのは、文章を書くAIに判定を任せている処理です。たとえば、問い合わせの振り分けや質問ログの分類が当てはまります。これらは生成モデルの呼び出しをJevに置き換えられるため、単価の差がそのまま効きます。回答を書く処理の前にJevを加える使い方では、差が出ませんでした。

今回も、当社のAIチャットボットへのJevの組み込みは見送ります。API利用料は、引き続き月額に含めて提供します。月額に含まれる内容や他社の料金との比較方法は、AIチャットボットの費用の記事にまとめました。

費用の内訳を読むより、自分のサイトで試すのが早い

貴社サイトのURLとメールアドレスを入れるだけで、公開ページを読み込んだ貴社専用のAIチャットの体験ページを数分で自動作成します。出典リンク付きで答え、書かれていないことは「記載がありません」と正直に答えます。費用はかからず、売り込みもしません。

▶ 貴社サイト専用のAIチャットを無料で作ってみる（入力はURLとメールだけ）

この記事を書いた人

矢部 敦合同会社Edel Hearts 代表

WordPress専門の開発会社を経営。プラグイン開発・カスタマイズ・保守を専門とし、18時間におよぶUdemyのWordPress講座を開講。出典付きで回答するAIチャットボット「Edel AI Hybrid Chat」開発者。著書『WordPress はじめての最小プラグイン』（Kindle）。本ブログの記事は、実際の開発・運用で得た一次情報をもとに執筆しています。会社情報はこちら