AIチャットボットの「応答は高速」というカタログ文句は、正直あてになりません。何秒なのか、毎日その速さなのか、数字で示されることはほとんどないからです。

そこで当社は、自社のAIチャットボット（RAG型）を本番環境で毎時自動計測する仕組みを作り、回し続けています。この記事では、直近13日間・307回の計測結果を、測り方も含めてすべて公開します。おそらく国内のチャットボット業界で、実測データの定点公開はほとんど例がないはずです。

計測方法（先に手の内を明かします）

数字の信頼性は測り方で決まるので、先に開示します。

本番環境で計測——デモ環境ではなく、実際に公開中の自社サイト（edel-hearts.com）のチャットを使用
毎時20分に自動実行——cronで24時間365日、機械的に質問を送信
応答キャッシュを必ず外す——質問文に時刻を含め、毎回「初めての質問」として処理させる（キャッシュが効くと0.1秒で返ってしまい、実力測定にならないため）
計測対象は「質問送信→回答完了」の全行程。最初の反応（体感の初動）も別途記録

結果1：中央値5.2秒。そして13日間のブレ幅は0.31秒

まず全体の結果です。回答完了までの中央値は5.18秒（307回・最速4.0秒〜最遅12.1秒）。そして個人的に一番の発見だったのは、速さそのものより日別中央値のブレ幅がわずか0.31秒（5.03〜5.34秒）だったことです。

この期間、当サイトではブログ記事の連日公開・広告流入の増加・プラグインの更新がありましたが、応答時間は微動だにしませんでした。「たまに速い」ではなく「毎日同じ速さ」——運用する側にとっては、これが一番大事な品質だと考えています。

結果2：5.2秒の内訳と、体感が「即反応」である理由

5.2秒の中身は、おおまかに資料の検索（根拠探し）が約2.0秒、AIによる文章生成が約3.2秒です。RAG型は「調べてから答える」ぶん、素のAIチャットより一手間多い——その一手間が出典付きの正確さの代価です。

ただし、訪問者の体感は5.2秒待ちではありません。最初の反応（考え中表示）は中央値0.07秒で表示され、本文もAIが書いた端から逐次流れていきます。「送信→即反応→文章が流れ始める」という体験のため、実際に触ると数字より速く感じるはずです。速度設計では、合計時間より「最初の0.1秒」が体感を支配する——これは開発を通じて確信したことです。

結果3：90%が6秒以内。スパイクの正体も切り分け済み

分布で見ると、90%の質問が6秒以内に回答完了。一方で5%の確率で7秒を超えるスパイク（最大12秒）が発生しています。

このスパイクの原因も計測で切り分けました。検索部分の所要時間はスパイク時も約2秒で安定しており、揺らいでいるのはAI提供元（生成側）の混雑です。つまり自社インフラ側の問題ではなく、AI業界全体が共有している揺らぎ——ここは正直に「たまに遅い回がある」と認めたうえで、頻度（5%）と上限（12秒）を数字で示すのが誠実だと考えています。

おまけの発見として、時間帯別では深夜3時台が最も遅く（中央値6.1秒）、早朝6時台が最速（5.1秒）でした。深夜はAI提供元のバッチ処理などで混むのかもしれません。

実務への示唆：導入検討者が確かめるべきこと

この計測から、チャットボット選定に使える教訓を3つ挙げます。

カタログの「高速」ではなく実測を見る——「何秒か」「毎日その速さか」を数字で答えられるかをベンダーに聞く
体感は「最初の反応」で決まる——合計秒数よりも、送信直後に反応があるか（ストリーミング表示か）を確認する
スパイクの存在を前提にする——AI型である以上、たまの遅延はゼロにできない。頻度と原因を把握しているベンダーかどうかが分かれ目

よくある質問

Q. 5秒は遅くないですか？

比較対象によります。人間の窓口の一次返信（数分〜数時間）と比べれば桁違いに速く、素のChatGPT（資料を調べない）と比べれば検索のぶん一手間多い。当社は最初の反応0.07秒＋逐次表示で体感を作り、正確さ（出典付き）との両立点として現在の設計を選んでいます。なお回答を簡潔にする設定にすれば、生成時間はさらに短くなります。

Q. この計測は今後も続けますか？

続けます。毎時計測は現在も稼働中で、モデルの変更や改善を行った際の「前後比較」の基準線として使っています。データがたまったら、また定期レポートとして公開する予定です。

Q. 他社のチャットボットと比べて速いのですか？

正直に言うと、比較できません。同条件の実測値を公開している他社がほぼ無いからです。だからこそ当社は自分の数字を公開します。比較したい方は、各社の無料体験で同じ質問を投げて、ご自身のストップウォッチで測るのが一番確実です。

まとめ：速さは「言う」ものではなく「測って見せる」もの

13日間・307回の計測結果は、中央値5.2秒・ブレ幅0.31秒・90%が6秒以内・体感初動0.07秒でした。この数字が速いか遅いかの判断は読者にお任せしますが、少なくとも「測って、そのまま見せる」会社であることはお約束できます。

実際の速さと出典付き回答の質は、3営業日の無料体験でご自身の目とストップウォッチでお確かめください。

この記事を書いた人

矢部敦合同会社Edel Hearts 代表

WordPress専門の開発会社を経営。プラグイン開発・カスタマイズ・保守を専門とし、18時間におよぶUdemyのWordPress講座を開講。出典付きで回答するAIチャットボット「Edel AI Hybrid Chat」開発者。本ブログの記事は、実際の開発・運用で得た一次情報をもとに執筆しています。会社情報はこちら