JevをRAGチャットボットに組み込んで実測｜Jev 1.14で日本語の精度・速度を再計測、採用を見送った理由

2026年9月15日に早期アクセスが始まった「Jev（ジェブ）」というAIが、「速い・安い・嘘をつかない」と話題になっています。ただ、解説記事を読んでも「自分のシステムのどこに入れるものなのか」「日本語で使えるのか」「ChatGPTの代わりになるのか」は分かりにくいままです。当社はWordPress用のAIチャットボットにJevを実際に組み込み、日本語66問で精度と速度を測りました。2026年10月14日に新しい版「Jev 1.14」が出たため、同じ50問で測り直した結果も加えています。この記事では、うまくいった設定と、試してダメだった設定の両方を数字で書きます。

結論を先に書くと、Jevは「文章を書かせず、YES／NOの判断だけをさせる」ための部品で、チャットボットが答えを作る前に置くと、間違った答えを作る前に止められます。日本語でも判断の精度は実用水準でした。一方で、9月の時点では、速さは公式が示す0.07〜0.5秒より遅く、日本語の資料8件を送ると1回0.5〜1.1秒でした。また、速くしようと判断に渡す資料を減らしたところ、精度が半分に落ちました。理由は後半の「実測3」で説明します。

【2026年10月15日追記】Jev 1.14が出たため、9月と同じ日本語50問で測り直しました。日本語の判断の精度は、前の版（1.13）とほぼ同じでした。一方で速さは大きく変わり、1回の判断は約0.2秒と、9月の約4分の1になりました。公式が示す範囲に入っています。詳しくは「実測4」に書いています。それでも当社は、製品への採用を見送る判断を変えていません。理由は後半の「結論」をご覧ください。

【2026年9月30日追記】検証の結果、Jevは当社のAIチャットボット（製品）への採用を見送りました。判断の精度は実用水準で、費用を抑えられる利点もありましたが、「Jevが今後どう変わっていくかが読めない」「答えられる質問の応答が約1秒遅くなる」の2点から、今お客様にお届けする製品に組み込むのは時期尚早と判断しました。詳しい理由は記事後半の「結論」に書いています。今後のJevの様子を見て、改めて検討する可能性はあります。

実測1〜3は2026年9月20日時点、実測4は2026年10月15日時点のものです。TypeSafe AIの料金・仕様は早期アクセス中のもので、変更があれば更新します。

Jevとは？ChatGPTの代わりではない「判定専用AI」

Jevは、TypeSafe AI（CEOはChatGPTの土台となった論文の共著者）が2026年9月15日に早期アクセスを始めた「System One Model」の第1弾です。ChatGPTとの一番の違いは、文章を書かないことです。文章と質問を渡すと、「それは正しいか」「どれに当てはまるか」の答えを確率（0〜1の数字）で返してきます。

たとえて言うと、ChatGPTが「文章を書いてくれる担当者」なら、Jevは「資料を見て、YESかNOかだけを即答する確認担当」です。この確認担当に聞ける質問の型は3つあります。

料金は、AIに渡す文章100万トークン（日本語でおよそ70万〜100万文字）あたり0.042ドルで、返ってくる答えは無料です。公称の応答時間は0.07〜0.5秒。ChatGPT・Claude・Geminiとは競合しません。文章は書けず、「判断」だけを桁違いに速く安く行うための部品だからです。賢さは一般的なAIと同じ程度とされていて、「賢い」が売りではありません。また公式ドキュメントには「英語が主で、日本語・中国語・韓国語は同じ水準ではない」と明記されています。だからこそ、日本語で実際に測る必要がありました。

どこに組み込んだか：答えを作る「前」に確認させる

当社のEdel AI Hybrid Chatは、WordPressサイトの公開ページを資料として読み込み、出典付きで答えるチャットボットです。この方式は「RAG」と呼ばれ、質問が来るたびに関係しそうな資料を探し、その資料をもとにAIが答えを書きます。Jevは「資料を探した後、答えを書く前」に入れました。

流れはこうです。まず質問に近い資料を8件探します（図の「ベクトル検索」。意味の近さで探す検索です）。次にJevに2つの確認をさせます。「この8件は質問に関係あるか」を1件ずつ聞いて関係の薄い資料を外し、残った資料だけで「質問に答えられるか」を聞きます。答えられそうなら、文章を書くAI（LLM）が出典付きで答えを作ります。答えられそうにないなら、文章は作らずに「記載がありません」と有人相談の案内を返します。

Jevに送るのは、資料8件（それぞれ先頭1,800字）と質問文で、合わせて約12,000トークン。返ってくるのは9つの確率だけで、文章は返ってきません。設計で決めた約束は4つです。最初はOFFで、設定画面からONにする。Jevにつながらないときは今までどおり動く。判断の基準（しきい値）は設定で変えられる。判断の結果（確率と所要時間）を記録に残す。実際の設定画面がこちらです。

開発者向けの実装ポイント

技術的なことに興味がない方は、この段落は飛ばして大丈夫です。ポイントは3つ。判定は生成の「前」に置くこと。後に置くと生成コストは減りません。関連度と回答可否は1リクエストにまとめること。往復を増やすと判定の速さが相殺されます。そしてフォールバックを先に書くこと。早期アクセス中のAPIは落ちる前提で、落ちたら従来動作に戻る処理を書いてから本体を書きました。

実測1：日本語で判断は使えるか（50問）

当社サイトの公開ページ6本（サービス・料金・会社概要など）を資料にして、「この資料だけで質問に答えられるか」をJevに判断させました。資料に答えがある質問25問と、無い質問25問の計50問です。

図を見ると、答えがない質問（橙）は左側、答えがある質問（青）は右側にきれいに分かれています。判断を外した4件は、すべて資料側の問題でした。「他社制作サイトの保守」「月単位の解約」「Udemy講座」の3問は、ページのFAQが見出しだけで回答文が折りたたまれていて、資料として渡した文章に答えが入っていなかったのです。Jevは正しく「答えられない」と判断していました。裏返すと、Jevの判断記録はチャットボットに読ませている資料のどこが足りないかを教えてくれる道具にもなります。

実測2：本番サイトで速度はどう変わったか（Jev ON／OFF）

本番のedel-hearts.com（レンタルサーバーはXserver）で、JevのONとOFFを切り替えて同じ種類の質問を投げ、訪問者と同じようにブラウザで答えが出るまでの時間を測りました。

答えがない質問（ペット同伴・定休日・返金保証・対応言語）は、文章を書くAIを呼ばずに定型文で即答するので速くなります。答えがある質問（顧問エンジニアのプラン・保守のバックアップ・ホワイトラベル・プラグイン開発）は、Jevの判断が1回入る分だけ遅くなります。出典付きの正しい答えは変わりません。

気をつけたいのは、本番サーバーからJevへの往復が0.5〜1.1秒で、公称の0.07〜0.5秒より遅かったことです。日本語で12,000トークンという長い資料を送っているためです（10月の再計測では、同じくらいの量の資料でも約0.26秒まで速くなっていました。実測4を参照）。9月時点の結果をまとめると、「答えられない質問には速く正直になり、答えられる質問には1秒余計にかかる。その代わり、間違った答えを作る余地を答えを書く前に一段減らす」というトレードオフです。応答速度そのものの改善は、毎時計測している応答速度レポートのとおり、別の手段で続けています。

Jevの判断を入れる前の段階、つまり「サイトの公開ページを読み込み、出典付きで答え、書かれていないことは正直に『記載がありません』と答える」動きは、当社のWordPress専用AIチャットボット Edel AI Hybrid Chat の標準の動作です。貴社サイトのURLとメールを入れるだけで、公開ページを読み込んだ専用AIチャットの体験ページを数分で自動作成できます。貴社の情報でどう答えるか、確かめてみてください。

▶ 貴社サイト専用のAIチャットを無料で作ってみる

実測3：軽くしようとして失敗した話（採用しなかった設定）

「Jevに渡す資料を減らせば速くなるはず」と考えて、資料を6件×1,200字に減らして測り直しました（16問×2回）。

結果は2つの意味で失敗でした。まず速くならなかったこと。渡す量を半分にしても時間はほぼ同じで、時間の大半はやり取りそのものの固定費であって、資料の長さではありませんでした。次に精度が半分に落ちたこと。資料を1,200字で切ると、料金表のようにページの後ろのほうにある答えがJevに届かず、「答えられない」に倒れます。Jevは渡された資料に忠実なので、削った分だけ取りこぼすのです。

ここから得た教訓は、判断の精度は「渡す資料の完全さ」で決まるということです。速くしたいなら資料を削るのではなく、Jevに聞く場面を選ぶほうが筋がよい、と判断しました。たとえば、よくある定番の質問は答えを覚えておいてJevを通さない、といった設計です。

実測4：Jev 1.14で日本語の精度と速さは変わったか（2026年10月15日）

結論から書くと、日本語の判断の精度は1.13とほぼ同じで、速さは9月から約4倍速くなっていました。ただし、速くなったのは新しい版だけではありません。前の版の1.13も同じように速くなっていたので、Jevの提供側の仕組み全体が速くなったと考えられます。

Jev 1.14とは？

Jev 1.14は、2026年10月14日にTypeSafe AIが公開した新しい版です。公式の発表では「全体に小さな改善を加え、最も大きな改善は多言語対応」とされています。ただし、改善の度合いを示す数字は公開されていません。主な変更は次のとおりです。

測り方

実測1と同じ50問（答えがある25問・ない25問）と、同じ指示文を使いました。資料は当社サイトの公開ページ6本で、10月15日に取り直しています。1.13と1.14に同じ資料・同じ質問を交互に投げ、それぞれ2回ずつ、合わせて200回判断させました。さらに、本番の設定（資料8件×1,800字）に近い約13,800トークンの長い資料で、16問を2回ずつ測りました。計測は当社の作業用PCから行っていて、本番サーバーからは測っていません。

結果1：日本語の精度は1.13とほぼ同じ

外した質問も、ほとんど同じでした。「他社制作サイトの保守」「月単位の解約」「Udemy講座」の3問は、9月と同じくページのFAQに見出しだけがあり、回答文が資料に入っていない質問です。1.14はこれに加えて、「導入まで何営業日かかりますか」を2回とも「答えられない」寄りに判断しました（確率0.38と0.48）。ページに「最短1営業日で稼働」と「無料体験は最短3営業日」の両方が書かれているので、1.14のほうが慎重に判断したとも言えます。

公式が「最も大きく改善した」とする多言語ですが、今回の日本語の判断では差は見えませんでした。もともと日本語でも見分ける力が0.98あり、外した質問の多くは資料側の問題なので、改善の余地が小さかったとも考えられます。なお、当社サイトのページは9月から更新されているため、9月20日との数字の差には資料の違いも含まれます。1.13と1.14の比較は、同じ日・同じ資料で行っています。

結果2：速さは9月の約4倍に

9月には公式の0.07〜0.5秒より遅かった判断が、10月には長い資料でも0.3秒前後に収まり、公式が示す範囲に入りました。1.13と1.14の差はほとんどないので、新しい版の効果ではなく、提供側の仕組みが速くなったと見ています。長い資料での正解は、両方の版とも32回中30回でした。外した2回は、どちらも資料に答えのない「他社制作サイトの保守」の質問です。

費用も変わっていません。今回の計測（264回の判断）にかかった費用は、全部で約11円でした。

基準（しきい値）の決め方

しきい値とは、「Jevが返した確率がいくつ以上なら『答えられる』とみなすか」の線引きです。9月の計測では、答えがない質問の確率は66問を通して最大0.27、答えがある質問の最小は0.57〜0.63でした。境界にいたのは「答えられない質問は人に引き継げますか」という質問で、資料に「有人対応」とはあるものの「引き継げる」とは直接書いていないケースです。最初は基準を0.60にしましたが、この境界の質問が揺れたため0.50に変更しました。0.50でも、答えのない質問を誤って通したことはありません。

「嘘をつかない」を優先するなら基準を高めに、「答える範囲を広げたい」なら低めにします。現実的には、判断の記録を1週間ほど眺めてから決めるのがよいと思います。

結論：Jevの製品への採用を見送った理由

2026年9月30日、当社はJevをEdel AI Hybrid Chat（製品）には組み込まないと決めました。判断の精度が低かったからではありません。日本語でも見分ける力は十分で、誤って答えを作らせたこともありませんでした。それでも見送った理由は3つです。

2026年10月15日、Jev 1.14での再計測を受けて、この判断を見直しました。結論は変わらず、見送りのままです。理由2の「遅さ」はほぼ解消しましたが、理由1の「今後どう変わるか読めない」は、この1か月でかえってはっきりしました。

理由1：Jevが今後どう変わるか読めない

Jevは2026年9月15日に早期アクセスが始まったばかりのサービスです。料金、速さ、日本語の扱い、提供の形がこれからどう変わっていくのか、今はまだ読めません。お客様のサイトで毎日動く製品に組み込むと、Jev側の変化がそのままお客様のチャットボットに影響します。製品に入れるのは時期尚早と判断しました。

実際、9月から10月の1か月で、Jevの速さは約4倍になり、新しい版が出て、標準の版も1週間で切り替わります。良い方向の変化ではありますが、1か月でこれだけ変わるものを、お客様のサイトで毎日動く製品の中核に入れるのは、まだ早いと考えています。速さが変わったのと同じように、料金や日本語の扱いも変わりうるからです。

費用の面では、正直に言うと魅力がありました。当社のAIチャットボットは、AIの利用料（API費）を当社が負担する料金体系です。答えられない質問をJevの段階で止めれば、文章を書くAIを呼ばずに済むので、その分の利用料が減ります。コストを抑えられるのは確かなメリットで、ありがたい仕組みでした。それでも、変化の読めない部品に製品の中核を預けるリスクのほうが大きいと考えました。

理由2：答えられる質問が約1秒遅くなる（10月の再計測でほぼ解消）

チャットボットの一番の価値は、資料に書いてあることを、速く、正確に答えてくれることです。実測2のとおり、Jevを入れると答えられない質問は約2秒速くなりましたが、答えられる質問は約1秒遅くなりました。お客様が本当に知りたい質問ほど待たされる、という形です。応答速度の改善を続けてきた当社にとって、この1秒はかなり痛い差でした。

【2026年10月15日追記】この理由は、ほぼ解消しました。実測4のとおり、本番の設定に近い量の資料でも、Jevの判断は約0.26秒まで速くなっていました。答えられる質問で増える待ち時間は、9月の約1秒から0.3秒前後まで縮む見込みです。ただし、本番サーバーからは測り直していないので、製品に入れるかどうかを改めて検討するときは、本番で測ってから判断します。

理由3：全力で勧められないものを、選択肢として入れたくない

「Jevを使うかどうかをお客様に選んでもらう（オプションにする）」という方法も考えました。ただ、当社が自信を持って勧められないものを、設定の選択肢として並べることにはためらいがありました。選択肢が増えるほど、お客様が迷い、判断を任せることになるからです。

検証で分かったこと（今後の再検討のために）

見送りはしましたが、検証そのものは無駄ではありませんでした。もしJevのような判定専用AIを使うなら、次の条件なら実用になることが分かっています。

• 用途は、チャットボットが答えを作る前の「答えられるかどうかの判断」と「探した資料が関係あるかの判断」
• 資料は削らない（8件×1,800字）
• 基準（しきい値）は0.50
• Jevにつながらないときは今までどおり動く
• 最初はOFFで、必要なときだけONにする

向いていない使い方も分かりました。

• 文章を書かせる代わりにする（そもそもできません）
• Jevに渡す資料を切り詰める運用（精度が落ちます）
• 「JevでAIが賢くなった」という説明（賢さは同じで、減るのは間違った答えを作る余地です）

また、Jevの判断記録から「チャットボットに読ませている資料の抜け」が見つかったのは、思わぬ収穫でした。9月には「Jevの提供状況や日本語での速さが変わったら、同じ条件で測り直す」と書きました。10月に1.14が出たので、実際に測り直したのが実測4です。今後も新しい版が出たら同じ50問で測り、この記事に追記します。

一言でまとめると、Jevは「AIに判断だけさせて、文章は書かせない」部品です。答えを作る前に置くと、間違った答えを作る前に止められます。日本語でも判断は実用水準でした。9月には日本語の長い資料で公称ほど速く答えられませんでしたが、10月のJev 1.14の時点では約0.26秒まで速くなっています。それでも、変化の速さを理由に、当社は製品への採用を見送っています。AIチャットボットが嘘をつく問題（ハルシネーション）への対策の全体像はWordPress向けAIチャットボットの導入ガイドに、ChatGPTを直接つなぐ方法との違いはChatGPTとWordPressの連携方法にまとめています。

よくある質問

Q. Jevは日本語で使えますか？

「判断させる」用途なら使えました。公式は「英語が主で日本語は同じ水準ではない」としていますが、日本語50問で見分ける力（AUC）は9月に0.984、10月のJev 1.14でも0.981でした。速さは、9月は日本語の長い資料で1回0.5〜1.1秒かかりましたが、10月15日の計測では約0.26秒でした（作業用PCから計測）。

Q. Jev 1.14で日本語の精度は上がりましたか？

当社の50問では、前の版の1.13とほぼ同じでした（AUC 0.983と0.981）。公式は「最も大きな改善は多言語」としていますが、日本語の判断では差は見えませんでした。速さは1.13も1.14も同じように、9月の約4倍になっていました。

Q. JevはChatGPTの代わりになりますか？

なりません。Jevは文章を書かず、確率だけを返します。ChatGPTやClaudeが「書く」役、Jevが「書く前にYES／NOを判断する」役という分担になります。

Q. 費用はどのくらいかかりますか？

渡す文章100万トークンあたり0.042ドルで、返ってくる答えは無料です（2026年10月15日時点の公開情報。Jev 1.14でも変わっていません）。50問の試験では約1.4円（1回あたり約0.03円）、本番設定（資料8件×1,800字を渡す）では1回あたり約0.1円です。チャットボット全体の費用感はAIチャットボットの費用相場で解説しています。

Q. Edel AI Hybrid Chatを使えば、この機能も使えますか？

使えません。2026年9月30日に、製品への採用を見送りました。主な理由は、Jevが今後どう変わるか読めないことです。9月に挙げた「答えられる質問の応答が約1秒遅くなる」は、10月の再計測でほぼ解消しました。今後のJevの様子を見て、改めて検討する可能性があります。

「AIに何をさせ、何をさせないか」を決めるところから

今回の検証で分かったのは、AIは「判断」と「文章を書く」を分けて使うと、速く・安く・間違えにくくなるということです。これはチャットボットに限らず、問い合わせの振り分け、書類の分類、承認前の一次チェックなど、業務の中の「人が毎回判断している小さな作業」にそのまま当てはまります。

当社はWordPress専門のエンジニアとして、AIが処理し、人が最後に確認する設計で業務の自動化を実装しています。「AIに向かない」場合はその旨をお伝えします。毎週繰り返しているPC作業があれば、まずそれを教えてください。

▶ AI業務自動化・AIシステム開発の詳細を見る（相談無料）

更新履歴

• 2026年9月20日：公開（同日時点の実測・公開情報。Jev組み込みは当社サイトで検証中）
• 2026年9月30日：検証の結論を追記。製品への採用を見送り、その理由（今後の変化が読めない・応答が約1秒遅くなる・全力で勧められないものを選択肢にしない）を追加
• 2026年10月15日：Jev 1.14の公開を受けて、同じ日本語50問で1.13と1.14を測り直した「実測4」を追加。精度は同等、速さは9月の約4倍。採用見送りの判断は維持し、理由2に再計測の結果を追記。よくある質問を更新