2026年9月15日に早期アクセスが始まった「Jev（ジェブ）」というAIが、「速い・安い・嘘をつかない」と話題になっています。ただ、解説記事を読んでも「自分のシステムのどこに入れるものなのか」「日本語で使えるのか」「ChatGPTの代わりになるのか」は分かりにくいままです。当社はWordPress用のAIチャットボットにJevを実際に組み込み、日本語66問で精度と速度を測りました。この記事では、うまくいった設定と、試してダメだった設定の両方を数字で書きます。
結論を先に書くと、Jevは「文章を書かせず、YES／NOの判断だけをさせる」ための部品で、チャットボットが答えを作る前に置くと、間違った答えを作る前に止められます。日本語でも判断の精度は実用水準でした。一方で、公称の速さは日本語の長い資料では出ず、判断に渡す資料を減らすと精度が半分に落ちました。Jevは渡された資料に忠実で、資料に無いことは「無い」と答えるからです。
なお、今回の組み込みは当社サイトで検証している段階です。お客様のチャットボットに正式な機能として載せるかどうかは、この検証の結果を見て判断します。
この記事は2026年9月20日時点の実測と公開情報です。TypeSafe AIの料金・仕様は早期アクセス中のもので、変更があれば更新します。検証の結論が出たときも追記します。
Jevとは？ChatGPTの代わりではない「判定専用AI」
Jevは、TypeSafe AI（CEOはChatGPTの土台となった論文の共著者）が2026年9月15日に早期アクセスを始めた「System One Model」の第1弾です。ChatGPTとの一番の違いは、文章を書かないことです。文章と質問を渡すと、「それは正しいか」「どれに当てはまるか」の答えを確率（0〜1の数字）で返してきます。
たとえて言うと、ChatGPTが「文章を書いてくれる担当者」なら、Jevは「資料を見て、YESかNOかだけを即答する確認担当」です。この確認担当に聞ける質問の型は3つあります。
| 型 | 返るもの | 使いどころの例 |
|---|---|---|
| Choice（選択） | 選択肢ごとの確率 | 問い合わせをどの部署に回すか振り分ける |
| Score（採点） | 段階での点数 | お客様の声を5段階で評価する |
| Noul（真偽） | YESの確率（0〜1） | 「この資料で質問に答えられるか」を判定する |
料金は、AIに渡す文章100万トークン（日本語でおよそ70万〜100万文字）あたり0.042ドルで、返ってくる答えは無料です。公称の応答時間は0.07〜0.5秒。ChatGPT・Claude・Geminiとは競合しません。文章は書けず、「判断」だけを桁違いに速く安く行うための部品だからです。賢さは一般的なAIと同じ程度とされていて、「賢い」が売りではありません。また公式ドキュメントには「英語が主で、日本語・中国語・韓国語は同じ水準ではない」と明記されています。だからこそ、日本語で実際に測る必要がありました。
どこに組み込んだか：答えを作る「前」に確認させる
当社のEdel AI Hybrid Chatは、WordPressサイトの公開ページを資料として読み込み、出典付きで答えるチャットボットです。この方式は「RAG」と呼ばれ、質問が来るたびに関係しそうな資料を探し、その資料をもとにAIが答えを書きます。Jevは「資料を探した後、答えを書く前」に入れました。
流れはこうです。まず質問に近い資料を8件探します（図の「ベクトル検索」。意味の近さで探す検索です）。次にJevに2つの確認をさせます。「この8件は質問に関係あるか」を1件ずつ聞いて関係の薄い資料を外し、残った資料だけで「質問に答えられるか」を聞きます。答えられそうなら、文章を書くAI（LLM）が出典付きで答えを作ります。答えられそうにないなら、文章は作らずに「記載がありません」と有人相談の案内を返します。
Jevに送るのは、資料8件（それぞれ先頭1,800字）と質問文で、合わせて約12,000トークン。返ってくるのは9つの確率だけで、文章は返ってきません。設計で決めた約束は4つです。最初はOFFで、設定画面からONにする。Jevにつながらないときは今までどおり動く。判断の基準（しきい値）は設定で変えられる。判断の結果（確率と所要時間）を記録に残す。実際の設定画面がこちらです。
開発者向けの実装ポイント
技術的なことに興味がない方は、この段落は飛ばして大丈夫です。ポイントは3つ。判定は生成の「前」に置くこと。後に置くと生成コストは減りません。関連度と回答可否は1リクエストにまとめること。往復を増やすと判定の速さが相殺されます。そしてフォールバックを先に書くこと。早期アクセス中のAPIは落ちる前提で、落ちたら従来動作に戻る処理を書いてから本体を書きました。
実測1：日本語で判断は使えるか（50問）
当社サイトの公開ページ6本（サービス・料金・会社概要など）を資料にして、「この資料だけで質問に答えられるか」をJevに判断させました。資料に答えがある質問25問と、無い質問25問の計50問です。
| 指標 | 結果 | 意味 |
|---|---|---|
| 判別力（AUC） | 0.984 | 「答えあり」と「答えなし」を見分ける力。1.0が満点 |
| 答えありの平均確率 | 0.85 | 答えがある質問には高い確率を返した |
| 答えなしの平均確率 | 0.11 | 答えがない質問には低い確率を返した |
| 基準0.60での正解率 | 94% | 答えなしを誤って通したのは0件、答えありの取りこぼしは25問中3問 |
| 応答時間（中央値） | 0.78秒 | 1回の判断にかかった時間 |
| 50問の費用 | 約1.4円 | この試験では1回あたり約0.03円。本番設定（資料8件×1,800字）では1回あたり約0.1円 |
図を見ると、答えがない質問（橙）は左側、答えがある質問（青）は右側にきれいに分かれています。判断を外した4件は、すべて資料側の問題でした。「他社制作サイトの保守」「月単位の解約」「Udemy講座」の3問は、ページのFAQが見出しだけで回答文が折りたたまれていて、資料として渡した文章に答えが入っていなかったのです。Jevは正しく「答えられない」と判断していました。裏返すと、Jevの判断記録はチャットボットに読ませている資料のどこが足りないかを教えてくれる道具にもなります。
実測2：本番サイトで速度はどう変わったか（Jev ON／OFF）
本番のedel-hearts.com（レンタルサーバーはXserver）で、JevのONとOFFを切り替えて同じ種類の質問を投げ、訪問者と同じようにブラウザで答えが出るまでの時間を測りました。
| 質問の種類 | Jev ON | Jev OFF（従来） | 差 |
|---|---|---|---|
| 資料に答えがない質問（4問） | 中央値 3.5秒 | 中央値 5.4秒 | 約2秒速い |
| 資料に答えがある質問（4問） | 中央値 5.3秒 | 中央値 4.4秒 | 約0.9秒遅い |
| 判断の正誤 | 8問中8問正解 | ― |
答えがない質問（ペット同伴・定休日・返金保証・対応言語）は、文章を書くAIを呼ばずに定型文で即答するので速くなります。答えがある質問（顧問エンジニアのプラン・保守のバックアップ・ホワイトラベル・プラグイン開発）は、Jevの判断が1回入る分だけ遅くなります。出典付きの正しい答えは変わりません。
気をつけたいのは、本番サーバーからJevへの往復が0.5〜1.1秒で、公称の0.07〜0.5秒より遅かったことです。日本語で12,000トークンという長い資料を送っているためです。まとめると、「答えられない質問には速く正直になり、答えられる質問には1秒余計にかかる。その代わり、間違った答えを作る余地を答えを書く前に一段減らす」というトレードオフです。応答速度そのものの改善は、毎時計測している応答速度レポートのとおり、別の手段で続けています。
Jevの判断を入れる前の段階、つまり「サイトの公開ページを読み込み、出典付きで答え、書かれていないことは正直に『記載がありません』と答える」動きは、当社のWordPress専用AIチャットボット Edel AI Hybrid Chat の標準の動作です。貴社サイトのURLとメールを入れるだけで、公開ページを読み込んだ専用AIチャットの体験ページを数分で自動作成できます。貴社の情報でどう答えるか、確かめてみてください。
実測3：軽くしようとして失敗した話（採用しなかった設定）
「Jevに渡す資料を減らせば速くなるはず」と考えて、資料を6件×1,200字に減らして測り直しました（16問×2回）。
| 設定 | 判断にかかった時間（中央値） | 渡した量（トークン） | 正解 |
|---|---|---|---|
| 8件×1,800字（採用） | 0.73秒 | 12,347 | 16問中14問 |
| 6件×1,200字（不採用） | 0.75秒 | 6,624 | 16問中8問 |
結果は2つの意味で失敗でした。まず速くならなかったこと。渡す量を半分にしても時間はほぼ同じで、時間の大半はやり取りそのものの固定費であって、資料の長さではありませんでした。次に精度が半分に落ちたこと。資料を1,200字で切ると、料金表のようにページの後ろのほうにある答えがJevに届かず、「答えられない」に倒れます。Jevは渡された資料に忠実なので、削った分だけ取りこぼすのです。
ここから得た教訓は、判断の精度は「渡す資料の完全さ」で決まるということです。速くしたいなら資料を削るのではなく、Jevに聞く場面を選ぶほうが筋がよい、と判断しました。たとえば、よくある定番の質問は答えを覚えておいてJevを通さない、といった設計です。
基準（しきい値）の決め方
しきい値とは、「Jevが返した確率がいくつ以上なら『答えられる』とみなすか」の線引きです。答えがない質問の確率は66問を通して最大0.27、答えがある質問の最小は0.57〜0.63でした。境界にいたのは「答えられない質問は人に引き継げますか」という質問で、資料に「有人対応」とはあるものの「引き継げる」とは直接書いていないケースです。最初は基準を0.60にしましたが、この境界の質問が揺れたため0.50に変更しました。0.50でも、答えのない質問を誤って通したことはありません。
「嘘をつかない」を優先するなら基準を高めに、「答える範囲を広げたい」なら低めにします。現実的には、判断の記録を1週間ほど眺めてから決めるのがよいと思います。
結論：検証で分かったことと、正式採用の判断基準
検証の結果、次の条件なら実用になると分かりました。
- 用途は、チャットボットが答えを作る前の「答えられるかどうかの判断」と「探した資料が関係あるかの判断」
- 資料は削らない（8件×1,800字）
- 基準（しきい値）は0.50
- Jevにつながらないときは今までどおり動く
- 最初はOFFで、必要なときだけONにする
向いていない使い方も分かりました。
- 文章を書かせる代わりにする（そもそもできません）
- Jevに渡す資料を切り詰める運用（精度が落ちます）
- 「JevでAIが賢くなった」という説明（賢さは同じで、減るのは間違った答えを作る余地です）
この組み込みは、当社サイトで検証している段階です。お客様のチャットボットに正式な機能として載せるかどうかは、本番で1週間ほど動かした判断記録（何問中何問を正しく判断したか、応答時間、費用）と、TypeSafe AI側の提供状況（早期アクセスが続くか、料金が変わらないか）を見て決めます。結論が出たら、この記事に追記します。
一言でまとめると、Jevは「AIに判断だけさせて、文章は書かせない」部品です。答えを作る前に置くと、間違った答えを作る前に止められます。日本語でも判断は実用水準でしたが、公称の速さは日本語の長い資料では出ません。AIチャットボットが嘘をつく問題（ハルシネーション）への対策の全体像はWordPress向けAIチャットボットの導入ガイドに、ChatGPTを直接つなぐ方法との違いはChatGPTとWordPressの連携方法にまとめています。
よくある質問
Q. Jevは日本語で使えますか？
「判断させる」用途なら使えました。公式は「英語が主で日本語は同じ水準ではない」としていますが、日本語50問で見分ける力（AUC）は0.984、基準0.60での正解率は94%でした。ただし速さは公称より遅く、日本語の長い資料では1回の判断に0.5〜1.1秒かかります。
Q. JevはChatGPTの代わりになりますか？
なりません。Jevは文章を書かず、確率だけを返します。ChatGPTやClaudeが「書く」役、Jevが「書く前にYES／NOを判断する」役という分担になります。
Q. 費用はどのくらいかかりますか？
渡す文章100万トークンあたり0.042ドルで、返ってくる答えは無料です（2026年9月20日時点の公開情報）。50問の試験では約1.4円（1回あたり約0.03円）、本番設定（資料8件×1,800字を渡す）では1回あたり約0.1円です。チャットボット全体の費用感はAIチャットボットの費用相場で解説しています。
Q. Edel AI Hybrid Chatを使えば、この機能も使えますか？
2026年9月20日時点では、当社サイトでの検証版です。お客様向けの正式な機能にするかどうかは、本番での判断記録が1週間分たまった段階で決め、この記事に追記します。
「AIに何をさせ、何をさせないか」を決めるところから
今回の検証で分かったのは、AIは「判断」と「文章を書く」を分けて使うと、速く・安く・間違えにくくなるということです。これはチャットボットに限らず、問い合わせの振り分け、書類の分類、承認前の一次チェックなど、業務の中の「人が毎回判断している小さな作業」にそのまま当てはまります。
当社はWordPress専門のエンジニアとして、AIが処理し、人が最後に確認する設計で業務の自動化を実装しています。「AIに向かない」場合はその旨をお伝えします。毎週繰り返しているPC作業があれば、まずそれを教えてください。
▶ AI業務自動化・AIシステム開発の詳細を見る（相談無料）
更新履歴
- 2026年9月20日：公開（同日時点の実測・公開情報。Jev組み込みは当社サイトで検証中）
この記事を書いた人
矢部 敦合同会社Edel Hearts 代表
WordPress専門の開発会社を経営。プラグイン開発・カスタマイズ・保守を専門とし、18時間におよぶUdemyのWordPress講座を開講。出典付きで回答するAIチャットボット「Edel AI Hybrid Chat」開発者。著書『WordPress はじめての最小プラグイン』（Kindle）。本ブログの記事は、実際の開発・運用で得た一次情報をもとに執筆しています。会社情報はこちら
