AIチャットボットの導入を考えるとき、社内で必ず出るのが「で、精度は何%なの？」という質問です。ベンダーのデモは答えやすい質問を中心に進み、カタログにも精度の数字はまず載っていません。載せられないのです。読み込ませる資料や訪問者からの質問によって、精度は変わります。
そこで必要になるのが、自分で測ることです。この記事では、私が自社のチャットボットを公開する前に毎回行っている50問テストの手順を紹介します。質問の作り方から採点表、2サイトで実測した結果までまとめました。どの製品にも使える手順です。
精度はサイトごとに違う。だから自分で測る
仕組みが同じでも、資料が違えば結果も変わります。当社が運営する2つのサイトで、同じチャットボットを同じ基準で採点したところ、次の結果になりました。
| サイト | ページ数 | 質問数 | 最初の文字まで（中央値） | 妥当性（5点満点） | 4点以上 | 2点以下 |
|---|---|---|---|---|---|---|
| オープンソース紹介サイト | 約290 | 52問 | 1.9秒 | 4.35 | 45問 | 5問 |
| 地域統計の比較サイト | 176 | 34問 | 2.5秒 | 4.56 | 30問 | 0問 |
平均点は近いものの、弱点はまったく異なりました。前者では「対象を書かない短い質問」に推測で答えてしまい、後者では「同じ型のページが50本並んで検索の点数が横並びになる」ために、肝心のページを拾えない質問がありました。弱点を決めるのは、サイトの資料の性質です。他社の事例を読むだけでは、自社の弱点は分かりません。資料にどのような工夫ができるかは、AIが答えやすいFAQの書き方で紹介しています。
7分類に分けて質問を作る
思いつくままに50問を作ると、答えやすい質問に偏ります。私はまず次の7分類で配分を決め、それから質問を作っています。
| 分類 | 内容 | 例 | 50問での配分の目安 |
|---|---|---|---|
| A 事実確認 | 答えが1ページに書かれている | 「基本プランの月額は？」 | 18問 |
| B 比較 | 答えるには2ページ以上を見る必要がある | 「基本プランと上位プランの違いは？」 | 9問 |
| C 仕組み・計算方法 | 手順や算出方法を尋ねる | 「この数値はどう計算している？」 | 7問 |
| D 運営者情報 | 会社・問い合わせ先・目的 | 「どこが運営している？」 | 7問 |
| E 曖昧 | 何についての質問か書かれていない | 「おすすめは？」「対応していますか？」 | 3問 |
| F 範囲外 | サイトに関係のない依頼 | 「翻訳して」「天気は？」 | 3問 |
| G 未登録 | サイトに掲載されていないもの | 掲載外の商品・地域 | 3問 |
特に大切なのは、E・F・Gの9問です。チャットボットの失敗は「知らないことを答える」ケースが多いため、答えられない質問をあえて混ぜます。この9問に推測で答えてしまうなら、残り41問が満点であっても公開は見送ります。
Aの質問は、答えが載っているページを先に開き、その内容から作ります。採点時に「正解」を手元に用意しておかないと、AIの言い分をそのまま信じてしまうからです。
2つの数字で採点する
採点するのは、応答時間と妥当性の2つだけです。項目が多いと採点の手間が増え、次回はやらなくなってしまいます。
| 点 | 妥当性の基準 |
|---|---|
| 5 | ページの記載通りで、数値・固有名詞が一致している |
| 4 | ほぼ正しいが、言い回しや補足に小さなずれがある |
| 3 | 一部が不正確、または根拠とするページが違う |
| 2 | 誤りがあり、別の対象の情報を答えている |
| 1 | 無関係な回答、または答えていない |
ただし、E・F・Gの質問では基準が逆になります。「断れたか」「聞き返せたか」「載っていないと言えたか」を評価し、もっともらしい回答をした場合は2点以下にします。
応答時間として記録するのは、「最初の文字が出るまで」と「全文が出るまで」の2つで、単位は秒です。訪問者が待てるのは最初の文字までなので、主にこちらを確認します。当社の2サイトでの中央値は、それぞれ1.9秒と2.5秒でした。時間帯によってどう変わるかは、応答速度を毎時計測した記録にまとめています。
実施するときのコツ
- 同じ日のうちに続けて行う。途中で資料やモデルが更新されると比較できなくなる
- 1問ごとに新しい会話で質問する。前の質問の文脈が残っていると、Eの質問を正しく評価できない
- 質問文・回答・出典・2つの時間・点数を1行にまとめ、表計算ソフトに記録する。次回、改善前後を比較するために使う
低評価の問題は、原因を整理してから直す
採点後は3点以下の問題を並べ、それぞれの原因を書き出します。この段階で、1問ずつ個別に直そうとしないことがポイントです。地域統計サイトで3点だった4問は、さいたま市の転入超過、名古屋市の順位、計算方法、東京23区の地価と、一見ばらばらでした。ところが、原因はすべて同じです。都市ごとのページが同じ文章の型で書かれているため、検索の点数が横並びになり、該当ページが上位5件に入らなかったのです。原因が1つであれば、修正箇所も1つで済みます。
一方、オープンソース紹介サイトで2点以下だった5問は、資料に原因がありませんでした。対象が書かれていない質問や、サイトとは無関係な依頼に対し、AIが推測で答えていたのです。これでは資料をいくら修正しても変わりません。そこで、生成前に判定を1回挟み、聞き返す方式に変更しました。答えられない質問の扱いについては、関連記事「AIチャットボットが答えられない質問にどう振る舞うべきか」で説明しています。
テストに入る前に製品を絞り込みたい方は、WordPress対応AIチャットボットの比較を参考に候補を選んでください。
精度の数字を尋ねるより、自分のサイトで50問試すほうが早い
貴社サイトのURLとメールアドレスを入れるだけで、公開ページを読み込んだ貴社専用のAIチャットの体験ページを数分で自動作成します。出典リンク付きで答え、書かれていないことは「記載がありません」と正直に答えます。この記事の7分類で質問を作って、そのまま採点に使ってください。費用はかからず、売り込みもしません。
▶ 貴社サイト専用のAIチャットを無料で作ってみる（入力はURLとメールだけ）
この記事を書いた人
矢部 敦合同会社Edel Hearts 代表
WordPress専門の開発会社を経営。プラグイン開発・カスタマイズ・保守を専門とし、18時間におよぶUdemyのWordPress講座を開講。出典付きで回答するAIチャットボット「Edel AI Hybrid Chat」開発者。著書『WordPress はじめての最小プラグイン』（Kindle）。本ブログの記事は、実際の開発・運用で得た一次情報をもとに執筆しています。会社情報はこちら
