エーデルハーツ

資料にはない「嘘」をAIが喋り出した日。エンジニアが感じた背筋の凍るリスク

「お支払い方法を教えてください」

私が開発中のAIに対し、テストで投げた何気ない質問です。これに対し、AIは淀みない口調でこう答えました。
「クレジットカード、国際送金、現地支払が可能です」

一見、非の打ち所がない完璧な回答に見えます。しかし、私はその場で冷や汗をかきました。なぜなら、その海外ツアーサイトの資料には、「クレジットカード対応」については一文字も書かれていなかったからです。

AIが「海外ツアーなら、きっとカードが使えるはずだ」と、善意で「推測」してしまった。これがAIの「ハルシネーション（幻覚）」と呼ばれる現象です。この一見もっともらしい嘘こそが、ビジネスの現場でAIを活用する際の最大の壁となります。

理想と現実のギャップ。自作プラグイン時代に突きつけられた限界

実は今回のシステムを構築する数年前、私はベクトルデータベース（Pinecone）などを用い、チャットボットプラグインをゼロから自作していた時期がありました。

当時は「データを詰め込めば、AIは勝手に賢くなる」と楽観視していました。しかし、実際の運用テストを繰り返す中で、現実は甘くないことを痛感させられました。情報の切り分け（チャンク分割）がうまくいかず、細かい質問に答えられなかったり、逆に資料を無視して一般論を喋り出したり……。

「知能が高いAI」と「ビジネスで誠実に振る舞えるAI」は全く別物である。その事実に打ちのめされたのが、私の今の開発スタイルの出発点になっています。

完璧ではないからこそ、構造で「誠実さ」を守る

現在、私はDifyとGemini 3 Flash ＋ Cohere Rerankを組み合わせ、情報の精度を多角的に検証する「3層構造」というアプローチをとっています。

もちろん、今のAI技術において「100%絶対に嘘をつかない」と言い切ることは、まだ傲慢かもしれません。しかし、「嘘をつきにくい仕組み」を泥臭く積み上げることは可能です。

具体的には、以下の3つの役割を持たせています。

1. 情報のナビゲート：ユーザーの問いが、どの資料に基づいているかを特定する役割。
2. 各種メタ情報とRerankによる照合：資料から抽出した回答候補を、さらに「再ランク付け」して推測を徹底排除する役割。
3. 有人連携の橋渡し：AIが判断に迷った際、即座に担当者へバトンを渡す役割。

この「答えられない場合は、背伸びをせずに『分かりません』とはっきり答え、速やかに人（LINEやChatwork）へ繋ぐ」という謙虚な設計こそが、ビジネスにおける信頼を守る最後の砦になると考えています。

誠実な接客の形を、一歩ずつ。

検証を重ねた結果、例の「支払い方法」の質問に対しても、現在の私のシステムは「資料に記載がないため、正確な回答ができません。担当者へ直接お繋ぎしましょうか？」と、誠実な回答を返せるようになりました。

AIは万能ではありません。しかし、エンジニアがその弱点から目を背けず、一歩ずつ制御を重ねることで、サイトを訪れるお客様に「誠実な対応」を届けることはできると信じています。

私の挑戦はまだ道半ばですが、現時点で私が辿り着いた「最も誠実な接客の形」を、ぜひ一度体験してみてください。