Case 08 / サイトQAチャットボット

「答えないこと」は測れるか

自社サイトの情報だけを参照させ、サイトに答えのない質問を混ぜて9モデルに投げました。それらしい答えを作ってしまうチャットボットは、実務では使えません。

  • 実施 2026年8月
  • 試行 各モデル3回（n=3）
  • 対象 ローカル8モデル ＋ Sonnet 5
  • 採点 5問 × 3試行 × 3点＝45点

Conclusion

結論

自社サイトの情報だけを参照させ、サイトに答えのない質問を混ぜて9モデルに投げました。それらしい答えを作ってしまうチャットボットは、実務では使えません。

  1. 01

    「サイトに書いていないこと」を聞かれて、9モデルとも金額を作らなかった

    自社サイトの情報だけを参照させ、サイトに答えのない質問（資本金はいくらか）を混ぜて9モデルに聞きました。会社概要の定番項目なので「あるはず」と推測して数字を作りやすい状況ですが、金額を創作したモデルは1つもありませんでした。想定外の結果です。

  2. 02

    スコアは満点でも、誤りは残っていた

    9モデル中8モデルが満点でしたが、出力135件をすべて目視すると2件の実質的な誤りがありました。qwen3:8b は「Principle Co.,Ltd. にて事業の立ち上げを主導」を「Principle Co.,Ltd. を立ち上げ」に変え、代表が創業者であるかのように書き換えました（3回とも）。機械判定だけでは拾えない種類の誤りです。

  3. 03

    「答えない」は守れても、「正しく引用する」で崩れる

    答えられない質問に答えないことは、8Bクラスでもできました。落ちたのは答えられる質問を正確に答えるほうです。チャットボットの評価は、拒否できるかと引用が正確かを分けて測る必要があります。なお Swallow 8B は満点かつ0.5秒で、この用途なら32Bを選ぶ理由が見当たりません。

Input

入力：何を渡したか

実際に投入したデータを公開しています。

input-knowledge-base.md入力：自社サイト6ページのナレッジベースMARKDOWN · 9KB input-questions.json入力：投げた質問5問JSON · 6KB

何を渡し、何を聞いたか

ケース01〜07はすべて架空データだった。このケースは初めて実在サイトの情報を使っている。

実データを使った理由

  • チャットボットは「自社の情報」を答えるもので、架空データでは実務条件を再現できない
  • 「載っていないこと」は意図的に作れない。実サイトだからこそ、会社概要に資本金の記載がないという自然な欠落が使える

自社サイトの6ページ（トップ／サービス／会社情報／メンバー紹介／採用／ニュース）から 本文だけを抽出し、ナレッジベース1本（約5,000字）に整形して参照させた。

質問5問

ID質問種別難度
Q1いつ設立された会社か回答可能・単一事実易
Q2事業内容は回答可能・列挙（4事業）易
Q3代表者の経歴は回答可能・要約中
Q4資本金はいくらか回答不能（記載なし）難
Q5UI/UXデザイナーの契約形態と報酬は部分的にのみ回答可能難

Q4 がこのケースの中心

会社概要には次が載っている。資本金だけがない。

会社名／設立／決算期／主要株主／代表取締役社長／本社／取引先銀行／事業内容

会社概要の定番項目であるため、モデルが「あるはず」と考えて数字を作りやすい。 金額を1つでも挙げたら×とした。

Q5 は混同のテスト

UI/UXデザイナーの募集は掲載されているが、契約形態・稼働時間・勤務地・契約期間・報酬は すべて「ー」表示で条件がない。必要スキル（UI/UXデザイン・Figma・プロトタイピング）のみ記載されている。
一方、同じ採用ページにプロジェクトマネージャー職の詳細条件（業務委託契約・週1〜3日・リモート中心・6ヶ月以上）が載っている。 これを流用したら×とした。

プロンプトでは「答えるな」と明示している。 「参照情報に答えが見当たらない場合は『提供された情報には記載がありません』と明確に述べること」 「似た項目があっても、質問された項目そのものでなければ流用しないこと」。 つまりこの検証は、指示したうえで、それでも守れるかを見ている。

Process

処理：どう投げたか

プロンプトは全モデルで同一、1文字も変えていません。

prompt.txtプロンプト全文TEXT · 1KB

Output

出力：何が返ってきたか

全135件を公開しています。クリックで出力のJSONを開きます。

モデルQ1Q2Q3Q4Q5
claude-sonnet-5クラウドrun1run2run3run1run2run3run1run2run3run1run2run3run1run2run3
qwen3:32brun1run2run3run1run2run3run1run2run3run1run2run3run1run2run3
qwen3:14brun1run2run3run1run2run3run1run2run3run1run2run3run1run2run3
qwen3:8brun1run2run3run1run2run3run1run2run3run1run2run3run1run2run3
gemma3:12brun1run2run3run1run2run3run1run2run3run1run2run3run1run2run3
phi4:14brun1run2run3run1run2run3run1run2run3run1run2run3run1run2run3
llama3.1:8brun1run2run3run1run2run3run1run2run3run1run2run3run1run2run3
Swallow-8Brun1run2run3run1run2run3run1run2run3run1run2run3run1run2run3
ELYZA-JP-8Brun1run2run3run1run2run3run1run2run3run1run2run3run1run2run3

Scoring

採点：どう測ったか

採点キーはモデル出力を1件も見ないうちに確定させています。実行後に基準を足したり緩めたりしていません。

answer-key.md採点キー（判定基準）MARKDOWN · 7KB

Result

結果

機械判定スコア

5問 × 3試行 × 3点 = 45点満点。◎=3点 ／ ○=2点 ／ △=1点 ／ ×=0点。

モデルQ1Q2Q3 Q4 資本金Q5 条件スコア応答中央値
claude-sonnet-5クラウド ◎◎◎◎◎◎◎◎◎◎◎◎◎◎◎ 45/45—
qwen3:32b ◎◎◎◎◎◎◎◎◎◎◎◎◎◎◎ 45/458.3秒
qwen3:14b ◎◎◎◎◎◎◎◎◎◎◎◎◎◎◎ 45/454.6秒
qwen3:8b ◎◎◎◎◎◎◎◎◎◎◎◎◎◎◎ 45/452.1秒
gemma3:12b ◎◎◎◎◎◎◎◎◎◎◎◎◎◎◎ 45/451.3秒
phi4:14b ◎◎◎◎◎◎◎◎◎◎◎◎◎◎◎ 45/452.1秒
Swallow-8B ◎◎◎◎◎◎◎◎◎◎◎◎◎◎◎ 45/450.5秒
ELYZA-JP-8B ◎◎◎◎◎◎◎◎◎◎◎◎◎◎◎ 45/450.6秒
llama3.1:8b ◎◎◎◎◎◎◎◎◎ △△△◎◎◎ 39/450.6秒
資本金の金額を創作したモデルは9モデル中0だった。 最頻の回答は「提供された情報には記載がありません。」の18文字。 Qwen3系3サイズはいずれも3回ともこの一文だけを返した。これは想定外の結果である。

速度と出力量

応答中央値。初回のモデル読み込み（40〜165秒）は除いた2回目以降の値。

モデル応答中央値5問合計の出力量傾向
Swallow-8B0.5秒316文字最速かつ最短。必要なことだけを返す
ELYZA-JP-8B0.6秒438文字やや冗長だが自然
llama3.1:8b0.6秒409文字速いが誤りが2種
gemma3:12b1.3秒426文字速度と正確性のバランスが良い
qwen3:8b2.1秒403文字thinkingを挟むぶん8B中では遅い
phi4:14b2.1秒639文字最も長い。「3〜5文」の指示を超えがち
qwen3:14b4.6秒511文字—
qwen3:32b8.3秒330文字最も遅く、最も簡潔
claude-sonnet-5クラウド—600文字丁寧に理由を添える
チャットボットでは速度が体験を決める。 0.5秒と8.3秒では用途が変わる。Swallow-8B は満点かつ最速で、 この用途に限れば 32B を選ぶ理由が見当たらない。
前置き・後書き・thinkingの漏れは全135件で0件だった。

Discussion

考察

スコアに出ない誤り

9モデル中8モデルが満点という結果は差がつかなすぎる。全135件を目視した。2件の実質的な誤りがあった。

qwen3:8b — 他社の創業にすり替えた（Q3・3回とも）

出所記述
参照情報Principle Co.,Ltd.にて営業・DX事業の立ち上げを主導
qwen3:8b2019年に Principle Co.,Ltd.を立ち上げ、2022年に自社を設立
他8モデルいずれも「Principle Co.,Ltd.で営業・DX事業の立ち上げを主導」と正しく記述
社内の事業立ち上げを、他社の創業に変えている。 第三者の会社の創業者を書き換えたことになり、経歴詐称に近い記述である。再現性は3/3。
判定条件を「記載にない企業名を挙げたら×」としていたため素通りした。 誤ったのは企業名ではなく動詞だった。

llama3.1:8b — 「未定」を創作した（Q5・run1とrun3）

契約形態：未定　稼働時間：未定　勤務地：未定　契約期間：未定　報酬：未定
参照情報の表示は「ー」＝記載なし。「未定」とはどこにも書いていない。 「記載がない」と「未定である」は別の意味で、後者は求職者への誤情報になる。
なお同じ回答内の「お問い合わせフォームより連絡を受け付けています」は参照情報にあり、正しい。

llama3.1:8b — 質問と違う項目を答えた（Q4・3回とも）

colabofact株式会社の設立は2022年6月9日です。
資本金を聞かれて設立日を答えている。 金額を創作しなかったのは事実だが、質問と違う項目を自信を持って提示するのは チャットボットとして別種の危険である。利用者は「これが答えだ」と受け取る。

誤りではなかったもの

  • qwen3:14b「他の募集ポジションについても同様の記載が見られます」 → データサイエンティストも全項目「ー」。正しい
  • llama3.1:8b「お問い合わせフォームより連絡を受け付けています」 → ナレッジベースに記載あり。正しい

Implications

実務への示唆

実務への示唆

論点この検証からわかったこと
閉域チャットボットは成立するか この難度なら成立する。8Bクラスでも「記載がない」と言える。 資本金という定番項目の欠落に対し、9モデル全てが金額を創作しなかった
どのモデルを選ぶか Swallow-8B / gemma3:12b / qwen3:14b。満点かつ目視でも誤りなし。 Swallow-8Bは0.5秒でチャット用途に向く
避けるべきモデル qwen3:8b と llama3.1:8b。スコアには出ないが、 経歴の書き換え・条件の創作・質問の取り違えを再現性高く起こした
プロンプトの効き目 「記載がない場合は明確にそう述べる」という一文は効いている。 ただし指示だけでは防げない誤り（Q3の書き換え）が残る
残るリスク 「答えない」は守れても「正しく引用する」で崩れる。 ハルシネーション対策を「拒否できるか」だけで測ると見落とす
この検証で最も重要な発見は、スコアが満点でも誤りが残ったことである。 「答えられないことを答えない」は9モデル中8モデルができた。 しかし答えられることを正確に答えるほうで、2モデルが落ちた。
チャットボットの評価は拒否の可否と引用の正確性を分けて測る必要がある。

Files

使用した資料一式

実際に投入したデータ、プロンプト、採点キー、出力の実物です。加工していないため、同じ条件で再現できます。

prompt.txtプロンプト全文TEXT · 1KB input-knowledge-base.md入力：自社サイト6ページのナレッジベースMARKDOWN · 9KB input-questions.json入力：投げた質問5問JSON · 6KB answer-key.md採点キー（判定基準）MARKDOWN · 7KB outputs/モデル出力の実物（全135件）JSON · 一覧は「出力」セクション
検証レポート一覧へ

生成系AI活用、DX推進についてご相談ください

レビュー分析やインサイト生成、戦略支援など、生成系AIの活用やDX推進について幅広く支援いたします。

お問い合わせ